Контрольная экспертиза

Контрольная экспертиза для оценки компетентности экспертов может использоваться даже тогда, когда не известны достоверные ответы на поставленные вопросы. В этом случае используют подход, основанный на обработке нормированных балльных оценок. По этой методике сначала полагают, что все эксперты равно-компетентны. Затем вычисляют средний нормированный балл каждого из оцениваемых элементов по индивидуальным оценкам экспертов и взвешенную сумму оценок каждого из экспертов./ В качестве - весовых коэффициентов используют полученные средние оценки элементов. Вычисленные оценки нормируются их суммой и используются в качестве уточненных значений коэффициентов компетентности. Смысл этой операции состоит в том, что для эксперта, оценки которого ближе к средне-групповым, коэффициент его компетентности увеличивается. Такая процедура может повторяться неоднократно в ходе контрольных экспертиз.
Пример 8. Четыре эксперта, оценивая относительную важность покупательной способности, себестоимости и затрат в проблеме повышения рентабельности предприятия (см. пример 3) в десятибалльной шкале, дали следующие оценки:
Для всех экспертов коэффициент компетентности полагаем равным 0,25. Таблица соответствующих нормированных балльных оценок, определяемых как отношение баллов по каждому из оцениваемых элементов к их суммарным баллам, выставленным каждым из экспертов, имеет вид.
При этом средние баллы, приходящиеся на оцениваемые элементы, составляют ~ (0,57 + 0,77 + 0,29+4- 0,42) = 0,51 для 0,34 для ХР9 и 0,15 для У8. Взвешенные суммы относительных балльных оценок экспертов составляют для первого эксперта 0,57 X 0,51 + 0,29 X 0,34 -{-+ 0,14 X 0,15 = 0,41; для второго эксперта 0,45; для третьего 0,31; для четвертого 0,36. Сумма полученных взвешенных суммарных оценок определится величиной 0,41 4- 0,45 + + 0,31 + 0,36 = 1,53, а уточненные коэффициенты компетентности экспертов будут равны: 0,41 : 1,53 = = 0,26 — для первого; 0,3 — для второго; 0,2 — для третьего и 0,24 — для четвертого.
Использование указанных методов отбора кандидатов в экспертную группу обеспечивает более высокую надежность экспертизы, чем волюнтаристское назначение экспертов.
Описанные методы экспертного оценивания базируются на соответствующих процедурах опроса, которые различаются по форме общения с экспертом и способу постановки ему вопросов. К таким процедурам относятся: индивидуальные и групповые, очные и заочные, открытые и закрытые опросы. При выборе конкретной процедуры опроса необходимо учитывать не только реальные ограничения проведения экспертизы, но и достоинства и недостатки этих процедур. Дополнительно к ним можно указать, что очные опросы предпочтительнее заочных по информативности, так как позволяют исключить возможное неправильное истолкование экспертом вопросов анкеты. Более того, при заочном опросе эксперт вообще может не дать ответа на некоторые вопросы ввиду их непонимания, хотя при очном опросе это может быть оперативно устранено путем переформулировок и ,уточнений поставленных вопросов. С \учетом затрат на получение информации и исключения психологического давления на эксперта со стороны группы управления (которое может исказись получаемую информацию) более предпочтителен заочный опрос.