Коэффициент информативности
Коэффициент информативности получают на основе самооценки эксперта по десятибалльной шкале, как, где х — балл, выставленный экспертом.
Значение коэффициента кл определяют следующим образом. Эксперту предъявляют табл. 3 без цифр, в которой он отмечает, какой источник им оценивается по соответствующим градациям: В, С, Н. Группа управления переводит отметки эксперта в шкалу эталонной табл. 3 и вычисляет коэффициент кл путем суммирования цифр, соответствующих позициям таблицы, отмеченным экспертом.
Другой метод заключается в вычислении коэффициентов компетентности на основе матриц, составленных по результатам взаимной оценки экспертов. Каждый участник должен оценить объем и качество знаний других кандидатов по вопросам анкеты. При составлении анкет по этому методу необходимо заранее выявлять возможные цели экспертов, противоречащие целям экспертизы, т. е. исключать те причины, которые могут побудить эксперта сознательно искажать оценки знаний других кандидатов. Использовать этот метод можно, если кандидаты знают друг друга по совместной деятельности.
Одной из эффективных модификаций метода взаимной оценки, которая позволяет не только оценить компетентность уже отобранных кандидатов, но и одновременно выявить возможно полное множество специалистов по рассматриваемой проблеме и сформировать их список, является следующая процедура. Членам группы управления предлагается высказать свое мнение о включении кандидатов в группу экспертов. Названных новых лиц просят, в свою очередь, сделать то же самое. Проведя несколько туров такого опроса, составляют удовлетворительный по полноте список кандидатов. По результатам опроса составляется матрица смежности, элементами которой являются единицы или нули в зависимости от того, высказался ли кандидат с номером I в пользу включения в группу кандидата с номером / или нет соответственно (г — номер строки матрицы смежности, / — номер столбца).
В этом алгоритме критерием останова является условие п. 5. Обычно величину е выбирают на один-два порядка меньше величины Иногда в качестве критерия останова используют условие Х= № (обычно выбирают в диапазоне 3—5, что обусловлено быстрой сходимостью процесса). Содержательный смысл алгоритма состоит в том, что на первой итерации (7=1) подсчитывают отношение суммы «голосов», поданных за кандидата с номером, к общему числу всех «голосов» (сумма единиц в матрице смежности). На последующих итерациях голоса «взвешиваются» коэффициентами, компетентности кандидатов вычисленными на предыдущей итерации.
Третий метод оценки компетентности кандидатов состоит в проверке достоверности их суждений по результатам контрольных экспертиз. Контрольная экспертиза предусматривает опрос экспертов по тем вопросам, для которых уже известны достоверные ответы, не известные заранее участникам. При этом необходимо, чтобы эти вопросы были связаны с рассматриваемой проблемой и информационно обеспечены настолько, чтобы эксперт мог дать по ним числовую оценку в заданной шкале. Коэффициент (достоверности) в этом случае определяется как отношение числа вопросов, на которые эксперт дал правильные ответы, к общему числу поставленных вопросов: где Nщ — число правильных ответов 1-го эксперта; N — общее число поставленных вопросов.
Этот показатель характеризует эксперта как «измерительный прибор».