Общая характеристика и классификация методов экспертного оценивания

Методы экспертного оценивания используют во всех случаях, когда оцениваемые объекты или их характеристики субъективны и поэтому получить требуемые данные о них путем объективных измерений невозможно (например, с помощью измерительных приборов, действие которых основано на использовании, физических законов). Под методом экспертного оценивания обычно понимают комплекс логических и математических процедур, направленных на получение от специалистов-экспертов информации, ее анализ и обобщение с целью выбора рациональных решении.
Идея экспертного оценивания состоит в том, что для получения необходимой новой информации из имеющейся исходной формируется группа экспертов, которые проводят интуитивно-логический анализ того или иного вопроса с целью вынесения качественного или количественного суждения по нему. Суждения экспертов определенным образом обрабатываются с использованием соответствующего математического аппарата, в результате чего получают так называемые экспертные оценки. Эти оценки, по-прежнему, субъективны, и степень доверия к >ним зависит от знаний, опыта и психологии экспертов.
При построении элементов модели Проблемной ситуации и установлении отношений между ними все многообразие задач, решаемых экспертами, сводится к формированию объектов и (или) оценке характеристик. Формирование объектов включает формулировку целей, условий, ограничений, стратегий, показателей эффективности, определение признаков и показателей для описания свойств объектов и их взаимосвязей и т. п. При оценивании характеристик эксперты проводят «измерение» достоверности гипотез и событий, важности целей и показателей эффективности, приоритетов, предпочтений и т. п.
Как следует из перечисленных выше задач, методы экспертного оценивания можно использовать в процессе исследования эффективности для получения различных видов информации, включая информацию о предпочтениях. Вместе с тем при практическом использовании этих методов необходимо иметь в виду, что экспертная оценка — это не решение, а лишь полезная информация, помогающая выработать обоснованное решение. Принимать решение на основе своих предпочтений может только ЛПР, и оно несет за них ответственность. Эксперты несут ответственность только за свои рекомендации. В общем случае предпочтения экспертов могут не совпадать с предпочтениями ЛПР. Это помогает ему критически осмыслить различные точки зрения» уточнить или изменить свои предпочтения и тем самым уменьшить возможность принятия ошибочных решений. Поэтому при использовании экспертных методов для выявления и измерения предпочтений в роли эксперта должно выступать только лицо, принимающее решение (индивидуальное или групповое). Следует также обратить внимание на существенное различие между групповой экспертизой и коллективным принятием решения.
В зависимости от объема и качества исходной информации разработаны специальные методы как самой экспертизы, так и методы обработки экспертной информации. Если исходная информационная база недостаточна или задача является уникальной, то применяют методы индивидуального экспертного оценивания: «интервью», аналитических докладных записок, сценария.
Для ситуации с большим объемом информации обычно привлекают не одного, а нескольких специалистов и используют методы группового экспертного оценивания: анкетирования, «комиссий», коллективной генерации идей, комплексные.
Метод интервью заключается в опросе эксперта по заранее сформулированным вопросам, на которые эксперт дает ответы экспромтом.
Метод аналитических докладных записок предполагает длительную и тщательную самостоятельную работу эксперта над анализом тенденций развития, оценкой текущего состояния и путей развития объекта исследования.
Методом сценария устанавливается логическая последовательность событий развития будущего состояния объекта исследования, исходя из существующей ситуации.
Методы интервью и аналитических докладных записок используют в задачах формирования исходного множества стратегий, задачах анализа неопределенностей, а метод сценария — при определении цели и исходов операции, выбора показателей и критериев эффективности.
Основные преимущества этих методов состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления авторитетов, низких затрат на экспертизу. Главным недостатком этих методов является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного специалиста.
Методы группового экспертного оценивания основаны на принципе выявления коллективного мнения. Основное преимущество этих методов над индивидуальными заключается в возможности разностороннего анализа проблемы. Кроме того, коллективная ответственность часто позволяет экспертам принимать более рискованные решения по поставленным перед ними вопросам, а оценки, полученные от группы, чаще содержат «искомую» оценку, чем при индивидуальной экспертизе. Это является весьма важным обстоятельством как в задаче анализа неопределенности, так и при формировании исходного множества стратегий. Недостатками этих методов является сложность самой процедуры получения информации, сложность получения группового мнения экспертов из индивидуальных мнений, возможность оказания давления авторитета в группе.
Указанные недостатки могут быть существенно ослаблены путем применения научной организации экспертизы.
При использовании метода анкетирования опрос экспертов осуществляется анонимно и проводится в несколько туров. Это позволяет каждому эксперту не идти на компромисс, до конца отстаивать свое собственное мнение или корректировать его без чьего-либо давления сверху.
Метод комиссий предполагает свободное обсуждение проблемы между экспертами. Основной недостаток — стремление каждого эксперта к компромиссу.
Метод коллективной генерации идей основан на выдвижении большого числа идей и предположений по решению поставленной проблемы. Процесс генерации идей и их анализ полностью разделены. Обязательно фиксируются все высказанные идеи, запрещается какая-либо оценка выдвигаемых идей. Этот метод используют, как правило, в «тупиковых» ситуациях.
Поскольку при экспертизе специалисты выносят суждения о предпочтительности того или иного способа, указывают возможные сроки наступления некоторых событий, либо формируют альтернативы и упорядочивают их в исходное множество, то в качестве основных элементов экспертного оценивания используются попарное сравнение, сортировка и ранжирование, балльное оценивание и их модификации. После получения информации от экспертов в необходимой форме проводится ее анализ и обработка с целью выявления согласованности мнений отдельных экспертов и формирование (если это необходимо) коллективного мнения. Эта задача решается с помощью специальных процедур, позволяющих выявлять и учитывать компетентность экспертов (метод выявления компетентности экспертов, метод Дельфи, процедура формирования группового мнения). Различные схемы сочетания ограниченного числа этих процедур позволяют решать широкий класс задач различного целевого назначения.