Обработка и анализ балльных и точечных оценок

В некоторых случаях для выражения предпочтения удобнее сначала осуществить балльное оценивание элементов, а затем их ранжирование. Балльные оценки имеют промежуточную шкалу между качественной и количественной. Поэтому обработку и анализ экспертных суждений, выраженных в балльной шкале, обычно осуществляют комбинированным методом. Сначала балльные оценки переводят в ранги по правилу:  (где —балл, присвоенный элементу й. 6 В, а г. — ранг этого элемента) и обрабатывают их как ранжировки.
Затем баллы рассматривают как количественную меру выражения предпочтения эксперта. Если результаты обработки оказываются хорошо согласованными, то обоснованность группового мнения будет надежной.
Обработка и анализ балльных оценок как количественных показателей возможна лишь в том случае, если шкала балльных оценок непрерывна или имеет большое число градаций, а также установлены правила начисления баллов. Дальнейшая обработка и анализ проводятся статистическими методами оценивания в предположении, что разница в ответах экспертов объясняется лишь случайными погрешностями.
Каждому элементу $ О ставится в соответствие средний балл, определяемый как среднее арифметическое балльных оценок экспертов по рассматриваемому элементу: где ЬI] — балл, присвоенный /-му элементу 2-м экспертом.
Степень согласованности экспертов в этом случае оценивается дисперсиями индивидуальных балльных оценок: где о— среднее квадратическое отклонение.
При анализе согласованности мнений экспертов обычно считают, что она удовлетворительная, если все V. ^ < 0,3, и хорошая, если все < 0,2.
Если каждого из экспертов просят дать непосредственную оценку некоторой характеристики х элемента — точечную оценку (например, указать вероятность наступления некоторого события, срок его возможного наступления, оценить ожидаемые затраты или другие неопределенные факторы), то он должен поставить в соответствие каждому элементу точку на непрерывной числовой оси. В результате обработки таких оценок могут быть получены показатели среднего результата: где хг — точечная оценка характеристики х, данная 1-м экспертом.
Статистическая оценка полученных результатов позволяет определить не только интервал достоверных значений оцениваемой характеристики, но и противоречивость мнения конкретного эксперта. В первом случае используют методы интервального оценивания. Для симметричного закона распределение оценки, где хи — неизвестное истинное значение х\ <7 — доверительная вероятность (обычно <7 — 0,9 ... 0,95); е половина длины доверительного интервала.
В практике при числе экспертов в группе п > 25-=-30 распределение оценки х обычно полагают нормальным. В противном случае величину в в выражении (11.35) определяют с использованием распределения Стьюдента (с п — 1 степенью свободы): где (д — корень уравнения
= 2 I 5 (/, п — 1) Л; 5 (*, п — 1) — о
плотность распределения Стьюдента.
Наиболее удаленные от х оценки хг проверяют на противоречивость (аномальность) следующим образом. Если проверяется оценка хр превышающая среднее значение х, то по таблицам распределения Стьюдента вычисляется вероятность
Если же проверяемая оценка существенно меньше х, то вероятность.
К суждению о противоречивости мнения «оригинального» эксперта при таком подходе следует подходить осторожно, дополняя вывод по соотношениям (11.36) и (11.37) логическим анализом, так как противоречивость мнения 1-то эксперта может объясняться лучшим пониманием проблемы. Процедура формирования группового мнения в этом случае выглядит следующим образом: определяют точечную групповую оценку х\ вычисляют дисперсию о\ и среднее квадратическое отклонение ах мнений экспертов; оценивают противоречивость «оригинальных» мнений с помощью (11.36), (1^.37) и осуществляют логический анализ; при противоречивых мнениях результаты опроса оформляют в виде точечной х и интервальной (х — е, х -{- е) оценок; при наличии «оригинальных» (противоречивых) мнений проводится второй тур экспертизы с коллективным обсуждением результатов предыдущего тура.
Более удобной формой выражения суждений экспертов являются не точечные, а диапазонные оценки. В этом случае эксперт указывает минимальное х, и максимальное х, между которыми, по его мнению, находится истинное значение характеристики яи. Полагая распределение оцениваемой характеристики х1 внутри указанного диапазона равномерным, вычисляют точечную оценку 1-го эксперта.
Дисперсия результатов экспертизы и коэффициент вариации определяют по (11.33) и (11.34) соответственно с подстановкой значения хг вместо хг Для уточнения распределения оценок х, внутри диапазона, эксперты должны дополнительно указать наиболее вероятную, по их мнению, оценку характеристики х.