Обработка и анализ ранжировок

При ранжировании эксперт должен расположить оцениваемые элементы в порядке возрастания (убывания) их предпочтительности и приписать каждому из них ранги в виде натуральных чисел. При прямом ранжировании наиболее предпочтительный элемент имеет ранг 1 (иногда 0), а наименее предпочтительный — ранг.
Если эксперт не может осуществить строгое ранжирование из-за того, что, по его мнению, некоторые элементы одинаковы по предпочтительности, то допускается присваивать таким элементам одинаковые ранги. Чтобы обеспечить равенство суммы рангов сумме мест ранжируемых элементов, применяют так называемые стандартизированные ранги. Стандартизированный ранг есть среднее арифметическое номеров элементов в ранжированном ряду, являющихся одинаковыми по предпочтительности.
Пример 9. Эксперт упорядочил шесть элементов по предпочтению следующим образом:
Тогда стандартизированные ранги этих элементов будут
Таким образом, сумма рангов, приписанных элементам, будет равна сумме чисел натурального ряда.
Точность выражения предпочтения путем ранжирования элементов существенно зависит от мощности множества предъявления. Процедура ран-
жирования дает наиболее надежные результаты (по степени близости выявленного предпочтения неистинного»), когда число оцениваемых элементов не более 10. Предельная мощность множества предъявления не должна превосходить 20.
Обработка и анализ ранжировок проводится с целью построения группового отношения предпочтения на основе индивидуальных предпочтений. При этом могут ставиться следующие задачи: а) определение тесноты связи между ранжировками двух экспертов на элементах множества предъявления; б) определение взаимосвязи между двумя элементами по индивидуальным мнениям членов группы относительно различных характеристик этих элементов; в) оценка согласованности мнений экспертов в группе, содержащей более двух экспертов.
В первых двух случаях в качестве меры тесноты связи используется коэффициент ранговой корреляции. В зависимости от того, допускается ли только строгое или нестрогое ранжирование, используется коэффициент ранговой корреляции либо Кендалла, либо Спирмена.
Коэффициент ранговой корреляции Кендалла для задачи а
где т — число элементов; гц — ранг, приписанный первым экспертом *-му элементу; г2* — то же, вторым экспертом.
Для задачи б компоненты (11.5) имеют следующий смысл: т — число характеристик двух оцениваемых элементов; гХ1 (г2*) — ранг I-й характеристики в ранжировке первого (второго) элемента, выставленный группой экспертов.
При строгом ранжировании используется коэффициент ранговой корреляции р Спирмена: компоненты которого имеют тот же смысл, что и в (11.5).
Коэффициенты корреляции (11.5), (11.6) изменяются от —1 до +1. Если коэффициент корреляции равен + 1, то это означает, что ранжировки одинаковы; если он равен —1, то — противоположны (ранжировки обратны друг другу). Равенство коэффициента корреляции нулю означает, что ранжировки линейно независимы (не-коррелированы).
Поскольку при таком подходе (эксперт — «измеритель» ^6 случайной погрешностью) индивидуальные ранжировки рассматриваются как случайные, то возникает задача статистической проверки гипотезы о значимости полученного коэффициента корреляции. В этом случае используют критерий Неймана—Пирсона [2, 68]: задаются уровнем значимости критерия а и, зная законы распределения коэффициента корреляции, определяют пороговое значение са, с которым сравнивают полученное значение коэффициента корреляции. Критическая область — правосторонняя (в практике обычно сначала расчитывают значение критерия и определяют по нему уровень значимости, который сравнивают с пороговым уровнем а).
Коэффициент ранговой корреляции т Кендалла имеет при т > 10 распределение, близкое к нормальному с параметрами: а граница та критической области определяется как корень уравнения
Если вычисленное значение коэффициента х ^ та, то считается, что ранжировки действительно хорошо согласуются. Обычно значение а выбирают в пределах 0,01—0,05. Для т 10 распределение т приведено в табл. 4.
Проверка значимости согласованности двух ранжировок с использованием коэффициента р Спирмена осуществляется в том же порядке с использованием таблиц распределения Стьюдента при т> 10.
В этом случае величина
имеет распределение, хорошо аппроксимируемое распределением Стьюдента [38] с т — 2 степенями свободы. При т > 30 распределение величины р хорошо согласуется с нормальным, имеющим М [р ] = 0 и В [р ]
Для т 10 проверку значимости р осуществляют с помощью табл. 5.
Если ранжировки нестрогие, то коэффициент Спирмена, где к1г к-2 — число различных групп нестрогих рангов в первой и второй ранжировках соответственно; — число одинаковых рангов в 1-й группе. При практическом использовании коэффициентов ранговой корреляции р Спирмена и т Кендалла следует иметь в виду, что коэффициент р обеспечивает более точный результат в смысле минимума дисперсии.
Пример 10. Два эксперта провели ранжирование показателей эффективности ХРг — ЛР4 (см. пример 3). Необходимо установить степень близости мнений экспертов по Спирмену и Кендаллу и оценить значимость коэффициентов ранговой корреляции р, т. Получены следующие результаты экспертизы (прямая нумерация рангов).
Вероятность выполнения неравенства х > ха эквивалентна вероятности события $х > 5а. Поэтому, воспользовавшись табл. 4, определим а = Р (8Х > 8а) = 0,167.
Для иллюстрации задачи определения взаимосвязи между двумя элементами по индивидуальным мнениям группы экспертов приведем следующий пример.
Пример 11. Для решения задач повышения качества продукции и снижения ее себестоимости (см. пример 1 гл. 4), связанных с проблемой повышения рентабельности предприятия, эксперты предложили использовать шесть мероприятий (см. пример 3 гл. 4) и провели их ранжирование с учетом их эффективности по решению каждой из указанных 'задач.
Проверка значимости коэффициента рн при использовании табл. 5 показывает, что а = 0,02. Поэтому на 5 %-ном уровне значимости можно считать, что реализация всех шести мероприятий с высокой степенью (рн = 0,86) обеспечивает одновременное решение двух указанных задач.
Приведенные в примере 11 нестрогие ранжировки мероприятий получены в результате формирования группового мнения экспертов. Групповое мнение можно формировать только тогда, когда индивидуальные предпочтения экспертов хорошо согласуются. Для оценки согласованности мнений в группе применяют два способа. Первый способ основан на вычислении средних значений коэффициентов парной корреляции: где /,  — номера экспертов (/, I = = 1, п); и рн — парные коэффициенты корреляции по Кендаллу и Спирмену соответственно.
Этот способ удобно применять при малом числе п экспертов. В случае полной согласованности мнений экспертов средние значения коэффициентов тир принимают значения, равные 1.
Использование коэффициентов согласия Сд; и Се обеспечивает примерно одинаковые результаты при близких мнениях экспертов. Для вычислений проще использовать коэффициент Ск. Однако, если эксперты в своих мнениях разделились на две подгруппы, дающие противоположные ранжировки, то коэффициент С к обратится в нуль, а Се будет больше 0,5. Таким образом, использование энтропийного коэффициента согласия позволяет достаточно легко установить наличие двух противоположных в своих суждениях подгрупп.
Если в результате анализа выявлено, что согласованность экспертов неудовлетворительна (либо малы значения коэффициентов т, р, С^, СЕ, либо они незначимо отличны от нуля), необходимо произвести содержательный анализ причин расхождения мнений. Ими могут быть: наличие в группе экспертов с оригинальными мнениями (резко отличающимися от мнений остальных), разделение экспертов на несколько групп, придерживающихся своей точки зрения, и др. Одним из методов, позволяющих согласовать мнения или окончательно разделить экспертов на подгруппы, является метод Дельфи.
Проверив согласованность мнений экспертов (в том числе в выделенных подгруппах) и убедившись, что она достаточно высока, формируют групповое мнение. Его осуществляют либо с помощью средних рангов, набранных каждым элементом.
Построение групповой ранжировки по суммарным взвешенным рангам (11.27) при хорошей согласованности экспертов обеспечивает практически одинаковые результаты с решениями задач (11.24) и (11.25).
Построить групповую ранжировку можно с помощью перехода от индивидуальных ранжировок к матрицам попарных сравнений и вычислений собственного вектора. Этот подход более обоснован в теоретическом отношении.