Техническая документация

В экспертную группу следует включать высококвалифицированных специалистов по оцениваемой продукции (исследователей, проектировщиков, технологов, специалистов из служб качества и надежности и т. д.). Численно группа должна быть 7—12 человек. При необходимости увеличения достоверности экспертных оценок численный состав группы следует увеличить до 15—20 человек в зависимости от сложности продукции и сложности решаемых вопросов. Состав группы утверждается соответствующим приказом или распоряжением по учреждению, в котором оговариваются конкретные цели работы, состав группы и ее руководитель, сроки начала и окончания работы. Для эффективной и качественной работы такую группу формируют как постоянно действующий орган с постоянным составом основного ряда группы. Эксперты должны быть заинтересованы в результатах экспертизы, обладать коммуникабельностью при общении с людьми, а также они должны быть способны противостоять мнению большинства, т. е. быть уверенными в своей правоте и мотивировать свои мнения.
В состав документации экспертного опроса входят опросные анкеты, сопроводительные письма и объяснительные записки. В опросных анкетах идентифицируются конкретные объекты исследования. В сопроводительных письмах излагаются основные цели экспертных исследований и их основные положения. В объяснительных записках подробно излагаются методики работы с опросными анкетами.
Процедуры опроса экспертов и статистическая обработка результатов экспертиз. В практических задачах анализа, оценки и управления качеством, в которых используются экспертные методы, обычно стараются иметь дело с конкретными количественными признаками, являющимися измерителями показателей качества. Обычно экспертам предлагается первая опросная анкета, в которой каждому из п экспертов предлагается написать перечень признаков, характеризующих, по их мнению, конкретный объект (изделие, технологический процесс, комплексный показатель качества изделия или технологического процесса и т. д.).
Затем экспертам предлагается вторая анкета, где количественные признаки должны быть проранжированы по их значимости. Если по мнению экспертов ряд признаков не различается по силе их влияния на исследуемый объект, то им присваивается один и тот же порядковый номер (ранг).
На основании этих данных составляется итоговая матрица рангов.
На основании данных табл. 13 техническими работниками проводится оценка степени согласованности (взаимосвязи) опрошенных экспертов. Необходимость в проведении такой процедуры обусловливается двумя основными моментами: во-первых, в силу индивидуальных особенностей каждого эксперта, уровня его знаний и представлений об объекте признаки могут быть истолкованы далеко неоднозначно; во-вторых, ранжирование признаков может быть произведено не квалифицированно из-за недостаточной изученности объекта.
Оценка степени согласованности экспертных мнений может быть осуществлена с помощью коэффициента конкордации. Если в матрице рангов.
При полном совпадении мнений экспертов 47 = 1, а при полном несовпадении 47 = 0. В практических ситуациях 0 < 47 С 1. При близости коэффициента конкордации к нулю (47 = ----- 0,05ч-0,10) следует сделать заключение о том, что состав экспертов подобран неудачно или объект изучен недостаточно полно. И, наоборот, при 47, близком к единице (47 ;> 0,9), может оказаться, что экспертиза проведена формально без должного изучения объекта. В обеих указанных случаях экспертизу следует повторить. Значимость (отличие) коэффициента конкордации 47 от нуля может быть проверена по г-критерию Фишера:
Если г га, то с вероятностью (1 — а) (а — уровень значимости критерия) можно утверждать, что имеется неслучайная согласованность во мнениях экспертов. В этом случае г находится по формуле (41), а га — с помощью статистических таблиц. Исходными данными для получения га являются уровень значимости г-критерия а, который обычно берется равной.
Если г< га, то с вероятностью Р 1 — а можно утверждать, что между экспертами нет согласованности и необходимо провести новое анкетирование или выявить группу экспертов, у которых согласованность мнений достаточно высокая. С этой целью один эксперт исключается из совокупности и подсчитывается коэффициент 47г для оставшихся экспертов. Если 47г > > 47, то данный эксперт исключается из совокупности. Такие расчеты проводятся для каждого эксперта. В результате расчетов степень согласованности мнений экспертов, оставшихся в совокупности, повышается.
Далее оценивается различие во влиянии исследуемых признаков и существенность влияния выбранных для анализа признаков. Для такой оценки может быть использован математический аппарат дисперсионного анализа. Значение ранга состоит из трех независимых частей: результата, который принадлежит данному эксперту, результата, который принадлежит данному признаку, и остатка, распределение которого обычно близко к нормальному закону со средним значением, равным нулю, и дисперсией, отличной от нуля.
Если величина г, вычисляемая по формуле (46) с учетом соотношений (44) и (45), больше или равна га, которая берется из таблиц (при а = = 0,05 значения га могут быть взяты из табл. 14), то с вероятностью Р > !> 1 — а можно утверждать, что разница в значениях дисперсий и ^ост статистически значима, т. е. различие во влиянии исследуемых признаков велико и влияние выбранных для анализа признаков существенно. Если г < га, то с вероятностью Р ^ 1 — а можно утверждать, что различие в значениях дисперсий 5? и $2СТ несущественно, т. е. различие во влиянии исследуемых признаков незначительно и влияние выбранных для анализа признаков незначимо. В этом случае необходимо расширить комплекс признаков и провести новое анкетирование.
При проведении статистического анализа необходимо оценить существенность различий в распределениях признаков для определения структуры влияния признаков на исследуемый объект. Признаки, имеющие несущественное различие в распределениях, относятся по степени влияния к одной группе. В практических расчетах и исследованиях качества изделий оценку существенности различий в распределениях можно заменить оценкой различия в средних значениях рангов, т. е. признаки, имеющие несущественное различие в средних значениях рангов, относятся к одной группе и по средней степени влияния не различаются.
Однако наиболее полную картину по структуре влияния признаков дает сочетание обоих методов. Если различия в распределениях признаков существенны, то следует проверить различие в средних значениях рангов признаков.
Ранги по каждому из признаков образуют случайные выборки, каждая из которых имеет свою среднюю хи среднее квадратическое отклонение.
Значимость различия средних значений рангов между признаками определяют по критерию Стьюдента путем последовательного сравнения средних значений рангов признаков.
Типовой пример проведения экспертизы. Пусть опрошено 12 экспертов о степени влияния некоторых определяющих параметров (количественных признаков) на показатель качества продукции. Экспертами были выбраны восемь количественных признаков. Результирующая опросная матрица представлена табл. 16.
Порядок проведения экспертизы следующий. 1. По данным табл. 16 определяющие факторы (признаки) ранжируются следующим образом.
По этим данным можно заключить, что на исследуемый показатель качества продукции наибольшее влияние оказывает признак х3, а наименьшее — признак х8.
2.            Проведем оценку степени согласованности экспертов с использованием коэффициента конкордации, рассчитываемого по формуле (37), так как в матрице рангов имеются равные значения рангов для различных признаков у одного и того же эксперта. Определим по формуле (40) Т* (1 = = 1712), а 5 —по (38).
У первого эксперта ранг 8 встречается 2 раза. В этом случае
При уровне значимости а = 0,05 для V! = 7 и “У2 = 75 по табл. 14 найдем, что га = 0,35.
Поскольку полученное г = 0,93 больше га = 0,35, то с вероятностью Р > 0,95 можно утверждать, что о силе влияния на рассматриваемый показатель качества выбранных количественных признаков между экспертами имеет место неслучайное согласие.
4. Оценим различия во влиянии признаков на показатель качества и существенность этого влияния.
Предварительно определим средние значения рангов по признакам:
По ранее вычисленным числам степеней свободы V! = 7 и = 75, при а = 0,05 по табл. 14 найдем га = 0,35.
Поскольку г > га, то с вероятностью Р 0,95 можно утверждать, что различие во влиянии исследуемых признаков статистически значимо, а влияние выбранных признаков на показатель качества существенно.
5. Определим структуру влияния признаков, т. е. влияние каждого признака на показатель качества. Группы признаков будем находить в средних значениях рангов между признаками. С этой целью найдем средние квадратические отклонения признаков по формуле (48). В итоге получим:
Наиболее высокую среднюю оценку эксперты дали признаку х8 с хв = = 6,67 и58= 1,3. Далее по величине следует х7 с х1 = 5,0 и 37 = 2,18. Пусть получено Ч-х, = °.72;  = 2,32=22.
Тогда с помощью табл. 15 при а = = 0,05 V = 22 найдем 1а = 1,72. Поскольку I — 2,32 >/а = 1,72, то с вероятностью Р ^ 0,95 можно утверждать, что различие в средних значениях признаков хв и х1 статистически значимо, поскольку параметры хв и х7 следует отнести по средней степени влияния к различным группам.
Из сравнения вычисленных значений х —х с 05= можно выделить следующие группы признаков: хв, х4, х2, хг; хъ, хх\ х3. В результате получили, что признак хг относится одновременно к двум группам. Однако из сравнения величин и 1х2—хг более предпочтительно отнести параметр той группе, где находится параметр хъ. Тогда окончательная структура влияния признаков на показатель качества продукции будет следующая: хь — первая группа; х7, хв, х4, х2 — вторая группа; хь, хх — третья группа; Хз — четвертая группа.
На основании проведенного статистического анализа экспертных мнений по степени влияния признаков на некоторый показатель качества признаки следует расположить следующим образом.
В целом проведенный анализ на основе экспертных мнений позволил в первом приближении выявить наиболее существенные факторы (признаки), влияющие на показатель качества продукции. Уточненный такой анализ при необходимости можно осуществить более строгими методами, например, с использованием регрессионного анализа.
Типичные задачи, решаемые, экспертными методами. Построение структурной схемы показателей качества продукции. Выполнение работы, связанной с построением структурной схемы показателей качества продукции, требует от экспертов высоких профессиональных знаний и информированности. Обычно для облегчения работы и повышения ее эффективности экспертам предлагается определить только перечень показателей качества и затем объединить их в соответствующие группы. Каждому эксперту предлагается соответствующая анкета для ее заполнения, а также пояснительная записка, в которой содержится методика работы. Эксперты заполняют анкеты и представляют их в рабочую группу, которая составляет общий перечень показателей качества и рассосредотачивает их по группам. На основе составленного перечня показателей качества строится соответствующая иерархическая структурная схема показателей. Пример такой структуры представлен на рис. 4.
Показатель качества для продукции в целом располагается на самом верхнем уровне иерархической структуры показателей и составляет нулевой уровень иерархии, затем следуют показатели 1-го, 2-го уровня и т. д.
При построений иерархической структурной схемы показателей качества представляется целесообразным придерживаться таких правил: признак, по которому данный показатель качества подразделяется на составные показатели последующих уровней, должен быть одним и тем же;
количество показателей в однородной группе не должно превышать 6—7 единиц, так как при большем числе эксперты не могут достаточно объективно оценить их коэффициенты весомости;
не следует повторять показатели качества на различных уровнях иерархии, поскольку при экспертных оценках коэффициенты весомости таких показателей тем самым завышаются;
количество показателей в соответствующих группах одного, уровня иерархии не должно существенно отличаться, поскольку это искажает значения коэффициентов весомости таких показателей в сторону занижения.
Определение коэффициентов весомости показателей качества. При определении экспертными методами коэффициентов весомости показателей качества различного уровня иерархии следует руководствоваться следующими достаточно устоявшимися правилами.
Ранжирование показателей осуществляется при их числе в группе, начиная с четырех и более. При этом наиболее важному показателю принято присваивать ранг 1, следующему по важности — ранг 2 и т. д. Если по мнению экспертов весомости двух или нескольких показателей имеют несущественное различие, то им присваивают один и тот же ранг. При числе показателей в группе, меньшем четырех, их ранжирование проводить не принято. Для показателей, который имеет ранг 1, принято присваивать коэффициент весомости 10. При определении экспертами коэффициентов весомости обычно используется ряд чисел от 10 до 0 с интервалом 0,5. Сначала эксперты устанавливают коэффициенты весомости для единичных показателей, а затем для комплексных.
Примерный вид анкеты, которую экспертам предлагается заполнить при ранжировании показателей качества, представлен в табл. 17.
Каждому эксперту необходимо познакомиться с мнениями других экспертов и их соответствующими обоснованиями. После этого эксперты осуществляют корректировку назначенных коэффициентов весомости показателей качества, если они сочтут это целесообразным. Окончательно установленные экспертами значения коэффициентов весомости нормируются по следующим формулам: (в примере, представленном табл. 17, 1-е показатели расположены на втором уровне иерархии) по отношению к соответствующему к-му показателю (на первом уровне иерархии применительно к табл. 17), определенного /-м экспертом; 6,-^у — абсолютное значение коэффициента весомости г-го показателя, назначенного /-м экспертом; д®0]- — нормированное
значение коэффициента весомости к-го показателя качества по отношению к суммарному значению качества продукции (нулевой уровень иерархии применительно к табл. 17), назначенного /-м экспертом; — абсолютное значение коэффициента весомости к-го показателя по мнению /-го эксперта;
I = \, N—число показателей входящих в к-й показатель качества;
к = 1, М\ М — число показателей качества 1-го уровня, определяющих качество продукции в целом. В итоге имеем.
В практических ситуациях принято считать, что при V ^0,10 — согласованность высокая; при V = 0,11ч-0,15 — согласованность выше средней; при V = 0,164-0,25 — согласованность средняя; при V — 0,264-0,35 — согласованность ниже средней; при V > 0,35 — согласованность низкая.
При V > 0,35 экспертизу следует повторить. Рекомендуется предварительно выяснить причины низкой согласованности мнений экспертов. Для оценки согласованности мнений группы экспертов следует использовать коэффициент конкордации. Методика проведения экспертизы с применением коэффициента конкордации была рассмотрена выше.
Определение комплексных показателей качества продукции. При определении экспертными методами комплексных показателей качества необходимо иметь исходные данные о численных значениях единичных показателей по различным уровням иерархии применительно к конкретному образцу продукции. Исходные данные должны содержать сведения об условиях эксплуатации продукции и основные требования, предъявляемые к показателям качества оцениваемого изделия и базового образца.
Комплексные показатели, определяемые с помощью экспертиз, формируются посредством двух основных методов: экспресс-методом и методом движения по уровням. Сущность первого метода заключается в формировании комплексного показателя качества по имеющимся численным значениям отдельных показателей качества. При использовании этого метода эксперты оценивают взаимосвязь между показателями и их коэффициентами весомости на основе соответствующего опыта экспертов и их интуиции. Экспресс-метод достаточно эффективен лишь при сравнительно небольшом числе отдельных показателей, число которых не должно превышать 7 единиц. Причем эти показатели располагаются на одном уровне иерархии.
Сущность метода движения по уровням заключается в том, что эксперт сначала оценивает показатели самого низшего уровня, а затем последовательно переходит к последующим уровням иерархии. Последним уровнем является обобщенный показатель качества.
Аттестация качества продукции. Основная задача аттестации продукции состоит в том, чтобы на основании сложившихся мнений экспертов отнести рассматриваемую продукцию к одной из двух категорий качества: высшей и первой. При этом наиболее часто решение об отнесении оцениваемой продукции к одной из категорий качества базируется на методе комиссий (см. рис. 2). Решение обычно принимается простым голосованием. Причем продукция относится к той или иной категории качества, если за нее проголосовало не менее 2/з всего состава экспертов.