Следовательно, без вероятностных моделей в ряде задач не обойтись. Поскольку параметрические модели обычно невозможно обосновать, остается использовать непараметрические.
Можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок:
1. Проверка согласованности мнений экспертов.
2. Классификация экспертов, если нет согласованности
3. Усреднение мнений экспертов внутри согласованной группы.
Поскольку ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы (4).
Почему ответы экспертов носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Поэтому ответ от эксперта в форме числа - в ряде случаев непосильная для него задача. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного (т.е. определяемого произвольно принятыми соглашениями) характера балансовой прибыли, амортизационных отчислений и других экономических показателей (6). Эксперт легко может сравнить два объекта, дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может сказать, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физических измерений. В случае произвольности оцифровки выводы, полученные в результате обработки данных, могут не иметь отношения к реальности. С позиций репрезентативной теории измерений (5) следует применять алгоритмы анализа данных, результаты работы которых не меняются при допустимом преобразовании шкалы.
Метод ранжирования представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов. Рассмотрим эти варианты. Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательность a1 > а2 > ... >аN. где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов и т.д. Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок. Для этого отношения доказано существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства >. Это означает, что упорядочению объектов соответствует упорядочение чисел х1 >... > хN, где хi.=ц (аi). Возможна и обратная последовательность х1, <... < хN, в которой наиболее предпочтительному объекту приписывается наименьшее число и по мере убывания предпочтения объектам приписываются большие числа.
Соответствие перечисленных последовательностей, т.е. их гомоморфизм, можно осуществить, выбирая любые числовые представления. Единственным ограничением является монотонность преобразования. Следовательно, допустимое преобразование при переходе от одного числового представления к другому должно обладать свойством монотонности. Таким свойством допустимого преобразования обладает шкала порядков, поэтому ранжирование объектов есть измерение в порядковой шкале.
В практике ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел:
х1=ц (аi)=1, х2 = ц (а2)=2,..., хN= ц (аN)=М
т.е. используется числовая последовательность. Числах, х1, х2,…, хN в этом случае называются рангами и обычно обозначаются буквами r1, r2,…, rN Применение строгих численных отношений «больше» (>), «меньше» (<) или «равно» (=) не всегда позволяет установить порядок между объектами. Поэтому наряду с ними используются отношения для определения большей или меньшей степени какого-то качественного признака (отношения частичного порядка, например полезности), отношения типа «более предпочтительно» (>), «менее предпочтительно» (<), «равноценно» (=) или «безразлично» (~). Упорядочение объектов при этом может иметь, например, следующий вид:
а1>,а2>,а3 ? а4 ? а5>,а6>…> aN-1 ? aN
Такое упорядочение образует нестрогий линейный порядок.
Для отношения нестрогого линейного порядка доказано существование числовой системы с отношениями неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для нестрогого линейного порядка связаны между собой монотонным преобразованием. Следовательно, ранжирование при условии наличия эквивалентных объектов представляет собой измерение также в порядковой шкале.
В практике ранжирования объектов, между которыми допускаются отношения как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом. Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности - ранг, равный двум, и т.д. Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами. Для приведенного примера упорядочения на основе нестрогого линейного порядка при N = 10 ранги объектов a3, a4, a5 будут равными r3 = r4 = r5 = (3+4+5) / 3 = 4.
В этом же примере ранги объектов а9, а10 также одинаковы и равны среднеарифметическому r9 = r10 = (9+10) / 2 = 9,5. Связанные ранги могут оказаться дробными числами. Удобство использования связанных рангов заключается в том, что сумма рангов N объектов равна сумме натуральных чисел от единицы до N. При этом любые комбинации связанных рангов не изменяют эту сумму. Данное обстоятельство существенно упрощает обработку результатов ранжирования при групповой экспертной оценке. При групповом ранжировании каждый S-й эксперт присваивает каждому i-му объекту ранг riS. В результате проведения экспертизы получается матрица рангов | | riS | | размерности Nk, где k - число экспертов; N - число объектов; S = ; i = . Результаты группового экспертного ранжирования удобно представить в виде таблицы.
При этом в таблице вместо экспертов в соответствующих графах указываются показатели. Напомним, что ранги объектов определяют только порядок расположения объектов по показателям сравнения. Ранги как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим.
Достоинство ранжирования как метода экспертного измерения - простота осуществления процедур, не требующая трудоемкого обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов, большем 10-15, эксперты затрудняются в построении ранжировки. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов количество связей между ними растет пропорционально квадрату числа объектов. Сохранение в памяти и анализ большой совокупности взаимосвязей между объектами ограничиваются психологическими возможностями человека. Психология утверждает, что оперативная память человека позволяет оперировать в среднем не более чем 7 ± 2 объектами одновременно. Поэтому при ранжировании большого числа объектов эксперты могут допускать существенные ошибки.
При балльном оценивании эксперт должен каждому элементу из множества предъявления приписать соответствующее число (балл), которое отражает субъективное мнение эксперта о предпочтительности, ценности, важности этого элемента. Указанные числа выбираются из специальной балльной шкалы. В зависимости от полноты и качества исходной информации, сложности и новизны проблемы и других обстоятельств балльное оценивание можно рассматривать как измерение в порядковой или интервальной шкале. Если при оценивании эксперт руководствуется достаточно четко сформулированными правилами или установленными эталонами, то полученные балльные оценки можно рассматривать как результаты измерения в интервальной шкале или как измерения реальных значений с погрешностями. Из этого можно сделать вывод о том, что чем точнее правила выставления баллов или чем точнее описаны эталоны, тем меньше дисперсия измерения и выше надежность балльных оценок.
Таковы, например, правила оценивания достижений в некоторых видах спорта, правила, определяющие порядок категорирования аппаратуры по результатам контрольных измерений и сравнения с показаниями эталонных приборов и т. п. Если не существует четко сформулированных правил оценивания элементов (или нет единого эталона), субъективным отражением которых являются балльные оценки, то балльные оценки следует рассматривать как оценки, имеющие порядковую шкалу. Примерами таких оценок являются балльные оценки знаний по предметам обучения, оценки, выставляемые при попарном сравнении целей операции по важности, стратегий по предпочтительности. Кроме того, в практике для выражения предпочтений часто оказывается полезным сначала произвести балльное оценивание элементов множества предъявления, а затем, ориентируясь на величины баллов, получить искомую ранжировку. Перевод балльных оценок элементов в ранги осуществляется по следующему правилу (используется прямое ранжирование):
b1, b2,…,bm r1, r2,…, rm
где bj - балл, присвоенный элементу с номером j;
rj, - ранг элемента, имеющего номер j.
При необходимости полученные ранги г, переводят в стандартизованные. Стандартизованные ранги исследуются методами обработки и анализа ранжировок. Если правила назначения баллов достаточно строгие, а их шкала непрерывна или имеет большое число градаций, то балльные оценки рассматривают как количественную меру выражения предпочтения эксперта (интервальная шкала). Дальнейшую их обработку проводят методами математической статистики в предположении, что разница в ответах экспертов объясняется лишь случайной ошибкой, накладывающейся на "истинное" значение ценности элемента. Таким образом, балльные оценки в смысле выбора подхода к их обработке и анализу должны рассматриваться как имеющие промежуточную шкалу между качественной и количественной. Именно поэтому обработку и анализ экспертных суждений, выраженных в балльных шкалах, обычно осуществляют комбинированным медом - вначале их обрабатывают как оценки в качественной, а затем - как в количественной шкале. Если результаты обработки балльных оценок двумя указанными способами оказываются хорошо согласованными, то обоснованность группового мнения будет велика.
Пусть в результате опроса экспертной группы, состоящей из п членов, получены балльные оценки bij для всех элементов множества предъявления, где bij -балл, присвоенный j-му элементу i-м экспертом. Будем считать, что балльные оценки имеют количественную шкалу, которая либо непрерывна, либо имеет большое число градаций. Каждому элементу множества предъявления поставим в соответствие средний балл, определяемый как среднее арифметическое балльных оценок экспертов по рассматриваемому элементу:
(1)
Эти оценки принимаются в качестве групповых.
Степень согласованности экспертов оценивается либо дисперсиями индивидуальных балльных оценок:
(2)
либо коэффициентами вариации, если балльные оценки положительны. Коэффициенты вариации вычисляются следующим образом:
(3)
При использовании коэффициентов вариации согласованность мнений экспертов считается хорошей, если все Vj < 0,2, и удовлетворительной, если все Vj < 0,3.
Если при проведении экспертизы каждый эксперт должен дать непосредственную оценку некоторой характеристики х элемента (например, указать вероятность наступления некоторого события, срок его возможного наступления, оценить затраты или другие какие-либо параметры), то это эквивалентно заданию соответствия: характеристика элемента - точка на числовой оси. В результате обработки таких точечных оценок могут быть получены показатели среднего по группе результата
(4)
дисперсии результата
(5)
вариации
(6)
где хi, - точечная оценка характеристики х, данная i-м экспертом, Хcp> 0. экономический эксперт ранжирование
Статистическая оценка полученных результатов позволяет не только определить интервал достоверных значений оцениваемой характеристики, но и определить противоречивость суждений конкретного эксперта.
Для определения интервала достоверных значений используют методы интервального оценивания. Для симметричного закона распределения случайной величины (значения оценки) доверительный интервал (Хcp - е, Хcp + е) можно определить, воспользовавшись следующим отношением:
Р(|х-хист|< е)=б (7)
где хист - "истинное" значение оцениваемой характеристики;
е - половина длины доверительного интервала;
б - доверительная вероятность (обычно 0,9...0,99).
При числе экспертов в группе n > 30 распределение оценки обычно принимают нормальным и для определения вероятности (7) используют таблицы нормального распределения. В противном случае величина а в выражении (7) определяется с помощью таблиц распределения Стьюдента.
Для выявления противоречивости в суждениях экспертов наиболее удаленные от среднего Хcp оценки х проверяют следующим образом. Если проверяемая оценка Хб существенно превышает среднее значение Хcp, то с использованием в общем случае таблиц распределения Стьюдента вычисляют вероятность
(8)
(9)
Оценка эксперта считается противоречивой, если полученное значение q меньше порогового значения, обычно выбираемого из диапазона (0,05... 0,1).