О выработке экономических решений на основе экспертных оценок
Кошелев И.В.
аспирант кафедры статистики, Пятигорский филиал Российского государственного торгово-экономического университета
Кошелева Т.М.
кандидат философских наук, доцент, заместитель директора
Пятигорского филиала Российского государственного торгово-экономического университета
Для принятия обоснованных экономических решений необходимо опираться на опыт, знания и интуицию специалистов. Техническая революция ХХ века настолько повысила уровень энерговооруженности лиц, принимающих решение и исполнителей, что ошибки от неверно принятых решений могут привести не только к экономической катастрофе для отдельного предпринимателя, но даже и к глобальной катастрофе для человечества (2). Термин «эксперт» происходит от латинского слова expert - «опытный». Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения. Для проведения работы по методу экспертных оценок создают Рабочую группу (РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
Организация работы экспертной комиссии зависит от ответа на вопрос - что должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения. Если цель рабочей группы - сбор информации для ЛПР, то РГ должна собрать возможно больше аргументов "за" и "против" определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов, заключающийся в следующем. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту и т.д. Процедура заканчивается, когда иссякает поток новых соображений.
Существенно, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов. Если же цель рабочей группы - подготовка проекта решения для ЛПР, то обычно применяются математические методы. В этом случае специалисты в данной области советуют критически относится к догмам согласованности и одномерности (1).
Принимая догму согласованности, считают, что решение может быть принято лишь на основе единого (или почти единого) мнения экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. В этом случае следует выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого есть риск пренебречь их мнением, некритично принимая догму согласованности. Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так. Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой ценой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее понравившейся Рабочей группе (или даже "подсказанной" ЛПР).
Поскольку число экспертов обычно не превышает двадцати-тридцати, то формальная статистическая согласованность мнений экспертов может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена (3), то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, существует опасность прийти к заблуждению, вытекающему из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. С целью искусственно добиться согласованности иногда стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства.
Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов. В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.
Сторонниками догмы одномерности распространен довольно примитивный подход так называемой "квалиметрии", согласно которому объект всегда можно оценить одним числом. Каждый объект почти всегда можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:
расход бензина на 100 км пути (в среднем);
надежность (средняя стоимость ремонта за год);
быстрота набора скорости 100 км/час после начала движения;
максимальная достигаемая скорость;
длительность сохранения в салоне положительной температуры при наружной температуре ( - 50 градусов) при выключенном двигателе;
вес, и т.д.
Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, скорее всего, не имеет большого практического значения для водителя рядовой частной машины. Для такого водителя важнее расход бензина и надежность. Для машин различных служб государственного управления надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов страны - нет.
Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Если такой постановки нет, тогда попытки разработать обобщенный показатель качества не имеют объективного характера. В недавние времена они использовались для создания впечатления о высоком качестве отечественной продукции. Например, чтобы показать, что западные машины не морозоустойчивые, можно подобрать нужным образом коэффициенты в линейной функции от показателей качества, а именно, занижая те, по которым западные машины лучше (вес и др.) и завышая те, по которым лучше отечественные (морозоустойчивость). Но рыночные отношения не считаются с подобными выводами.
Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д. (8). В некоторых случаях всё-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно подобрать коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (7). Наоборот, в подобных случаях не следует оценивать указанные коэффициенты с помощью экспертов. Эта идея до сих пор является спорной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они стараются заставить экспертов делать то, что они выполнить зачастую не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Если организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности.
Выделяют следующие стадии проведения экспертного опроса:
1) формулировка лицом, принимающим решения, цели экспертного опроса;
2) подбор ЛПР основного состава Рабочей группы;
3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса;
4) разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации (вычисление медианы Кемени, статистический анализ парных сравнений и иные методы статистики объектов нечисловой природы и других разделов прикладной статистики);
5) подбор экспертов в соответствии с их компетентностью;
6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);
7) проведение сбора экспертной информации;
8) анализ экспертной информации;
9) при наличии нескольких туров - повторение двух предыдущих этапов;
10) интерпретация полученных результатов и подготовка заключения для ЛПР;
11) официальное окончание деятельности РГ.
На рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу.
Теория и практика экспертных оценок весьма математизированы. Можно выделить две взаимосвязанные ветви - математические модели поведения экспертов и математико-статистические методы анализа экспертных оценок. Модели поведения экспертов обычно основаны на предположении, что эксперты оценивают интересующий ЛПР параметр (например, ранжировку образцов изделий по конкурентоспособности) с некоторыми ошибками, т.е. эксперта рассматривают как особого рода прибор с присущими ему метрологическими характеристиками. Оценки группы экспертов рассматривают как совокупность независимых одинаково распределенных случайных величин со значениями в соответствующем пространстве объектов числовой или нечисловой природы. Обычно предполагается, что эксперт чаще выбирает правильное решение (т.е. адекватное реальности), чем неправильное. В математических моделях это выражается в том, что плотность распределения случайной величины - ответа эксперта монотонно убывает с увеличением расстояния от центра распределения - истинного значения параметра.
На математических моделях поведения экспертов основаны методы планирования экспертного опроса, сбора и анализа ответов экспертов. Очевидно, чем больше предположений заложено в модель, тем больше выводов можно сделать на основе экспертных оценок, рассматриваемых как статистические данные - и тем менее обоснованными являются эти выводы, если нет оснований для принятия используемой модели. Триада моделей поведения экспертов - параметрическая модель - непараметрическая модель - модель анализа данных.
Параметрическим моделям соответствуют наиболее сильные предположения, проверить которые обычно не удается. Так, следует обратить внимание на то, что обычно невозможно обосновать нормальность распределения ответов экспертов. Дополнительным фактором является ограниченность числа экспертов - обычно не более десяти-тридцати, что делает невозможным надежную проверку нормальности.
Непараметрические модели экспертных оценок опираются лишь на предположения общего характера о возможности вероятностно-статистического описания поведения экспертов с помощью непрерывных функций распределения, параметрами для которых служат нечеткие множества - вектор вероятностей ответов "да". Поэтому во многих ситуациях такие модели представляются адекватными.
Под моделями анализа данных здесь понимаются модели, не использующие вероятностные соображения. Очевидно, они наиболее адекватны и защищены от критики, поскольку не претендуют на выход на пределы имеющихся данных, не предполагают построения и обоснования какой-либо вероятностно-статистической модели реального явления или процесса. Однако с их помощью, очевидно, нельзя сделать никаких заключений о будущих аналогичных ситуациях. Но если учитывать, что экспертные опросы часто проводятся ради обоснования поведения в будущем, то можно прийти к выводу: методы и модели анализа данных - наиболее обоснованные и наиболее бесполезные.