1. Технические спецификации.
· Наименование системы.
· Тип пользователя.
· IT-составляющая (перечень используемых информационных технологий).
· Совместимость с другими программными продуктами.
2. Особенности интерфейса.
· Под особенностями интерфейса подразумеваются как применяемые информационные технологии (например, наличие веб-интерфейса, использование технологии AJAX и т.п.), так и архитектурные особенности (например, наличие каталога решаемых задач, доступность каких-либо сервисов с каждой страницы и т.п.).
3. Методы принятия решений, используемые в СППР. Большинство существующих СППР используют какой-либо один математический метод принятия решений, в основном метод анализа иерархий Томаса Л. Саати. Важнейшим преимуществомСППР является многообразие используемых методов принятия решений, поскольку в этом случае альтернативы оцениваются с позиций различных математических моделей, отражающих отдельные аспекты задачи принятия решения.
4. Особенности ввода исходных данных. Входные данные могут формироваться вручную, подгружаться из внешних источников или копироваться из уже созданных в системе задач. Например, система UTA позволяет только ручной ввод данных. Система SuperDecisions допускает не только ручной ввод данных, но и загрузку из внешних источников. Система ЭСППР предоставляет возможность не только ручного ввода данных, но и копирования данных из уже имеющихся вариантов решения задачи, созданных ранее в системе.
. Особенности представления результата решения задачи. Выходные данные в разных системах формируются с разной степенью детализации. Преимуществом обладают системы, формирующие выходную информацию наиболее детально. Часто решение задачи представляется пользователю в виде отчета, содержащего как исходные данные задачи, так и результат выбора.
В отдельных системах реализован анализ чувствительности результатов, позволяющий проследить, как изменение весов критериев влияет на результат решения задачи.
6. Наличие базы знаний. База знаний - это набор правил для выбора соответствующих методов принятия решений в зависимости от условий задачи принятия решения. Единственной системой, имеющей базу знаний, является ЭСППР.
7. Наличие базы данных. База данных СППР служит для хранения данных, описания задач и методов принятия решений.
. Оценка альтернатив.
· Способы задания множества альтернатив. Множество альтернатив (вариантов решений) может быть конечным, счетным, представлено в виде подмножества n-мерного пространства или задано иным способом. В ЭСППР множество альтернатив может быть конечным или представлено в виде подмножества n-мерного пространства.
· Способы задания предпочтений на множестве альтернатив. Существенным преимуществом обладают системы, предоставляющие возможность выбора различных шкал для задания оценок альтернатив.
Например, в системе Expert Choice (модуль Comparion™ Suite) предусмотрены следующие варианты:
- Pairwise - оценки задаются для каждой пары альтернатив;
- Rating scale - оценки задаются в порядковой шкале;
- Simple utility curve - оценки проставляются на заранее построенной кривой;
- Advanced utility curve - оценки проставляются на заранее построенной кривой с расширенными возможностями;
- Direct Data input - прямой ввод оценок;
- Step function - прямой ввод оценок в интервале от 0 до 1.
· Принципы согласования оценок альтернатив по различным признакам. Принципы согласования оценок альтернатив по различным признакам определяются методами принятия решения, используемыми в СППР. В качестве примера можно привести принцип большинства, принцип Парето, принцип последовательного рассмотрения критериев, принцип Саати.
· Способы задания относительной значимости признаков (критериев). Большинство СППР позволяют задавать относительную зна-чимость признаков экспертно. Кроме того, существуют системы, в которых предусматривается возможность рассчитывать вес признаков, например, SuperDecisions и Expert Choice.
· Проверка согласованности оценок альтернатив по отдельным признакам. Проверка согласованности входных данных позволяет избежать формирования суждений на основе противоречивых оценок. Например, в СППР, основанных на методе анализа иерархий, рассчитывается коэффициент согласованности для всех матриц попарных сравнений. Значение данного коэффициента не должно превышать некоторого установленного уровня. В случае его превышения эксперту рекомендуется пересмотреть сформированные оценки.
9. Возможность согласования оценок альтернатив в различных проблемных ситуациях. Учет условий внешней среды, возможные реализации которых в совокупности задают проблемные ситуации принятия решений, существенно повышает качество аналитического обоснования альтернатив. Единственной СППР, включающей в себя методы принятия решений в условиях риска и неопределенности, является ЭСППР. При этом выделяют:
· принципы согласования оценок альтернатив в различных проблемных ситуациях в условиях неопределенности (принципы Парето, пессимизма, оптимизма, Гурвица, антагонистического игрока, Сэвиджа, Лапласа);
· принципы согласования оценок альтернатив в различных проблемных ситуациях с учетом вероятности их появления (принцип большинства или принцип Байеса).
10. Организация работы с экспертами.
· Возможность привлечения экспертов. Современные СППР обладают возможностью сбора и обработки групповых суждений экспертов. Некоторые системы позволяют присваивать различные роли экспертам, привлекаемым для решения задачи. Например, система Expert Choice (модуль Comparion™ Suite) предусматривает роли администраторов и простых экспертов. Простые эксперты имеют возможность задавать оценки, администраторы - редактировать исходные данные задачи.
· Учет коэффициентов компетентности экспертов. В большинстве случаев предполагается ручной ввод коэффициентов компетентности экспертов.
· Принципы согласования оценок экспертов. Среди таких принципов можно выделить принцип большинства, принцип Парето, расчет среднего геометрического отдельных оценок.
· Оценка согласованности мнений экспертов. Для оценки согласованности мнений экспертов, которые высказывают свои предпочтения в порядковой шкале, может использоваться коэффициент частной ранговой корреляции Кенделла и взвешенное расстояние между предпочтениями экспертов (модификация коэффициента частной ранговой корреляции Спирмена).
ВЫВОДЫ ПО второй ГЛАВЕ
В данной главе были рассмотрены виды современных методов оценки экономической эффективности проектов. Выделена классификация:
) Финансовые (количественные) методы оценки эффективности ИТ-проектов: чистый приведенный доход, индекс рентабельности инвестиций, внутренняя норма доходности, срок окупаемости проекта, экономическая добавленная стоимость, полная стоимость владения,
) Качественные методы: сбалансированная система показателей ИТ, система показателей IT, информационная экономика, управление портфелем активов, совокупный экономический эффект, быстрое экономическое обоснование
) Учетные (статистические): ARR, PP, ROI
Помимо анализа существующих методов оценки экономической эффективности, был рассмотрен метод анализа иерархий и проведен обзор программных средств на его основе.
ГЛАВА
3. РАЗРАБОТКА И АПРОБАЦИЯ МЕТОДИКИ ОЦЕНКИ ЭКОНОМИЧЕСКОЙ ЭФФЕКТИВНОСТИ ПРОЕКТОВ
ВНЕДРЕНИЯ ИНФОРМАЦИОННЫХ СИСТЕМ С ИСПОЛЬЗОВАНИЕМ МЕТОДА «МАИ»
.1 Методика оценки эффективности ИТ- проектов с
использованием метода анализа иерархий
В нынешний период для оценки эффективности инновационных проектов (далее - ИнП) в экономической литературе [6; 4; 7] рекомендовано использовать Методические рекомендации (далее - «Рекомендации») для оценки эффективности инвестиционных проектов [5]. В тексте Рекомендаций [5] какие-либо инструкции в отношении специфических свойств их применения в отношении ИнП отсутствуют. Исключение является единственное указание [5] о высочайших рисках инвестиций в инновации. Очевидно разногласие между необходимостью применения Рекомендаций для оценки привлекательности инвестиций в инновации и отсутствием в этих Рекомендациях каких-либо указаний о специфике экспертизы и оценки эффективности ИнП. Помимо этого, в самих рекомендациях указывается, что «рекомендации обязаны быть приняты в качестве основы для создания нормативно-методических документов по разработке и оценке эффективности отдельных видов инвестиционных проектов, учитывающих их специфику» [5], а «практическое решение задач, возникающих в инвестиционной сфере, естественно, должно опираться на данные «Рекомендации», но воплощаться в соответствующих алгоритмах, которые учитывают уникальность каждого инвестиционного проекта» [5].
Между тем особенностью, уникальностью инновационных проектов представляется их многоцелевая сущность и высокая неопределенность при их реализации.
Многоцелевая оптимизация представляется одним из универсальных и результативных путей разрешения естественных противоречий между применяемыми в моделях инновационных задач критериями. Диалектика складывается из того, что в большинстве случаев нецелесообразно направлять усилия лишь на достижение одной цели, однако следует стремиться к получению достаточно хорошего искомого результата, обеспечивающего достижение некоторой совокупности наиболее важных целей. Такого рода мнения в разрешение проблемы находится в полном соответствии с требованием использования принципов системного подхода.
Многоцелевой подход представляется нужной методической основой для преодоления установленной степени неточности и неполноты исходных данных, используемых для решения оптимизационных планово-экономических инновационных задач.
Практическое осуществление многоцелевого подхода к решению задач в инновационном планировании обеспечит [15]:
) Повышение степени научной обоснованности получаемых решений по внедряемым задачам согласно учета сравнительно большего числа наиболее важных внешних и внутренних факторов, организационно-экономических и финансовых особенностей, а также комплекса требований, обусловленных рыночной экономикой;
) Получение относительно наибольшего экономического эффекта от внедрения в практическую деятельность инновационных за счет реализации принципа синергизма.
Иной важнейшей характерной чертой инновационного процесса представляется его направленность в будущее. Будущее непонятно, и управление протекает в условиях неопределенности сравнительно предстоящего состояния как самой инновации, так и её экономического окружения. Неясность - неизбежное условие хозяйствования. Вероятно, что чем выше новизна, тем выше неопределенность. Неясность порождает риск того, что намеченные цели не будут достигнуты. В следствии этого задача минимизации риска неэффективного управления инновационной деятельностью замыкается на задачу всемерной борьбы с неопределенностью.
В расчетах Рекомендаций никак не учтен учет фактора неточности используемых исходных данных. Установлено, что любые инвестиционные расчеты отличаются значительным уровнем погрешности используемых исходных данных и промежуточной информации. Инновационные проекты владеют еще большей неопределенностью, т.к. абсолютно неизвестна ответная реакция рынка на инновацию. Царев В.В. в работе [15] отмечает: «Достаточно успешным инструментальным средством, способным учесть неточность исходных данных, необходимо признать математический аппарат нечетких множеств. Тем не менее, это требует проведение дополнительных научных исследований».
Кроме учёта неопределенности, математический аппарат теории нечетких множеств даёт возможность формализовать и оперировать качественными критериями, такими как, к напримеру, социальная эффективность. В тех же Рекомендациях декларируется в составе эффективности проекта в целом такой компоненты, как социальная эффективность (в общепринятом понимании это отношение результата к затратам). Тем не менее, ни авторами Рекомендаций, ни другими учеными-экономистами такой системы расчетов пока еще не разработано. Наиболее правильно говорить о возможности определения некоторого социального эффекта, обеспечиваемого инновационным проектом. Тем не менее, получение на расчетной основе его числовой оценки в Рекомендациях также не приводится. Математический аппарат теории нечетких множеств позволяет это сделать.
В отечественной и иностранной литературе имеются методики, которые позволяют проводить оценку эффективности инвестиций в инновации, учитывающие многоцелевую природу и неопределенность при оценке инноваций. Однако все они по тому или иному признаку не годятся для применения в ЦИД республики[1].
В общем, разделим все существующие методики на следующие два класса: 1) методики, учитывающие многокритериальную сущность инноваций, но слабо учитывающие неопределённость, либо вообще не учитывающие её; 2) методики, учитывающие как многокритериальную сущность инноваций, так и неопределенность с использованием теории нечетких множеств, но в силу некоторых других причин, которые буду рассмотрены ниже, не подходят для ЦИД республики.
К первой группе можно отнести методику, предложенную в работе К.Тышкевич[2] [14], методику STAR[3], методику закрепленных шкал IRI[4] [2] и т.д. В методиках данной группы строятся различные системы критериев, по ним производится оценка инноваций, затем полученные результаты различными методами сворачиваются в единый результат. Для учета неопределенности в данных методиках используются стохастические методы, интервальные методы и др. Именно в силу недостаточной проработки вопроса по учету неопределенности, данные методики не подходят для применения в ЦИД.
Ко второй группе можно отнести методику, основанную на лингвистической аппроксимации, предложенную в работе [12]. Идея, лежащая в основе данной методики, заключается в формализации причинно-следственных связей между переменными <вход-выход>, в описании этих связей на естественном языке с применением теории нечетких множеств и лингвистических переменных. Но для построения нечетких баз знаний, используемых в подобных методиках, требуется обширный статистический материал, который не всегда имеется.
Предложенное разделение методик является условным и рассмотрено для понимания проблемы и предложения новой методики, основанной на методе анализа иерархий и теории нечетких множеств.
Предлагаемая методика состоит из трех этапов.
На первом этапе необходимо провести предварительную экспертизу (ПЭ) проектов. Целью ПЭ является отсев явно бесперспективных проектов, для того чтобы на следующем, оценочном этапе, экспертам не пришлось оценивать бесперспективные инновации. В качестве примера можно привести критерии, разработанные для ОАО » Инновационно-производственный технопарк «Идея»[5]:
) возможность защиты интеллектуальных прав;
) простой срок окупаемости проекта не должен превышать три года;
) уровень новизны проекта;
) техническая возможность реализации проекта;
) возможность эффективной коммерческой реализации проекта.
По первому критерию предлагается оценивать проекты на возможность защиты прав на интеллектуальную собственность в соответствии с [8, 9, 10]. Если инновация не подпадает под определения «изобретение», «полезная модель», «промышленный образец» в соответствии с указанными нормативными актами, то от дальнейшего рассмотрения такой проект отклоняется.