2
4
Рис. 7. Метод наделения нейронов "чувством справедливости"
Независимо от количества классов наилучшие результаты были получены с использованием алгоритма наделения нейронов "чувством справедливости" (рис. 7). Он лишен недостатков предыдущих методов и превосходит их по быстродействию. Единственный недостаток данного метода заключается в подстройке из формулы (12) в зависимости от количества нейронов, участвующих в обучении. Значение , рекомендуемое автором в работе [20], эффективно только для большого количества нейронов.
Таким образом, наиболее эффективным методом обучения оказался метод наделения нейрона "чувством справедливости", но данный метод, как и другие вышеперечисленные, требует заранее заданного количества классов, на которые требуется разбить обучающее множество. Поскольку описанные выше методы не содержат в себе алгоритма автоматического определения количества классов, автором статьи был разработан другой метод обучения, который заключается в последовательном добавлении нейронов в слой Кохонена.
3. Конструктивный метод обучения
Конструктивный метод обучения строится по следующему алгоритму: на начальном этапе обучения слой Кохонена состоит из одного нейрона, при подаче первого обучающего вектора весам нейрона присваиваются его значения. При подаче следующего обучающего вектора рассчитывается евклидово расстояние до всех нейронов в слое Кохонена по формуле
(14)
где
(15)
Если удовлетворяет условию
(16)
то происходит обучение данного нейрона, которое осуществляется по формуле (1). В неравенстве (16) - это количество входов сети, а - радиус чувствительности нейрона, задаваемый в пределах (0,1). Если входной вектор не удовлетворяет условию (16), т.е. не принадлежит ни одному из классов, то добавляется новый нейрон, веса которого инициализируются значениями входного вектора.
2
4
Рис 8. Работа алгоритма конструктивного обучения сети Кохонена при радиусе чувствительности равном 0.7, 0.5, 0.15
По сути, в условии (16) - это не что иное, как евклидово расстояние, для которого ошибка из формулы (15) является максимальной. Поскольку входной вектор нормирован в пределах (0,1), максимальное значение ошибки равно единице. Подставив это значение в формулу (14) получим
(17)
Результат работы алгоритма конструктивного обучения сети Кохонена приведен на рис. 8. Данный метод не только не уступает методу наделения нейронов "чувством справедливости", но даже превосходит его по быстродействию на 20%.
Заключение
На численном примере показано, что при использовании нормализации входного вектора посредством приведения его к вектору с нулевым средним значением и единичной дисперсией, а также с помощью деления каждой компоненты входного вектора на его длину теряется структура входных данных, и в дальнейшем обучение сети не представляется целесообразным. Поэтому для нормализации входных данных рекомендуется использовать масштабирование в пределах (0,1).
Для проведения кластеризации с заданным числом классов наилучший результат показал метод наделения нейронов "чувством справедливости" (метод CWTA). Однако недостаток данного метода заключается в возможности использовать его только с заранее заданным количеством кластеров. Предложенный в статье конструктивный метод обучения обладает преимуществами метода CWTA и решает проблему автоматического определения количества классов.
Список литературы
1.Пермская научная школа искусственного интеллекта и ее инновационные проекты / Л.Н.Ясницкий, В.В.Бондарь, С.Н.Бурдин и др. 2-е изд. М.; Ижевск, 2008. 75 с.
2.Конев С.В., Сичинава З.И. Ясницкий Л.Н. Применение нейросетевых технологий для диагностики неисправностей авиационных двигателей // Вестн. Перм. ун-та. Сер. Математика. Информатика. Механика. 2005. Вып.2. С.43-47.
3.Ясницкий Л.Н., Порошина А.М., Тавафиев А.Ф. Нейросетевые технологии как инструмент для прогнозирования успешности предпринимательской деятельности // Российское предпринимательство. 2010. №4(2). С.8-13.
4.Ясницкий Л.Н., Бржевская А.С., Черепанов Ф.М. О возможностях применения методов искусственного интеллекта в сфере туризма // Сервис plus. 2010. №4. С.111-115.
5.Ясницкий Л.Н., Черепанов Ф.М. О возможностях применения нейросетевых технологий в политологии // Нейрокомпьютеры: разработка и применение. 2010. №8. Вып.4. С.47-53.
6.Ясницкий Л.Н. О возможностях применения методов искусственного интеллекта в политологии // Вестн. Перм. ун-та. Сер. Политология. 2008. Вып.2(4). С.147-155.
7.Ясницкий Л.Н., Петров А.М., Сичинава З.И. Сравнительный анализ алгоритмов нейросетевого детектирования лжи // Изв. вузов. Поволжский регион. Технические науки. 2010. №1(13). С.64-72.
8.Ясницкий Л.Н., Петров А.М., Сичинава З.И. Технологии построения детектора лжи на основе аппарата искусственных нейронных сетей // Информационные технологии. 2010.№ 11. С.66-70.
9.Ясницкий Л.Н., Сичинава З.И. Нейросетевые алгоритмы анализа поведения респондентов // Нейрокомпьютеры: разработка и применение. 2011.№10. С.59-64.
10.Ясницкий Л.Н., Мишланов В.Ю., Полещук А.Н., Федорищев И.Ф. Приоритетные задачи и условия развития интеллектуальных медицинских систем // Перм. мед. журн. Приложение. 2008. Т.25, №1. С.170-174.
11.Ясницкий Л.Н., Думлер А.А., Полещук А.Н., Богданов К.В., Черепанов Ф.М. Нейросетевая система экспресс-диагностики сердечно-сосудистых заболеваний // Там же. 2011. №4. С.77-86.
12.Бондарь В.В., Малинин Н.А. Ясницкий Л.Н. Нейросетевой прогноз потребления электроэнергии предприятиями бюджетной сферы // Вестн. Перм. ун-та. Сер. Математика. Информатика. Механика. 2005. Вып.2. С.23-27.
13.Ясницкий Л.Н., Зайцева Н.В., Гусев А.Л., Шур П.З. Нейросетевая модель региона для выбора управляющих воздействий в области обеспечения гигиенической безопасности // Информатика и системы управления. 2011. №3(29). С.51-59.
14.Корниенко С.И., Айдаров Ю.Р., Гагарина Д.А., Черепанов Ф.М., Ясницкий Л.Н. Программный комплекс для распознавания рукописных и старопечатных текстов // Информационные ресурсы России. 2011. №1. С.35-37.
15.Аксенов С.В., Новосельцев В.Б. Организация и использование нейронных сетей (методы и технологии) / под общ. ред. В.Б.Новосельцева. Томск: Изд-во НТЛ, 2006. 128 с.
16.Брюхомицкий Ю.А. Нейросетевые модели для систем информационной безопасности: учеб. пособие. Таганрог: Изд-во ТРТУ, 2005. 160 с.
17.Заенцев И.В. Нейронные сети: основные модели: учеб. пособие. Воронеж: Изд-во ВГУ, 1999. 76 с.
18.Каллан Р. Основные концепции нейронных сетей / пер. с англ. М.: Изд. дом "Вильямс", 2001. 291 с.
19.Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. 2-е изд., стереотип. М.: Горячая линия-Телеком, 2002. 382 с.
20.Осовский С. Нейронные сети для обработки информации / пер. с польск. И.Д. Рудинского. М.: Финансы и статистика, 2002. 344 с.
21.Уоссермен Ф. Нейрокомпьютерная техника: теория и практика / пер. с англ. М.: Мир, 1992. 184 с.
22.Хайкин С. Нейронные сети: полный курс, 2-e изд. / пер. с анrл. М.: Изд. дом "Вильямс", 2006. 1104 с.
23.Ясницкий Л.Н. Введение в искусственный интеллект, 3-е изд. М.: Изд. центр "Академия", 2010. 176 с.