Рис. 4. Зависимости значения ошибки сети от эпохи обучения при различных архитектурах ИНС для алгоритма Левенберга-Марквардта.
Следует отметить, что обучение ИНС проводилось с использованием алгоритма Левенберга-Марквардта (рис. 4) и метода сопряженных градиентов (рис. 5).
Рис. 5. Зависимости значения ошибки сети от эпохи обучения при различных архитектурах ИНС для алгоритма сопряженных градиентов.
Анализ зависимостей, приведенных на рис. 4, позволил определить, что наиболее эффективно решить задачу классификации формирования при обучении с использованием алгоритма Левенберга-Марквардта позволяет ИНС с архитектурой (4)-19-13-12 - 4 входа, 19 нейронов в первом скрытом слое, 13 нейронов во втором скрытом слое, 12 нейронов в выходном слое. Обучение проводилось до значения ошибки E=6Ч10-9, которое было достигнуто на 241-й эпохе, что обеспечило разницу более 70 дБ между начальным (до обучения) и конечным значением ошибки (после обучения). В результате установлено, что для достижения ошибки E=6Ч10-9 требуется от 241 до 1529 эпох обучения в зависимости от начальной инициализации весовых коэффициентов ИНС.
Зависимости, приведенные на рисунке 5, показывают, что наиболее эффективно решить задачу классификации подразделений при обучении с использованием алгоритма сопряженных градиентов позволяет ИНС архитектуры (4)-30-40-12 - 4 входа, 30 нейронов в первом скрытом слое, 40 нейронов во втором скрытом слое, 12 нейронов в выходном слое. Обучение указанной ИНС было остановлено на эпохе л=1458 при достижении итогового значения ошибки E=6Ч10-9, что обеспечило разницу более 70 дБ между начальным (до обучения) и конечным значением ошибки (после обучения). В результате установлено, что для достижения ошибки E=6Ч10-9 требуется от 1458 до 3309 эпох обучения в зависимости от начальной инициализации весовых коэффициентов ИНС.
Отметим, что работоспособность рассмотренных выше архитектур подтверждена статистически, путем 30-ти успешно выполненных процедур обучения.
Заключение
Приведенные на рисунках 4, 5 зависимости показывают, что выигрыш в скорости обучения методом второго порядка (алгоритм Левенберга-Марквардта) относительно метода первого порядка (алгоритм сопряженных градиентов) для рассмотренного примера составил около одно одного порядка. Кроме того, применение алгоритма Левенберга-Марквардта позволяет обучить ИНС с архитектурой, обладающей лучшими обобщающими способностями по сравнению с архитектурами ИНС, способных обучиться методом сопряженных градиентов.
По результатам работы на тестовой выборке ИНС, обученная с использованием алгоритма Левенберга-Марквардта, показала 100% правильных решений по классификации уровня подразделений, что подтверждает возможность решения задач классификации с использованием математического аппарата искусственных нейронных сетей. Полученные в результате решения задачи архитектуры ИНС могут быть использованы в качестве основы при разработке интеллектуального компонента в составе автоматизированной системы специального назначения.
Литература
1. Рутковский Л. Методы и технологии искусственного интеллекта/ Пер. с польск. М.: Горячая линия - Телеком, 2010. - 520 с.
2. Рутковская Д., Пильминьский М., Рутковский А. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия - Телеком, 2006. - 452 с.
3. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия - Телеком, 2003. - 94 с.
4. Данильченко М.Н., Пядухова К.В., Голубинский А.Н. Нейросетевая модель управления связью и радиоэлектронным подавлением в интегрированной системе // XXIV международная научно-техническая конференция "Радиолокация, навигация, связь". -
5. Т. 5. - Воронеж: ООО "Вэлборн". 2018. - С. 361- 368.
6. Хайкин С. Нейронные сети. Полный курс. 2-е изд. М.: Издательский дом "Вильямс", 2006. - 1104 с.
7. Голубинский А.Н., Толстых А.А. Распознавание объектов на телевизионных изображениях с использованием аппарата свёрточных нейронных сетей // Вестник Воронежского института МВД России. 2017. № 1. - С. 71-81.