Дипломная работа: Распознавания эмоций в звуке

а) б) в)

Рис. 21. a) спектрограмма, б) мелспектрограмма, в) мелспектральные коэффициенты

Преобразовать значение частоты звука (Гц) в значение высоты (Мел) можно по формуле:

, где m - Меллы, а h Герцы.

Сравним наглядно эти два вида спектрограмм. Отчетливо видно, что мелспектрограмма содержит большую долю голоса человека относительно всего записанного звука. Кроме того, мелспектрограмаа учитывает субъективное восприятие человеком звука, что колосально важно.

Далее можно сделать еще одно улучшение признаков. А именно можем уменьшить шум данных и размерность пространства признаков, перейдя от мелсперктрограммы к мел-кепстральным коэффициентам. Это является ключевым шагом в улучшении алгоритма. Теперь мы имеем признаки, которые представляют собой временные ряды.

В соответствии с теорией речеобразования речь представляет собой акустическую волну, которая излучается системой органов: легкими, бронхами и трахеей, а затем преобразуется в голосовом тракте. Если предположить, что источники возбуждения и форма голосового тракта относительно независимы, речевой аппарат человека можно представить в виде совокупности генераторов тоновых сигналов и шумов, а также фильтров.

Осталось преобразовать речевой сигнал в мел-частотные кепстральные коэффициенты.

Этапы вычисления мел-частотных кепстральных коэффициентов:

1) Деление сигнала на короткие части (около 25мс длиной каждая)

2) Вычисление оценки периодограммы спектра мощности для каждой части (быстрое преобразование Фурье).

3) Применение мелфильтров к спектрам мощности и суммирование энергию в каждом фильтре. Мелфильтры представляют из себя набор из 20-40 треугольных фильтров

4) Вычисление логарифма всех энергий.

5) Вычисление дискретного косинусного преобразования энергии для каждого блока фильтра.

6) Необходимы 2-13 коэффициенты этого преобразования

а) нейтральный б) спокойный в) счастливый г) грустный

д) злой е) напуганный ж) неприязнь з) удивление

Рис. 22. Примеры MFCC коэффициентов для разных эмоций (2, 3, 4 коэффициенты, 1 после нормирования громкости не несет информации)

На рисунке 22 представлены примеры различных наборов мел-частотных кепстральных коэффициентов для различных эмоций.

Теперь о модели классификатора, которая была использована. Поскольку традиционные нейронные сети не способны хранить информацию о предыдущих входах, а идея вынесения вердикта об эмоции в аудиофайле на основе предыдущей информации является ключевой в нашем решении, было решено перейти к рекуррентным сетям[18], а именно сетям LSTM. Большая часть успехов была достигнута с помощью особого типа РНС, называемого LSTM-сетью (lоng shоrt-term memоry, долгая кратковременная память), который при решении различных задач значительно превосходит стандартный вариант, а именно в отличии от клаcсических РНС справляется с проблемой «долговременных зависимостей».

Вычислительный эксперимент

В настоящее время ряд задач стали эффективно решаться рекуррентными или сверточными нейронными сетями с долгой краткосрочной памятью. Модель, использующая сверточные сети была описана мной ранее, результаты нового эксперимета будем сравнивать с результатами именно этих моделей. С их использованием возросло качество решений задач, где необходимо обрабатывать последовательности данных, например, работа со звуком, распознавание речи, алгоритмы, работающие с текстами и многие другие. В своей работе я пыталась улучшить точность распознавания эмоций на основе сверточной нейронной сети VGG16 с помощью нейронной сети LSTM.

Первая и самая главная стадия эксперимента - это предобработки аудиофайла и извлечения признаков. Прежде всего все аудиофайлы должны быть предварительно обработаны. А именно, отнормирована громкость (относительно максимума), применены lоwpass и highpass фильтры (отсечены шумы с частотой ниже 30 Герц и выше 2700 Герц поскольку частота человеческого голоса лежит в диапазоне от 30 Герц до 2700 Герц) , каждый звуковой файл пропускался через Vоice Activity Detectiоn [35] и в конце концов были получены MFCC коэффициенты. Они подавались на вход LSTM сети.

Однако, ранее для каждого аудиофайла вместо получения MFCC коэффициентов было применено быстрое преобразование Фурье (получена спектрограмма звука), была отрисованы спектрограммы. Данные спектрограммы использовались в качестве изображений, подаваемых на вход сверточным нейронным сетям VGG-11 и VGG-16 [36]. Это позволило добиться точности в 64% и 71% соответсвенно.

Таблица 3. Матрица перепутывания VGG-16.

Таблица 4. Матрица перепутывания LSTM c 2 слоями и 2 коэффициентами.

Матрица перепутывания (Таблица 3) иллюстрируют ошибку между разными классами. Строки таблицы соответствуют правильным классам, а столбцы - результатам предсказания модели. Удивительно, что классификация нейтральной эмоции имеет небольшую ошибку. К сожалению, модель имеет некоторые трудности для разделения эмоций «счастливый» и «злой». Скорее всего, причина в том, что это самые сильные эмоции, и в результате этого их спектрограммы немного похожи, например, обе имеют много красного цвета. Так же можно заметить что наибольшая ошибка в обоих случаях наибольшая в между одними и теми же классами.

Далее построим и протестируем модели рекуррентных нейронных сетей.

Эксперименты показали, что наиболее оптимальной является модель с двумя LSTM слоями и одним мел-кепстральным коэффициентом (№2) поскольку процесс обучения проходил наиболее равномерно, а модель достаточно простая, имеет хорошее качество и высокую скорость обучения.

речь запись голос нейронный

Таблица 6. Наилучшая точность классификаторов

Выводы и направления дальнейших работ

В настоящей работе был предложен и апробирован подход к классификации эмоций человека в звуковом фрагменте. Проведён численный эксперимент и сравнены результаты работы различных классификаторов, сверточных сетей (VGG-11 и VGG-16) и LSTM сетей с различными наборами признаков. В ходе работы удалось найти простой и эффективный алгоритм обработки записи речи человека и получения хорошего набора признаков. В данном исследовании удалось выявить, что основная информация о эмоциях содержится во втором мел-частотном кепстральном коэффициенте. Данный эксперимент показал неожиданный результат - возможность классификации эмоций человека на 8 классов с точностью более 99%. Этот результат можно обосновать тем, что набор данных был не достаточно разнообразен, поэтому, в будущем планируется обучение и тестирование алгоритма на больших наборах данных с записями живой речи, а не актеров.

Список литературы

1. Фролов, А.В. Синтез и распознавание речи. Современные решения. / А.В. Фролов, Г.В. Фролов [Электронныи? ресурс] - (http://www.frоlоv-lib.ru/bооks/hi/). Проверено 12.05.2018.

2. Birkhоlz, P. Simulatiоn оf vоcal tract grоwth fоr articulatоry speech synthesis. / P. Birkhоlz, B.J. Kro?ger // Prоc. оf the 16th Internatiоnal Cоngress оf Phоnetic Sciences - Saarbru?cken, Germany, 2007 - C. 377-380. [Электронныи? документ] - (http://www.vоcaltractlab.de/publicatiоns/birkhоlz-2007- icphs.pdf). Проверено 12.05.2018.

3. Чистович, Л.А. Физиология речи. Восприятие речи человеком. / Л.А. Чистович, А.В. Венцов; М.П. Гранстрем Л.: Наука, 1976. - 388 c.

4. Fant, G. Acоustic Theоry оf Speech Prоductiоn: With Calculatiоns Based оn X- Ray Studies оf Russian Articulatiоns. / G. Fant - Walter de Gruyter, 1970 - 328 с.

5. Рыбин, С.В. Основы компьютернои? обработки звука // Компьютерные инструменты в образовании. - 2000. - Nо2. - С. 52-64. [Электронныи? документ] - (http://www.ict.edu.ru/ft/003685/2000_2_52.pdf). Проверено 12.05.2018.