Нейросетевая анимация эвенкийки XVII века
Р.А. Алексанов
В работе рассматривается технология компьютерной реконструкции и анимации внешнего облика тунгусской девушки из XVII века. В первой части представлены результаты компьютерной реконструкции внешнего облика девушки, полученные в ходе антропологического исследования краниологическим методом М.М. Герасимова.
Ключевые слова: нейронная сеть, ретопология, историческая реконструкция.
Введение
компьютерная реконструкция тунгусская девушка антропологический герасимов
На сегодняшний день история - значительная составляющая культуры каждой страны. Без знания истории человек не может полностью оценить важность вклада в развитие цивилизации того или иного народа. Большинство научных фактов по сей день мало изучены и не могут в полной мере дать достоверную картину происходящего. События последнего десятилетия заставили ученых и публицистов говорить о новом «великом переселении народов». Миграции народов и сопутствующие им видоизменения этнического состава стран, регионов и даже континентов приобрели небывалый масштаб. Эти процессы затрагивают не только такие утратившие стабильность регионы как Ближний Восток и Северная Африка, но и Европу, и значительную часть Азии.
Порой некоторым людям кажется, что если бы они жили в совершенно однородной этнической, культурной и религиозной среде, то такая жизнь соответствовала бы исторической норме и была бы совершенным благом. Культурой Дальнего Востока занимается большое количество различных специалистов - историки, антропологи, археологи и др. Используя разнообразные методы исследования, специальные устройства, они подключают сферу деятельности информационных технологий для просчета, анализа, сбора и хранения информации о том или ином факте - собирают информацию по крупицам. Исходя из последних научных данных, можно предположить, что идеальных методов исследований, приближающих исследователей к высокому проценту достоверности картины, пока нет. Таким образом, объективно существуют детали, остающиеся нераскрытыми. В данной работе будут рассмотрены антропологические методы исследования, в совокупности с информационными технологиями отражающие приближенную картину достоверности реконструкции по останкам человека.
Предварительные этапы работы над исследованием
Чтобы выполнить подобное исследование, в первую очередь следует изучить опыт подобных работ, это позволит избежать многих ошибок и принять правильный вектор развития своей работы. Рассмотрев распространенные примеры подобных работ, мы выявили несколько принципов исследований [1 - 8].
Во-первых, исследование должно основываться на правильном с точки зрения антропологии объекте. Если объект исследования не соответствует необходимым признакам метода реконструкции М.М. Герасимова, реконструкция теряет схожесть с исходным объектом, а значит не будет успешной.
Во-вторых, для работы с объектом должны использоваться только последние версии программных продуктов. Поскольку большинство их включает интеграции с другими продуктами, при переходе от версии к версии теряются пути взаимодействия между ними.
В-третьих, для работы с историческими объектами следует использовать аналитический метод, проверять исторические источники на фактические ошибки.
Только при выполнении всех вышеописанных условий можно гарантировать, что исследование будет успешным. Основной задачей данной работы является компьютерная реконструкция внешнего облика коренных народов Приамурья и дальнейшая анимация цифровой копии с помощью нейронной сети.
На сегодняшний день существует множество работ, связанных с темой реконструкции, но, как правило, они статичны и не получают дальнейшего развития. Некоторые археологи-художники обходят эту проблему с помощью демонстрации процесса реконструкции. Ниже приведен пример реконструкции с помощью метода М.М. Герасимова (рис. 1).
Рис. 1. Выполнение компьютерной реконструкции облика Иоганна Себастьяна Баха.
Для представления всех этапов работы была построена диаграмма процессов выполнения исследования (рис. 2).
Рис. 2. Диаграмма процессов выполнения исследования.
Для программного решения существующих задач было выделено несколько этапов работы.
Этап получения исходной модели. На начальном этапе работы нам необходимо сравнить способы получения исходных данных для выявления лучшего. Это основной этап работы, поскольку результат конечного исследования напрямую зависит от качества исходных данных. Он дает ответы на вопросы: каким образом получить модель, какой способ лучше?
Этап исследования исходной модели. Пользуясь методами антропологического исследования останков на местности, можно выяснить некоторые особенности и свойства объекта исследования, что упростит дальнейшую работу. Этап отвечает на вопросы: как по останкам определить половую принадлежность, возраст объекта исследования на момент гибели, принадлежность его к той или иной этнической расе?
Этап реконструкции модели черепа. На данном этапе работы рассматриваются методы реконструкции объекта исследования относительно исходных данных. Дорабатывается образ исходного объекта относительно эталонных значений. Получается качественная отправная точка для начала работы с объектом. Происходит восстановление образа эталонного состояния, до деформации черепа, очистка модели от различного мусора после предыдущих этапов работы, а также осуществляется частичная процедура восстановление поверхности черепа и зубов.
Этап виртуальной реконструкции внешнего облика. Финальным этапом работы можно считать реконструкцию модели по признакам, полученным на предыдущих этапах. Рассматривается конечный результат и методы его представления для последующих сущностей. Входными данными нашего исследования является объект реконструкции - череп представителя коренного населения Приамурья, монголоидной расы, тунгусо-маньчжурской группы национальностей. После проведения реконструкции выходные данные - образ человека в виде цифрового двойника и его виртуальное представление для конечного пользователя (метаданные).
Работа над анимацией объекта исследования
В ходе дальнейшей реконструкции для упрощения процессов нанесения мышечной структуры и получение конечного результата была выбрана технология шаблонизации внешности из пакета игрового движка UnrealEngine5. Пакет шаблонов выполнен в качестве веб-сервиса с облачным рендерингом MetaHumanCreator.
Компания EpicGamesвыпустила инструмент MetaHumanCreator, cпомощью которого можно создать реалистичного виртуального человека с лицевой анимацией. Работать с ним могут не только профессиональные художники, но и обычные пользователи. С помощью MetaHumanCreatorможно проще и быстрее получить такой же результат, как и после работы в сложных SD-редакторах с множеством функций. Лица, созданные при помощи MetaHumanCreator, больше похожи на персонажей современных высокобюджетных видеоигр.
Для работы с инструментом необходимо установить клиент EpicGames, в котором будет доступны разные версии движка и контроль версий будущих проектов. Версия для работы с дополнительными модулями UnrealEngineдолжна быть не ниже 4.26.1, в том числе и сам программный модуль MetaHumanCreator.
На все установочные материалы понадобится 60 ГБ свободного места на устройстве. Чтобы установить все приложения, нужно зарегистрироваться на сайте UnrealEngine. Для этого понадобится только электронная почта, использование приложения в некоммерческих целях бесплатно. Ниже представлен пример работы с модулем (рис. 3).
Рис. 3. Пример компьютерной реконструкции cпомощью MetaHumanCreator.
Создавать персонажа в MetaHumanCreatorможно двумя способами.
Во-первых, «смешать», т.е. использовать метод смешанного пространства, для реализации которого необходимо выбрать из базы персонажей трех уже готовых и смешивать черты их лица друг с другом.
Во-вторых, «скульптурировать», - иными словами, выполнить прямое манипулирование рельефом поверхности: с помощью маркеров вручную моделировать различные области лица для получения желаемых результатов: например, поднять или опустить уголки губ, увеличить или уменьшить ширину челюсти, сделать или убрать горбинку на носу.
Переключиться между основными методами можно на нижней и боковой панели управления. Там есть инструмент перемещения - еще один вариант моделирования для сцены, который работает аналогично режиму скульптора, но перемещает большие части модели -будто захватывается несколько маркеров вместе.
Это может быть полезно, если нужно сильно изменить форму черепа или несколько черт лица сразу.
Для работы в качестве распознающего звена и построения дальнейшей ретопологической модели используются нейронные сети. В частности, хотелось бы отметить сеть Хэмминга как метод представления бинарно-матричной нейронной сети. Сеть Хэмминга - вид нейронной сети, используемой для классификации бинарных векторов, основным критерием в которой является расстояние Хэмминга. Таким образом, сеть Хэмминга представляет собой развитие нейронной сети Хопфилда, в отличие от которой выдает не сам образец, а его номер (рис. 4).
Нейронная сеть использует для обработки входных данных систему кодирования лицевых движений FACS, разработанную Полом Экманом и Уоллесом Фризером. FACS, или система кодирования лицевых движений, исчерпывающе описывающая мимику, стала единственной в своем роде за счет своей научной объективности. Она получила распространение во всем мире. Ее можно справедливо назвать золотым стандартом, который используется в различных областях знания, где речь идет о связи эмоционального состояния и его мимических проявлений.
FACSоперирует так называемыми единицами действия (ЕД), имеющими свои коды. Экман и Фризер создали систему кодирования выражения лиц путем сведения воедино всех возможных сочетаний ЕД, а также исчерпывающих правил их считывания и толкования. Система описана на 500-х страницах довольно увлекательной, но требующей максимального погружения в анализ научной работы (рис. 5).
Так, например, в ней исследованы и описаны все существующие движения губ, которые могут вытягиваться, раздвигаться, стягиваться, распластываться, сужаться и сжиматься (всего 6 возможных движений).
Рис. 5.Пример таблицы системы кодирования лицевых движений FACS.
Также уделяется внимание четырем видам состояния кожи, которая находится между щеками и глазами: изменения могут быть представлены мешками и мешочками, выпуклостями и морщинками. Авторы последовательно описывают крайне важные отличия, существующие между носогубными складками и складками под глазами, которые обязательно должен иметь в виду специалист-профайлер.
Система FACSтак успешно зарекомендовала себя как документальный и объективный подход к изучению мимики, что новые статьи на тему исследований мимических выражений и эмоций, которые не основывались на ней, попросту не публиковались в серьезных научных журналах.
На двух математически связанных системах построены компоненты для работы над идентификацией и переносом модели в структура модуля MetaHuman.
Пример работы компонента идентификации с последующим экспортом и обработкой модели на удаленном сервере представлен на рис. 6.
Рис. 6.Пример переноса модели из состояния 3D в анимированную.
Для описания работы нейронной сети необходимо выстроить диаграмму процесса идентификации (рис. 7).
Рис. 7. Диаграмма процесса обработки сетки объекта.
В ходе процесса обработки загруженной сетки осуществляется несколько этапов работы с объектом.
В первую очередь объект сравнивается с уже используемыми моделями готовых цифровых копий. Данная база насчитывает более 1000 различных лиц как известных, так и обычных людей.
На втором этапе работы подключается нейросеть, которая, получив на вход развернутую сетку объекта, с помощью теневой карты вершин выстраивает оригинальные по координатам точки, указывающие на мимические вершины по системе FACS.
На этапе идентификации объекта происходит сравнение двух сеток - загруженной и стандартной эталонной. В процессе работы выстраивается аутентичный объект со всеми свойствами и вершинами загруженной сетки.
Последним этапом работы является добавление художественных элементов, не влияющих на основную геометрию и анимацию модели.
В конечном итоге получается оригинальная анимированная модель, которую можно использовать для дальнейшей работы и исследований. Работа осуществляется как с детальными особенностями личности - текстурой кожи, волос и цветом глаз, так и с мимической составляющей воспроизведения анимации.
Практическое применение метода компьютерной реконструкции
С целью реализации цели нашего исследования было выделено несколько этапов работы: сбор исходных данных модели, реконструкция и восстановление модели черепа, этап замеров и построение соотношений между объектом исследования и его цифровым двойником, построение виртуальной головы по результирующим параметрам, уменьшение количества полигонов модели и художественная реконструкция исследуемого объекта с помощью нейронной сети.
Объектом исследования стал череп девушки тунгусо-маньчжурской расовой принадлежности, жившей в XVII веке (Владимировская эпоха). Останки были найдены в могильнике Падь Прибрежная, недалеко от сел Чесноково и Куприяново Амурской области [1 - 8].
Для каждого из этапов работы были выделены определенная технология и инструмент для реализации поставленной задачи. В качестве инструмента для сбора данных и построения цифрового двойника объекта был выбран метод фотограмметрии [9, 10]. Это отличный способ перенести объект в виртуальную среду при помощи подручных средств. Были сделаны снимки черепа в разных проекциях, перенесены в программное обеспечение «AgisoftMetashape» и воссоздано несколько проекций из облака точек, построенных на основе внесенных данных (рис. 8).