Материал: Разработка автоматизированных систем идентификации человека на основе биометрических признаков

Возможности OpenCV:

         человеко-машиное взаимодействие;

         идентификация объектов;

         сегментация и распознавание;

         распознавание лиц;

         распознавание жестов;

         трекинг движения;

         структура движения;

         калибровка стерео-камер;

3D трекинг.[14]

1.4 Вывод по разделу

В этом разделе были рассмотрены основные методы и алгоритмы распознавания лиц и объектов в видеопотоке и указаны их основные достоинства и недостатки. Рассмотрены основные методы выделения движущихся объектов. Произведен их сравнительный анализ и проверено, что все они достаточно быстрые, чтобы использоваться в системах реального времени, а также их несложно реализовать и встроить в уже существующие проекты.

Подведем основные итоги:

)     Существует довольно большое количество научных исследований, посвященных задаче распознавания и отслеживания объектов, однако почти все они зарубежные. В России наработок очень мало;

2)      Алгоритмы ориентированы на конкретные задачи, несколько отличающиеся от поставленной задачи данной дипломной работы;

)        Существует множество коммерческих разработок, ориентированных на определенные задачи распознавания:

-     распознавание лиц - биометрия (могут быть интегрированы с оборудованием в целый комплекс);

-        распознавание движущихся объектов - (пакет Matlab);

         распознавание движущихся объектов применительно к задаче видеонаблюдения, как правило, сразу ориентированы на конкретное видеооборудование или интегрированы с ними.

4)   Существуют программные средства разработки (SDK) для встраивания в собственные продукты. Многие из них представляют интерес с точки зрения проектирования комплекса, которому посвящена настоящая дипломная работа.

Характерный поток данных может быть представлен следующим образом:

1)   Удлиненная последовательность данных разделена на отдельные сцены или кадры, подлежащие анализу. Так как они имеют различные гистограммы или цветные частотные распределения, кадр с радикальным изменением гистограммы от первоначального кадра может обрабатываться как изменение сцены.

)     Изменение информационной части изображений обнаруживается отдельно от статического фона.

3)      Отдельные информационные части изображений (объекты) выделяются или сегментируются, затем отслеживаются от кадра к кадру. Отслеживание включает обнаружение положения и скорость объекта, которые могут быть переменными или временно постоянными

)        Если требуется распознавание, особенности объекта выделяются так, чтобы объект мог быть классифицирован.

Отслеживание объектов переднего плана включает в себя 3 этапа:

1)   предсказание, при котором каждый объект должен быть расположен в текущем кадре;

3)      коррекцию траектории объекта для предсказания очередного кадра.

Таким образом, выбор условий съемки и настроек очень важны для многих алгоритмов. Отлично работая в одних условиях, многие алгоритмы могут полностью перестать работать в других условиях.

Глава 2. Разработка алгоритмического обеспечения

.1 Архитектура средств динамического отслеживания лиц в видеопоследовательности

Рассматривается архитектура средств распознавания и динамического отслеживания лиц в видеопоследовательности (рис. 2.1). В блоке формирования графов лица на основе алгоритмов захвата и отслеживания области интересов создается граф лица. Сюда также включены алгоритмы

захвата и отслеживания простых объектов (квадрат, прямоугольник, окружность) в кадре и алгоритмы распознавания человека, использующиеся в блоке распознавания сцены. На этапе обучения системы полученный граф лица поступает на вход блока обучения. Далее ряд настроечных параметров системы сохраняются в базе признаков лиц. На этапе распознавания, граф лица, сформированный блоком формирования графов лица, обрабатывается в блоке распознавания лица. В этом блоке осуществляется распознавание лиц из базы данных. Если распознавание закончилось успешно, то блок принятия решений выдает управляющее воздействие, в зависимости от типа распознанного лица. В блоке распознавания сцены проводится распознавание сцен s-го уровня. Для того чтобы провести распознавание сцен первого уровня, блок получает результаты распознавания объектов сцены из блока распознавания лиц и блока формирования графов лица. Результаты работы блока распознавания сцены могут влиять на принимаемое решение об управляющем воздействии. В блоке хранения истории управления сохраняется последовательность распознанных лиц и соответствующих им управляющих воздействий за определенное время, в частности, с целью интерпретации принятых решений по управлению. Все сцены и лица, распознанные ранее этого периода, утрачиваются. [15]

Рис. 2.1 Архитектура системы распознавания лиц

2.2 Выбор базовых программных средств

В ходе выполнения дипломной работы были изучены различные подходы к распознаванию лиц (идентификации) и отслеживанию лиц в видеопоследовательности и произведено сопоставление результатов работы различных методов и программных продуктов, предоставляющих разработчику встраивать возможности распознавания лиц в собственное ПО. Также были изучены требования стандартов в области биометрии и ограничения существующих алгоритмов распознавания лиц. Работы проводились на базе ФГУП НИИ «Квант».

Были проанализированы результаты Face Recognition Vendor Test (FRVT) 2010 ‒ всестороннего теста коммерческих средств распознавания лиц, проводимого Национальным институтом стандартизации США. Данный тест в настоящее время не имеет аналогов по количеству исследуемых характеристик и по развитию научно-методологической базы, лежащей в его основе, а также по объемам использовавшихся тестовых выборок. В тестировании в том числе участвовало и показало высокие результаты ПО Cognitec FaceVACS, на базе которого ФГУП «НИИ «Квант» были построены программные средства распознавания и отслеживания лиц в видеопотоке. ПО Cognitec FaceVACS способно обеспечить отслеживание и распознавание лиц в видеопоследовательностях в реальном времени.

Для свободно распространяимых средств, таких, например, как OpenCV, исследования показали их недостаточную точность при работе с большой выборкой лиц и сложными условиями регистрации лица.

2.3 Разработка алгоритмов и методов динамического отслеживания лиц

На рис. 2.2 приведена общая схема алгоритма функционирования системы динамического отслеживания лиц. На первом этапе выполняют подготовку галереи известных персон. Данная галерея содержит лица людей, которые должны быть известны системе. Каждое изображение человека из галереи преобразуют в специальное представление, соответствующее методам распознавания, реализованным в системе. Такими представлениями могут быть, например, вектор главных компонент, построенных по изображению лица, граф, в вершинах которого находятся особенные точки лица (уголки глаз и рта, крылья и кончик носа и т.п.). К выбранному представлению затем преобразовывают каждое входное изображение перед проведением классификации. На следующем этапе выполняют обнаружение лица на изображении, представляющем одного из людей, находящихся в галерее. Для этого может быть использован любой алгоритм детектирования лица. В самом простом случае координаты лица могут быть заданы пользователем. Далее осуществляют сегментацию обнаруженного региона, после чего выполняют его предобработку. В общем случае данный этап включает в себя нормализацию, масштабирование региона, выравнивание его, например, в соответствии с положением глаз и т.п. Целью предобработки является уменьшения влияния условий съемки (например, освещения), в которых были получены анализируемые изображения, а также ракурса и ориентации представленных лиц на качество распознавания. Последние этапы выполняют для каждого изображения, формирующего обучающую выборку. Следующий блок осуществляет аналогичные действия по обнаружению, сегментации и предобработке для изображений, содержащих лица людей, которые никогда не будут проверяться системой. Подобное множество можно построить, например, путем искусственной генерации изображения лица из двух или более лиц реальных людей. Для получения количественной оценки степени похожести тестового и известного лица используется мера схожести, оперирующая выбранным представлением изображения лица.

На следующем этапе выполняется построение конечного правила распознавания. В общем случае для повышения устойчивости в системе классификации могут быть реализованы несколько мер схожести. После этого этапа система распознавания является настроенной и готова к обработке тестовых изображений. В режиме функционирования на вход системы поступает изображение, содержащее лицо человека, которого необходимо распознать. В этом случае задачей системы является проведение идентификации лица на входном изображении, т.е. определение, принадлежит ли оно кому-либо из галереи известных персон, и если да, то кому именно. Для этого выполняется серия сравнений входного лица с каждым лицом из галереи и принимается решение, к какому из них оно ближе в соответствии с построенным правилом распознавания. Кроме тестового, на вход также может быть подано второе изображение, тогда задачей системы является оценить похожесть двух лиц, т.е. принадлежат ли они одному и тому же человеку. Для этих целей система выполняет аналогичные действия по обнаружению, сегментации и предобработке тестового изображения и, если необходимо, второго входного изображения. После чего проводит классификацию при помощи построенного ранее правила распознавания.

Рис.2.2 Алгоритм динамического отслеживания лиц

Далее начинается процесс динамического распознавания лиц на данном видеофрагменте, который предварительно разделяется на последовательность кадров. Сначала происходит распознавание лица на первом кадре. На последующем кадре поиск лица начинается с его позиции на предыдущем кадре и поиска окрестности. Далее выбирается положение (часть кадра), максимизирующее сходство двух кадров. И все повторяется для последующих кадров.[16]

Глава 3. Экспериментальные результаты

.1 Результаты функционального тестирования

Разрабатываемый макет программных средств распознавания лиц был построен на инструментальных средствах компании Cognitec (Cognitec FaceVACS SDK 8.5). Ниже приведены результаты тестирования, проведенного в рамках Face Vendor Recognition Test (FRVT) 2010 на базах лиц большой размерности.

3.1.1 Описание тестовых баз лиц

LEO. База, собранная правоохранительными органами (Law EnfOrcement agencies и переданная в ФБР, также известна как FBI Photo File.)

DOS / Natural. База данных изображений с визовых документов нерезидентов. Используется для тестирования в рамках модели один-ко-многим.

DOS / HCINT. Выборка из DOS / Natural, использованная в рамках тестирования FRVT в 2002 и 2006 гг.

SANDIA. Набор фронтальных изображений лиц в высоком разрешении (цифровая фотокамера с матрицей 4 мегапикселя). Использовался в рамках тестирования FRVT 2006. Собрана Sandia National Laboratory. Подборка изображений была получена при контролируемом освещении с согласия субъектов. Проверочные изображения были подготовлены в двух режимах: при контролируемом и при случайном освещении.

Параметры изображений тестовых баз лиц приведены в таблице 3.1.

Таблица 3.1 Параметры изображений тестовых баз лиц, использовавшихся в FRVT 2010

Большинство изображений тестовых баз представлено изображениями низкого и среднего разрешения (кроме Sandia, см. выше) в формате сжатия JPEG. За исключением Sandia, расстояние между зрачками субъектов не контролировалось. Полученные изображения не соответствуют требованиям стандарта ISO на изображения для биометрии. Таким образом, большинство тестовых баз лиц предоставляют изображения, максимально приближенные к естественным условиям, что должно затруднить работу алгоритмов распознавания.

Размеры перечисленных баз изображений приведены в таблице 3.2.

Таблица 3.2 Размеры тестовых баз лиц, использовавшихся в FRVT 2010

Как видно из таблицы, большинство людей в базе представлены одним или двумя изображениями. Выборка в рамках теста FRVT 2010 производилась случайным образом по всем субъектам базы безотносительно количества представленных изображений.

На рисунке 3.1 приведен пример выборки из базы LEO.

Рис. 3.1 Выборка из базы лиц LEO

Изображение а) максимально приближено к стандартам для распознавания; на изображении b) лицо повернуто сразу по нескольким осям под углом, при котором алгоритмы распознавания обычно дают сбой, и к тому же пропорции изображения лица искажены слишком близким расстоянием съемки. Дополнительные проблемы создает неоднородное освещение и низкий контраст изображения; на изображении c) лицо не центрировано, несколько наклонено и небольшого размера по сравнению с размерами кадра, засвечено и имеет низкий контраст. Изображения b) и c) сняты с низким разрешением 240х240 (вебкамера). [17]

3.1.2 Результаты тестирования алгоритма идентификации лиц

На рисунке 3.2 приведен результат тестирования коммерческих средств на тестовых базах лиц LEO и DOS / Natural. Программные средства Cognitec показали точность 0,83 и 0,88 соответственно.

Рис. 3.2 Результаты сравнения точности распознавания лиц различными коммерческими средствами на тестовых базах лиц LEO и DOS / Natural. Программные средства Cognitec обозначены обозначены Х₀₄, синий цвет графика

На рисунке 3.3 приведены примеры изображений лица при различных углах поворота, на рисунке 3.4 - результаты тестирования при различных углах поворота лиц.

Рис. 3.3 Изображение лица при углах поворота 0, 15, 22,5 и 45 градусов

На рисунке 3.4 программные средства фирмы Cognitec обозначены Х02 (синий график). Из сравнения графиков для различных коммерческих средств видно, что SDK фирмы Cognitec при нулевом угле поворота головы дает очень малое значение ошибки и находится на 2 месте по точности распознавания. В целом форма графика примерно одинакова для всех средств. Для Cognitec заметные ошибки распознавания начинаются при угле поворота от ±16 градусов, что соответствует требованиям стандартов по распознаванию (угол поворота головы не более 15 градусов). [18]

Рис. 3.4 Зависимость величины ошибки распознавания от угла поворота головы

3.1.3 Результаты тестирования алгоритма поиска лиц на изображениях

В данном разделе приведены результаты тестирования работы алгоритма поиска лиц на групповых изображения. Для тестирования были взяты несколько случайных изображений, найденных в интернете. Изображения содержат искажения: поворот головы в различных плоскостях, нефронтальная съемка, низкая контрастность или четкость. Изображения представлены в низком разрешении. Групповые фотографии были выбраны неслучайно, так как большое количество людей в кадре автоматически уменьшает возможный размер каждого лица и его детализацию. Кроме того, на групповых фотографиях можно одновременно зафиксировать различные углы поворота головы, а также перекрытие лиц.