Южный федеральный университет
Инженерно-технологическая академия
Некоторые особенности восприятия и распознавания изображений
Аббасов И.Б.
Аннотация
В данной работе представлен обзор некоторых современных направлений исследования в области восприятия и распознавания визуальной информации. Рассмотрены статьи, посвященные особенностям восприятия произведений изобразительного искусства, возникновению нейронных откликов в головном мозге, для разных наблюдателей. Описаны исследования по анализу движения глаз, их влиянию на процесс восприятия и распознавания лиц и эмоций. Приведены характерные признаки движения глаз при просмотре современных веб-страниц, воздействие эффекта контраста и визуальных стимулов на людей с особенностями цветовосприятия. Представлены статьи по распознаванию изображений и сцен при компьютерном зрении, создание таких систем для людей нарушением зрения, о преимуществах бинокулярного зрения. Рассмотрены статьи по исследованию восприятия зрительных иллюзий при диагностике особенностей и болезней головного мозга, описана иллюзия «полой маски».
Ключевые слова: восприятие, распознавание, произведения искусства, нейронные процессы, головной мозг, типы движения глаз, методы регистрации движения глаз, восприятие контраста, нарушения цветового восприятия, дальтонизм, распознавание объектов и пространства, визуальные иллюзии.
Certain features of image perception and recognition
Abbasov I.B.
Abstract
This paper provides an overview of some contemporary research areas in the field of perception and recognition of visual information. In this article different other works that deal with the peculiarities of perception are studied, including the features of how different viewers visually perceive works of fine art, how neural responses emerge in the brain. Different studies on the analysis of eye movement and its influence on the process of perception and recognition of faces and emotions are described. Some characteristic signs of eye movement when scrolling through the web pages, the effect of contrast and visual stimuli on people with color perception issues are presented. There are shown certain works on image and scene recognition using computer vision, the possibility of creating such systems for people with visual impairment. Moreover, the advantages of binocular vision are discussed. The research on the study of perception of visual illusions in diagnosing brain disorders is also presented, including the description of a “hollow mask” illusion.
Keywords: perception, recognition, works of fine art, neural processes, brain, types of eye movement, methods of registering eye movement, contrast perception, color perception disorders, color blindness, object and space recognition, visual illusions.
Введение
Визуальная информация является доминирующей в повседневной жизни человека. Применение систем распознавания в различных областях жизнеобеспечения современной цивилизации становится привычным делом. Эти системы обеспечивают как общественную безопасность, так и делают более комфортным среду обитания социума. Вопросы восприятия и распознавания визуальной информации имеют давнюю историю исследования. В данном обзоре представлены работы в рамках оригинальной междисциплинарной концепции, охватывающей не только технические аспекты реализации, но и восприятия визуальной информации в контексте искусства. Предложенная концепция может помочь в анализе современного состояния исследований, и определять контуры будущего развития.
Визуальное восприятие произведений изобразительного искусства
Рассмотрим некоторые из современных работ, посвященных вопросам воздействия произведений искусства на визуальное восприятие. Работа [1] посвящена концептуальным проблемам визуального восприятия применительно к области искусства. Автор является художником, в работе представлены некоторые его картины, на примере которых рассматривается явление восприятия произведений изобразительного искусства (рис.1). По мнению автора, наука основывается на рациональных описаниях, а искусство оперирует художественными, эстетическими, философскими понятиями. Упоминается высказывание немецкого ученого Герман фон Гельмгольца относительно восприятия окружающего пространства: «на объекты в окружающем пространстве проецируются качества наших ощущений». Они кажутся цветными, красными или зелеными, холодными или теплыми, имеют запах или вкус. Даже понимая, что эти понятия являются субъективными и относятся к свойствам нашей нервной системы. Искусство может помочь нам при понимании сложных проблем восприятия.
Рис. 1 - Авторские картины: «Серый на оранжевом», «Цветок», «Рисование рисования» [1]
По мнению автора, восприятие реального мира и восприятие изображений реального мира представляют собой весьма запутанную проблему, которые связаны с понятием рациональности. Исследование этих проблем может помочь нам в достижении прогресса в понимании восприятия в тесной связи между искусством и современными научными, интеллектуальными прорывами.
В работе [2] приводятся результаты исследования нейроэлектрической активности мозга при восприятии определенного набора картинок. Выбранной группе людей с художественным образованием предъявлялись оригинальные (набор Original), стилизованные картины Тициана и современного художника. Стилизованные картины были получены из оригинальных путем оставления цветовых пятен (набор Color) и контурных форм (набор Style) (рис.2). В первом ряду представлена картина современного художника Л.Д. Кампана и её обработанные варианты, а во втором ряду - картина Тициана Вечеллио и соответствующие обработанные аналоги. Испытуемые подвергались воздействию предлагаемых раздражителей в случайном порядке.
Рис. 2 - Пример трех групп стимулов, протестированных в исследовании (Original, столбец A; Style, столбец B; Color, столбец C) [2]
В результате опытов было выяснено, что при просмотре первые 10 секунд, набор Original вызывал больше эмоций, чем остальные наборы картин. Эмоции, вызванные наборами Color и Style с течением времени через 30 секунд, усиливались, однако для первого набора Original эмоции оставались стабильными. В течение всего эксперимента были выявлены свидетельства коркового потока активности из теменных и центральных областей к префронтальным и лобным областям во время просмотра изображений всех наборов данных. Данный результат согласуется с представлением о том, что активное восприятие изображений с устойчивым когнитивным вниманием в теменной и центральной областях вызывало формирование суждения об их эстетической оценке в лобных областях.
Было выяснено, что в оценке воспринимаемых стимулов принимают участие различные области мозга, включая не только лобные, но также двигательные и теменные кортикальные слои. Следует отметить, что префронтальная дорсалатеральная кора головного мозга выборочно активируется только стимулами, считающимися красивыми. Тогда как, префронтальная активность в целом активируется во время оценки как приятных, так и неприятных стимулов. Полезность исследования заключается в том, что нейроэлектрическая визуализация может использоваться для получения полезной информации, связанной с эволюцией эстетического суждения людей во время восприятия изображений от простых стимулов до произведений искусства.
Работа [3] посвящена исследовании агнозии зрительных объектов для определения патологий головного мозга. Зрительная агнозия возникает при повреждении структур коры головного мозга, отвечающих за анализ и синтез информации, приводит к нарушению процесса восприятия, распознавания визуального стимула. Описаны современные представления о нейроанатомической и нейрофизиологической основе зрительного процесса. Приведены клинические случаи агнозии зрительных объектов, особенности нейропсихологической диагностики и реабилитации пациентов.
Для тестирования использовались визуальные объекты различного происхождения: изображения объектов, геометрические фигуры, буквы, слова, лица с различными эмоциональными выражениями. Базовые модели тестирования были основаны на модифицированных методах Вундта (рис.3(a)), методе Струпа (рис.3(b)), и фигурах Готшальда (рис.3(с)). Измерялись типы ошибок, время отклика и обнаружения, и были выведены рекомендации для диагностики зрительных агнозий в лечебной практике.
Рис. 3 - Примеры интерактивной реализации базовых тестовых моделей: а) метод Вундта; b) тест по методу Струпа на взаимовлияние; c) тест по фигурам Готшальда [3]
Работа [4] посвящена исследованию зрительного восприятия больных после хирургических операций. В статье описаны результаты исследования особенностей зрительного восприятия и когнитивной переработки зрительных образов больными с ишемической болезнью сердца. В исследовании приняли участие сто семь больных среднего возраст 62 года, показано, что непосредственно после операции способность к распознаванию фрагментированных изображений ухудшается (на примере кольца Ландольта [5], рис.4). Однако спустя три месяца такая способность не только восстанавливается, но и превосходит дооперационный уровень. Более того, пациенты, перенесшие операцию, лучше справляются с предложенными заданиями спустя три месяца после операции, чем пациенты, проходящие консервативное лечение.
Рис. 4 - Стилизованное кольцо Ландольта без шума и с различным уровнем шума [4]
Типы движения глаз и распознавание
В статье [6] даётся краткая характеристика видов движения глаз и приводится анализ методов и систем регистрации окуломоторной активности. Наши глаза совершают микродвижения, даже если мы неподвижно смотрим на стимул, они не поддаются контролю. В основном известны восемь видов движения глаз, которые относят к микро- и макродвижениям.
Макродвижения глаз поддаются контролю, они характеризуют изменение направления взгляда. Эти движения делятся на макросаккады, вызванные резким изменением направления взгляда, прослеживающие движения в виде плавного слежения за стимулом, нистагм - колебательные движения глаз с прослеживанием, вергентные движения: сведение и разведение зрительных осей и торзионные движения: вращательные движения глаз относительно зрительной оси [5]. Микродвижения делятся на тремор, дрейф и микросаккады, быстрое перемещение глаз при смене точек фиксации.
Методы отслеживания можно разделить на две группы: контактные и бесконтактные. К первой относятся электроокулография, фотооптический и электромагнитный методы. Ко второй группе: фотоэлектрический метод и метод видеорегистрации. В последнее время все большее распространение получил метод видеорегистрации, который является дистанционным и включает две взаимосвязанные процедуры: видеосъёмку глаз испытуемого и программное определение направления взгляда на каждом кадре видеоряда. Источником информации о направлении взгляда служат зрачок, склера или роговичный блик. Другая разновидность метода видеорегистрации предполагает подсвечивание глаза точечным источником инфракрасного излучения и скоростную съёмку инфракрасной видеокамерой. Такой способ применяется в устройствах компании Tobii. К этим устройствам для отслеживания направление взгляда относятся: Tobii REX, Tobii EyeX, Tobii TheEyeTribe [7].
Рассмотрим некоторые современные статьи, посвященные исследованию окуломоторной активности. Работа [8] посвящена исследованию фиксации взгляда при просмотре лиц. Несмотря на то, что на человеческом лице достаточно много визуальных особенностей, наблюдатели предпочитают фиксировать взгляд в основном на глазах и на рту. Большей степенью это объясняется эволюцией социальных признаков распознавания и общения в человеческом обществе.
Представлены данные экспериментов с 41 участниками при просмотре четырех лиц с разными начальными стимулами (рис.5). Голубые эллипсы на лице показывают расположение каждой отдельной фиксации взгляда, а размер каждого эллипса пропорционален продолжительности фиксации. Для лица с левой стороны рис.5 степень фиксации взгляда представлен в виде тепловой картой. Степень фиксации взгляда на лицах является полезным инструментом для оценки индивидуальных различий и последующих рекомендаций при социальной коммуникации.
Рис. 5 - Сравнение методов определения областей интереса и анализа основных компонент [8]
В статье [9] предлагается новый метод для анализа движения глаз во время свободного просмотра. Метод основан на том, что глаза перемещаются от одного объекта к другому объекту визуальной сцены. Метод был применен экспериментально на двух макаках-обезьянах, свободно просматривающих визуальные стимулы в виде сцен с объектами. Анализ показал, что у обезьян был отмечен поведенческий сдвиг от свободного просмотра к фокусной обработке визуального стимула.
В работе [10] проводится исследование определения окуломоторной активности и восприятия экспрессий в зависимости от пространственной ориентации лица. Показано, что поворот изображения лица на 180° ведет к снижению эффективности распознавания интенсивности эмоций. На перевернутом изображении слабые экспрессии лица воспринимаются как спокойное состояние. Этот процесс зависит от модальности эмоций и носит сложный нелинейный характер. При этом хуже распознаются «страх» и «горе», лучше и стабильнее - спокойное выражение лица. При усилении интенсивности эмоций на прямо расположенном изображении лица зарегистрирован эффект левосторонней доминантности, на перевернутом изображении величина эффекта возрастает (рис.6). Однако, доминантность восприятия слабо выраженных экспрессий носит правосторонний характер.
Рис. 6 - Примеры окулограмм разных испытуемых при восприятии экспрессий лица на прямо расположенном и перевернутом изображениях [10]
Работа [11] посвящена изучению окуломоторной активности при распознавании лица. В эксперименте приняли участие 32 человека тувинской национальности, которые оценивали сходство целевых объектов, предъявляемых парами, с помощью 5-балльной шкалы. В качестве стимульного материала использовались целевые пары фотографий человеческих лиц, которые были образованы из двух исходных фотографий (европеоидного и азиатского типа) и четырех переходных фотографий. Они были образованы с помощью морфинга с шагом 20%. В процессе предъявления стимульного материала выполнялась регистрация окуломоторной активности испытуемых при помощи айтрекера EyeTribe [7]. Актуальность этих исследований обусловлен вопросами обеспечения общественной безопасности, криминалистики и делового общения.
100/0 80/20 60/40 40/60 20/80 0/100
Рис. 7 - Переходный ряд изображений лица, из которых сформированы целевые стимульные пары [11]
Просмотр веб-страниц, F-паттерн
В работе [12] приводится исследование по моделированию внимания пользователей при просмотре веб-страниц. В работе предлагается саккадическая модель исследования динамического визуального поведения людей. Используется многоуровневый анализ признаков визуальной информации и определение вероятности фиксации взгляда пользователя. Экспериментальные результаты по отслеживанию движения глаз при свободном просмотре веб-страниц показали эффективность предложенного метода (рис.8).