Статья: Коммуникативное использование указательных жестов разных типов в среде виртуальной реальности

Коммуникативное использование указательных жестов разных типов в среде виртуальной реальности

А. Талески

аспирант, ассистент кафедры теоретического и прикладного языкознания филологического факультета Пермского государственного национального исследовательского университета

В работе рассматриваются указательные (дейктические) жесты, используемые говорящим при коммуникации в виртуальной реальности. Цель работы - выявление типов указательных жестов, сложившихся при коммуникации в виртуальной реальности. Основная задача работы - показать особенности указательных жестов: определить долю их встречаемости при коммуникации в виртуальной реальности; продемонстрировать вариативность их использования в зависимости от гендера испытуемых; проследить связь указательных жестов и вербальных средств в сфере коммуникации в виртуальной реальности.

Ключевые слова: дейксис; указательные жесты; вербальные средства; виртуальная реальность; гендер.

A. Taleski

PhD Student, Assistant at the Department of Theoretical and Applied Linguistics Faculty of Philology Perm State University

COMMUNICATIVE USE OF VARIOUS TYPES OF POINTING GESTURES IN A VIRTUAL REALITY ENVIRONMENT

The paper deals with pointing (deictic) gestures that are used by the speaker during communication in virtual reality. The purpose of the work is to identify the types of pointing gestures that have developed during communication in virtual reality. The main task of the work is to show the features of pointing gestures: to determine the proportion of their occurrence in communication in virtual reality; to demonstrate the variability of their use depending on the gender of the subjects; to trace the relationship between pointing gestures and verbal means in the field of communication in virtual reality.

Key words: deixis; pointing gestures; verbal means; virtual reality; gender.

указательный жест коммуникация виртуальная реальность гендер

Введение

Статья посвящена анализу типов указательных жестов (дейктиков) и их особенностей при коммуникации в виртуальной реальности (ВР).

Под термином «дейктик» понимаются языковые (лексические, морфологические и синтаксические средства) и неязыковые средства с указательной семантикой. Неязыковыми дейктиками могут быть взгляды, мимика, движения, жесты и др. Жесты в качестве неязыковых средств (дейктиков), как и языковые дейктики, определяют дейктическую систему [Гришина 2012; Levinson et al 2018].

Жесты являются предметом исследования жестикуляционной (мультимодальной) лингвистики, описывающей спонтанную жестикуляцию в ее связи с вербальной коммуникацией в целом [Федорова 2018].

В лингвистике нет единого определения того, какие именно движения входят в класс жестов. В Оксфордском словаре жест описывается как движение тела или любой его части, выражающее мысль или чувство. В «Толковом словаре русского языка» под ред. Д. Н. Ушакова жест понимается более узко, как «телодвижение, особенно движение рукою, сопровождающее речь для усиления ее выразительности или заменяющее ее» [Толковый словарь русского языка URL]. По словам Ж.-Р. Ляпера, жесты - это динамические формы мыслительных представлений и невидимых когнитивных систем, которые совершаются в коммуникативном акте. Он определяет жест как «окно», через которое собеседник может заглянуть в сознание говорящего [Lapaire 2011].

Для определения того, является ли движение жестом или нет, по мнению некоторых ученых, нужно обратиться к его свойствам [Kendon 2004; Гришина 2017]. Так, А. Кендон приводит следующие признаки с целью выделения жестов из общего класса движений: осознанность, намеренность, информативность, контролируемость и лишенное значение [Kendon 2004].

A. Кендон указывает на значимость коммуникативности и преднамеренности у движений, но у некоторых жестов преднамеренность и коммуникативность не наблюдается. Движения, связанные с манипулированием предметами или одеждой, рассматривались как преднамеренные, однако они не определялись как управляемые каким-либо коммуникативным намерением. Движения, которые определяются как «нервные» или «случайные», не рассматриваются как преднамеренные и считаются незначимыми, хотя указывают на настроение или на эмоциональное состояние говорящего [там же].

Е. А. Гришина, в отличие от А. Кендона, при изложении признаков жеста подчеркивает, что большинство жестов совершаются бессознательно и ненамеренно, даже тогда, когда человек совершает их осознанно и намеренно, за пределами сознания остаются основные свойства этих жестов. Что касается признака информативности, по мнению Е. А. Гришиной, «давать информацию может не только жест, и жест может не передавать информацию ввиду отсутствия воспринимающего» [Гришина 2017, с. 10]. К тому же, она добавляет, что при испытывании разных чувств говорящий может перестать контролировать свои жесты.

Е. А. Гришина выделила «смысл» в качестве основного элемента жеста, обусловив это отсутствием цели у определенных жестов, совершаемых говорящим. Она определила жест как двусторонний знак, который имеет означающее (движение) и означаемое (смысл) [там же, с. 11].

Г. Е. Крейдлин в своей теории о композиционности жеста отмечает, что жест состоит из набора значимых признаков [Крейдлин 2007]. В качестве признаков могут выступать: направление движения, траектория движения, выбор жестикулирующей руки, конфигурация ладони, ориентация ладони и др. Эти признаки являются наиболее исследованными на данном этапе жестикуляционной лингвистики [Гришина 2017, с. 24].

Одной из основных причин для роста интереса к исследованию жестов также является их взаимосвязь с речью. Жесты часто используются как выражения, чередующиеся с речью, и в то же время могут применяться одновременно с ней. А. Кендон подчеркивает, что в тех случаях, когда слушающие хотят полного понимания высказывания, им нельзя игнорировать жесты. В некоторых ситуациях, когда речь недоступна по определенным причинам, жест может сам по себе стать формой языка [Kendon 2004].

Ученые часто определяют жест во взаимоотношении с речью, точнее, как ее сопровождающую часть. С. Левинсон отмечает, что языковые указатели в коммуникативном акте могут сопровождаться неязыковыми [Levinson S. et al. 2018]. При этом жесты могут свидетельствовать о когнитивных процессах, могут сыграть уточняющую роль, тогда как локуторы сталкиваются с неопределенностью, 220 двусмысленностью, энантиосемичностью в высказываниях, и могут выразить смысл, который никаким другим языковым способом нельзя выразить [Гришина 2017].

Необходимость сопровождающей речи (могут ли жесты осуществляться без речи?) является одним из основных параметров жестов, вместе с наличием или отсутствием системных языковых черт в жестикуляции и степенью регулярности жеста. Эти параметры учитываются при классифицировании жестов [Kendon 1988; Гришина 2017].

Сегодня в лингвистике существуют разные классификации невербальных средств, которые зависят от их параметров, функций и семантики [Clark 2003]. При анализе невербальных средств в нашем исследовании мы опираемся на уже имеющиеся классификации жестов С. А. Григорьевой [Григорьева, Григорьев, Крейдлин 2001], Д. Макнейла [McNeill 1992] и А. О. Литвиненко [Литвиненко, Николаева, Кибрик 2017].

Материал и метод исследования

Исследование выполнено на материале эксперимента, проводимого в ВР-среде. В эксперименте использовались пять сцен (три - лично-ориентированные, две - пространственно-ориентированные), с помощью которых моделировались разные ситуации взаимодействия участников коммуникации - двух коммуникантов и референта. Схемы для создания сцен эксперимента в ВР взяты из работы А. А. Ростовцева-Попеля [Ростовцев-Попель 2009].

В эксперименте участвовали 24 русскоязычных испытуемых (12 мужчин и 12 женщин). Материалом для исследования послужили расшифровки видеозаписей. Видеозаписи велись посредством двух устройств: внутренней камеры, снимающей сцену, на которую смотрит информант ВР-шлеме, и внешней камеры, с помощью которой фиксировались жесты. Полный дизайн и аппаратура эксперимента представлены в работе [Талески 2020].

Записи внешней и внутренней камер были синхронизированы и объединены. Общий объем видеозаписей составил 2 ч. 35 мин. 4 сек. Синхронизация двух видеорядов позволила соотнести «внутреннее» (вербальное) поведение говорящего в ВР с его действиями в реальной ситуации, точнее, с действиями его тела (жесты, движение, мимика и др.). Это соотношение на стадии обработки материала представлялось в виде размеченных реплик:

[болтает руками] Дай, пожалуйста, бутылку ээм на дальнем столе (указывает вперед указательным пальцем вытянутой прямо перед собой левой рукой, ладонью вниз), квадратном, у стены, позади тебя (машет руками перед собой).

Разметка реплик осуществлялась в ИС «Семограф» [Belousov, Erofeeva, Leshchenko 2017]. Нами было проанализировано 725 реплик.

На основе анализа материала и на базе вышеупомянутых классификаций жестов создается собственная классификация неязыковых средств, состоящая из следующих подклассов жестов: симптоматические, ритмические, нейтральные (исходные) и коммуникативные, которые включают в себя изобразительные, этикетные, общекоммуникативные и указательные группы жестов. Указательные (дейктические) жесты являются предметом исследования в данной работе.

Ряд ученых считает указательные жесты самыми старыми в системе жестов всех языков [Brugmann 1904; Григорьева, Григорьев, Крейдлин 2001]. Прототипический указательный жест был описан С. Кита как «коммуникативное движение тела, которое проецирует вектор от части тела. Этот вектор указывает на определенное направление, местоположение или объект» Зд. и далее перевод наш. - А. Т. [Kita 2003, c. 1].

Указательные жесты могут сочетаться с каждой из дейктических форм и влиять на выбор дейктиков. Говорящий при указании, помимо рук и пальцев, использует также губы, брови, взгляд, движение глаз, подбородок, движения головы, боковой кивок головы и т. д. [Enfield 2001; Levinson et al. 2018]. Идеальная модельная система для изучения языкового употребления является системой, где единое слово и жест могут функционировать как полноценный указывающий акт со всеми сложностями общего внимания, задействованными в более сложных высказываниях [Clark, Schreuder, Buttrick 1983]. Жесты в качестве движений в пространстве непосредственно касаются темы дейксиса [Топоров 1994].

Вербальные и невербальные дейктики между собой непосредственно связаны по значению. Их функции - «указание на когнитивный центр системы координат (origo, здесь и сейчас говорящего), отношения между участниками процесса коммуникации, противопоставление элементов мира, находящихся близко /далеко, внутри / вне некоторого объема, определяемых через принадлежность говорящему или кому-то иному, т е. своих / чужих и т д.» [Макарцев 2017, с. 10-11]. В качестве основной функции дейктических жестов, по словам Д. Эфрона, выступает указание говорящего на некоторый референт или точку во времени или пространстве [Efron 1941].

Анализ материала

На основе анализа полученного материала был выявлен ряд типов указательных жестов. Это обусловлено использованием говорящим различных частей своего тела при указании. Так, в группе «Указательные» встречаются следующие типы: «указание ладонью», «указание руками», «указание пальцами», «указание головой» и «указание корпусом». Некоторые из типов указательных жестов содержат в себе определенные компоненты. В типе «указание ладонью» объединяются компоненты «ладонь вертикально», «ладонь вверх» и «ладонь вниз». Тип «указание руками» построен на компонентах «правая рука», «левая рука» и «обе руки». К типу «указание головой» относятся компоненты «голова» и «подбородок». Типы указательных жестов и их доля встречаемости визуально представлены в таблице 1.

Таблица 1

Типы жестов и их доля встречаемости

Что касается общей доли встречаемости, то из таблицы следует, что у указательных жестов она составляет 0,610 (см. табл. 1). Здесь самая большая доля отмечается у типа «указание ладонью» (0,321). Затем следуют «указание пальцами» (0,166), «указание руками» (0,077), «указание головой» (0,043) и «указание корпусом» (0,003).

Если посмотреть на компоненты внутри типов, то можно отметить, что испытуемые при указании ладонью чаще всего держали ее в вертикальном положении (0,164). Реже встречаются компоненты «ладонь вверх» (0,130) и «ладонь вниз» (0,028). Указание руками при коммуникации в ВР, прежде всего совершается левой рукой (0,034), а затем правой рукой (0,028) и обеими руками (0,015). В типе «указание головой» большую долю составляет компонент «подбородок» (0,030), меньшую - «голова» (0,012).

Относительно вариативности, в зависимости от гендерного фактора в группе жестов «Указательные», необходимо отметить наиболее частое использование типа «указание головой» у женщин (0,066). У мужчин эта доля заметно меньше (0,019). Несколько иначе обстоят дела с употреблением типа указательных жестов «указание пальцами»: их доля у мужчин составляет 0,183, а у женщин 0,149. Типы указателей «указание ладонью» и «указание руками» почти одинаково используются испытуемыми мужчинами и испытуемыми женщинами. Женщины в отличие от мужчин при коммуникации в ВР пользуются корпусом, указывая на референт или на локутора, например: