В этой системе обучения ВР это устройства ввода / вывода, которые сделать эту систему уникальной для других систем обучения ВР. Рисунок 4показывает устройства ввода и вывода, используемые в системе. Фиг.4а показывает HMD, используемый системой, включая оболочку и умный Телефон. На фиг.4b показано устройство перемещения и вывода устройства ввода устройства HMD, в котором движение прыжка соединено перед HMD. На фиг.4c показан пользователь, который использует системный вход / выход устройства: пользователи могли видеть виртуальную сцену через HMD. Между тем движение руки и жесты пользователя могут быть распознаны и отображены в виртуальной сцене, и пользователь может взаимодействовать с виртуальной сценой только вручную.
Функция автоматического захвата входных устройств этой системы в основном включает две части: захват движения головы и отслеживание рук. Отслеживание головы необходимо для реализации обновление в реальном времени дисплея виртуальной реальности и отслеживание рук необходимо для осуществления интуитивной операции. С помощью датчики, встроенные в смартфон, такие как гироскоп и акселерометр, смартфон мог отслеживать поворот головки пользователя.
Между тем, оборудование для перемещения скачка может обнаруживать расстояние между руками пользователя и инфракрасной камерой, которая затем рассчитает местоположение рук. Через сенсор телефона и скачкообразное движение, система может отслеживать голову и руки в режиме реального времени.
Выходным устройством этой системы является головной дисплей, HMD. HMD, используемый в этой системе, является устройством с разделенным типом, которое состоит из смартфона Nexus 6P и гарнитуры ВР. Смартфон подключен к компьютеру через USB-кабель и с помощью программного обеспечения Trinus, обычного экрана компьютера могут быть преобразованы в формат ВР и отображены на телефоне экран. В сочетании с устройством автоматического захвата головы, а также как различные датчики в смартфоне, HMD может обновлять экран в режиме реального времени в соответствии с вращением головки пользователя, поэтому пользователь может получить полный опыт погружения.
Рисунок 4 HMD и шлем ВР как устройства ввода/вывода
3.2.2 Учебное программирование
Что касается программного обеспечения и базы данных и части двигателя ВР, Blender и Использовалось программное обеспечение Unity 3D: модель виртуального шахтера была построенный в Блендере, и сцена подземной угольной шахты, триггер и правила взаимодействия между пользователем и виртуальной средой и т. д., были разработаны и закодированы в Unity 3D.
На рис. 5 на верхних снимках показана реальная ситуация использования каждой системы, а изображения в нижней части показывают, что графику пользователь может видеть с экрана или HMD. В общей системе на основе экрана (рис.5а) пользователь контролирует объект для сверления с помощью джойстика, и на экране отображается человек в сценарий бурения, что означает, что погружение системы не может быть высоким. В то время как в интуитивной системе на основе HMD (Рис.5b), пользователь может просматривать вид первого лица через HMD, и в то же время благодаря встроенному гироскопу смартфон, поворот головы можно контролировать, и вид в HMD может измениться в реальном времени.
(а) Настольная система обучения ВР
(b) Система обучения ВР на базе HMD
Рисунок 5 Две разные системы обучения
Более того, пользователь может напрямую манипулировать руками виртуального шахтера, а не весь виртуальный персонаж, и через устройство движения прыжка, пользователь может управлять пальцами соответственно, что означает, что пользователь может выполнять более сложные движения и жесты для взаимодействия с виртуальной тренировкой в виртуальной среде.
3.2.3 Эмуляция для обучения в части автоматизированного управления процессами добычи
Полная автоматизация лавы осуществляется путем непрерывного получения информации о состоянии забоя, обработке ее в компьютере в реальном времени процесса добычи и принятии на этой основе управляющих решений. Система эмуляции обеспечивает все функции без помощи центрального компьютера. Для повышения мобильности и централизации управления, когда лава работает в полностью автоматизированном безлюдном режиме, а также для сбора данных и в качестве интерфейса для поверхностного управляющего комплекса необходим центральный компьютер. А система эмуляции визуализирует технологические процессы, отражая графически и текстуально ситуацию в полностью автоматизированной лаве.
Графическое изображение виртуальной лавы (рисунок 6) передается через интерфейс на монитор в эмуляционную машину. На дисплее в графической и буквенно - цифровой форме представляется важнейшая информация: линия забоя, подвигание секции, положение конвейера и добычной машины, распределение давления в стойках вдоль длины лавы в данный момент времени. Помимо основной на экране дисплея отображается и различная другая информация, необходимая для принятия решений но управлению работой виртуальной лавы.
С помощью эмуляции можно научиться наблюдать и управлять установками, запрашивать данные об обслуживании, информацию о неполадках. Программы нахождения неисправностей, диагностирования и техобслуживания позволяют предельно упростить уход за сложными установками.
Рисунок 6 Лава на экране дисплея
3.2.4 Мониторинг динамического состояния очистного забоя
На основе непрерывной регистрации давления в стойках крепи и расчетов напряженно- деформированного состояния системы "кровля-пласткрепь-почва" и его изменения со временем в процессе работы лавы (с применением программы метода конечных элементов) установлена геомеханическая модель очистного забоя, позволяющая оценивать его устойчивость и уровень безопасности.
Ниже показано на реальном примере состояние секций крепи (разноцветные точки) на фиксированные моменты времени.
Одновременная концентрация "красных точек" в некоторой области вдоль длины лавы (в данном примере в нижней части лавы) указывает на формирование очага неустойчивого (опасного) состояния в пласте. В окрестности этого очага в первую очередь должны быть проведены контрольные и профилактические мероприятия. Разработанный метод в отличие от других методов позволяет проводить эти мероприятия целенаправленно в заведомо опасных участках лавы, сократив при этом излишние расходы.
Анализ произошедших на шахте имени Костенко в г. Караганде, РК, горных ударов подтвердил возможность прогнозирования удароопасности, показав значительную разницу установленного показателя устойчивости в опасных и безопасных условиях.
А. Практически безопасная ситуация. 21.05.2016
Б. Ситуация за 8 часов перед горным ударом. 02.08.2016
Рисунок 8 Геомеханическое состояние лавы
Данные объемные диаграммы дают полное представление о геомеханическом состоянии лавы для «новеньких» инженеров.
3.4 Результаты
Чтобы оценить влияние каждой системы обучения горному делу, десять учеников-учеников пробовали как интуитивно понятный, так и основанный на экране HMDобщие системы обучения. Затем они заполнили вопросники о две системы для оценки уровней погружения, интуитивного, интерактивности, простоты использования и простоты обучения. Каждый аспект оценивался по шкале от 0 до 5. Результаты показаны на рисунке 6.
Установлено, что интуитивно понятная система обучения ВР, основанная на HMD, значительно более высокий балл погружения (4,8 из 5), чем основанная на экране общая система из 5 и в 1,5-2 раза выше класс интуитивного, интерактивного и простоты использования. Это значит, что система на основе HMD имеет лучший пользовательский интерфейс. Для легкость обучения, результаты обучения каждой системы, система на основе экрана лишь немного ниже, чем система на основе HMD, что означает, что обе системы имеют хорошие результаты обучения; HMD только немного лучше. После тестирования обеих систем, 9 из 10 студентов предпочитают опыт обучения с системой HMD, и предпочитают использовать его в будущем.
Студенты также предлагают некоторые ограничения текущей интуитивной системы обучения ВР, основанной на HMD, которые следующим образом:
(1) В системе HMD пользователь не мог перемещать символ по двигая руками. Вместо этого он должен использовать другие устройства таких как клавиатура или джойстик. Это уменьшит погружение системы. Microsoft Hololens предлагает отличную идею для решать проблему. Это автономное устройство, которое содержит все необходимое аппаратное и программное обеспечение для работы;
(2) При длительном использовании HMD пользователь устает или чувствует себя больным. Huang et al. даже создал новый HMD с дисплеи светового поля, чтобы помочь пользователям избежать болезни движения [22];
(3) Для текущей системы устройство перемещения прыжка используется для отслеживать руки пользователя, в то время как пользователь не чувствует никакого осязательного смысла, что также уменьшит погружение системы, потому что, когда пользователи видят, что они касаются чего-то в виртуальная среда, они не могли почувствовать тактильный смысл в реальном мире;
(4) Пользователи могут взаимодействовать только со сверлом, но не могут взаимодействовать с другими вещами в виртуальной среде, что обусловлено ограничение текущего программного обеспечения и баз данных.
Вышеупомянутые основные ограничения HMD-ВР-система, и большинство из них связано с ограничениями аппаратного и программного обеспечения, используемого в системе. С разработкой устройств ввода / вывода ВР, а также обновлением системы обучения ВР на базе HMD, все ограничения текущей системы в конечном итоге могут быть решены в будущем.
Рисунок 9 Развитие системы обучения
4. Дискуссия
4.1 Факторы, влияющие на результаты обучения
По сути, технология ВР - это новый способ отображения контента и человеко-машинное взаимодействие. Многие исследователи, включая это исследования, предположили, что системы обучения ВР доказаны эффективны и с более высоким погружением, пользователи могут получить более качественное обучение результаты [6,13,21,23,24]. Однако погружение является лишь одним из 3I виртуальной реальности (рис.1), а степень погружения в основном определяется устройствами ввода / вывода.
В последние годы основными технологическими прорывами ВР являются в устройствах визуального вывода, таких как Oculus Rift, HTC VIVE, Sony Playstation ВР и т. д. Существуют другие устройства ввода, разработанные как ну, например, бегущая дорожка Virtuix Omni. Недавно изобретенный устройства ввода / вывода резко увеличили степень ВР, и считается, что чем больше поглощает ВР система обучения, тем лучше будет пользовательский опыт.
Несмотря на то, что все еще существуют усовершенствования устройств ввода / вывода, таких как слуховой и тактильный опыт, они могут только улучшить погружение в обучение виртуальной реальности система. Остальные четыре компонента также влияют на обучение ВР результаты.
В настоящее время самым критическим недостатком существующей технологии ВР является отсутствие высококачественного контента, то есть создание содержание виртуальной реальности не может идти в ногу с развитием событий аппаратное обеспечение. В системах обучения ВР для обучения «контент» означает виртуальная среда, виртуальные персонажи, сценарии обучения, и учебные задания. В дополнение к устройствам вводавывода все остальные четыре компоненты системы обучения ВР будут влиять на качество содержимого системы.
(1) Двигатель ВР: двигатель ВР является основным программным обеспечением, и он определяет результаты взаимодействия человека и компьютера. К примеру, если стажер бурит стену, бурение фрагментов, выходящих из ствола скважины и падающих на пол. Другими словами, двигатель ВР определит степень достоверности системы обучения ВР.
(2) Пользователь: разные пользователи имеют разные характеристики, и они следует рассматривать серьезно [5, 25, 26].
(3) Задачи: они указывают цель обучения ВР.
(4) Программное обеспечение и база данных: это основано на двигателе ВР и отвечает за вычисление входных данных (манипулирование сигналами) и выходных данных (видео, звук и т. д. сигналов) и сохранение и загрузка данных системы обучения виртуальной реальности. Для создания более реальных моделей подземных рудников Zlot et al. изучил метод трехмерной реконструкции [27].
4.2 Будущие исследования
Для совершенствования системы обучения ВР для горнодобывающей промышленности все пять компонентов системы ВР заслуживают изучения. Среди пяти компонентов, автор считает, что разработка устройства ввода / вывода и двигатель ВР могут существенно повлиять на продвижение применения технологии ВР в горнодобывающей промышленности. Однако специализированные производители оборудования и программные компании должны разработать более интуитивные устройства ввода, более захватывающие устройства вывода и более мощные двигатели ВР. Другие компоненты системы обучения виртуальной реальности шахты - пользователи, программное обеспечение и база данных, а также задачи - это темы для будущих исследований для практиков горнодобывающей промышленности.