Шульц А. П., Пельмегов Р. В.
Разработка программно-аппаратной платформы «VR-Learning для создания промышленных тренажеров с применением технологии виртуальной реальности»

УДК 004.946, ВАК 05.13.18, ГРНТИ 28.17.33

Разработка программно-аппаратной платформы «VR-Learning» для создания промышленных тренажеров с применением технологии виртуальной реальности»

Development of the hardware-software platform «VR-Learning» for the creation of industrial simulators using virtual reality technology

А. П. Шульц, Р. В. Пельмегов 

A. P. Shultz, R. V. Pelmegov

Ухтинский государственный технический университет, г. Ухта

Ukhta State Technical University, Ukhta

В данной работе рассматриваются вопросы, связанные с процессом обучения работе с промышленным оборудованием и разработки тренажера для получения практических навыков. В данной работе особое внимание уделяется исследованию предметной области, созданию алгоритма отсечения зеленого фона, 3D моделированию изучаемого объекта, способу реализации программного продукта. Материалы данной работы в первую очередь могут быть интересны специалистам, работающим с промышленным оборудованием.

In this paper, we consider issues related to the process of training work with industrial equipment and the development of a simulator for obtaining practical skills. In this work, special attention is paid to the study of the subject domain, the creation of an algorithm for cutting off the green background, 3D modeling of the object under study, and the way the software product is implemented. Materials of this work in the first place may be of interest to specialists working with industrial equipment.

Ключевые слова: тренажер, программирование, 3D модель, отсечение зеленого фона, виртуальная реальность

Keywords: simulator, programming, 3D model, clipping of a green background, virtual reality

Введение

    Предприятие любого уровня, в любой отрасли промышленности не сможет обойтись без современного промышленного оборудования, позволяющего существенным образом экономить человеческие ресурсы, повышая производительность труда.

    К сожалению, большое разнообразие промышленного оборудования, специализированность и большая цена на некоторые виды являются главными проблемами при обучении работы с оборудованием. При этом не всегда есть возможность проверить работоспособность оборудования в реальных условиях, так как оно может быть очень редким, дорогим или слишком габаритным. Также при обучении на настоявшем оборудование велики риски повредить часть оборудование или получить травму при обучении вследствии нехватки опыта работы.

    Все вышеизложенные аргументы показывают актуальность проблемы обучения работе с промышленным оборудованием. Однако их можно решить, применяя современные технологии. В качестве изучаемого объекта можно использовать макет реального оборудования, а использование современных технологий виртуальной реальности позволяет сымитировать его работу в виртуальной среде.

    Использование виртуальной реальности открывает много новых возможностей в обучении, которые слишком сложны, затратные по времени или дороги при традиционных подходах.

    Сейчас, нам удалось застать момент, когда устройства виртуальной реальности становятся также популярны и функциональны, как мобильные телефоны [1]. А это значит, что виртуальная реальность заметно расширит возможности обучения.

    К сожалению, виртуальные тренажеры также имеют недостатки. Например, до сих пор нет эффективного способа взаимодействие с объектами виртуального мира. А те решения, что существуют на данный момент, очень ограниченны по своему функционалу.

    Все эти проблемы призвана решить разрабатываемая программно-аппаратная платформа «VR-learning». Она представляет собой специально оборудованное помещение или капсулу включающую:

1. VR-гарнитуру – очки виртуальной реальности служащие для отображения виртуальной среды пользователю и демонстрации в виртуальной среде работы оборудования;

2. датчики навигационной системы, которые отслеживают движения пользователя и позволяют свободно перемещаться и осматривать виртуальный мир;

3. виртуальная среда, демонстрирующая пользователю во время обучения работу оборудования;

4. объемный зеленый экран – необходим для применения технологии «Хромакей»;

5. макеты оборудования, которые будут интегрированы в виртуальную среду;

6. рабочее место преподавателя с системой наблюдения и обратной связи с обучаемым.

    Образование с использованием виртуальной реальности, позволит наглядно вести лекции и семинары, проводить тренинги, показывать обучающимся все аспекты реального объекта или процесса, что в целом дает колоссальный эффект, улучшает качество и скорость образовательных процессов, и уменьшая их стоимость. Технологии виртуальной реальности позволяют в полной мере использовать то, что человек получает 80 % информации из окружающего мира с помощью зрения, при этом люди запоминают 20 % того, что они видят, 40 % того, что они видят и слышат, и 70 % того, что они видят, слышат и делают.

Аналоги

    Аналоги тренажерных систем для работы с промышленным оборудованием уже существую. Как правило, они представляют собой отдельную комнату с механизмом, имитирующим работу изучаемого оборудования, и местом преподавателя, контролирующим процесс обучения. Подобные тренажеры достаточно точно имитирую работу реального оборудования, но, к сожалению, имеют недостатки.

    Например, учебный комплекс UG-360 представляет собой подвижную платформу, которая имитирует движения реального оборудования (рис. 1). Место оператора и управление идентичны реальным ПДМ Caterpillar моделей R1700G и R2900G. Специальные экраны позволяют сымитировать обзор шахты на 360°, а звуки работы ПДМ передает аудиосистема.


Рисунок 1. Комплекс UG-360

    Подобные системы требую для себя тонкой настройки и отдельное специальное помещение для установки многочисленных устройств функционирования. Устройства функционирования достаточно дорогостоящие, и каждое изучаемое оборудование требует специализированный набор эти устройств. Модернизация всей системы также является дорогостоящим процессом в виду индивидуальной настройки устройств под конкретное оборудование.

    Все эти недостатки показывают актуальность разработки программно-аппаратной платформы «VR-Learning для создания промышленных тренажеров с применением технологии виртуальной реальности».

Выбор среды разработки

    Было решено остановить выбор на среде Unity [2]. Unity является бесплатным инструментом разработки приложений, поддерживает сценарии на языке программирования C#, систему наследования объектов, импорт большого количества форматов. Unity также поддерживает разработку проектов для виртуальной реальности и имеет необходимый набор компонентов для создания подобного приложения.

    Для создания 3D моделей использовался пакет компьютерной 3D графики Blender. Blender – свободный, профессиональный пакет для создания трёхмерной компьютерной графики, включающий в себя средства моделирования, анимации, рендеринга, постобработки и монтажа видео со звуком, компоновки с помощью «узлов» (Node Compositing), а также для создания интерактивных игр.

    Для разработки алгоритма отсечения зеленого фона был разработан в среде программирования Visual Studio 15 на языке программирования C#. Алгоритм более подробно расписан в пункте Реализация.

Реализация

    В данном разделе будут показаны некоторые из наиболее важных компонентов системы, описаны методы, реализующие основные алгоритмы по обработке данных.

Процесс 3D моделирования

    Для создания виртуальной модели промышленного оборудования используется графический 3D редактор Blender [3]. Процесс создания 3D модели включает в себя следующие этапы:

  • Моделирование – создание объёмной модели изучаемого объекта (рис. 2);
  • Построение UV-развертки – разметка модели для нанесения на неё 2D изображений;
  • Текстурирование – процесс наложения 2D изображение, на поверхность модели по UV координатам, для окраски модели и создания иллюзии рельефа.


    Рисунок 2. Процесс 3D моделирования


    Рисунок 3. Построение UV-разверти и текстурирование

    Алгоритм отсечения зеленого фона

        Для интеграции макета реального оборудования в виртуальную среду используется технология «Хромакей» [4]. Зелёный цвет фона выбран по причине отсутствия зелёных оттенков в цвете человеческой кожи, а также современные цифровые камеры наиболее чувствительны к зелёным оттенкам и шум в зелёном канале минимален. Алгоритм работы технологии был разработан в среде Visual Studio 15 и состоит из следующих шагов:

    1. Изображение с камеры из цветовой модели RGB конвертируется в модель HSV (рис. 4).


    Рисунок 4. Конвертация изображения из RGB в HSV

    2. Для каждого из трёх цветовых каналов задаётся диапазон допустимых значений (рис. 5).


    Рисунок 5. Выбор диапазона значений

    3. Если значения во всех трёх каналах отдельного пикселя изображения лежат в допустимых пределах – пиксель назначается принадлежащим фону (рис. 6).


    Рисунок 6. Анализ пикселей в трех каналах

    4. Обход всех пикселей изображения позволяет сформировать маску (рис. 7), использование которой и позволяет совместить изображение реального объекта и виртуального окружения.


    Рисунок 7. Формирование маски

        Одной из проблем использования Хромакея является проблема освещения. Экран должен быть однородным, освещенным равномерно, без засветов и теней.

        Данная проблема решается с помощью нескольких повторений алгоритма с разным набором допустимых значений. Наборы допустимых значений таким образом можно представить, как пересекающиеся множества. Операции над множествами позволяют как включать дополнительные оттенки в категорию «Фон», так и наоборот исключать некоторые цвета, улучшая, например, выделение оттенков кожи (рис. 8).


    Рисунок 8. Пример работы алгоритма

    Заключение

        Использования системы «VR-Learning» позволит качественно и быстро готовить специалистов в различных областях: авиация, управление технологическими процессами, медицина, дистанционное управление техническими средствами и т. д. Используя 3D-графику, можно создавать высоко-детализированные модели, смоделировать мельчайшие детали механизмов или процессов и имитировать различные ситуации, происходящие во время производственной деятельности без вреда для обучающегося.

        Система «VR-Learning» и алгоритм отсечения зеленого фона были продемонстрированы в рамках республиканского молодежного инновационного конвента «Молодежь – будущему Республики Коми» 2017 года, где заняли первое место в направлении «Информационные технологии». Алгоритм прекрасно справился со своей задачей без каких-либо специальных осветительных приборов и на разных оттенках ткани. Также для демонстрации системы уже существует тестовый сценарий обучения работе с проходческим комбайном КП-21.

    Список литературы

    1. Сайт журнала «ФИНАНСИСТ» [Электронный ресурс]: Режим доступа https://ffin.ru/market/review/82/50835/

    2. Савин И. А., Батенькина О. В. Написание скриптов для трехмерного графического движка / Визуальная культура: дизайн, реклама, информационные технологии: сборник трудов XIII Международной научно-практической конференции. 2014. С. 91-95.

    3. Шишкин В. В., Гераськина С. Т., Шишкина О. Ю. Трехмерное моделирование в среде BLENDER / графика, виды графики, компьютерная графика, техника компьютерной графики. Ульяновск, 2010. С. 20–32.

    4. Хабрахабр – самое крупное в Рунете сообщество, в индустрии высоких технологий [Электронный ресурс]: Режим доступа https://habrahabr.ru/post/158479/.

    List of references

    1. The site of the journal «FINANSIST»: Access mode https://ffin.ru/market/review/82/50835/

    2. Savin I. A., Baten’kina O. V. Writing scripts for a three-dimensional graphics engine / Visual culture: design, advertising, information technology: a collection of proceedings of the XIII International Scientific and Practical Conference. 2014. – P. 91–95.

    3. Shishkin V. V., Geraskina S. T., Shishkina O. Yu. 3D modeling in the BLENDER environment / graphics, types of graphics, computer graphics, computer graphics technology. Ulyanovsk, 2010. – P. 20–32.

    4. Habrahabr – the largest in the RuNet community, in the technology industry: Access mode https://habrahabr.ru/post/158479/

VN:F [1.9.17_1161]
Rating: 9.0/10 (1 vote cast)
VN:F [1.9.17_1161]
Rating: +1 (from 1 vote)
VN:F [1.9.17_1161]
Стиль изложения
Информативность
Сложность вопроса
Научная новизна
Коммерциализуемость
Rating: 4.6/5 (1 vote cast)
Разработка программно-аппаратной платформы «VR-Learning для создания промышленных тренажеров с применением технологии виртуальной реальности», 9.0 out of 10 based on 1 rating