Рус Eng Cn Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Software systems and computational methods
Reference:

Development of the method of visualization for production facilities with application of augmented reality technologies

Reshetnikova Elena Sergeevna

PhD in Technical Science

Docent, the department of Engineering and Operation of Metallurgical Equipment, Nosov Magnitogorsk State Technical University 

455000, Russia, Chelyabinskaya oblast', g. Magnitogorsk, pr. Lenina, 38, aud. 298

elenresh74@gmail.com
Other publications by this author
 

 
Usataya Tatyana Vladimirovna

PhD in Pedagogy

Docent, the department of Engineering and Operation of Machines and Equipment, Magnitogorsk State Technical University

455000, Russia, Chelyabinskaya Obl. oblast', g. Magnitogorsk, pr. Lenina, 38

usatayatv@gmail.com
Kurzaeva Lubov Viktorovna

PhD in Pedagogy

Docent, the department of Business Informatics and Information Technologies, Magnitogorsk State Technical University

455000, Russia, Chelyabinskaya oblast', g. Magnitogorsk, ul. Pr. Lenina, 38

lkurzaeva@mail.ru

DOI:

10.7256/2454-0714.2021.1.32708

Received:

23-04-2020


Published:

24-03-2021


Abstract: This article reviews the experience of application of VR-AR technologies (virtual and augmented reality technologies) for visual demonstration of production facilities in the process of engineering and operation. The three-dimensional modeling in CAD systems is commonly used as a means for development of construction documentation, visualization of work at different stages of engineering, and preparation of objects for engineering analysis. The authors believe that the use of AR-solutions not in parallel, but along with modern CAD systems for solution of engineering and design problems would allow avoiding design flaws and simplify the process of demonstration of projects. Based on the blueprints and three-dimensional models of the parts and assembly of two-stage reduction gear used  for lifting a thermal furnace in metallurgical production, within the framework of development of the Unity multimedia application is developed the AR application for visual demonstration of the device. As the guide mark for visualization is selected the assembly drawing of the reduction gear in digital graphical format edited in the Vuforia portal. The guide mark database is imported into the Unity environment, the logic of implementation of the technique for demonstrating the assembly of the device and separate parts is written in script program. The application is installed on a smartphone and tested; pointing the camera at the printed assembly drawing allows seeing the 3D model of the reduction gear from different angles, hide any details and scrutinize the device. The AR-applications developed according to the proposed method can be used in the process of training operational personnel, which would improve the performance and quality of work during installation and maintenance of industrial facilities, as well as for displaying the projects during exhibitions and presentations of new products.


Keywords:

VR – Virtual Reality, AR – Augmented Reality, digital technology, design, AR application, production, 3D model, demonstration, assembly drawing, training

This article written in Russian. You can find original text of the article here .

Введение. Технологии виртуальной (VR – Virtual Reality[a]) и дополненной (AR – Augmented Reality[b]) реальности находят широкое применение в современном мире. За последние годы произошли существенные изменения в плане совершенствования устройств, программного обеспечения и контента. VR/AR-технологии из области развлечений и игр постепенно переходят в различные сферы промышленности[1]. Заинтересованность крупных компаний и промышленных предприятий в продуктах на основе технологий виртуальной и дополненной реальности и применение таких решений в производственных процессах, начиная с двухтысячных годов, активно растет [2-6]. Аналитики, изучающие использование иммерсивных технологий – технологий, обеспечивающих полный эффект погружения в среду, рассматривая нефтегазовую, металлургическую и энергетическую промышленность, отмечают повышение спроса на применение VR/AR-технологий для создания обучающих программ и виртуальных лабораторий [7-9]. Однако эксперты не прогнозируют стремительный переход промышленного сектора к массовому внедрению технологий виртуальной и дополненной реальности в связи с отсутствием на данный момент на рынке готовых решений [10]. В то же время по мере роста доверия к VR/AR ожидается замещение традиционных подходов к процессу проектирования и эксплуатации изделий [10-12].

Согласно результатам исследований, в которых приняли участие более 100 крупнейших российских компаний нефтегазовой, металлургической, транспортной и других важнейших отраслей экономики, за цифровыми технологиями будущее [13, 14]. Исследователями определены восемь наиболее популярных цифровых технологий: анализ больших данных и предиктивная аналитика, роботизация, интернет вещей, чат-боты, искусственный интеллект, оптическое распознавание, блокчейн, VR/AR-технологии [13]. Технологии виртуальной и дополненной реальности уже сегодня используются российскими компаниями в среднем по исследуемым индустриям в объеме 21%, причем объем использования в металлургии составляет 33%. В планы компаний, которые приняли участие в опросе, входит развитие и внедрение на своих предприятиях передовых цифровых решений. По мнению экспертов, цифровые технологии станут ключевыми технологиями четверной промышленной революции, а технологии дополненной и виртуальной реальности могут лечь в основу новой вычислительной платформы [14].

Опыт внедрения VR/AR-технологии в европейских и американских корпорациях доказал свою эффективность [15]:

- применение специального приложения и умных очков Google Glass в аэрокосмическом концерне Boeing позволило ускорить процесс соединения кабелей между компонентами бортовых систем самолетов: пошаговые инструкции по сборке и точные шаблоны сотрудники получают без отрыва от непосредственной работы. В результате время на прокладку проводов сократилось на 25%, при этом уменьшилось и количество ошибок;

- благодаря применению очков дополненной реальности Epson Moverio BT-200, оснащенных фронтальной камерой, во время сборки истребителя F-35 в американской корпорации Lockheed Martin инженер имеет возможность видеть 3D-модели деталей, которые нужно установить и реальные объекты с инструкцией по сборке. Согласно отчетам, скорость работы инженеров увеличилась на 30%, точность сборки возросла до 96%;

- технологии дополненной реальности, применяемые в автомобильном концерне Fiat Chrysler Automobiles, позволили повысить производительность на 38% и качество на 80%: специальная AR-программа помогала специалистам в сборке зубчатых передач и цепей.

В России крупные промышленные предприятия только присматриваются к технологиям виртуальной и дополненной реальности и оценивают их с точки зрения затрат и эффективности, однако первые результаты использования уже получены [15, 16]:

- AR-проект, созданный компанией из Санкт-Петербурга ArPoint для «Норильского никеля», позволил при наведении планшета на панно с изображением технологии обработки и очистки серной кислоты наглядно продемонстрировать сложный технологический процесс от начала до конца;

- приложение AR/VR разработчика интерактивных решений eks.works г. Екатеринбург для американской гидроисследовательской компании Ocean Infinity наглядно демонстрирует заказчикам оборудование для подводного сканирования.

Возможности применения VR/AR-технологий в машиностроении. В машиностроении применение технологий виртуальной и дополненной реальности оправдано для решения инженерных и конструкторских задач на различных этапах проектирования и эксплуатации [17, 18]:

- на начальном этапе работы над проектом VR-технологии позволяют наглядно продемонстрировать дизайн изделия и его компоновку;

- на этапе конструкторской проработки при помощи VR/AR разработчики могут тщательно проверить и оценить результат работы, своевременно внести корректировки в проект;

- на этапе технологической подготовки производства технологии VR/AR эффективны в качестве дополнения к конструкторской и технологической документации для монтажа и проведения сборочных операций;

- на этапе эксплуатации AR-технологии позволяют совмещать виртуальные и реальные объекты с инструкцией по монтажу и сборке.

Рис. 1. Применение VR/AR-технологий в машиностроении в рамках жизненного цикла продукции

Кроме того, VR/AR-технологии можно эффективно использовать для демонстрации проектов во время выставок, переговоров и презентаций новых продуктов, применять в процессе обучения производственного персонала.

Создание AR-приложения для наглядной демонстрации устройства редуктора. В настоящее время потребителю предлагается несколько средств разработки VR/AR - приложений. Наиболее популярными считаются Unity, Unreal Engine и Simlab. В данные приложения осуществляется импорт 3D моделей практически из всех популярных систем автоматизированного проектирования - Autodesk Inventor, Autodesk Autocad, Компас 3D, SolidWorks.

Авторами разработано AR-приложение для демонстрации сборки и изучения устройства двухступенчатого редуктора, применяемого для поднятия заслонки термической печи в металлургическом производстве. Редуктор выбран для наглядности, как широко применяемый механизм, входящий в состав приводов различных производственных объектов.

Алгоритм создания AR-приложения состоит из нескольких этапов.

На первом этапе составлен сценарий использования AR-приложения в соответствии с задачами:

- определена последовательность наглядной демонстрации сборки редуктора и отдельных деталей в трехмерном виде;

- сборочный чертеж (рис. 2) выбран в качестве метки для наведения камеры устройства (смартфона или планшета) с будущим приложением.

Рис. 2 Сборочный чертеж редуктора

На втором этапе по рабочим чертежам созданы 3D модели деталей редуктора и 3D сборка устройства в САПР Компас 3D. Модели сохранены в формате .stl и после интеграции в Autodesk 3dsMax подготовлены к дальнейшей работе.

Третий этап связан непосредственно с разработкой приложения. Представленное AR-приложение создано в популярной среде разработки мультимедийных приложений Unity[c]. Выбор данного средства разработки обусловлен относительной простотой его использования и интеграцией с Vuforia[d].

Сборочный чертеж редуктора (рис. 2) в цифровом графическом формате (возможны форматы .jpg .png, со специальным разрешением для дополненной реальности) обработан на портале Vuforia, который является средством обработки изображений путем установления реперных точек, т.е. тех точек, по которым будет идентифицироваться изображение.

Выгруженная с портала Vuforia база меток импортирована в среду Unity, скриптами (программный код) прописана логика реализации сценария для демонстрации сборки устройства и отдельных деталей. На рисунке 3 представлена иерархия объектов сцены и вид сцены в среде Unity.

Рис.3 Иерархия объектов приложения

В каждый Image Target добавлен UI-объект Canvas с кнопками (рис. 4).

Рис.4 UI-объекты приложения

Функционал кнопок определяется скриптом (рис.5)

Рис.5 Скрипт viz

Пример использования скрипта события OnClick() кнопок «Восстановить» и «Корпус», представлены на рисунках 6 и 7.

Рис.6 Применение метода viztru () на кнопке «Восстановить»

Рис.7 Применение метода vizctr() на кнопке «Корпус»

Далее приложение загружено на мобильный телефон и протестировано. При наведении камеры смартфона на распечатанный сборочный чертеж можно увидеть трехмерную модель редуктора в целом, скрыть детали и подробно изучить устройство и принцип работы (рис. 8).

Рис. 8 Демонстрация работы AR-приложения

Преимущества использования данного приложения заключаются в том, что продемонстрировать устройство можно без включения компьютера с установленной CAD - системой, в которой создан проект. Рассмотреть сборку полностью снаружи и внутри, скрывая различные детали, можно со всех сторон путем наведения камеры на соответствующее поле чертежа и поворота смартфона. Подобная демонстрация проекта будет понятна и заказчикам, и работникам предприятия, не владеющими САПР. В связи с тем, что данный редуктор входит в состав привода термической печи и работает в условиях повышенной опасности, созданное AR-приложение может быть использовано в качестве тренажера для обучения персонала, обслуживающего данный производственный объект и позволит повысить безопасность проведения ремонтных работ.

Технологии виртуальной и дополненной реальности постепенно внедряются в образовательный процесс в высших и средних учебных заведениях и показывают свою эффективность [19-24]. Разработанное AR-приложение применяется в процессе обучения студентов по направлению Машиностроение в ФГБОУ ВО Магнитогорский государственный технический университет им. Г.И. Носова. Авторами ведется работа по созданию комплекса приложений для визуализации основного механического оборудования металлургического производства.

Заключение. Применение современных CAD/CAM/CAE - систем для проектирования различных производственных объектов, процессов изготовления и проведения инженерных расчётов на большинстве промышленных предприятий стало привычным инструментом конструктора и технолога. Применение технологий трехмерного моделирования в САПР является стандартом подачи демонстрационных материалов проектов в любой отрасли промышленности.

Однако в ближайшем будущем этого будет недостаточно. Стремительное развитие цифровых технологий и положительный опыт их использования зарубежными и российскими компаниями привели к высокому росту спроса на применение VR/AR-технологий предприятиями в России [25]. Ведущие предприятия нашей страны уже приступили к реализации или планируют внедрение VR/AR-технологий в качестве проведения виртуальных тренировок по монтажу, ремонту и обслуживанию оборудования, по моделированию поведения при ликвидации аварий и виртуальному осмотру производственных площадок. Экономический эффект от внедрения VR/AR-решений уже сегодня достигает 10-15 % [26], что подчеркивает актуальность применения и расширения возможностей VR/AR-технологий в процессе проектирования и эксплуатации оборудования промышленных предприятий.

[a] Виртуальная реальность (Virtual Reality, VR) – это специальная трехмерная среда, созданная средствами трехмерного моделирования, либо панорамной съемкой, которая окружает человека и отвечает на его действия через специальные иммерсивные устройства - шлемы, очки, костюмы. Такие устройства виртуальной реальности распознают жесты, отслеживают положения конечностей человека и тела, содержат средства обратной связи. При этом реальный мир человек не видит и не воспринимает.

[b] Дополненная реальность (Augmented Reality, AR) - это сочетание реальных объектов окружающего мира и различных дополнений - текстов, графиков, трехмерных моделей, видео в режиме реального времени с помощью какого-либо устройства, например смартфона, планшета или очков дополненной реальности. Разница между виртуальной и дополненной реальностью заключается в присутствие реального мира.

[c] Unity — межплатформенная среда разработки приложений для дополненной, виртуальной реальности, компьютерных игр. Unity позволяет создавать приложения, работающие с различными операционными системами, включающими персональные компьютеры, игровые консоли, мобильные устройства, шлемы и очки виртуальной реальности.

[d] Vuforia — это платформа дополненной реальности и инструментарий разработчика программного обеспечения дополненной реальности для мобильных устройств, разработанные компании Qualcomm.

References
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.