이번 글에서는 제조 산업에서 메타버스 기술을 사용한 사례를 살펴보겠습니다. VR, AR, MR이 제조 산업을 어떻게 개선할 수 있을까요? 산업 현장의 제조 데이터를 사용하고 분석해 스마트한 메타버스 팩토리로 진화하는 과정을 에어버스, 보잉, 현대자동차 등의 사례로 알아보겠습니다.

최근에는 증강현실의 연장 선상에서 가상 세계와 실제 세계의 결합이 더욱 자연스러워지는 확장 현실이 등장했습니다. 더불어 이용자의 몰입 경험을 극대화하는 기술이 개발되고 있죠. 이러한 몰입 경험은 현재의 시각 기반의 가상 정보 범위가 오감으로 확장되면서 심화되는데요. 단일 사용자 환경에서 복수의 사용자가 거리 제약 없이 같은 가상공간을 공유하고 소통할 수 있는 다중 사용자 환경으로 발전되면서 몰입 경험은 더욱 극대화될 것으로 예상됩니다. 이처럼 디바이스를 사용한 메타버스를 활용하는 제조 기술은 다음과 같습니다.

가상현실(Virtual Reality, VR)은 현실에서 존재하지 않는 환경에 대한 정보를 디스플레이 및 렌더링 장비를 통해 사용자가 볼 수 있게 합니다. 그리고 이미 제작된 2차원, 3차원 기반을 사용하므로 사용자가 현실감각을 느낄 수는 있지만, 현실과 다른 공간 안에 몰입하게 됩니다.

증강현실(Augmented Reality, AR)은 가상현실과는 달리 사용자가 현재 보고 있는 환경에 가상 정보를 부가해주는 형태입니다. 즉, 가상현실이 현실과 접목되면서 변형된 형태 중 하나인 셈이죠. 사용자가 실제 환경을 볼 수 있기 때문에 가상의 정보 객체(기후정보, 버스 노선도, 맛집 길 안내)가 현실에 있는 간판에 표시되기도 합니다.

혼합현실(Mixed Reality, MR)은 물리적 세계와 디지털 세계가 상호작용한다는 증강현실의 장점과 몰입감을 전달하는 가상현실의 장점을 결합하고 사용자와의 상호작용을 더욱 강화한 기술을 의미합니다.

위의 기술이 제조 산업의 조립 공장에 적용되면 작업자에게 공정 과정에 필요한 부품과 도면 정보를 자동으로 제공해 아래와 같은 이점이 생깁니다.

• 작업 정확도와 생산 속도가 향상
• 작업 오류 비율이 현저히 낮아짐
• 안전사고 감소

또한, 제품 출하 후 유지 보수 과정에 증강 현실이 사용되면 아래와 같은 장점이 있습니다.

• 전문가가 유지보수 현장에 직업 이동하지 않고도 현장의 작업자를 모니터링하며
• 필요한 정보를 즉시 전달하여 이른 시간 문제를 효과적으로 해결할 수 있다.
• 추가로 관련 교육에 대한 매뉴얼을 작업자가 현장에서 빠르게 전달받을 수 있다.

즉, 증강현실 기반의 제조업의 장점으로 안전성 향상, 작업 시간 단축, 품질개선, 몰입 교육, 유지보수의 개선으로 꼽을 수 있습니다.

라이프로깅(Life logging)은 ASF의 정의에 따르면, 일상생활에서 일어나는 모든 순간을 디지털화한 기록이라 할 수 있습니다. 일상의 순간을 텍스트, 영상, 사운드 등으로 캡처하고, 네트워크 연결이 가능한 하드웨어와 연동해 정보를 저장하고 공유하는 것이죠.

라이프 로깅을 제조 산업으로 가져오면 제조 공정 전반의 데이터를 수집 가공, 처리 분석하는 것을 의미합니다. 로깅 대상을 제조 현장의 휴먼 데이터로 설정할 수 있는데요. 이를 통해 산업 인력의 작업 동작을 분석해 현장의 안전을 개선하고 작업자의 경험을 효율성을 향상하는 데 목적이 있습니다. 현재 제조 산업에서 CPS, DT의 기술을 사용하는 데이터에는 거래 내용, 문서, 설계 데이터, 생산 현장 설비에서의 로그 및 공급망 흐름 등이 있습니다.

제조 산업에서 혼합 현실의 도구를 이용하고 산업 현장의 데이터를 사용하고 분석해 메타버스 팩토리로 진화한 사례를 살펴보겠습니다.

에어버스 – MR을 이용해 제조상의 품질, 안전성, 보안을 향상

항공우주 기술의 선구자이자 상업용 및 군용 항공기, 위성, 발사체의 설계 및 제조업체를 선도하는 에어버스(Airbus)는 혼합 현실을 사용해 기존 산업 프로세스를 혁신하고자 노력하고 있습니다. 에어버스는 HoloLens 2를 항공기 설계 및 제조를 가속하는 동시에 안전과 기능을 향상하고 직원을 위한 전문 개발 기회를 보장하는 방법으로 사용합니다.

예를 들어, 생산 작업자는 업무 중 VR, MR 기기를 착용한 상태에서 설비 업무 중 핸즈프리 상태로 필요한 전화를 받을 수 있습니다. 또한, 설비에 문제가 발생한 경우 현장의 문제 상황을 동료에게 화상 통화를 걸어 원격으로 처리할 수 있죠. 동료 전문가는 현장 작업자의 관점에서 주석을 달고 관련 미디어를 함께 보내 작업을 완료할 수 있으며, 각 세션에서 생성된 정보를 가져오거나 저장해 업무의 해결 시간을 단축하고 프로세스를 개선할 수 있습니다.

혼합 현실은 항공우주 학습에도 사용됩니다. 훈련생은 고가의 장비를 장착할 필요 없이, MR을 통해 몰입형 가상 환경에서 학습할 수 있죠. 이 3D 환경은 각 요소를 모든 각도에서 3차원으로 볼 수 있는 기능과 같이 실제 교육에서는 구현할 수 없는 기능을 제공하는데요. 이러한 MR 기술은 에어버스 설계자가 가상으로 설계를 테스트해 제조 준비가 되었는지 확인하는 데 도움을 줍니다. 혼합 현실을 통해 업무 프로세스 속도를 높여 설계 검증 시간을 80%가량 줄이고, 복잡한 조립 작업을 30% 가속할 수 있을 것으로 예상됩니다.

보잉 – AR로 복잡한 조립 작업, 현장 작업 효율 증대

미국 보잉사는 1990년대 초반부터 항공기 조립에 사용할 수 있는 증강현실 시스템을 개발했습니다. 항공기 내부에는 아주 많은 양의 다양한 전선이 설치돼 있기에 항공기 내부의 전선 설치 작업은 매우 어렵고 복잡한 작업인데요. 보잉사에서 개발한 증강현실 시스템은 항공기 몸체 내부에 설치돼야 하는 전선을 AR 안경을 통해 자동으로 배선 위치를 볼 수 있어 안내에 따라 바로 조립하면 됩니다. 설계도를 펼쳐 놓고 작업하던 과거와 비교하면 조립 시간이 25% 이상 단축됐죠.

보잉은 737 MAX 10 가상 공상에 VR 기술을 사용하고 있습니다. 생산 현장의 엔지니어는 가상 환경에서의 랜딩 기어의 설치 방법, 외관 및 사용하는 툴의 종류를 미리 확인할 수 있죠. 이러한 경험을 통해 정비사는 최종 조립을 시작하기 몇 달 전에 필요한 핀치 포인트나 새로운 공구 등 잠재적인 문제에 대한 피드백을 생산기술팀에 제공할 수 있습니다. 해당 팀은 현장의 정보를 입수하고 최적화해 안전하고 효율적인 생산 시스템으로 업데이트 할 수 있게 됩니다.

우주 비행이 점점 상업화되고 많은 사람이 접근할 수 있게 되면서 다양한 국가, 기관, 민간 파트너십의 우주비행사를 연결하고 공동으로 훈련하는 능력이 중요해지고 있습니다. 보잉은 AR을 사용해 훈련생에게 항공기 날개를 조립하는 방법을 보여주고 있는데요. 이를 통해 훈련생이 작업을 수행하는 데 걸리는 시간을 35% 단축했습니다.

현대자동차 – VR을 사용한 디자인 품평, 엔지니어링 고도화

현대자동차 디자이너들은 VR 헤드셋을 쓰고 각 지역별 사무실에서 회의에 참석합니다. 현대차 VR 개발 공간에 접속하면 눈앞에 신차 모형이 펼쳐지며, 다른 대륙에서 근무하는 동료를 만날 수 있죠. 손짓 한 번으로 자동차와 헤드램프, 계기판의 색상과 재질을 바꿀 수도 있습니다. 그뿐만 아니라 자동차가 놓인 배경을 도시나 바닷가, 오프로드로 자유롭게 변경할 수 있습니다.

현대자동차는 2019년부터 상품기획단계에서부터 생산까지 차량 개발 전 과정에서 버추얼 개발 프로세스를 본격 도입했습니다. 신규 개발 자동차의 컨셉을 설정하는 단계부터 다양한 부문의 데이터를 통합해 가상 차량 모델을 구성하는데요. 설계에 들어가기 전부터 이를 검증해 시장의 요구에 유연하게 대응할 수 있습니다.

현대자동차의 수소 전용 대형트럭 콘셉트카 ‘넵튠(Neptune)’의 혁신적인 디자인이 바로 이 시스템에서 탄생했습니다.

대형트럭은 승용차보다 부피가 훨씬 크기 때문에 평면의 영상이나 클레이 모델 품평으로는 공간감이나 크기를 확인하는 데 어려움이 있었습니다. 하지만, 버추얼 개발 프로세스를 도입하면서 차의 높이를 낮춰서 운전자가 트럭의 윗부분까지 쉽게 살펴보고 실내를 자유롭게 드나들게 하는 등 현실에서는 불가능한 품평이 가능하게 됐죠.

클레이를 깎는 것보다 디지털 모델을 만드는 시간이 훨씬 짧다는 점 또한 빼놓을 수 없는데요. 이렇게 VR 디자인 검증으로 절약한 시간과 비용을 더 많은 디자인 시안을 도출하는 데 활용할 수 있어 효과적입니다.

가상현실 속에서는 엔지니어가 가상 차량과 환경을 만들어 자동차의 디자인과 구조를 효율적으로 검토하고 변경할 수 있습니다. 이 기술을 통해 엔지니어는 가상 차량을 자유롭게 드나들 수 있으며, 실제와 같은 기능을 작동시킬 수도 있죠. 고가의 테스트카를 제작할 필요가 없으므로 새로운 모델을 설계하는 데 소요되는 평균 개발 시간을 약 20%, 비용은 연간 15% 줄일 수 있을 것으로 보고 있습니다. 더불어, 가상현실을 통해 엔지니어는 개발 초기 단계부터 품질 관리를 수행할 수 있으며 빠르게 변화하는 업계 패러다임과 소비자 요구에 신속하게 대응할 수 있게 됩니다.

코카콜라 HBC – AR을 통한 유통 과정의 정확성 개선

Coca-Cola Hellenic Bottling Company(HBC)는 코카콜라의 제조사 중 가장 큰 업체입니다. 유통 센터의 가장 큰 문제는 부피가 큰 상자, 수축 포장된 병, 팩, 캔을 배달 트럭용 팔레트에 포장하고 운송하는 것이었는데요. 물류 프로세스를 최적화하고 고객 서비스 수준을 높이기 위해 AR과 원격 지원 솔루션인 Ubimax(현재는 TeamViewer에서 인수합병)을 2019년부터 사용해 제품 선적 및 팔레트 포장의 정확도를 향상하고 있습니다.

이 과정에서 AR 글라스를 착용하면, 선적 항목, 피킹 위치 및 수량이 시야에 표시됩니다. 원하는 제품이 정확한 위치에 있는지 확인하기 위해 AR 장비의 카메라로 팔레트 위의 QR 코드를 스캔하며 작업을 진행하는데요. AR과 원격 지원 솔루션 도입 후, 생산성은 10%가량 향상됐고 선적의 정확도는 99.9%가 이르러 물류 개선이 이루어졌습니다.

특히, AR 글라스 착용자가 각 제품을 바라보며 제품을 파악해 재고를 업데이트하는 시스템을 통해 더욱 효율적인 재고 관리도 가능하게 됐습니다. 이 기술은 선적 과정에서 높은 신뢰도를 얻은 후 생산 공정에도 도입됐습니다.

공장에 문제가 발생하면 생산 라인에 위치한 근무자가 AR 글라스를 쓰고 전문가에게 전화를 겁니다. 그럼 전문가는 AR 글라스를 통해 전달된 영상을 보면서 상황을 파악하고 작업자에게 대안을 지시하는 방식으로 문제를 해결하죠. 이처럼 간단한 문제는 현장에서 근무자가 직접 해결하기 때문에 작업 시간이 크게 감소했습니다. 그뿐만 아니라 전문가가 이동하는 시간과 같은 불필요한 시간이 줄어들면서 물리적인 시간이 단축됐습니다.

히타치 & 독일 인공지능연구센터 – 작업자의 동작 데이터 분석으로 안전 향상

제조, 운송, 물류 산업은 숙련된 근로자가 부족하고 신규 근로자 채용이 점점 어려워지는 환경이기에 기술 수준을 향상하고 노동력을 보전하는 것이 시급한 문제입니다. 이와 더불어 생산 및 물류 현장 근로자의 안전 의식이 높아짐에 따라 작업자의 위험을 예방하기 위한 회사 측의 지원 또한 매우 중요해졌죠.

근로자의 안전과 건강을 지키기 위해선 작업 중 신체적 부하의 수준을 알아야 합니다. 정확한 신체 스트레스 분석은 작업자 안전을 지키고 건강을 보호하는 데 중요한 역할을 하기 때문이죠. 전통적인 접근법으로는 고정 카메라를 사용해 근로자의 활동을 탐지하고 기록하는 방법이 있습니다만, 물리적 부하의 정량적이고 안정적인 평가를 보장하지 못한다는 문제가 있습니다.

AI 기술을 이용한 휴먼 동작 오류 감지

이 문제를 해결하기 위해 독일 인공지능연구센터(DFKI)와 히타치(Hitachi, Ltd.)는 공동으로 웨어러블 센서 슈트로 작업자의 신체 각 부하를 정량화해 물리적 변형을 감지 및 평가하는 새로운 AI 기반 기술을 개발했습니다.
이 기술에 사용된 웨어러블 장치(센서 슈트)는 기본적인 인간 행동을 인식하는데 필요한 30개 이상의 신체 부위별 움직임을 직접 측정합니다.

각 신체 부위의 위치를 예측하는 방법을 학습한 AI 구동 모델이 이 데이터를 분석하는데요. 신체 각 부위의 동작 데이터를 사용해 작업 중 작업자 신체에 가해지는 물리적 하중을 실시간으로 인식하고 가시화합니다. 즉, 작업자에게 더욱 높은 물리적 부하를 일으키는 신체 부위를 알려주며, 작업자의 신체 부위의 움직임과 표준 모델 근로자와의 차이에 대한 피드백을 제공하죠. 이를 통해 위험한 행동을 방지함으로써 안전을 보장하고, 다양한 생산 및 제조 현장에서 작업 효율성을 향상하는 데 기여합니다.

히타치와 DFKI는 새로 개발된 이 인공지능 기술을 스포츠 또는 엔터테인먼트와 같은 다른 산업에도 적용할 계획입니다.

[이미지 출처]
1.https://www.airbus.com/en/newsroom/stories/2019-02-stepping-into-the-virtual-world-to-enhance-aircraft-maintenance
https://www.airbus.com/en/newsroom/news/2017-09-virtual-reality-with-real-benefits
2.https://customers.microsoft.com/en-au/story/732143-airbus-manufacturing-azure-hololens2
3.https://www.boeing.com/features/2018/01/augmented-reality-01-18.page
https://www.boeing.com/company/about-bca/washington/737-max10-virtual-reality-01-28-19.page
https://www.boeing.com/features/2020/06/starliner-crew-training-goes-virtual.page
4.https://www.hyundai.co.kr/story/CONT0000000000001453
5.https://tech.hyundaimotorgroup.com/article/car-design-in-vr-hyundais-vr-design-evaluation-process/
6.https://static.teamviewer.com/resources/2021/03/Flexible-content_3-1.jpg
7.https://www.hitachi.eu/en/press/dfki-and-hitachi-jointly-develop-ai-technology-human-activity-recognition-workers-using

글 ㅣ LG CNS 기술전략팀