증강현실(Augmented Reality; AR)은 여러 해 동안 주요 기술로 분류되었지만, 시장에서 AR기술을 체감하기란 쉽지 않습니다. AR은 현실을 하나의 거대한 디스플레이로 사용해 디지털 객체를 겹쳐 보이게 함으로써 더 많은 정보와 미래의 모습을 보여줍니다. 그러나 AR을 눈에 직접 보여줄 안경형 장치와 높은 수준의 디지털 객체, 응용 프로그램과 AR생태계 등 필요한 기술의 발전은 아주 더딘 상태입니다.

2016년 출시된 나이언틱(Niantic)의 AR 게임인 포켓몬 고(Pokémon GO) 이후로 큰 상업적 성공이 없었다는 것만으로도 수년 동안 AR에 큰 발전이 없었다는 걸 알 수 있습니다.

다만, 매년 꾸준하게 작은 도약들은 있었습니다. 좋은 성과를 내지 못했더라도 AR의 발전에 필요한 것들이었고, 올해도 AR의 미래에 중요한 움직임들이 있을 것입니다. 실제로 얼마나 큰 영향을 끼치게 될지 알 수 없지만, 알아둘 가치가 있는 AR 동향 5가지를 추려봤습니다.

5G

첫 번째는 ‘5G’입니다. AR 기술은 지금보다 나은 통신 기술을 요구합니다. 현실의 모든 것을 실시간으로 디지털 객체와 연결하려면 빠른 속도와 낮은 지연성이 필요하죠.

O2, 에릭슨(Ericsson), 노섬브리엄워터(Northumbrian Water)는 영국 북동부 지역에서 11억 리터의 물과 하수 관리를 위한 AR 및 5G 프로젝트를 시험하고 있습니다. 이 프로젝트는 5G와 AR 기술로 실시간 데이터 와 지침을 현장 팀에 원격으로 안내하는 방법을 구현하는 것이 목적입니다.

핵심은 ‘AR 맵핑(AR Mapping)’입니다. 약 47,210km 길이의 수도관을 AR 기반 3D 그래픽으로 구현합니다. 그리고 문제가 생기거나 보수가 필요한 지점을 확인하면, 관련 데이터와 지침을 현장 팀에서 볼 수 있도록 AR로 전달합니다. 이에 대해 해결할 사항을 실시간으로 전달해 숙련된 기술자가 해당 지점에 방문하지 않더라도 유지보수를 진행하도록 돕습니다. 이런 원격 AR 지원이 끊김 없이 이어지게 하는 통신 기술로 5G를 함께 다루는 거죠.

현재 AR 맵핑은 제한된 지역이나 범주에 실험적인 단계입니다. 향후 원격 AR 지원이 수도관 유지보수뿐만 아니라 가정에서 욕실을 수리하고, 요가 자세나 요리법을 알려주는 등 광범위한 실생활 영역에 적용된다면 5G는 AR 컴퓨팅의 가장 기초적인 기반기술이 될 것입니다. 올해부터 5G시장의 본격적인 확대를 전망하고 있는데요. 이에 따라 5G와 연결한 AR 프로젝트도 증가할 것으로 보입니다.

3D 맵

‘3D 맵(3D Map)’은 위에서 말한 AR 맵핑 기술의 하나로 가상의 3D 지도를 만드는 기술입니다.

NFL팀 댈러스 카우보이스(Dallas Cowboys)의 홈경기장인 AT&T 스타디움(AT&T Stadium)은 5G 기술을 활용한 AR 클라우드 시스템이 적용된 곳입니다. 현실과 가상이 혼재된 최초의 5G 스포츠 경기장으로서 5G 스마트폰과 AR을 통해 경기장을 탐색하고, 재미있는 디지털 객체와 상호작용하거나 경기에 몰입감을 더할 수 있습니다. 그러려면 디지털 객체는 경기장의 정확히 지정된 위치에 표시되어야 하는데요. 이를 위해 스케이프 테크놀로지스(Scape Technologies)의 3D 맵 기술을 활용했습니다.

작년 10월, 8만 명의 NFL 팬들이 5G AR을 체험하기 위해 AT&T 스타디움에 초대되었습니다. 여기에서 팬들은 스마트폰으로 경기장을 바라보면 선수들의 모습, 경기 내용, 통계가 80피트짜리 거대한 AR로 나타나는 경험을 할 수 있었습니다.

넓은 경기장에서 일괄된 경험을 제공하는 건 어렵습니다. 위치에 따라서 누군가는 80피트짜리 선수의 정면을 보지만, 누군가는 엉덩이를 봐야 합니다. 정확한 3D 맵이 아니라면 엉덩이를 볼 위치에서 정면을 보게 되는 등 현실과 가상을 구분하기 어려운 신기한 경험이 아닌 괴리감 드는 경험을 하겠죠.

스케이프 테크놀로지스는 이 문제를 해결하고자 비주얼 포지셔닝(Visual Positioning) 기술을 활용하는데요. 먼저 경기장의 3D 모델을 구축합니다. 일반 소비자용 카메라도 사용해 경기장의 여러 각도를 사진과 비디오로 캡처해 정확도를 높입니다.

A 지점을 가까이서 촬영하고, 멀리서 촬영한 두 사진을 처리해 어느 위치에서도 그곳이 A 지점이라는 걸 명확히 지정하는 작업인 거죠. 이미지를 비전 엔진(Vision Engine)으로 처리한 후 결과 데이터를 클라우드 지도에 올려 3D 모델을 만들고, 세부 사항을 덧붙이는 방식으로 3D 맵을 완성합니다.

이렇게 만들어진 3D 맵은 정확한 위치에 AR 객체가 나타나게 할 뿐만 아니라 거리에 따른 크기 변화, 각도와 시간 변화에 따라 위화감 없는 디지털 객체를 구현하는 데에 활용할 수 있습니다. 관중석의 어느 위치에서도 거대한 선수들이 경기장과 조화롭게 움직이는 모습을 볼 수 있는 것입니다.

3D 맵은 현실과 가상이 혼재한 곳과 그렇지 않은 곳의 경계를 구분 짓게 합니다. 다르게 말하면 AR이 현실 세계에 오르게 될 궤도를 만드는 기술이라고도 할 수 있습니다. 5G로 통신 문제가 해결되었기 때문에 앞으로 3D 맵을 적용하려는 기업이 증가할 것으로 예상됩니다.

엔터프라이즈(Enterprise)

엔터프라이즈 시장은 이미 AR의 격전지입니다. 많은 기업이 업무에 AR을 도입하며, 안경형 장치의 수요도 계속 증가하고 있습니다. 하지만 아직 아주 작은 시장이죠.

AR을 업무에 도입하려면 ‘어떤 업무에 AR을 활용할 것인가?’, ‘AR 개발은 어떻게 이뤄질 것인가?’, ‘누가 관리할 것인가?’ 등 고려할 것이 많습니다. 따라서 AR 장치만 덜컥 구매한다고 도입할 수 있는 게 아닙니다. 많은 AR 장치 제조사는 도입을 원하는 기업의 요구에 맞춘 장치를 해당 기업만을 위해서 별도로 제작했고, 그로 인해 증가한 AR 비용은 더 많은 기업이 AR을 도입하는데 방해가 되었습니다.

이는 엔터프라이즈 버전의 AR 장치들이 일반 소비자 시장으로 나오는데도 방해가 되었습니다. 많은 대중이 AR 장치를 이용하려면 방대한 경험과 생태계를 포용할 수 있어야 하지만, 엔터프라이즈 시장을 겨냥한 AR 장치들은 특수 목적으로 활용하도록 설계되었기 때문입니다.

하지만 올해부터는 이런 경향이 꺾일 것으로 보입니다. AR 장치들은 엔터프라이즈 시장에서 상당히 성숙했습니다. 이제 제조사들이 원하는 건 지금까지 개발한 경험을 단초로 저렴하면서 가볍고, 만족할만한 성능의 보편적인 엔터프라이즈 AR 장치를 개발하는 것입니다.

앞으로 더 많은 기업이 AR을 업무에 적용할 수 있는 단계로 넘어갈 것으로 예상됩니다. 이런 시도는 일반 소비자용 AR 장치 개발의 전 단계로서 각 제조사의 AR 개발이나 관리 체계가 잡히고, 생태계를 형성하는데 실마리가 될 것입니다.

의료(Medical)

의료는 올해 AR 기술이 가장 빠른 성장을 보일 분야가 될 것입니다.

작년 12월, 의료 AR 스타트업 어그메딕스(Augmedics)는 척추 수술 AR 안내 시스템인 엑스비전(Xvision)에 대해 미국 식품의약처(FDA)의 510(k) 허가를 받았다고 발표했습니다. 엑스비전은 투명한 근거리 디스플레이 헤드셋과 내비게이션 시스템으로 구성된 기술인데요. 수술 도구의 위치를 AR로 표시하고, 환자의 CT 데이터를 기반으로 디지털 궤적을 수술 부위에 겹쳐서 수술 중 필요한 지시나 정보를 제공합니다.

기존에는 의사들이 정보를 확인하려면 눈을 돌려서 원격 화면을 봐야 했지만, 엑스비전을 활용하면 눈을 떼지 않고도 수술을 이어나갈 수 있습니다.

어그메딕스는 FDA 승인을 위해 해부용 시체의 흉부와 요추에 93개의 나사를 배치했고, 나사 위치와 디지털 궤적을 비교한 정확도 실험을 진행했습니다. 총 5구의 해부용 시체로 진행한 실험에서 98.9%의 정확도를 기록했으며, 실제 수술에 적용하더라도 문제가 없는 수준임을 증명했습니다.

앞으로 의료용, 특히 수술에서 활용할 AR 시스템이 지금보다 더 증가할 것으로 예상됩니다. 그동안 AR을 수술에 활용하려는 시도는 많았지만, 엑스비전처럼 H/W와 S/W를 통합한 의료용 AR 내비게이션 시스템이 FDA 허가를 받은 것은 처음입니다. 어그메딕스는 FDA 허가를 받고, 올해 초부터 엑스비전의 배포를 시작할 계획인데요. 2020년은 의료 AR 경쟁이 어느 때보다 심화될 것으로 보입니다.

어그메딕스는 향후 척추 수술 외 엑스비전을 통한 수술 시스템을 추가로 개발할 계획이라고 밝혔습니다. 의료 AR의 주도권 경쟁이나 적용 분야 확대 등 앞으로 AR 분야에서 주목해 볼 지점입니다.

AR 장치(AR Hardware)

마지막은 고성능 AR 장치입니다. 궁극적으로는 독립적인 안경형 장치를 얘기하지만, 꽤 먼 일입니다. 소형화와 휴대성, 가격과 성능을 충족하기 어렵고, 독립적이기 위해서는 부가적인 것들이 많이 필요하기 때문이죠.

지난해, AR 헤드셋 개발사인 매직리프(Magic Leap)는 첫 번째 AR 헤드셋인 매직리프 원(Magic Leap One)을 출시했지만, 혹평에 머물렀습니다. 2,000달러가 넘는 비싼 가격, 휴대하기 어려운 디자인과 착용해야 하는 컴퓨터 팩 및 컨트롤러, 그리고 갖춰지지 않은 앱 생태계까지 독립적인 AR 장치가 얼마나 어려운 길인지 알려줬습니다. 기대감을 사그라들게 했죠.

그러나 면밀히 뜯어보면, 앞으로 AR 장치가 발전하기 위해 필요한 요소들을 이해하는데 도움이 되었습니다. 몰입감을 위해서는 넓은 시야각과 선명한 영상을 위한 렌즈 기술, 거추장스럽지 않으면서도 AR 인터페이스에 알맞은 컨트롤러와 제어 시스템, 선을 요구하지 않는 프로세싱 및 통신 장치 등이 필요한데요. 단순히 가볍고, 착용할 수 있는 수준만 얘기하는 것이 아니라 AR 헤드셋에 나타나는 세부 문제까지 주목하게 해 주었습니다.

이제 AR 장치는 독립적인 안경형보다 현재 AR 기술 수준에서 수용 가능한 AR 인터페이스가 보편적으로 정립되어 가는 과정에서 필요한 장치들을 얘기하는 게 중요해졌습니다.

넥스트마인드(NextMind)는 대뇌 피질의 신호를 디지털 명령으로 변환하는 뇌 컴퓨터 인터페이스 장치를 개발하는 스타트업입니다. 머신러닝 알고리즘을 통해 물체를 인지하는 특정 반응을 학습하게 하고, 디지털 객체를 뇌로 제어하는 방법을 연구합니다. 이 회사가 개발한 장치는 컴퓨터 및 AR과 가상현실(VR)의 제어에 활용할 수 있으며, 올해 399달러짜리 개발 키트를 배포할 계획입니다.

현재 대부분 AR은 스마트폰의 터치 인터페이스 기반으로 개발합니다. AR 인터페이스의 발전도 터치 인터페이스의 탭, 핀치 줌과 같은 상호작용을 기반으로 이뤄지고 있는데요. 만약 넥스트마인드의 뇌 컴퓨터 인터페이스가 AR 장치의 발전에 따라 실제 도입할 수준이 된다면, 기존 터치 인터페이스보다 뇌 컴퓨터 인터페이스를 기반에 둔 제어 방법과 독립형 장치를 고려하게 될 것입니다. 마치 스마트폰이 물리 키보드를 제거하고, 모든 걸 터치 인터페이스에 맡기게 된 것처럼 말이죠.

따라서 올해는 시장 요구에 충족할 수 있는 AR 장치에 대한 연구와 투자가 활발히 이루어질 것입니다. AR 인터페이스 발전에 따른 적용 기술과 해당 기술을 접목한 장치, 그리고 장치를 통한 AR 경험의 확장이 독립형 기기보다 더 많은 관심을 받으리라 전망합니다.

글 l 맥갤러리 l IT 칼럼리스트