본문 바로가기

블로그

LG CNS 기술블로그 DX Lounge에서 최신 IT 소식을 만나보세요!

IT Trend

VR/AR의 미래? ‘몰입형 기술’만이 살 길!

2021.09.09

몰입형 기술(Immersive Technologies)은 과거 여러 용어로 불리며 서로 무관한 기술로 여겨졌습니다. 그 이유는 각 기술의 특징을 따로 활용하는 방안만 고려했기 때문인데요. 정체성을 같은 맥락으로 통합하려는 시도는 인간과 컴퓨터의 상호작용(Human-computer interaction, HCI) 전반에 걸친 먼 미래의 것이었습니다.

실제로 3D 효과를 만드는 스테레오스코피(Stereoscopy) 기법은 무려 1800년대에 개발됐고, 서라운드 음향은 1940년 월트 디즈니 스튜디오의 애니메이션 영화 판타지아(Fantasia)에 공식적으로 처음 도입됐죠. 물론 당시와 현재의 기술 수준은 차이가 있지만, 기술을 고안한 개념적인 면에서도 스테레오스코피는 사진 분야, 서라운드 음향은 극장 상영에 중점을 두었기에 거리가 있었습니다.

이런 기술이 본격적으로 ‘몰입형’ 또는 ‘실감형’이라는 하나의 범주로 묶이게 된 사례는 디자인 그룹 나우2(Nau2)가 2008년에 공개한 ‘이머시브 코쿤(Immersive Cocoon)’이었습니다.

이머시브 코쿤은 지름 4m의 구체로 360도 실내 돔 디스플레이를 탑재했는데요. 사람이 구체에 들어가면 사방이 디지털 요소와 상호작용하는 공간으로 변하고, 서라운드 음향에 노출되는 방식이었습니다. 모션 감지 시스템도 적용되어 손동작이나 직관적인 몸놀림으로 가상 세계를 탐색한다는 게 제품의 골자였습니다. 박물관이나 미술관의 3D 렌더링을 구축해 온라인으로 방문하거나 가상의 동료와 회의하는 등 새로운 경험을 제공할 것으로 기대를 모았으나, 기술적 한계로 2014년 출시한다는 계획은 2010년에 취소됐습니다.

그러나 이 사례는 커다란 개념을 남겼는데요. 이머시브 코쿤은 MIT에서 VR을 연구하고, NTT 도코모에서 개인용 증강현실(Augmented reality, AR) 시스템을 연구한 스콧 피셔로부터 영감을 얻었습니다. 이전까지 VR 및 AR은 항공기 조종사의 헤드업 디스플레이(Heads-up Displays)에서 사용된 기술이었는데, 스마트폰 등장 이후 NTT 도코모 등 기업의 휴대하는 AR 연구가 활발해졌습니다. 다만, 스마트폰은 헤드셋보다 가볍다는 특징만 있었을 뿐 청각, 촉각 등 다른 지각의 상호작용은 배제된 것이었죠. 그런데 이머시브 코쿤은 휴대를 포기하는 대신 가상 세계로 바뀐 공간에서 보는 것만 아니라 듣고, 행동해 상호작용하는 방법을 제시했습니다.

이머시브 코쿤의 제시에도 VR과 AR의 추세는 달라지지 않았지만, 중요한 것은 몰입형 기술이 어떤 관념과 목표를 따를 것인지 정리했다는 점입니다. 이를 통해 각 분야의 기술들이 ‘몰입형’이라는 거대한 범주에 모일 수 있었죠. 그렇다면 왜 이머시브 코쿤 이후 거의 10년이 지난 지금 몰입형 기술이 가장 떠오르는 기술 동향이 됐을까요?

이머시브 코쿤 (출처 : http://nau2.com/portfolios/immersive-cocoon/)

인간과 컴퓨터의 상호작용 변화

역사적으로 컴퓨터는 HCI, 인터페이스의 발전으로 세대를 거듭했습니다. 천공카드에서 키보드로, 키보드는 마우스와 결합했고, 터치스크린으로 넘어왔죠. 컴퓨터와 상호작용하기 위한 수단이 필요했고, 스크린에 텍스트를 출력하게 되자 입력 장치가 필요했으며, 그래픽 사용자 인터페이스와의 상호작용, 나아가서는 스크린의 그래픽을 직접 만지는 지점까지 온 것입니다.

그렇다면 컴퓨터의 다음은 무엇인가요? 경계가 있는 스크린을 넘어서 그래픽 요소가 확장되고, 상호작용하는 건 필연적입니다. 그래서 우리는 VR(Virtual Reality)과 AR(Augmented Reality), 그 밖에 MR(Mixed Reality)이나 XR(Extended Reality)로도 부르는 지점까지 오게 됐죠. 모든 기술 분야가 이 동향을 주목하는 건 당연합니다.

2010년 전까지 VR 및 AR 분야는 모두 지지부진했는데요. 개념은 수십 년 전에 만들어졌지만, 가장 중요한 그래픽 요소를 스크린 밖으로 끌어낼 기술을 고도화하기 어려웠기 때문입니다. 모바일이 중심이 된 때에 항공기 조종사의 무거운 헬멧을 쓸 수 없는 노릇이었고, 그나마 경량화된 헤드업 장치들은 가상현실로 부르기 민망한 수준의 해상도와 품질을 제공했죠.

그러던 중, 팔머 럭키가 고안한 ‘오큘러스 리프트(Oculus Rift)’의 등장으로 VR은 급격한 변화를 겪게 됐습니다. 기존 VR 장치가 디스플레이를 눈앞에 둬서 이미지를 크게 보이도록 하는 방식이었다면, 오큘러스 리프트는 렌즈를 탑재해 시야각을 넓히고, 발생하는 왜곡을 소프트웨어로 조정하는 방식을 제시한 것이죠. 그래서 시야에 들어오는 모든 부분을 가상의 그래픽 요소로 채울 수 있게 됐습니다.

단점은 높은 사양의 PC를 선으로 연결해야 한다는 것이었는데요.  2014년 페이스북이 개발사 오큘러스를 인수해 투자한 결과, 2020년 6 DoF 지원 독립형 VR 헤드셋 ‘오큘러스 퀘스트 2(Oculus Quest 2)’로 이어질 수 있었습니다. 오큘러스 퀘스트 2는 PC에 연결하지 않으면서 3664×1920의 높은 해상도, 503g의 가벼운 무게, 그리고 299달러의 저렴한 가격으로 5개월 만에 100만 대를 판매했습니다. 이는 전작의 전체 판매량과 비슷하며, 오리지널 아이폰의 초기 판매와 비슷한 속도였습니다.

오큘러스 리프트 (출처 : https://www.youtube.com/watch?v=DhcOMOWRMnA)

AR의 상황은 조금 달랐습니다. 2017년 애플이 AR 플랫폼 AR킷(AR Kit)을 공개하면서 큰 관심을 끌었죠. 하드웨어 기술이 발단이었던 VR과 달리 AR은 소프트웨어 프레임워크를 통한 스마트폰 기반으로 빠르게 앱을 추가할 수 있었습니다. AR은 프로젝트 탱고(Project Tango), VR은 카드보드(Cardboard)를 통해 하드웨어 전략으로 접근했던 구글도 이듬해 AR코어(AR Core)를 출시하면서 모바일을 이용한 본격적인 경쟁에 들어갔습니다.

AR킷은 아이폰, 아이패드에 중점 두고 주변 환경과 사물을 최대한 정확하게 인식하는 방향으로 개발되고 있는데요. AR코어는 다양한 장치를 지원하는 범용성 중심으로 주변 환경을 넓고 빠르게 이해하는 데에 역점을 두고 있습니다. 방향성에는 차이가 있으나 별도 장치 없이 모바일에서 누구나 사용하게 한다는 똑같은 목적으로 발전하고 있습니다.

아직 이 모든 것은 초기 단계인데요. VR과 AR을 응용하는 사례는 늘고 있지만, 키보드와 마우스가 수십 년 동안 HCI를 지배한 정도의 영향을 끼치기는 부족한 점이 많기 때문입니다. 아직 스마트폰의 터치 인터페이스도 많은 발전 여지를 남겨뒀으니 미약한 단계의 VR, AR은 더 갈 길이 먼 것이죠. 그런데도 스크린을 넘은 곳에 HCI의 미래가 있다면 VR과 AR이 게임체인저임을 의심할 여지가 없습니다. 시각 상호작용을 위한 그래픽 기술이 비약적으로 발전한 때에 현실과 구별할 수 없을 정도의 VR과 AR HCI를 구현할 분야로 몰입형 기술이 꼽히고 있는데요. 정확히는 몰입형 기술을 적용한 VR 또는 AR만이 시장에서 살아남는 추세로 바뀌고 있습니다.

AR킷 (출처 : https://developer.apple.com/augmented-reality/)
구글 AR코어 (출처 : https://www.youtube.com/watch?v=boIfc1PsakA)

Immersive Technologies의 전망

텔레포테이션(Teleportation)

지난 3월, 미국의 유명 팟캐스트 더 인포메이션즈 411(The Information’s 411)에 출연한 페이스북 CEO 마크 저커버그는 ’10년 이내에 소파에서 움직이지 않고도 친구를 만나거나 게임을 하고, 먼 곳을 방문할 수 있을 것’이라면서 ‘2030년까지 차세대 오큘러스는 다른 장소로 이동하는 텔레포테이션(Teleportation) 경험을 제공할 것’이라고 말했습니다.

몸이 실제 장소에 이동하는 게 아니어도 현실과 구분할 수 없는 수준이라면 순간 이동한 것과 다르지 않다는 것이 저커버그의 주장입니다. 굉장히 추상적인 개념으로 느껴지겠지만, 텔레포테이션은 몰입형 기술이 궁극적으로 추구하는 방향성입니다.

저커버그는 ‘오늘날의 영상 통화는 실제와 같은 가상의 방으로 전환될 것이다. 내부에서 참가자들이 육체적으로 만나면 이전에는 상상할 수 없었던 방식으로 상호작용할 수 있다. 개발 중인 새로운 기술들이 모든 사용자에게 아바타를 제공할 테고, 매우 사실적인 표정으로 상호작용을 도울 것’이라고 설명했습니다. 현실과 가상의 개념을 구분하지 않는 단계라면 이미 텔레포테이션이 실현된 상태라는 의미입니다.

그러기 위해서는 그래픽을 통한 시각뿐만 아니라 현실과 가상의 지각에 혼돈을 줄 수 있는 청각, 촉각 등 감각까지 몰입감이 부여되어야 하는데요. 나아가서는 따로 인지해야 하는 장치가 없어도 현실에서의 영향력과 똑같아야 텔레포테이션을 구현할 수 있을 것입니다.

페이스북 CEO 마크 저커버그(출처 : https://about.fb.com/news/2019/09/introducing-hand-tracking-on-oculus-quest-facebook-horizon-and-more/)

홀로포테이션을 가능하게 한, 포틀(PORTL)

홀로그램을 이동시킨다는 개념의 ‘홀로포테이션(Holoportation)’은 텔레포테이션의 하위 개념으로 2016년 마이크로소프트가 공개한 영상을 통해서 알려졌습니다. 텔레포테이션이 사람과 사물을 새로운 공간이라고 인지할 곳으로 이동시키는 개념이라면, 홀로포테이션은 사람과 사물을 인지하고 있는 공간에 불러들이는 것입니다. 좀 더 쉽게 말하면, ‘내가 이동해서 새로운 공간이라고 인지할 수 있으면 텔레포테이션’, ‘이동한 사람이 공간을 인지할 수 없으면 홀로포테이션’입니다.

마이크로소프트가 소개한 영상을 보면 카메라가 설치된 스튜디오에서 실시간으로 촬영된 사람이 MR 장치인 홀로렌즈(HoloLens)를 착용한 사람에게 보이는 방식이었습니다. 홀로렌즈를 착용한 사람은 자신이 있는 공간에 새로운 객체가 포함됐다고 인식할 수 있으나 피촬영자는 새로운 공간으로의 이동을 경험할 수 없는 것이죠. 그런 탓에 초기에는 홀로그램 회의 등으로 주목받았지만 피촬영자의 몰입감이 떨어진다는 것, 그리고 장치 착용이 몰입감을 떨어뜨린다는 단점에 진전을 보이지 못했습니다.

MS 홀로포테이션(출처 : https://www.microsoft.com/en-us/research/project/holoportation-3/?from=http://research.microsoft.com/holoportation)

하지만 미국 로스앤젤레스 기반 스타트업 ‘포틀(PORTL)’은 홀로포테이션의 단점을 극복하고, 홀로그램을 현실적이라고 몰입할 수 있는 단계까지 끌어올렸다고 평가받는데요. 피촬영자가 스튜디오 등에서 촬영해야 한다는 한계는 넘어서지는 못했지만, 홀로그램을 바라보는 쪽에서는 실제 사람이 해당 공간에 있는 것처럼 느낄 수 있습니다.

포틀의 홀로포테이션은 ‘포틀 에픽(PORTL Epic)’이라는 전화 부스 형태의 장치에서 이뤄집니다. 촬영된 영상은 포틀 에픽에서 홀로그램으로 구현되는 방식인데요. 4k 디스플레이로 고품질 영상을 전달할 뿐 아니라 3D 사물, 그림자 표현으로 어느 각도에서도 실제처럼 인지할 수 있는 홀로그램을 보여줍니다.

서라운드 음향, 18,000lM 라이트 박스, 모션 감지, 터치스크린을 제공해 포틀 에픽을 설치한 지점에 누구든 불러올 수 있는 혁신적인 모델입니다. 포틀의 홀로포테이션 기술은 회의, 영업, 공연 등 다양한 분야에서 활용되고 있는데요. 작년에 테슬라, 스카이프, 코인데스크, 스페이스X, 트위치 등 초기 스타트업 투자로 유명한 팀 드레이퍼가 주도하는 300만 달러의 시드 펀딩도 확보했습니다.

포틀(출처 : https://www.portlhologram.com/)

부동산 텔레포테이션 AR, 리얼AR(RealAR)

호주 기반 스타트업 ‘리얼AR(RealAR)’은 부동산 텔레포테이션 AR 회사로 알려졌습니다. 빈 곳에 AR로 공간을 만드는 것인데요, 여기에는 두 가지 특징이 있습니다.

첫 번째는 ‘인공지능(AI) 컨버전’인데요. 리얼AR는 AI 기술을 이용해서 2D 평면도를 3D AR 모델로 전환합니다. 평면도를 사진으로 촬영해 PDF 파일로 업로드하면 AI가 실제 크기의 공간을 AR로 구현하는 방식입니다.

두 번째는 ‘스마트폰 AR’입니다. 대부분 부동산 관련 AR 기술은 홀로렌즈와 같은 장치를 착용해야 하지만, 리얼AR은 스마트폰으로 AR 공간을 제공합니다. 비싼 장비 없이도 누구나 주택, 상가, 숙박시설을 AR로 미리 경험할 수 있는 것이죠.

이런 기술은 스마트폰 스크린을 바라보면 마치 해당 공간 안에 있는 것처럼 느낄 수 있고, 실제로 가상 공간 안에서 이동할 수 있기에 간접적인 텔레포테이션 경험을 제공하는 몰입형 기술입니다.

리얼AR(출처 : https://www.realar.com/)

앰비언트 컴퓨팅(Ambient Computing)

‘앰비언트 컴퓨팅(Ambient Computing)’은 앰비언트 인텔리전스(Ambient Intelligence, AmI)라는 개념으로 1990년대에 처음 등장했습니다. 2017년, 월스트리트저널의 저명한 칼럼니스트이자 All Things D, 리코드(Recode)의 공동 창립자 겸 편집자 월트 모스버그가 은퇴 직전 마지막으로 작성한 칼럼에서 미래 컴퓨터로 재정의한 것으로 널리 알려지게 됐습니다.

앰비언트 컴퓨팅의 골자는 ‘편재’입니다. 모스버그는 ‘주요 기술 업체들이 인공지능, 머신러닝, AR, VR, 로봇, 드론, 스마트홈, 자율주행 차량, 헬스케어, 웨어러블 등에 집중하고 있다.’라면서 ‘이 모든 것은 더 분산된 컴퓨팅 능력, 새로운 센서, 더 나은 네트워크, 음성과 시각적 인식, 더 지능적이면서 안전한 소프트웨어에 공통으로 의존한다.’라고 말했습니다. 우리가 접근하는 모든 것이 컴퓨터라는 것이죠.

하지만 이것은 사물인터넷(IoT)과는 다릅니다. ‘초기 인터넷은 PC라고 불리는 플라스틱 덩어리가 수행한 활동이었고, 현재는 스마트폰과 같은 별개 장치를 사용하며, 스마트 스피커를 통해서 몇 가지 기기를 불러낼 수 있지만, 여전히 장치가 존재하고, 기기를 불러낼 마법의 단어를 기억해야 한다. 아직 우리는 보이지 않는 전지전능한 컴퓨터에서 멀리 떨어져 있다.’라고 모스버그는 말했습니다. 그러니까 ‘모든 것이 컴퓨터지만, 컴퓨터라는 걸 알아차리지 못하는 환경’이 앰비언트 컴퓨팅이라는 것입니다.

앞서 설명한 텔레포테이션이 현실과 가상의 경계를 허물어서 구분하지 못하는 상태를 만드는 거라면, 앰비언트 컴퓨팅은 컴퓨팅의 경계를 허물어서 컴퓨터를 인지하지 못하는 상태를 만드는 몰입형 기술의 최종 단계입니다.

진열대의 상품을 컴퓨터라고 생각하는 사람은 없을 겁니다. 하지만 앰비언트 컴퓨팅이 실현되면 상품을 바라보거나 집어 든다는 매개로 몰입형 상호작용이 가능해집니다. 예컨대, 소비자가 진열대의 감자칩을 바라볼 때 바삭하는 소리로 상품을 집도록 유도하거나 AR로 안의 내용물이 보이게 한다고 생각해봅시다. 감자칩이 컴퓨터는 아니지만, 컴퓨터를 통한 감자칩과의 상호작용이 발생시켜 구매에 영향을 끼칠 수 있겠죠. 이런 앰비언트 컴퓨팅을 구현하는 핵심이 바로 몰입형 기술입니다.

앰비언트 컴퓨팅(출처 : https://www.theverge.com/2017/5/25/15686870/walt-mossberg-final-column-the-disappearing-computer)

펩시 맥스(Pepsi Max) 버스 정류장 AR 프로모션

현재 기업들의 AR 마케팅은 대부분 참여형입니다. 상품에 관한 특정 행위를 AR로 유도해 상호작용을 끌어내는 것이죠. 하지만 7년 전 펩시코(PepsiCo)가 진행한 펩시 맥스(Pepsi Max) 프로모션은 몰입형 AR 마케팅이 퍼졌을 때 어떤 영향을 끼칠 수 있는지 잘 보여줍니다.

회사는 영국의 한 버스 정류장 한쪽 면에 투명한 것처럼 보이는 디스플레이를 설치했습니다. 그리고 사람들이 버스를 기다리는 동안 거대한 촉수가 나타나거나 불타는 소행성이 떨어지고, 로봇이 레이저를 발사하는 등 터무니없는 현상이 현실에서 벌어지는 것처럼 보여줬는데요. 일부 사람들은 현상이 일어날 때 그걸 실제라고 믿었다가 곧 이상함을 깨닫고 디스플레이를 확인하는 모습을 보였습니다. 캠페인 영상은 5일 만에 300만 건의 조회 수를 기록했고, 진행한 1개월 동안 매출은 35% 급증했습니다.

이 캠페인은 현상이 거짓임에도 사람이 순간적으로 인지할 수 없도록 만들었다는 게 중요한데요. 사람들은 스마트폰을 사용하거나 헤드셋을 착용하지 않은 채 그저 일상에 머물고 있었고, 현상이 거짓이라는 걸 인지할 때까지는 약간의 시간이 필요했다는 겁니다. 허상임을 확인할 수 있었던 건 AR이 디스플레이를 넘어서 실현되지 않는다는 걸 깨달았기 때문이었습니다.

그런데 거치형 디스플레이에 국한하지 않은 고품질 AR이 주변에 편재한다면 어떨까요? 거짓을 확인하기까지 시간이 더 길어질 테고, 인지한다 해도 곧장 다른 현상으로 이어지므로 몰입형 경험은 끊어지지 않고 유지될 것입니다. 그리고 몰입형 경험과 상호작용할 수 있겠죠. 가령 상품의 패키지에 그려진 버튼을 탭 하면 상품 설명이 가상으로 나오는 것처럼 말입니다. 즉, 현실의 사물이 가상의 인터페이스와 연결되어 무엇이 컴퓨터인지 알 수 없는 앰비언트 컴퓨팅을 실현되는 것입니다.

펩시 맥스 캠페인 출처 : https://www.youtube.com/watch?v=V5bC4hnrPkg)

[출처]

1.    Nau2({+}http://nau2.com/portfolios/immersive-cocoon+)
2.    The Information({+}https://www.theinformation.com/articles/mark-zuckerberg-on-mind-reading-apple-and-the-race-to-mainstream-vr+)
3.    Portl Hologram({+}https://www.portlhologram.com+)
4.    Real AR({+}https://www.realar.com+)
5.    The Verge({+}https://www.theverge.com/2017/5/25/15686870/walt-mossberg-final-column-the-disappearing-computer+)

글 ㅣ LG CNS 정보기술연구소 기술전략팀

챗봇과 대화를 할 수 있어요