본문 바로가기

블로그

LG CNS 기술블로그 DX Lounge에서 최신 IT 소식을 만나보세요!

IT Trend

젊음과 노화를 넘나드는 AI 기술! 고도화된 디지털 휴먼이 온다

2022.12.21

2018년 개봉한 마블 영화 <앤트맨과 와스프>에는 양자 터널을 통해 과거를 넘나드는 장면이 나옵니다. 초대 앤트맨인 행크는 딸 호프에게 ‘엄마(재닛)가 비행기 사고로 죽었다’라고 말했지만, 호프는 그 말이 거짓임을 직감하고 있었는데요. 알고 보니 앤트맨의 파트너 히로인인 ‘와스프’ 재닛은 1987년 소련의 핵미사일을 멈추고자 소형화 슈트를 착용하고 더 작은 크기로 변신했습니다. 그 순간 조절기가 작동에 실패하면서 양자 세계에 빠져 영원히 갇혀 버리고 맙니다.

앤트맨과 와스프(출처: 마블)

재닛역을 맡은 미셸 파이퍼는 1958년생인 배우입니다. 극중 젊은 모습과 나이 든 모습을 오가면서 주목을 받았는데요. 영화의 스토리상 과거 세계에 갇혀 있었으니 당연히 젊음을 유지해야 했고, 마블은 기술을 활용해 영화 속 인물의 모습을 배우의 실제 나이보다 젊은 모습으로 스크린 속에 구현했습니다.

하지만 영상에 등장하는 배우를 젊게 보이도록 구현하기란 쉬운 일이 아닌데요. 이를 위해 CG(컴퓨터 그래픽)가 필요하고, 그중에서도 비주얼 이펙트(Visual Effects, VFX) 작업이 필수입니다. 실제 존재할 수 없는 영상이나 촬영 불가능한 장면, 실물을 촬영하기에 안전, 경제적인 문제가 있을 경우 시각적 특수효과인 VFX가 활용됩니다. VFX에서 대표적으로 쓰이는 프로그램은 마야(Maya), 지브러시(ZBrush), 서브스턴스페인터(Substance Painter), 누크(Nuke), 후디니(Houdini) 등 다양합니다. VFX를 활용해 컴퓨터 디자인으로 만들어진 영상에 붓 터치 작업을 다시 하는 것이죠.

피사체를 젊거나 늙게 만드는 AI

AI가 영상에 등장하는 청년을 노인으로, 노인을 청년으로 단번에 바꿀 수 있다면 어떨까요?

최근 디즈니는 복잡하고 값비싼 시각 효과를 사용할 필요 없이 AI 만으로 영상 전체에 등장하는 인물의 나이를 조절하는 ‘에이징·디에이징 AI’를 선보였습니다. 디즈니는 “영화에서 볼 수 있는 VFX 영상물을 얻으려면 재능 있는 아티스트가 반드시 필요하다”라며 “배우의 얼굴에서 주름 등을 컴퓨터로 삭제하는데 몇 주를 소비해야 한다”라고 설명했는데요. 이러한 3D 처리 작업에는 인력뿐만 아니라 막대한 예산을 필요로 합니다.

디즈니는 VFX 영상물에 인력과 예산이 소요되는 문제점을 AI로 해결하려고 한 것인데요. 디즈니 산하에만 마블(Marvel), 픽사(Pixar), 루카스필름(Lucasfilm), 내셔널지오그래픽(National Geographic) 등 상당한 3D 작업 스튜디오들이 많습니다. 영상물에 최적화된 AI 개발에 성공한다면 막대한 예산을 절감할 수 있습니다.

물론 기계학습과 신경망을 활용해 나이를 바꾸는 AI 기술들은 이미 많습니다. 앱에 사진을 업로드 하는 것만으로 누구나 쉽게 더 젊은 모습의 사진을 구할 수 있는 시대입니다. 문제는 이런 이미지 처리 기술들은 영상에 적합하지 않다는 데에 있습니다. 지금껏 영상 작업물에서 피사체의 나이를 바꾸는 기술은 사실성이 매우 떨어졌습니다. 디즈니가 선보인 AI는 여기서 한걸음 더 나아갔습니다.

디즈니의 에이징·디에이징 AI(출처: 디즈니)

디즈니가 개발한 AI 프란(Face Re-aging Network, FRAN)은 영상 속 배우의 나이를 바꾸는 AI 기술로, 배우 섭외와 촬영에 막대한 예산이 드는 할리우드 영화에 특화돼 있습니다. 먼저 디즈니는 무작위로 생성된 수천 개에 달하는 합성 얼굴 데이터베이스를 구축한 뒤, AI에게 이 데이터베이스를 노화시키는 학습을 시켰습니다.

프란에 얼굴 사진이 입력되면 기존의 AI와 달리 얼굴 사진을 다시 만들어 내지 않습니다. 대신 사진 속 인물에 주름을 추가하거나 얼굴의 어떤 부분이 노화되는지 수정하는데요. 프란이 만들어낸 노화된 이미지를 실제 얼굴 영상 위에 레이어를 덧대는 방식으로, 영상에 나이 든 모습을 구현하는 하는 것입니다. 특히 이러한 작업 방식을 통해 연기자들이 머리를 움직이거나 다른 곳을 응시하더라도 화면 속 인물은 늙거나 젊은 외모를 그대로 유지할 수 있습니다. 어색한 부분은 3D 아티스트의 보정을 통해 보완하는 작업도 가능합니다.

디즈니 인공지능 변화 흐름도(출처: 디즈니)

고도화되는 디지털휴먼

나이를 바꾸는 AI는 디지털 휴먼 영역에서도 등장하고 있습니다. 게임 엔진 플랫폼인 유니티(Unity)가 대표적인데요. 유니티는 연례 이벤트인 ‘유나이트(Unite) 2022’를 통해 디지털 휴먼 기술을 선보였습니다.

유니티는 디지털 휴먼을 보다 쉽게 만들 수 있도록 서비스인 디지털 휴먼 패키지, 유니티 헤어 솔루션 등을 대대적으로 업데이트했습니다. 유나이트 2022에서 시현한 기술에는 구체적으로 사실감 있는 작업물을 만들 수 있는 4D 파이프라인, 고밀도 피부 부착 시스템, 사실적인 홍채 제작 툴, 가닥 기반 머리카락 시스템, 사실감 있는 주름·혈류 표현 등이 포함됐습니다.

유니티의 에너미즈(출처: 유니티)

디지털 휴먼을 시연한 유니티의 실비아 라셰바 프로듀서는 “컴퓨터를 활용해 3차원에서 2차원 이미지를 생성하는 프로세스인 3D 렌더링은 매우 도전적인 영역 중 하나”라면서도 ” 유니티는 매우 현실적인 이미지를 크리에이터들이 구현할 수 있도록 하고 있다”라고 설명했습니다.

이날 유니티가 선보인 에너미즈(Enemies)라는 콘텐츠 영상은 매우 섬세했습니다. 사실적인 눈동자와 머리카락, 피부를 한 인물이 주인공으로 등장하는 영화 티저로, 총 830만 개 화소의 4K 해상도로 렌더링 한 것이 특징입니다. 영상에 등장한 40대 여성은 실제 인물이 아닌 컴퓨터 그래픽으로 만들어진 디지털 휴먼이었습니다. 이 디지털 휴먼은 움직이고 말할 때마다 얼굴 위의 주름이 함께 움직였을 뿐만 아니라 주변 조명에 따라 피부 톤도 미세하게 달라졌습니다.

이는 아야이(Auayi)나 릴 미켈라(Lil Miquela), 루미(Rumi), 세진(Saejin) 등 젊은 모습의 기존 버추얼 인플루언서들과 비교하면 한 차원 높은 수준의 영상이었습니다. 시간과 각도에 따라 주름이 움직이고 피부 톤이 달라지는 이 디지털 휴먼은 실시간 기술을 기반으로 했습니다.

예를 들어, 실시간 기술을 적용하면 자동차를 사전 제작된 동영상으로만 보는 것이 아니라 차문을 열고 닫는 것이 가능하고 실시간으로 색깔을 바꿔볼 수도 있습니다. 실시간 기술은 게임이나 디지털 트윈 용도로도 활용이 가능한데요. 앞으로는 소규모 크리에이터·게임 제작자들이 이러한 기술을 활용해 콘텐츠를 손쉽게 제작할 수 있는 시대가 열린다고 합니다.

LG CNS 역시 이 분야 기술 개발에 적극적입니다. LG CNS는 유니티와 메타버스 사업 협력을 맺었습니다. 양사는 앞으로 버츄얼 팩토리, 버츄얼 물류, 메타버스 오피스 등 고객경험 혁신에 나설 예정입니다. 이미 LG CNS는 LG 계열사 제조공장을 대상으로 스마트 팩토리 구축을 지원하고 있습니다. LG CNS는 유니티의 3D 엔진을 토대로 고객사의 제조 공장 공간과 설비를 가상화해 나갈 계획입니다.

오늘날 컴퓨터 비전 기술은 AI 영역 중에서 가장 빠른 속도로 성장하고 있습니다. 문장만으로 그림을 그리는 생성형 AI에서 이제는 영상 속 인물의 나이를 바꿔주는 AI까지, AI는 우리의 삶 속에 깊숙하게 파고들어 오고 있습니다.


글 ㅣ 이상덕 ㅣ 매일경제 실리콘밸리 특파원

챗봇과 대화를 할 수 있어요