최근 방송국과 유튜브 등 미디어 채널에서 8K 해상도의 영상을 지원하면서 고해상도 이미지, 영상에 대한 관심이 커지고 있습니다. LG전자 등 제조사에서는 8K 영상 TV를 출시하는 등 고화질의 시대라고 해도 과언이 아닙니다.

4K TV가 보급되고 현재 대중화됐지만, 4K 해상도를 지원하는 콘텐츠나 이미지를 제작하려면 비용과 시간이 필요합니다. 예를 들어, 애니메이션에서 4K 해상도로 제작하기 위해서는 FHD(가로•세로 1920×1080)보다 4배 크기의 제작이 필요합니다. 즉, 애니메이션 그림을 그려야 하는 크기가 4배가 되면서 비용과 시간이 더욱 필요합니다.

이제 8K 고해상도 디스플레이가 등장하면서 이를 지원하는 하드웨어의 발전에 비해, 8K로 제작된 영상과 이미지 콘텐츠는 부족한 상황입니다. 이에 따라 기존에 제작된 영상 화질을 개선하는 일명 ‘업스케일링(Upscaling)’ 기술에 많은 관심이 쏠리고 있습니다.

고화질 해상도의 시대

8K는 고해상도인 디지털 비디오, 이미지 포맷을 말합니다. 가로·세로 7680×4320의 해상도를 나타내고 Full UHD(Full Ultra High Definition)라고도 부릅니다. 현재는 4K 해상도(UHD, Ultra High Definition, 가로•세로 3840×2160)가 많이 쓰입니다. 방송국은 물론 최근 유튜브와 같은 온라인 미디어 채널의 크리에이터도 4K 해상도로 영상을 제작하는 추세입니다. 이미지도 최근 8K 해상도로 제작하며, 제품 소개와 웹사이트 제작 등에 사용되고 있습니다.

하지만, 4K와 8K 등 초고화질 영상이나 이미지를 제작하기는 쉽지 않고, 비용과 시간의 투자가 필요합니다. 또한, 과거 HD(High Definition)가 등장하기 이전에 제작된 영상과 이미지를 사용하는 경우가 있는데, 낮은 화질 때문에 식별 자체가 어렵거나 활용성이 떨어집니다.

해상도가 높다는 건 화면을 구성하는 픽셀이 더 많고 촘촘하다는 것입니다. 같은 이미지를 더 많고 촘촘하게 정렬된 픽셀로 보여주니 정교하고 생생하게 묘사할 수 있습니다. 점차 실제와 가까운 생생함과 현장감을 느끼는 영상과 이미지가 제공되는 시대가 된 것입니다. VR과 같이 가상 세계의 현실화를 위해서, 영화나 드라마를 비롯한 엔터테인먼트 분야에서 고화질에 대한 기대와 요구 사항은 점차 높아지고 있습니다.

고화질 영상과 이미지에 대한 기술적 발전과 활용도가 높아지면서 장비, 하드웨어가 아닌 기술적으로 해결하려는 시도가 이어져 왔습니다. 기존에는 보간법(Interpolation Algorithm)을 사용했습니다. 보간은 이미 알고 있는 데이터를 이용해 모르는 데이터 값을 추정하는 방법입니다. 주변의 16개 픽셀(4×4)을 이용해 크기를 키우는 방식인 바이큐빅(Bicubic)과 세부적인 그래픽까지 처리하는 Lanczos와 같은 알고리즘 등이 사용됩니다.

영상을 확대할 때 사용하는 가장 기본적인 방법은 확대할 픽셀의 값을 가장 가까이 있는 픽셀들의 평균값으로 추정하는 방법입니다. 부족한 부분이 있는 곳에 기존 데이터와 주변 데이터를 활용해 채워 넣는 것과 같습니다. 기본 업스케일링은 저해상도 이미지를 더 큰 디스플레이에 맞게 확대할 수 있는 가장 간단한 방법입니다.

저해상도 이미지의 픽셀들을 복사하고 이를 반복해 더 큰 해상도의 디스플레이 픽셀들을 채우는 방식입니다. 이 방법은 구현이 간단하고 쉽지만, 결과적으로 확대 부분이 흐릿해지므로 생생한 영상, 이미지를 만들 수 없습니다. 보간법은 영상이나 이미지의 크기만 조정해 주는 이미지 스케일링(Image Scaling)만 가능하고 품질을 개선해 주지는 않습니다. 물론 보간법은 이미지 개선에 오랫동안 활용되어온 방법이며, 이어 설명할 인공지능 알고리즘에서도 여전히 활용되는 방법입니다.

딥러닝의 활용

이러한 문제점을 해결하고자 인공지능을 활용합니다. 인공지능을 활용한 ‘AI 업스케일링’은 딥러닝을 활용해 이미지를 보정하고 더 높은 해상도로 만들 수 있습니다. AI 업스케일링 방식은 딥러닝 모델이 저해상도 이미지를 보고 고해상도 이미지를 예측합니다. 이미지 예측을 위해서는 수많은 이미지를 학습해야 합니다.

가장 쉽게 접할 수 있는 인공지능 업스케일링은 Waifu2x가 있습니다. Waifu2x 사이트에 접속하면, 컨볼루션 신경망(CNN) 기반의 이미지 해상도 개선이 가능합니다. Waifu2x는 SRCNN(Super-Resolution Convolutional Neural Network)을 사용합니다. SRCNN은 이미지 해상도 개선 분야에 최초로 딥러닝을 적용했습니다. 보간법인 바이큐빅을 이용해 이미지 크기를 키운 뒤 컨볼루션 신경망을 거쳐 이미지 화질을 개선합니다.

SRCNN 이후, VDSR와 EDSR이라는 신경망이 등장했습니다. 20개의 계층을 사용해 저해상도와 고해상도 이미지를 학습하는 VDSR, VDSR에 비해 효율적인 연산이 가능한 EDSR 등이 이미지 업스케일링에 활용됩니다.

인공지능 업스케일링은 기존의 지도 학습 기반이 아닌 비지도 학습 기반 방식으로 초고해상도 이미지를 구현하려는 연구개발이 진행됐습니다. 대표적인 방식이 바로 SRGAN(Super-Resolution Generative Adversarial Network)입니다. SRGAN은 기존의 이미지 업스케일링에서 부족한 색감, 디테일 등을 보완하고 더 좋은 품질의 이미지를 만들어 냅니다.

GAN 알고리즘 기반에서 생성자(Generator)는 기존 이미지를 초고화질 이미지로 만들어 감별자(Discriminator)를 속이는 것이 목표입니다. 생성자와 감별자는 서로 이미지 간 차이를 잡아내며 학습하고 발전합니다. SRGAN 이후, 업그레이드 버전인 ESRGAN(Enhanced SRGAN)이 등장했고, SFTGAN(Spatial Feature Transform GAN)과 같은 GAN 기반의 이미지 업스케일링 방식은 계속 개선되고 있습니다.

기존 이미지 업스케일링이 이미지 화소의 부족한 부분을 채우고 노이즈를 제거하는 정도였다면, 인공지능 이미지 업스케일링은 수많은 이미지 데이터 학습을 통해 고해상도 이미지를 예측하고 부족한 영역을 새로 그려낼 수 있는 점이 특징입니다. 이미지의 디테일, 질감, 색감 등도 학습을 통해 보완이 가능하므로 앞으로 학습량과 알고리즘 개선에 따라 인공지능에 의해 저화질 이미지는 고화질 이미지로 더욱 완벽하게 탈바꿈할 전망입니다.

초고화질 영상 시대

기술 발전에 따라 AI 업스케일링 기술은 2D 이미지는 물론 영상에도 활용됩니다. 최근 많은 가정에서 4K TV로 콘텐츠를 시청합니다. 하지만, 모든 영화나 드라마가 4K로 제작되지는 않습니다. 따라서 TV가 자체적으로 AI 업스케일링을 통해 콘텐츠의 해상도를 높이는 기술 발전이 이어졌습니다. LG전자 등 TV 제조사는 8K TV에 AI 업스케일링 기술을 탑재해 원본 영상의 화질과 상관없이 영상을 8K로 표현할 수 있습니다.

AI 업스케일링은 낮은 해상도의 과거 영상도 복원합니다. 1911년 뉴욕을 촬영한 흑백 영상이 컬러로 바뀌고 4K, 60fps의 영상으로 복원됐습니다. 이 업스케일링에는 ESRGAN, DAIN(Depth-Aware Video Frame Interpolation) 등 다양한 기술과 알고리즘이 활용되었습니다. 촬영된 영상뿐만 아니라, 실시간 영상 역시 업스케일링이 가능합니다.

엔비디아(NVIDIA)는 실시간 화상 채팅에서 사용하는 비디오 코덱을 인공신경망으로 대체했습니다. 기존 비디오 프레임을 신경망 데이터로 대체해 작동합니다. 인공지능이 전송 데이터를 대신해 이미지를 재구성하기에 화상 채팅에 필요한 대역폭을 수십 배나 줄일 수 있습니다. 적은 데이터 전송으로도 화상 채팅이 가능해 인터넷 속도가 느린 지역이나 비슷한 환경에서 큰 도움이 될 수 있습니다.

더욱 선명해지는 미래

인공지능을 활용한 이미지, 영상 업스케일링 방식은 콘텐츠 제작과 이미지 개선 등에 도움이 됩니다. 고급 장비와 프로그램을 사용하지 않아도 4K, 8K의 영상을 만들어 낼 수 있습니다. 영상 콘텐츠 제작의 어려움을 해소할 수 있고 다양한 영상 콘텐츠 제작과 고화질 감상이 가능해집니다.

과거의 사진이나 저화질 비디오테이프 영상을 인공지능 학습을 통해 고화질로 혹은 컬러로 변환할 수 있습니다. 과거의 영상이나 인물의 사진 등을 복원하면 교육에 활용하거나 역사적 용도로 활용할 수 있습니다. 가깝게는 가족이 과거에 찍은 사진과 영상을 고화질로 복원해 추억을 돌아볼 수 있습니다.

산업적으로도 의미가 있습니다. 의학 분야에서는 엑스레이 사진 등을 고화질로 선명하게 만들어 의학적 판단에 도움을 줄 수 있습니다. 낮은 화소로 촬영된 CCTV 영상을 업스케일링 후 범죄 용의자의 신원을 파악하거나 차량 번호판 식별 등에도 활용할 수 있습니다.

이처럼 인공지능 업스케일링은 마법의 손길로 우리가 눈으로 보는 사진과 영상을 더욱 선명하게 만듭니다. 향후 이미지, 영상 관련 더 다양한 GAN 알고리즘이 등장하고 기존 알고리즘의 개선이 함께 진행된다면, 인공지능이 8K는 물론 16K, 32K 등 초고화질 시대를 이끌 전망입니다.

글 l 윤준탁 l IT 저널리스트