‘인공지능(AI)’과 ‘창작’, 참으로 이질적이면서도 거부감이 드는 단어 조합입니다. 코끼리나 돼지가 그림을 그리는 것을 보게 된다면, 우리는 창작을 한다고 여기는 것이 아니라, 동물이 붓을 들고 종이에 물감을 뿌리고 있다고 생각하게 되는데요. 그럼, 인간의 뇌를 모방한 인공신경망으로 그림을 그린다면 어떻게 판단할 수 있을까요?

코끼리나 돼지는 ‘인간의 창작’이라는 영역에 지능적으로 결코 접근할 수 없다는 확신이 있으나, 인공지능은 언젠가 인간을 뛰어넘는 것이 당연할 거라는 막연한 예측으로 쉽게 이야기할 수 없을 것입니다.

인공지능, 음악에 도전하다 ‘마젠타 프로젝트’

이미 창작이라는 영역에서 재능을 보인 인공지능 프로젝트는 다수 존재합니다. 가장 유명한 것은 구글의 ‘마젠타 프로젝트(Magenta Project)’입니다. 마젠타 프로젝트는 인공신경망이 음악을 만들 수 있는지 확인하는 목적으로 시작되었습니다. 그리고 지난해 구글은 마젠타 프로젝트의 결과물로 인공지능이 작곡한 80초짜리 피아노곡을 발표했죠.

완성도가 높은 곡으로 보긴 어려웠지만, 음악과 관련된 데이터베이스를 통해 인공지능이 음악에 대해 학습한다는 것 자체에 큰 의미가 있었습니다. 그러나 이것을 ‘창작으로 볼 수 있는가?’ 하는 의심이 드는 건 사실입니다. 인공지능을 통한 데이터의 재조합으로 볼 수 있기 때문이죠.

물론, 인간도 학습한 정보를 토대로 영감을 얻고, 새로운 음악을 만들어 냅니다. 단지, 인간에게 존재하는 영감을 인공지능이 지닐 수 있는지 확인되지 않았으므로, 기계적인 재조합이 인간의 창작과는 차이가 있다고 해석하는 건 마땅합니다.

좀 더 쉽게 설명해보죠. 마젠타 프로젝트에는 ‘1,000여 가지 악기와 30만 개 이상의 연주 데이터’를 활용합니다. 데이터베이스 ‘엔신스(NSynth)’라는 신경 신시사이저 1도구로 인공지능에 학습을 시켜 조합함으로써 새로운 음악을 만드는 것입니다. 그러므로 인공지능이 음악에 대해 얻는 정보는 데이터베이스에 한정됩니다.

하지만, 인간은 악기의 소리나 연주법뿐만 아니라 악기가 아닌 도구의 소리, 자연의 소리, 상상력 그리고 감정의 변화를 통해서도 음악을 이해하고, 학습하며, 표현합니다.

인간은 엔신스에 활용하는 데이터베이스보다 더 방대한 정보와 영감을 창작으로 연결한다고 볼 수 있습니다. 그런 점에서 아직 인간의 창작 능력이 인공지능보다 월등히 뛰어나다고 말하기에 무리가 없습니다. 다만, 인간과 인공지능이 만들어내는 창작에 대한 의미가 다르다면, 창작이 지향하는 목적도 다르다는 이해가 필요합니다. 그리고 그 이해를 바탕으로 인간은 창작하는 인공지능을 활용할 방법을 찾고 있습니다.

마젠타 프로젝트의 궁극적인 목표는 음악을 만들어 인간과 빌보드에서 경쟁하는 것이 아닙니다. 이런 인식이 발생하는 이유는 체스, 바둑, 포커 등 분야에서 인공지능이 인간과 자웅을 겨루고, ‘인간을 뛰어넘었는지’에 대한 지점에 계속 관심을 둔 탓입니다. 인공지능의 발전을 가장 쉽게 증명할 방법이기 때문이죠. 그러나 창작하는 인공지능의 목적은 단순히 인간을 뛰어넘는 것에 있지 않습니다.

마젠타 프로젝트는 ‘인간이 발견하지 못한 새로운 음과 연주를 인공지능으로 만들어 내는 것’에 목적을 두고 있습니다. 마젠타 프로젝트에 참여 중인 더글러스 에크(Douglas Eck)는 ‘인공지능이 예술을 할 수 있는지와 예술가들의 더 나은 창작을 위해 인공지능이 도움을 줄 수 있는지 연구하는 게 목적’이라면서 ‘궁극적으로는 새로운 악기를 만들 것’이라고 말했습니다. 여러 악기의 음색을 인공지능이 흡수하면, 인간이 영감을 얻을 수 있는 범위와는 다른 영역에서 지금까지 발견하지 못한 새로운 음색을 찾을 수 있다는 것이죠.

새로운 악기의 등장은 음악가들에게 다른 의미의 영감을 줄 것입니다. 창작하는 인공지능이 인간의 창작에 도움을 주는 것인데요. 이것이 창작하는 인공지능을 연구하는 목적이자 마젠타 프로젝트가 새롭게 작곡한 곡을 계속해서 선보이는 이유입니다.

그렇다면 음악 외에 인간에게 새로운 영감을 주도록 고안된 인공지능에는 어떤 것이 있을까요? 요리에서 찾아보겠습니다.

요리사 인공지능 ‘픽투레시피’

최근 매사추세츠공과대학교(MIT)의 컴퓨터 과학 및 인공지능 연구소(CSAIL)는 ‘픽투레시피(Pic2Recipe)’라는 인공지능 시스템을 공개했습니다. 우리는 소셜 미디어를 통해서 많은 음식 사진을 보지만, 사진을 보는 것 외에 할 수 있는 게 없죠. 하지만 픽투레시피는 음식 사진을 보고, 어떤 재료를 사용했는지 추적합니다. 그리고 음식 데이터베이스를 통해서 사진과 비슷한 10가지 조리법을 제시합니다.

현재는 쿠키 사진만 분석할 수 있기에 밀가루, 달걀, 버터 등의 성분을 확인하는 데에 머물고, 사진의 쿠키와 조리법이 일치하는 정확도는 65% 수준으로 낮습니다. 하지만 정확도는 점점 더 높아지고 있으며, 마젠타 프로젝트와 마찬가지로 단지 음식을 맞추는 인공지능에 목적을 두지 않았다는 것이 중요합니다.

픽투레시피를 개발한 연구원들은 ‘픽투레시피가 잠재적으로 저녁 식사의 보조 역할을 하며, 냉장고의 재료만으로 할 수 있는 요리가 무엇인지 파악할 수 있을 것’이라고 기대했습니다. 또한, ‘음식에 대한 영양 정보가 없을 때, 사람들이 음식에 들어있는 것이 무엇인지 알아내는 데 도움이 될 수 있고, 근사치를 추정하여 건강한 식사에 도움을 줄 수 있다.’면서 픽투레시피의 개발 의미를 설명했습니다.

데이터베이스의 크기에 따라서 인간이 요리하는 데에 도움을 주고, 인간은 인공지능이 파악한 재료와 조리법에 따라서 새로운 요리를 배울 수 있을 것입니다. 물론, 픽투레시피는 컴퓨터 비전 기술로 요리를 분석하고, 기존 요리 데이터를 조합하는 정도의 인공지능입니다. 인공지능이 직접 요리를 창작하는 건 아니죠. 그래서 IBM은 픽투레시피보다 앞서서 ‘셰프 왓슨(Chef Watson)’이라는 요리 인공지능을 상용화했습니다.

픽투레시피의 능력이 ‘재료의 파악’과 ‘관련한 조리법의 제시’라면, 셰프 왓슨은 ‘조리법의 재창조’입니다. 셰프 왓슨은 수만 가지 조리법으로 데이터베이스를 구축했습니다. 그리고 데이터베이스 기반으로 초현실적인 조합을 만들어 내죠. 예를 들면, ‘김치를 얹은 아스파라거스 커스터드’와 같은 것 말입니다. 이것은 실제 셰프 왓슨으로 조리법을 얻을 수 있는 요리입니다. 이해하기 어려운 요리일 수도 있지만, 셰프 왓슨은 재료의 새로운 조합만 찾는 게 아니라 ‘맛있는 요리’를 발견하도록 개발되었습니다.

그래서 동서고금의 재료와 조리법을 토대로 맛의 균형을 맞춰서 초현실적이면서도 맛있는 요리의 조리법을 발굴하는 것입니다. 그리고 발굴한 요리로 요리사들에게 새로운 영감을 주는 것이 셰프 왓슨의 목적입니다.

셰프 왓슨은 자신이 개발한 요리를 맛볼 수는 없습니다. 그러나 요리사가 자신의 영감을 새로운 요리에 담으려면 수백 번의 시행착오가 필요하고, 되풀이하는 동안 많은 양의 재료와 시간을 투입해야 합니다. 셰프 왓슨이 제시한 요리도 시행착오가 필요하지 않은 건 아니지만, 기본적으로 맛의 균형을 맞추고, 전 세계의 다양한 조리법을 제시함으로써 시행착오를 줄일 수 있도록 요리사를 돕습니다. 픽투레시피의 컴퓨터 비전 기술과 결합한다면, 요리사에게 훨씬 더 커다란 영감을 줄 수 있겠죠.

인공지능 서체 디자이너 ‘폰트조이’

서체 디자인 분야에서도 인공지능의 능력은 기대를 모으고 있습니다. 타이포그래피의 전문가도 서체의 짝을 맞추는 건 쉬운 일이 아닙니다. 잡지 한 권에 들어갈 서체를 콘텐츠별로 구성하는 것만 생각해봐도 머리 아픈 일입니다. 그래서 디자이너인 잭 차오(Jack Qiao)는 ‘폰트조이(Fontjoy)’라는 웹 사이트를 설립했습니다.

2,000개 이상의 서체로 구성된 데이터베이스를 이용하여 완벽한 서체 조합을 제공하는 데에 목적을 두고 있는 웹 사이트입니다. 차오는 폰트조이의 시스템을 구축하기 위해서 각 서체의 벡터를 추출하고, 벡터 연산을 통해 다양한 서체를 비교하여 공통적인 특징을 지닌 서체를 구분함으로써 서로 잘 어울리는 서체를 학습하는 인공신경망을 만들었습니다.

이 또한, 픽투레시피처럼 기존 데이터의 재조합으로 볼 수 있기에 창작과는 거리가 멀어 보입니다. 그러나 서체 조합에 익숙하지 않은 사람들에게 유용한 도구가 될 수 있으며, 학습하는 글꼴이 늘어날수록 디자이너의 일부 역할을 앗아갈 수도 있습니다. 물론, 서체를 조합하는 것만으로 타이포그래피의 전문가를 대체할 수는 없겠죠.

오히려 세리프, 경사 등 시각적인 개념과 가독성이나 커닝 등 추상적인 개념을 벡터 연산으로 설명할 수 있게 됨으로써 디자이너가 디자인을 설명하는 데 도움을 줄 수 있습니다. 이는 서체의 조합을 통해서 더욱 실질적인 디자인 개념을 갖출 수 있게 한 것인데요. 당연히 더 많은 서체 데이터가 있다면, 글꼴을 조합하기에 도움이 될 것입니다.

2015년, 어도비는 2만 개 이상의 서체로 구성한 데이터베이스를 딥러닝 방식으로 학습하여 비슷한 서체를 찾아내는 ‘딥폰트(DeepFont)’를 공개했습니다. 딥폰트는 모니터 속 서체뿐만 아니라 거리의 간판이나 전단지 등에 쓰인 서체를 찾아낼 수 있도록 고안되었습니다. 모든 서체를 찾을 수 있는 건 아니지만, 손글씨라도 최대한 비슷한 서체를 제안합니다.

딥폰트는 서체 구분하고, 찾아내기 위해서 폰트조이의 능력처럼 서체의 특성을 분석하여 데이터베이스와 비교합니다. 딥폰트 이전에 디자이너들이 간판의 문구에 쓰인 것과 비슷한 서체를 찾으려면 기억력에 의존하거나 찾을 때까지 서체 목록의 스크롤을 내리는 일이 필요했습니다. 딥폰트를 사용하면 그런 시간을 단축할 수 있죠. 그리고 간판과 전단지의 서체들을 더 많이 학습할수록 딥폰트는 서체의 특성을 더욱 정확하기 인지할 것입니다.

‘그럼 셰프왓슨처럼 서체 특성으로 구성한 데이터베이스를 활용해서 인공지능이 직접 새로운 글꼴을 만들 수 있지 않을까?’

전 스포티파이의 개발자이자 현재는 배러 모기지(Better Mortgage)에서 근무 중인 개발자 에릭 번하드슨(Erik Bernhardsson)은 작년에 재미있는 실험 결과를 공개했습니다. 그는 5만 개의 서체를 수집하여 인공신경망에 학습시켰습니다. 그리고 해당 모델에 특정 서체를 완성하길 요구했는데, 인공지능은 자신이 학습한 것을 활용하여 번하드슨이 제시한 문제에 가장 근접한 서체를 만들었습니다.

물론 실제 디자인에 사용할 수 있을 만큼 완성도가 높은 결과물을 내놓은 건 아닙니다. 그러나 학습시킨 서체를 통해 문자의 디자인을 인공지능이 인지한다는 걸 확인했고, 몇 가지 문자는 완벽히 이해한 모습을 보이기도 했습니다.

이는 인공지능이 인간이 디자인하지 못한 새로운 서체를 디자인할 수 있다는 실마리입니다. 거대한 데이터베이스는 디자이너의 요구에 따라서 완전히 새로운 유형의 서체를 제시할 수 있겠죠. 상기한 딥폰트의 인식 능력으로 더 많은 서체를 흡수하고, 인공지능이 학습할 수 있다면 디자이너들에게 새로운 영감을 줄 수 있는 서체를 만들어 낼 것입니다. 최종적으로 다듬어 내는 역할은 디자이너의 몫이 되겠죠.

인공지능, 창작의 역량을 발휘한다면

이렇듯 창작하는 인공지능의 영역은 미적인 작품을 만드는 예술 분야에만 있는 것이 아니라 산업 분야에서 지금까지 인간이 많은 시간과 자원을 소모해 왔던 일을 도와주고, 실용할 수 있는 쪽으로 발전하고 있습니다. 인공지능의 학습 능력이 발전할수록 적용할 수 있는 분야도 음악, 요리, 서체 디자인뿐만 아니라 시나리오, 건축, 소재 공학 등 더 다양한 분야에서 나타날 것으로 전망합니다. 더 높은 에너지 효율의 건축물 설계나 초현실적이면서 개연성 있는 시나리오 디자인 등 말입니다.

당연한 얘기지만, 인공지능이 만능은 아닙니다. 단지, 인공지능의 창작이 역량을 발휘하는 분야가 생겨나고 있으며, 앞으로 더 늘어날 것이라는 예측을 할 수 있다는 것이죠. 그 과정에서 인공지능이 만들어 내는 결과물에 놀라는 시간은 점점 늘어날 것으로 보입니다.

글 | 맥갤러리 | IT칼럼니스트