안녕하세요. 코지입니다. 이번 시간에는 음악 분야에 접목된 AI 기술을 체험해보도록 하겠습니다.

불과 얼마 전까지만 해도 음악이나 미술과 같은 예술 분야에서는 AI가 아무리 발전해도 인간의 고유한 창의성과 감성을 따라잡을 수는 없으리라 생각했었는데요. 과연 그럴까요?

최근 개발된 AI 중에는 바로크부터 현대 음악에 이르기까지 다양한 ‘풍’의 음악을 작곡할 수 있는 능력을 갖춘 것도 있다고 하는데요. 2016년에는 이 AI를 활용한 흥미로운 대결이 펼쳐졌습니다.

모차르트 교향곡 제34번 1악장과 인공지능 작곡가 ‘에밀리 하웰’이 만든 모차르트 풍 음악을 경기필하모닉 오케스트라가 연주하고 관객들에게 어떤 음악이 더 ‘아름다웠는지’ 고르게 한 것이죠. 결과는 514 대 272로 모차르트의 승리였지만, 3분의 1 이상의 관객들이 AI가 만든 모차르트 풍 음악을 골랐다는 결과는 놀라웠습니다.

이외에도 인간 고유의 영역이라고 여겨졌던 음악 분야에서 AI가 어떻게 활용될 수 있는지, 간단한 AI 게임들을 통해 함께 알아보도록 해요. 그럼 시작해볼까요?

나의 프레디머큐리 점수는 몇 점?

● 프레디미터: https://freddiemeter.withyoutube.com/

보헤미안 랩소디라는 영화, 다들 보셨나요? 밴드 퀸의 메인보컬인 프레디 머큐리의 삶을 노래와 함께 감동적으로 그려내어 선풍적인 인기를 끌었었죠. 이 선풍적인 인기를 발판으로 ‘프레디미터’ 라는 AI가 개발되었습니다. 이 AI는 일반인들이 부르는 퀸의 노래를 듣고, 얼마나 프레디와 비슷하게 부르는지 프레디미터 점수로 판독해 준답니다.

저, 코지는 얼마나 프레디와 비슷할지 궁금해지는데요? 지금 바로 프레디미터에 도전해볼게요!

먼저 퀸의 대표곡 4개 중 하나를 선택해야 하는데요. 코지는 가장 좋아하는 노래인 보헤미안 랩소디를 골랐습니다.

가사와 함께 멜로디가 흘러나오고, Mama~ 1분간 노래를 불렀답니다. 과연 점수는?!

생각보다 나쁘지 않은 점수가 나왔네요.

프레디미터는 머신러닝 기법을 바탕으로, 프레디의 목소리 추출 본과 프레디를 모창하는 사람들의 수많은 샘플들을 학습 시켜 만들어진 AI인데요. 머신러닝이란 정답을 도출하기 위해 수많은 데이터로 학습하는 것을 의미합니다.

즉, 프레디미터는 머신러닝을 통해 미리 프레디의 목소리 특징을 파악하고 새로 입력된 사람들의 목소리의 특징과 비교해서 유사도를 파악할 수 있었겠죠? 자 이제 여러분도 프레디미터에 도전해서 코지를 이겨보세요!

나만의 오케스트라를 지휘해보자! AI와 함께 지휘하기

● 세미컨덕터: https://semiconductor.withgoogle.com/

오케스트라 지휘는 음악계의 세계적 거장만 할 수 있다고 생각하기 마련이죠. 하지만 세미컨덕터와 함께라면 누구나 방 안에서 나만의 오케스트라를 지휘할 수 있답니다. 세미컨덕터는 화면에 있는 다양한 악기 세션들을 우리의 동작으로 지휘하는 게임인데요. AI가 우리의 움직임을 인식해서 각 세션이 연주하도록 합니다.

먼저 컴퓨터의 웹캠을 활성화해서 AI가 우리의 움직임을 인식할 수 있도록 해야 해요. 그런 다음, 아래와 같이 팔을 움직이고 좌우로 이동하면서 오케스트라의 각 파트가 지휘를 인식할 수 있도록 해요.

코지도 직접 지휘를 해봤는데요.

오른쪽으로 몸을 돌려서 지휘하면 오른쪽에 있는 첼로 파트의 소리가 커지고 손을 빠르게 움직이면 멜로디도 빨라지는 것을 알 수 있습니다. 세미컨덕터는 사람의 몸과 움직임을 인식하도록 사전 학습하고, 그 움직임에 따라 라이브 녹음된 악기의 수백 개의 작은 오디오 파일을 연주하는 원리로 이루어졌다고 합니다. 방구석 지휘자가 될 준비, 모두 되셨나요?

AI, 두 개의 멜로디를 연결해줘

● 멜로디믹서: https://experiments.withgoogle.com/ai/melody-mixer/view/

멜로디믹서는 두 가지 멜로디를 섞어서 연주하는 AI에요. 이 AI는 ‘컴퓨터에 하나의 멜로디로 시작하고 다른 멜로디로 끝나도록 요청하면 어떤 멜로디로 연결될까?’ 하는 궁금증에서 시작됐다고 합니다.

멜로디믹서를 플레이하는 방법은 간단합니다. 연주할 길이를 정해주고 멜로디 1과 멜로디 2에 원하는 스타일을 지정해 주면 되죠. 스타일은 ‘경쾌한 움직임’을 비롯해 5가지가 있습니다.

코지는 멜로디 1을 ‘경쾌한 움직임’으로, 멜로디 2를 ‘부족한’으로 지정해봤어요. 위 그림을 보면 지정된 스타일에 따라, 처음에는 음의 개수가 많다가 점점 줄어드는 것이 보이죠? 플레이 버튼을 누르면 경쾌한 멜로디가 점차 정적인 멜로디로 자연스럽게 연결되는 것도 확인할 수 있어요.

멜로디믹서에 사용된 AI는 2,800만 개의 멜로디를 분석해 얻은 음악 지식을 사용해서, 한 멜로디에서 다른 멜로디로 변형되는 부분을 자연스럽게 구현했다고 합니다.

일렉기타와 소 울음소리를 합성하면? AI와 새로운 소리 만들어 보기

● 사운드메이커: https://experiments.withgoogle.com/ai/sound-maker/view/

멜로디믹서와 비슷한 사운드메이커도 간단히 소개해드릴게요. 사운드메이커는 2가지 소리를 합성하여 하나의 소리로 만들어주는 AI입니다.

코지는 위 사진처럼 플루트와 일렉 기타의 소리를 합성해보았는데요. 이때 사운드바를 어느 쪽으로 움직이느냐에 따라 어떤 소리를 더 많이 포함할지 결정할 수 있죠. 소리를 결정한 후 마우스 혹은 키보드로 연주해보면 생전 처음 듣는 오묘한 소리가 들리실 겁니다! 흥미로운 점은 흔히 사용되는 악기뿐만 아니라 개, 고양이, 소 울음소리도 합성할 수 있는데요. 일렉기타와 합성된 소 울음소리, 어떤지 궁금하지 않으세요?

사운드메이커는 30만 개 이상의 악기 사운드에 인공신경망을 훈련해 만든 AI를 활용하여 만들었다고 하네요. 간단하지만 흥미로운 사운드메이커로 여러분만의 새로운 소리를 직접 만들어보세요! 키보드로 연주할 때는 ‘A’가 낮은 도, ‘W’가 낮은 도샵 이런 방식으로 구성되어 있으니 참고하세요.

오늘은 음악과 결합한 AI를 체험해보았는데요. 프레디처럼 노래하기, 지휘하기, 두 가지 멜로디 연결하기, 새로운 사운드 만들기 중 무엇이 제일 재밌었나요?

다음 시간에는 자유로운 주제로 다양한 AI를 경험해보려고 합니다. 어떤 흥미로운 주제가 여러분을 기다리고 있을지 기대해 주세요.

글 l LG CNS 대외협력팀