안녕하세요. 미디어 아티스트 송준봉입니다.

오늘은 ‘예술과 IT’의 세 번째 시간으로 관객의 반응에 따라 다양한 작업의 변화가 나타나도록 만듦으로써, 관객을 작업의 일부로 참여시키는 미디어 작업인 ‘인터랙티브 아트’에 대해 알아보고, 그 안에 담긴 기술들을 알아보도록 하겠습니다.

‘인터랙티브 아트’는 최근 기술의 발달에 힘입어 정말 다양한 작업들이 발표되고 있고, 그 범위도 아주 넓어서, 앞으로 몇 회에 걸쳐서 글을 쓸 예정인데요. 오늘은 다양한 형태의 ‘인터랙티브 아트’ 위주로 소개해 드리도록 하겠습니다.

인터랙티브 아트(Interactive Art)

‘인터랙티브 아트’를 그대로 직역하면 ‘상호 작용 예술’이라고 할 수 있습니다. 다시 말해 관객과의 상호 작용이 있어야 성립되는 예술이라는 의미이기도 합니다.

회화나 조각과 같은 기존의 예술들은 작가의 의도에 따라 완성되고, 관객은 그 작품을 감상하고 느끼는 [작품→관객]의 일방적인 관계였습니다. 반면, ‘인터랙티브 아트’는 작가가 특정한 ‘입력’에 의해 변화되도록 작품을 구현한 후, 관객이 그 ‘입력’을 수행하여 작품을 완성시키도록 하여 [작품↔관객]의 상호 관계를 만들었다고 할 수 있습니다.

개인적으로 들어본 가장 쉬운 ‘인터랙티브 아트’에 대한 설명은 ‘가까이 가면 불 켜지는 것’이었습니다. ‘가까이 가면’이라는 관객의 반응이 ‘불 켜지는 것’이라는 결과를 만들어낸 것이지요. 생각하기에 따라서 ‘현관등’도 우리가 매일 맞이하는 ‘인터랙티브 아트’라고 생각하면 조금 과장일까요?

최근에 발표되는 다양한 미디어 아트 작업들 중에는 특히 인터랙티브 아트 작업이 많습니다. 그 이유 중 하나는 관객이 직접 작업에 참여함으로써 관객 스스로가 작업의 방향을 결정할 수 있게 되고, 이러한 경험은 다시 ‘재미’로 다가오기 때문에 관객의 흥미가 높아지는 결과를 얻게 되기 때문입니다.

아무래도 작가는 관객이 재미있어하는 작업을 하고 싶기 마련이므로 이러한 결과가 나오는 것이라고 볼 수 있겠죠. 하지만 또 한가지 중요한 사실은, 최근 기술의 발달과 더불어 기술의 공유와 사용이 아주 쉬워졌다는 것입니다.

이전에는 상상만 했던 작업들이 조금만 공부하면 구현 가능한 위치에 오게 된 것이죠. 이것은 최근의 메이커 운동(Maker Movement)과도 연관이 깊은데요. 계속 말로만 설명하면 지루하니 이쯤에서 다양한 인터랙티브 작업들을 살펴볼까 합니다.

① 작업을 만지지 마세요?

지금부터 소개해 드릴 몇 개의 작업은 미술관에 가면 항상 볼 수 있었던 바로 그 문구 ‘만지지 마세요’와 정면으로 대치되는 인터랙티브 아트 작업들입니다. 관객이 만지고 돌리고 구동해봐야만 결과를 알 수 있는 작업들이죠.

첫 번째 소개할 작업은 teamVOID(저희팀;;)의 ‘Hammering’입니다. 실제 기계 장치에 달린 회전 측정 센서를 통해 프로젝션으로 만들어진 가상의 기계 장치를 돌리고, 다시 모터를 통해 기어를 회전시켜 망치질을 하게 되는 작업입니다. 망치질이라는 아주 간단한 일도 복잡한 사고의 과정을 거친 결과이다는 의미를 가지기도 하고, 그냥 망치를 들고 하면 간단할 일을 바보처럼 어렵게 한다는 의미를 지니기도 한 작업이었습니다.

두 번째 작업은 Everyware의 ‘Cloud Pink’입니다. 천정에 매달려있는 부드러운 천을 손으로 문지르면 구름이 만들어지는 작업인데요. 관객이 천을 누를 때 발생하는 깊이 변화를 Depth camera로 측정하여 구름의 생성 위치나 크기 등을 변화시킨 작업입니다. 개인적으로 이렇게 관객이 직접 만져야 하는 인터랙티브 작업들의 가장 큰 장애물은 바로 ‘작업은 함부로 만지면 안된다’는 뿌리 깊은 금기라고 생각합니다.

요즘 많이 나오는 맥주 광고의 문구처럼 ‘(관객이) 아무 일도 하지 않으면, (작업도) 아무 일도 일어나지 않아’가 되어 버리는 것이죠. 사실 인터랙티브 아트에서 가장 중요한 것이 바로 ‘어떻게 관객을 자연스럽게 작업에 참여시킬 것인가?’인데요. 저희 팀을 포함한 많은 미디어 작가들도 그 해답을 찾기 위해 열심히 노력하고 있는 부분입니다.

이 작업들, 얼마든지 만지셔도 됩니다!

② 미술관에선 뛰지 마세요?

인터랙티브 아트에서 중요한 것이 ‘입력’, 즉 관객의 행위인데요. 인터랙티브 아트에서 입력으로 많이 사용하는 것 중에 하나가 바로 ‘움직임’입니다. 관객, 그러니까 사람은 움직임을 반드시 만들어내기 때문에 자연스럽게 ‘입력’을 얻어낼 수 있는 것이죠.

특히 최근에 Depth camera 등 카메라 기술과 Image processing 기술의 발전에 따라 ‘자세’ 혹은 손, 머리, 발의 위치 등 다양한 입력을 동시에 받을 수 있게 된 것도 ‘움직임’을 사용한 인터랙티브 아트가 많아진 이유라고 할 수 있습니다. 특히 어린 아이들은 시간가는 줄 모르고 작업을 체험하는 광경을 볼 수도 있습니다.

첫 번째 소개해드릴 작업은 ‘The Treachery of Sanctuary’입니다. 관객이 작업 앞에 서면, ‘Kinect’로 많이 알려진 Depth sensing camera(깊이 인식 카메라)로 관객의 형상 및 각 관절의 위치를 파악해서, 수많은 새가 달려들게 한다거나 관객에게 날개를 달아주는 등의 효과를 주는 작업이었습니다. 이 작업은 국내에서도 전시한 바 있는데 굉장히 인기가 많았던 것으로 기억이 납니다.

두 번째 작업은 ‘Rain Room’입니다. 제목 그대로 ‘비가 오는 방’인데요, 저를 포함한 많은 분들이 장마철에 한 번쯤은 상상했을 것 같은 ‘나에게만 비가 오지 않았으면…’이라는 생각을 현실로 만든 작업입니다. 비가 엄청나게 내리는 방을 만들고, 카메라로 관객들의 현재 위치를 파악하여, 관객이 지나가는 주변의 ‘밸브’를 조절하여 나에게만 비가 오지 않게 만든 작업입니다. 저도 기회가 된다면 꼭 한번 체험해보고 싶은 정말 멋진 작품입니다.

그러니 제발, 가만히 있지 마세요!

③ 미술관에선 조용히 하세요?

관객의 ‘소리’ 또한 인터랙티브 아트에서 많이 사용되는 입력 중 하나입니다. 몇몇 작업들은 꽤나 큰 소리를 필요로 하기 때문에, 무슨 사고가 생긴 것은 아닌가 오해를 불러일으키기도 합니다.

첫 번째 작업은 ‘Which is Your Brass’s Voice?’입니다. 관객이 마이크에 대고 말을 하거나 특정 음역대의 소리를 내면, 그에 맞는 Brass의 소리를 찾아서 다시 들려주고, 프로젝션을 통해 visualize하는 작업입니다.

사람의 음성을 주파수 기준으로 변환하여, 가장 가까운 특정 음으로 변환하고 적절한 변형을 통해 Brass 음으로 표현하였습니다. 작업 영상(https://vimeo.com/49456605)을 보시면 마이크에 대고 관객들이 합창을 하는 장면이 나오는데요, 거의 유사하게 Brass band의 연주로 변환되는 모습을 보실 수 있습니다.

두 번째 작업은 작가 Goran levin이 참여한 ‘Re:MARK’입니다. 마이크에 대고 말을 하면, 말을 할 때마다 독특한 모양의 형상이나 단어가 화면에 떠오르는 재미있는 작업입니다. 지금 보면 스마트폰 앱에서도 찾을 법한 평범한 작업 혹은 게임처럼 보일지 모르지만, 2002년에 만들어진 작업이라는 걸 생각하면 개인적으로는 놀라울 뿐입니다.

자, 얼마든지 말하고 소리치세요!

지금까지 ‘인터랙티브 아트’에 대해 알아보고, 관련된 작업들을 소개해 드렸습니다. 인터랙티브 아트는 관객의 자연스러운 인터랙션을 이끌어내지 못하는 경우, 아예 의도한 작업 결과를 선보이지도 못하거나, 억지스럽다는 느낌을 받을 수 있기 때문에 어려운 분야이기도 합니다. 관객과의 접촉이 일어나야 하는 경우, 기계가 고장난다거나 오류를 일으키는 등의 문제도 해결해야 하죠.

인터랙티브 아트는 기술의 발전과 더불어 발전하는 경향이 있기 때문에, 앞으로 더욱 흥미로운 작업들이 나타날 가능성이 높아 기대가 되는 분야입니다.

다음 시간에는 이러한 인터랙티브 아트의 기술과 구현에 대해 소개해 드릴 예정입니다. 다음 글도 기대해 주세요.

글 ㅣ 송준봉 (미디어 아트 그룹 teamVOID)
teamVOID는 현재 송준봉, 배재혁으로 이루어진 미디어 아트 그룹으로, 기술과 예술의 융합을 주제로 로봇, 인터렉티브, 키네틱, 라이트 조형 등 다양한 뉴미디어 매체를 통해 실험적인 시스템을 구상하고 그것을 작품으로서 구현하고 있습니다.

[‘예술과 IT’ 연재 현황]

• [1편] 예술과 IT – 컴퓨터가 그린 그림
• [2편] 예술과 IT – 프로젝션 맵핑(Projection Mapping)
• [3편] 예술과 IT – 인터랙티브 아트(Interactive Art)
• [4편] 예술과 IT – 인터랙티브 아트의 기술과 구현
• [5편] 예술과 IT – 인터랙티브 아트 : 카메라를 활용한 작업들
• [6편] 예술과 IT – 키네틱 아트(Kinetic Art)
• [7편] 예술과 IT – 로봇(Robot)
• [8편] 예술과 IT – Lighting Art
• [9편] 예술과 IT – 인공지능과 Media Art
• [10편] 예술과 IT – Sound Art