안녕하세요. 미디어 아티스트 송준봉입니다.

지난 시간까지 ‘인터랙티브 아트’의 다양한 작업들을 소개하고, 관객의 입력을 받기 위한 센서와 그 구현 방법에 대해 알아보았는데요. 특히 지난 시간은 ‘아두이노(arduino)’를 중심으로 설명을 드리다 보니 좀 어렵게 느껴지셨을 것 같습니다.

이번에는 인터랙티브 아트의 연장선에서 ‘카메라(camera)’를 활용한 작업들을 소개해 드리고자 합니다. 좀 더 정확히 말하면 카메라를 센서(sensor)로 활용한 인터랙티브 작업이라고 할 수 있는데요. 오늘은 너무 공대스럽지 않도록 기술에 대한 소개는 최대한 줄이고, 작업 소개 위주로 진행해 보려고 합니다.

Seeing is believing

한 장의 이미지에는 정말 많은 정보가 담겨 있습니다. 사람도 보는 것을 통해 대부분의 정보를 획득하듯이 말이죠.

그동안 카메라의 성능이 비약적으로 발전했는데요. 2000년대 초반까지만 해도 200만 화소 수준의 카메라가 최고급 카메라였지만, 지금은 핸드폰 카메라도 1,000만 화소쯤은 가뿐히 넘기는 시대가 되었습니다. 또 새끼손톱보다 작은 CCD 센서로도 엄청난 화질과 선명도를 지닌 이미지를 얻게 되었습니다.

이와 더불어 이미지 프로세싱(image processing) 기술도 비약적으로 발전했습니다. 이미지 안에서 움직이는 사물뿐만 아니라 사람도 찾아내고, 심지어 그 사람의 얼굴을 추출하기도 합니다.

최근에는 머신 러닝(machine learning) 기술까지 결합되어 사람의 성별이나 감정을 인식하고, 심지어 이 사람이 누군지까지 알아낼 정도로 기술이 발전했습니다.

이렇다 보니 작은 웹캠 카메라 하나로 수 십 가지 센서를 설치하는 효과를 얻을 수 있게 되었고,심지어 설치 또한 그냥 컴퓨터 USB에 꼽기만 하면 되니, 이런 좋은 센서를 인터랙티브 작업을 하는 미디어 아티스트들이 마다할 리 없었습니다.

물론 카메라의 사용에도 난관은 있었습니다. 바로 이미지 프로세싱을 하려면 프로그래밍을 공부해야 했던 것인데요. 이 부분 또한 사용하기 쉬운 프로그래밍 툴(processing, vvvv 등)의 등장과 웹을 통한 기술 공유에 힘입어 그 진입 장벽이 대폭 낮아지게 되었습니다.

간단한 예로, slit scan(일정 시간 간격마다 얇은 틈으로 촬영한 이미지를 겹겹이 쌓아 한 장의 이미지로 나타내는 기술)을 사용한 유명한 고전 작업들이 이제는 프로그래밍 툴의 예제로 들어가 있을 정도이니 말이죠. 특히 가운데의 Anamorphose temporelle (https://vimeo.com/7878518)은 아주 재미있는 작업이니 꼭 동영상으로 감상해보세요.

관객=작업

카메라를 인풋(input)으로 사용하는 가장 단순한(그래서 더 어려운) 인터랙티브 작업의 형태는 관객=작업의 형태로 표현하는 것입니다. 사실 카메라를 통해 얻어지는 것은 곧 이미지이고, 카메라가 관객을 촬영하여 보여준다면 관객에게는 자신이 곧 작업이 되는 것이죠.

물론 이 과정에서 작가의 관점이나 표현하고자 하는 바에 따라 이미지에 특정한 변화를 주게 되고, 이렇게 변화된 자신을 다시 바라봄으로써 관객은 어떠한 감정을 얻게 될 것입니다. 이러한 작업은 아주 많이 있지만, 오늘 소개해 드릴 작업은 Daniel Rozin Mirror 시리즈입니다.

Daniel Rozin은 관객의 이미지를 카메라로 촬영하고, 그 이미지를 Gray scale로 변환한 후 몇 가지 단계로 단순화하고, 각각의 색상 단계에 맞는 픽셀을 수백 개의 움직이는 나무, 쇠공, 쓰레기, 털 뭉치 심지어 펭귄 등 다양한 소재를 사용하여 표현한 미디어 작가입니다.

사실 Daniel Rozin의 Mirror 작업이 대단한 이유는, 이미지를 나타내는 픽셀 단위 하나하나가 실시간으로 움직이는 Kinetic unit으로 구현되어 있다는 것인데요. 영상을 보면 마치 살아있는 거울과 마주하고 있다는 생각이 들 정도로 유기적으로 정교하게 움직이고 있어서 더욱 놀라움을 금치 못하곤 합니다.

특히 Wooden mirror 작업은 국내의 모 유명 호텔에 설치되어 있다고 하니 혹시 기회가 되신다면 찾아보는 것도 좋을 듯합니다.

Random international (http://random-international.com)의 ‘You Fade To Light’ 나, Hybe (http://hybe.org)의 IRIS도 비슷한 맥락의 작업이라고 할 수 있습니다.

‘You Fade To Light’는 카메라에 촬영된 관객의 이미지를 OLED를 사용하여 표현하였고, IRIS는 요즘에는 거의 쓰이지 않아 기억하시는 독자분들이 있을지 모르겠지만 오래된 액정 시계나 게임기 등에 사용되는 Black liquid crystal(투명•검정의 표현만 가능한 액정)을 하나의 픽셀로 사용하여, 관객의 움직임을 표현한 재미있는 작업입니다.

이 작업을 위해 작가가 black liquid crystal 액정 모듈을 직접 설계했다고 하니 더욱 대단하게 느껴집니다.

Performance와의 결합

지금부터 보여드릴 작업은 퍼포먼스(performance)와 협업을 통해 조금 더 의도된 형태의 인터랙티브 작업들입니다. 첫 번째 작업은 ‘Transcranial / embodied cognition’입니다. Klaus Obermaier, Daito Manabe, Kyle McDonald의 3명의 작가의 협업으로 만들어진 작업인데요.

처음에는 단순히 춤을 추는 댄서의 모습을 단순히 카메라로 촬영하여 프로젝션 해서 보여주는 것에서 시작하다가, 어느 순간부터 댄서의 팔과 다리가 분리되어 확대, 축소, 회전의 3요소를 갖추며 따로 놀기 시작하더니, 나중에는 얼굴까지 분리되는 충격적인 영상을 보여줍니다.

더욱 놀라운 것은 이 모든 것이 퍼포먼서의 춤과 함께 실시간으로 관객에게 보인다는 점입니다.개인적으로 2015년 scopitone festival에서 실제로 이 퍼포먼스를 볼 기회가 있었는데요. 보는 내내 입을 다물지 못했던 기억이 납니다. 여러분들께서도 꼭 영상으로 보시길 권합니다.

위에 소개해드린 작업과 같이 실시간 인터랙션은 없지만, 댄서의 움직임을 마치 살아있는 모래와 같이 표현한 작업을 보여드리고자 합니다. Daniel Franke의 ‘Unnamed sound sculpture’ 가 바로 그 작업인데요, 이 작업에는 특별한 카메라가 사용되었습니다.

이전 포스팅에서도 가끔 언급된 적이 있는 kinect camera 이지요. 이 카메라는 일반적인 2D 이미지에 깊이 정보까지 추가된 3D 이미지를 기록할 수 있는데요. 이 때문에 댄서의 관절 위치까지 정확히 얻어낼 수 있게 됩니다.

이러한 정보들을 토대로 하여 모래와 같은 느낌의 3D 랜더링(쉽게 말하자면 뼈대에 새로 살을 입히는 과정)을 거치게 되면 댄서의 감정까지 그대로 담긴듯한 모래의 움직임을 만들 수 있는 것입니다. 물론 이 과정에서 각 관절의 속도와 가속도 정보를 활용한 모래 물리 엔진이 사용되었기 때문에 더욱 실감나는 효과를 얻을 수 있었죠.

조금 더 가까이에서

최근에는 이렇게 관객의 모션을 촬영하는 카메라에서 관객의 얼굴이나 눈동자의 위치까지 찾아내어 작업에 적용한 작업들도 나타나고 있습니다. 가장 많이 사용되는 예로 얼굴 인식(face detection) 기술을 들 수 있는데요. 프로젝션 맵핑 소개글에서도 한 번 언급되었던 것을 기억하시는지요? 소개드릴 작업은 Kyle McDonald의 ‘Sharing faces’라는 작업입니다.

이 작업은 한국과 일본에 카메라가 달린 디스플레이를 각각 설치한 후, 관객이 각 디스플레이를 바라보면 얼굴 인식을 통해 그 형상과 가장 비슷하게 촬영된 다른 나라 사람의 얼굴을 보여주는 작업입니다. 그러니까 한국에서는 나의 얼굴 포즈와 가장 비슷한 일본인을 보게 되는 작업이지요.

작가는 이를 통해 양국의 오랜 갈등을 조금이나마 해결하고자 했다고 하니 더욱 뜻깊게 다가오는 것 같습니다.

그 밖에 웹캠을 개조하여 만든 Eye Tracking 장치를 통해 그래피티를 그리면, 이를 실제 건물에 프로젝션하여 가상 그래피티를 하는 ‘Eye writer’라는 작업도 있는데요. 사고로 인해 몸을 움직일 수 없게 된 그래피티 아티스트를 위해 만들어진 작업이라고 합니다. 실제로 이 작업은 다수의 미디어아트 수상을 하기도 했다고 합니다.

오늘은 가능한 기술의 설명은 줄이고 작업 소개 위주로 조금 쉽게 쓰려고 했는데 여전히 어렵게 느껴지지는 않으셨나 모르겠네요. 사실 카메라를 활용한 작업에는 ‘이미지 프로세싱’이라는 컴퓨터 공학의 꽃(?)을 필수적으로 다루어야 하기 때문에 어쩔 수 없는 부분이 있는 것 같습니다.

끝나지 않을 것만 같던 불같은 여름이 가고, 회사원의 마지막 희망 추석 연휴도 지나 어느덧 10월을 목전에 두고 있는데요. 최근에 미디어시티 서울(Mediacity seoul), 부산 비엔날레 등 미디어 아트 전시회가 열리고 있다고 합니다.

‘예술과 IT’ 연재를 통해 조금 미디어 아트와 가까워지셨다면 이러한 미디어 전시를 방문하는 것도 즐겁게 느껴지지 않을까 싶습니다. 미디어 전시에 들러 올 가을을 더 풍성하게 맞이해 보세요.

글 ㅣ 송준봉 (미디어 아트 그룹 teamVOID)
teamVOID는 현재 송준봉, 배재혁으로 이루어진 미디어 아트 그룹으로, 기술과 예술의 융합을 주제로 로봇, 인터렉티브, 키네틱, 라이트 조형 등 다양한 뉴미디어 매체를 통해 실험적인 시스템을 구상하고 그것을 작품으로서 구현하고 있습니다.

[‘예술과 IT’ 연재 현황]

• [1편] 예술과 IT – 컴퓨터가 그린 그림
• [2편] 예술과 IT – 프로젝션 맵핑(Projection Mapping)
• [3편] 예술과 IT – 인터랙티브 아트(Interactive Art)
• [4편] 예술과 IT – 인터랙티브 아트의 기술과 구현
• [5편] 예술과 IT – 인터랙티브 아트 : 카메라를 활용한 작업들
• [6편] 예술과 IT – 키네틱 아트(Kinetic Art)
• [7편] 예술과 IT – 로봇(Robot)
• [8편] 예술과 IT – Lighting Art
• [9편] 예술과 IT – 인공지능과 Media Art
• [10편] 예술과 IT – Sound Art