안녕하세요. LG CNS 기자단 송유진 입니다

여러분에게 1분은 어떤 시간인가요? 우리가 무심코 흘려 보낼 수 있는 1분 동안 굉장한 일들이 일어나고 있는데요. 1분마다 페이스북에서는 330만건의 콘텐츠가 공유되고, 690만개의 메시지가 전송됩니다. 또 유튜브에서는 100시간 분량의 비디오가 업로드 되며, 13만8889시간 분량의 비디오 시청이 이루어진다고 합니다. 이렇게 전세계적으로 전송되는 데이터량만해도 157만2877기가바이트(GB)나 된다고 하는데요.

오늘은 이렇게 엄청난 속도로 생성되는 데이터를 실시간으로 분석하여 신속한 행동을 가능케 하는 『패스트데이터』에 대해 알아보겠습니다.

패스트데이터의 개념

패스트데이터를 정의하기 전에 먼저 빅데이터에 대한 개념을 간단히 짚어 볼까요? 어디선가 한 번쯤은 들어봤을 키워드인 빅데이터는 디지털 환경에서 생성되는 대규모 데이터를 말하는데요. 최근에는 과거에 비해 데이터의 양이 폭증하고 그 종류도 다양해져서 사람들의 행동은 물론 위치정보와 SNS를 통해 생각과 의견까지 분석하고 예측할 수 있습니다.

그러나 이렇게 수집한 데이터를 저장하고 분석해서 결과를 도출하기까지 상당한 시간이 걸리는데요. 이러는 사이에 더 이상 쓸모 없어지는 데이터들이 생기게 됩니다. 패스트데이터의 개념은 바로 이러한 빅데이터의 한계를 보완하기 위해 생긴 개념입니다.

그렇다면 패스트데이터와 빅데이터는 무엇이 다를까요? 빠르게 생성되는 데이터가 쌓이면서 용량이 매우 큰 데이터를 빅데이터라 부른다면, 여기서 빠르게 생성되는 데이터가 바로 패스트데이터라고 할 수 있는데요. 즉 패스트데이터란 ‘실시간으로 빠르게 들어오는 대용량의 데이터’를 의미합니다.

패스트데이터의 전략과 중요성

그렇다면 패스트데이터는 왜 중요하게 활용될까요?

미국의 인프라 및 BI 소프트웨어 기업인 ‘팁코소프트웨어’는 단 몇 초라도 빨리, 제대로 된 정보의 일부라도 파악하는 것이 몇 개월 후 다수가 알고 있는 정보 전체를 파악하는 것보다 더 효과적이라고 강조했습니다.

예를 들어 대학생 A군이 노트북을 사기 위해 전자제품 매장을 방문했습니다. 고객분석에 대한 정보가 없는 매장 점원은 A군이 노트북을 사기 위해 왔는지 아니면 지나가다 들렀는지 파악하기 어렵겠지요.

하지만 A군이 온라인 검색도 해보고 장바구니에 넣었다 뺐다 했던 흔적이 있다는 사실을 알게 된다면 점원은 온라인보다 저렴하게 제안하여 노트북을 판매할 확률을 끌어올릴 수 있습니다.

온라인과 오프라인을 포함해 고객에 대한 360도 분석을 통해 실시간으로 제안을 하면 상품 구매율 끌어올릴 수 있다는 것인데요. 실시간으로 대응하지 못할수록 점원이 매장을 찾은 A군을 고객으로 확보할 가능성은 그만큼 낮아진다고 할 수 있습니다.

A군이 방문한 후 그 다음날 쿠폰을 보낸다고 해도 이미 노트북을 사야겠다는 생각을 잊어버렸거나 다른 곳에서도 구매했을 수도 있겠지요. 이처럼 기업 마케팅 관점에서 고객들에게 실시간으로 메시지를 전달해야 한다는 것이 점점 중요해지고 있음을 보여주는 사례입니다.

패스트데이터의 핵심기술 및 처리과정

패스트데이터를 처리하기 위해선 핵심 기술이 필요한데요. 바로 ‘CEP(Complex Event Processing)’ 기술입니다.

이 기술을 사용하여 여러 이벤트(Event) 소스로부터 발생한 이벤트들 간의 영향과 다양한 관계를 분석하고 의미있는 데이터를 추출하여 이에 대응되는 액션을 추출합니다. 여기서 이벤트란 1초라는 시간에 발생되는 여러 현상 또는 사상을 말합니다.

이 기술은 빅데이터의 실시간 처리를 위해 개발된 기술로, 다양한 곳에서 발생하는 방대한 양의 실시간 이벤트를 빠르게 처리하여 의미있는 이벤트를 실시간으로 감지하고 대응합니다.

빅데이터는 대량의 로그분석을 통해 시스템간 상호 연관성을 분석하고, 이 분석자료를 추후에 이용하는 것인데요. 이에 비해, 패스트데이터는 실시간 로그분석을 통해 시스템간 상호연관성 패턴을 인지해 바로 활용 가능하게 하는 것이라고 할 수 있습니다.

패스트데이터의 활용범위

그러면 패스트데이터가 활용될 수 있는 분야에 대해 알아 볼까요?

1. 운송분야

요즘은 운송회사마다 화물추적시스템이 운영되고 있는데요. 이를 통해 언제 출하되고 언제 도착했는지 인터넷으로 확인할 수 있습니다. 그러나 화학약품 혹은 독극물을 운송하는 화물차에는 그 안에 내용물이 변질되거나 폭발할 수 있기 때문에 안정적으로 유지하는데 주의를 기울여야 합니다.

이러한 차량의 화물추적시스템에 패스트데이터를 활용한다면 경로 추적뿐만 아니라 실시간으로 화물차 보관창고의 온도, 습도 등을 확인하여 내용물이 안전하게 배송되고 있는지 점검하고, 이상이 생겼을 경우 바로 조치할 수 있습니다.

2. 의료분야

의사는 병원에서 수술할 때 각종 의료장비에서 나오는 환자의 건강지표를 보며 판단을 내리는데요. 이러한 의료장비에서 생성되는 일반적이고 정상적인 상황의 데이터를 모두 저장•관리한다면 데이터 용량을 많이 차지하게 되고, 시간도 오래 걸리게 됩니다.

하지만 패스트데이터를 활용한다면 환자의 건강에 이상이 생겼거나, 이상이 생길 조짐이 보일 때 이를 빠르게 찾아내어 응급상황을 사전에 방지할 수 있습니다.

3. 금융분야

증권시장에서 빠르게 바뀌는 주식지표들을 보신 적이 있나요? 투자자들은 신속하게 주식패턴을 분석해서 주식 매수 여부를 결정해야 하는데요. 이러한 데이터들은 저장해서 분석하기 보다는 곧바로 내용을 확인해야 합니다.

그래서 주식거래를 할 때CEP(Complex Event Processing)를 활용하여 환율 및 유관 산업의 주가, 정책 당국의 메시지 등을 종합해서 필요 시점이 되면 바로 주식 매수를 합니다. 이러한 과정을 ‘알고리즘 주식 트레이딩’이라고 하죠.

또한 미 금융 서비스 분야의 회사들은 패스트데이터 솔루션을 도입해 실시간 개인신용평가 및 위치 기반 디지털 사인보드 등 다양한 영역에서 이용하고 있습니다.

지금까지 살펴본 바와 같이 패스트데이터는 실시간으로 데이터를 예측하여 앞으로 일어날 일을 예견하는 점술가 같은 역할을 수행하는 ‘IT 점술가’라고 할 수 있는데요.

비즈니스 분야에서 고객과의 실시간 마케팅을 가능케 하는 효과가 기대되며, 특히 응급상황이나 인명사고를 막는데 유용하게 활용될 것으로 예상됩니다. 앞으로 패스트데이터가 예측할 무궁무진한 사례들을 기대해 봅니다.