요즘 빅데이터라는 단어가 각종 뉴스와 미디어에서 자주 등장하고 있습니다. 빅데이터가 학계나 업계에서 그 중요도가 높아지고 있는 것은 틀림없는 사실인데요. 이처럼 최근 화두로 부상하고 있는 빅데이터는 과연 무엇이고, 빅데이터 분석을 통해 무엇을 할 수 있기에 모두들 빅데이터를 언급하는 것일까요? 오늘은 이 빅데이터의 이모저모에 대해서 여러분께 소개드리겠습니다.

빅데이터란?

빅데이터는 그동안 사람들마다 각기 다른 방식으로 정의해 왔는데요. 그 중 가장 많이 언급되는 것이 3V(Volume, Variety, Velocity) 모델입니다.

이 모델에서는 통상적인 소프트웨어의 한계를 넘어서는 크기(Volume)의 데이터와 수치화 된 정형 데이터가 아닌 문자와 같은 비정형 데이터를 포함하는 다양성(Variety)을 가진 데이터, 그리고 온라인에서 실시간으로 얻어지는 빠른 속도(Velocity)로 변화하는 데이터를 빅데이터라고 정의합니다.

빅데이터 분석이란?

빅데이터는 기존의 정형화된 데이터에서 벗어나 소셜 미디어 등에 게시된 비정형 데이터(글, 문서 등)를 포함하고 있어서 기존의 데이터보다 더 다양하고 많은 정보를 담고 있습니다.

그래서 더 정교한 분석기법이 필요한데요. 빅데이터 분석은 방대한 양의 데이터에서 필요한 정보를 추출하는 기술인 ‘데이터 마이닝(Data Mining)기법’과 빠른 속도로 끊임없이 추가되는 온라인 데이터를 반복적으로 처리할 수 있는 ‘기계학습(Machine Learning)방법’, 온라인 문서와 같은 수치가 아닌 비정형 데이터를 분석할 수 있는 ‘형태소 분석’ 등을 주된 분석기법으로 사용하고 있습니다.

또한 데이터 마이닝 기법과 기계학습의 결합으로 정제되어 있지 않은 정보의 바다에서 필요한 정보만을 추출하고 패턴을 찾아내는 패턴인식(Pattern Recognition)을 통해 빅데이터 분석이 더욱 정교해 지고 있습니다.

좋은 놈, 나쁜 놈, 이상한 놈?

2008년에 개봉한 세 남자의 멋진 액션이 돋보였던 영화 ‘좋은 놈, 나쁜 놈, 이상한 놈’을 기억하시나요? 영화 속 세 주인공들 중 누가 좋은지, 나쁜지, 이상한지 구분할 수 있으셨나요? 영화를 보면서 각각 인물들의 성격을 통해 어느 정도 짐작하실 수 있었을 텐데요. 빅데이터 분석에서는 패턴인식 기법으로 ‘좋은 놈, 나쁜 놈, 이상한 놈’을 구별할 수 있다고 합니다. 이 기법을 적용한 사례를 지금부터 소개해 드리겠습니다.

1. 좋은 것을 찾아내다, 고객 맞춤 서비스

고객 입장에서 좋은 놈은 나에게 꼭 맞는 서비스라고 할 수 있을 텐데요. 미국 인터넷 서점 아마존이나 온라인 DVD 대여서비스 업체인 넷플릭스(Netflix)가 대표인 고객 맞춤 서비스의 성공사례입니다.

또한 오프라인에서도 빅데이터 분석을 이용한 고객맞춤 서비스 사례를 볼 수 있는데요. 그동안 백화점에서는 판매시스템으로 결제되는 데이터 가운데 구매액수만 수집할 뿐, 고객의 특성이나 어떤 매장에서 어떤 상품을 얼마나 판매하는가에 대해서는 분석하지 않는 경우가 많았습니다.

그런데 국내 한 백화점에서 고객관계관리(Customer Relationship Management, CRM)를 위한 수집 정보의 폭을 늘리고, 분류방식도 단순매출액 기준이 아닌 지역별 매출과 수익 비중, 빈도 수 등으로 다양화하여 빅데이터 구축 전략을 수립하였다고 합니다. 그리고 백화점 내 시스템 데이터들이 잘 연계되어 활용될 수 있도록 업무와 정보의 연동성 및 통합성을 강화하였는데요. 빅데이터 시스템 구축 후 고객 소비성향 데이터 분석을 통해 특정상품을 원하는 소비자에게 관련된 상품을 제시하거나 2차, 3차의 추가적인 구매를 유도할 수 있게 되었습니다.

또한 고객데이터 분석을 통해 눈이 오면 식품판매가 늘어나고 덩달아 아동용품 소비도 늘어난다는 추세를 발견하였는데요. 눈이 많이 오면 본인 물건보다는 생식품이나 아이들 물건을 먼저 사는 주부가 많아 해당 상품을 한자리에 배치하는 마케팅 전략을 도입하여 매출을 높일 수 있었다고 합니다.

2. 나쁜 것을 발견하다. 위험관리 서비스

그런가 하면 빅데이터 분석은 소비자에게 좋은 서비스를 찾아주는 분석 외에 나쁜 것을 찾아 경고해 주는 일도 하고 있습니다.

‘구글 독감 트렌드’는 미 질병통제센터(Centers for Disease Control and Prevention, CDC)보다 2주나 앞서 독감이 유행할 지역을 찾아 확산을 경고하였는데요. 이는 빅데이터 분석을 통한 위험관리 사례로 유명합니다.

우리나라의 건강보험공단에서도 이와 같은 질병발생 예측 서비스를 시행하고 있습니다. 우리나라의 건강보험 자료는 5천만명의 질병 발생과 진행, 치료 등의 전 과정이 모두 담긴 방대한 양의 데이터라고 합니다. 이 데이터의 주요 유행성 질병에 대한 정보와 소셜 미디어 정보를 융합한 빅데이터 분석을 통해 질병을 예측하고 있다고 하는데요. 이를 통해 주요 유행성 질병의 위험도와 동향은 물론, 지역별•연령별 질병유행 주의예보를 제공하고 있습니다.

3. 이상한 것을 골라내다, 성향 분류

2012년 오바마 대통령 대선 당시에도 빅데이터 분석이 사용되었다는 사실을 아는 사람은 많지 않을 텐데요. 선거 전략가의 경험과 감각에 의존했던 과거 선거운동방식에서 벗어나 유권자 명부 데이터를 분석하여 선거 전략을 수립하였다고 합니다.

일단 정치자금을 낼 수 있는 사람과 자원봉사를 할 수 있는 사람, 표심을 바꿀 가능성이 높은 유권자들을 분류했습니다. 그리고 나서 각 유권자별 맞춤형 전략을 수립하여 선거운동을 실시하고, 다시 선거예측 시뮬레이션을 반복하여 실시간으로 전략을 변경할 수 있도록 한 것이지요.

결과는 모두 아시다시피 이와 같이 빅데이터 분석을 통해 전략을 수립했던 오바마 캠프의 승리였죠. 빅데이터 분석에서 성향 분류의 중요성을 보여주는 대표적인 사례라고 할 수 있습니다.

이처럼 빅데이터 분석을 잘 활용하면 우리 삶에 많은 편익을 가지고 올 수 있습니다. 또한, “역사는 과거를 통해 미래를 보는 거울이다”라는 유명한 말처럼 빅데이터 분석은 우리 미래를 예측하고 준비하는데 중요한 역할을 하고 있습니다. 더욱더 커져가는 빅데이터의 크기만큼 우리가 내다보는 미래도 점차 더 선명해 지기를 기대해 봅니다.

지난 5월부터 시작한 빅데이터 연재, 『빅데이터 분석, 그것이 알고싶다』가 이번 글을 마지막으로 마무리 됩니다. 그동안 빅데이터 연재에 많은 관심과 호응 보내주신 독자 여러분께 진심으로 감사 드리며, 아무쪼록 독자 여러분께 많은 도움이 되셨길 바랍니다. 내년에 독자 여러분께 더 큰 도움드릴 수 있는 빅데이터 이야기로 다시 찾아 뵙겠습니다.

글 ㅣ LG CNS 빅데이터 사업부문

[‘빅데이터 분석, 그것이 알고싶다’ 연재 현황 및 향후 계획]

● 1편 IT 인프라 장애, 미리 예측할 수 있다 : http://blog.lgcns.com/797
● 2편 보안로그, 통합하면 패턴이 보인다 : http://blog.lgcns.com/823
● 3편 안전한 결제를 보장하는 FDS(Fraud Detection System) : http://blog.lgcns.com/846
● 4편 소셜 분석으로 고객의 삶을 이해하다 : http://blog.lgcns.com/890
● 5편 DW(Data Warehouse)의 미래, Hybrid : http://blog.lgcns.com/929
● 6편 구매 심리를 예측해 매출을 올려주는 개인화 추천 : http://blog.lgcns.com/940
● 7편 스마트그린, 에너지 그리고 빅데이터 : http://blog.lgcns.com/983
● 8편 좋거나 나쁘거나 이상하거나..(빅데이터 분석 A to Z) : http://blog.lgcns.com/988