본문 바로가기

블로그

LG CNS 기술블로그 DX Lounge에서 최신 IT 소식을 만나보세요!

AI/Data

여러분 회사는 빅데이터 기업인가요?

2020.04.17

우리가 벌써 과거 거의 8~9년 전부터 디지털 트랜스포메이션(Digital Transformation), 디지털 혁신(Digital Innovation), 4차 산업혁명 등의 단어들을 떠올리면서 이야기하던 기술들이 몇 개 있었습니다.

필자가 몸담고 있었던 회사에서는 이를 대륙간 탄도 미사일(ICBM: Intercontinental Ballistic Missile)을 연상케 하는 ICBMs라고 불렸었는데요. 이를 풀어보면, IoT(사물인터넷), Cloud(클라우드), Big Data(빅데이터), Mobile(모바일), 그리고 Security(보안) 이었습니다. 최근에는 이 외에 블록체인(Blockchain), AR, VR(가상, 증강현실), AI(인공지능), 로봇(Robot) 등 디지털 기술들이 점차 확장되고 있는 추세입니다.

그러나, 운영 효율화 측면, 기존 비즈니스 개선 및 신규 비즈니스 발굴까지 기업의 전 영역에서 광범위하게 혁신의 필수 기술로 활용되고 있는 기술이 바로 앞서 언급한 ICBMs입니다.

그중에서 오늘은 빅데이터와 인공지능 기술에 대해 이야기를 해 보고자 합니다. 이 기술들을 잘 활용하기 위해서는 필수적으로 ‘데이터’가 필요합니다. 빅데이터는 말할 것도 없고, 인공지능도 학습 데이터를 가지고 있어야 빠르고 원하는 결과물을 얻을 수 있게 됩니다.

우리가 잘 알고 있는 대표적인 빅데이터 기업은 ‘아마존(Amazon)’입니다. 아마존은 이제까지 전자상거래 인터넷 판매 사업에서 방대한 구매 데이터를 축척해 왔습니다. 그뿐 아니라 동영상 스트리밍 사업을 통해 동영상 시청 데이터를, 음성 인식 단말 아마존 에코를 가지고는 방대한 음성 데이터를 축적했습니다. 그리고 이러한 데이터를 축적하는 데 그치지 않고, 최적화했습니다.

아마존의 경우, 고객이 물건을 구매하기도 전에 이미 포장을 하고 있다고 할 정도로 고객들의 구매 성향 분석을 잘 하고 있는 것으로 알려져 있습니다. 심지어, 동영상 스트리밍 사업의 경우에는 고객의 선호도에 맞는 동영상을 추천해 주는 데에 앞서 고객들이 선호하는 콘텐츠를 만드는 데에도 빅데이터를 활용하고 있습니다.

아마 대부분의 기업들은 아마존처럼 빅데이터 기업이 되고 싶어 할 겁니다. 그래서, 사실 (빅)데이터의 중요성을 인식하지 못하는 기업들과 경영진들은 없을 겁니다. 또한, 빅데이터와 인공지능 기술을 잘 활용해야 한다는 점도 모든 기업들이 아주 잘 알고 있을 겁니다.

그런데, 지금 이 시점에 우리는 과연 우리 스스로가 이 빅데이터를 잘 활용해 혁신을 리딩 할 수 있는 토대를 제대로 갖추고 있는지에 대해 한번 점검해 볼 필요가 있다고 생각합니다.

필자가 아주 잘 알고 있는 서비스 로봇 소프트웨어 전문 기업의 경우, 서비스 로봇 산업의 특성상 인공지능과 빅데이터에 대한 기술의 중요성을 너무나도 잘 알고 있지만 이에 대한 전문 인력도 없고, 이를 중장기적으로 어떻게 활용할 것인지에 대한 전략(또는 계획)도 수립하지 못하고 있는 실정입니다. 물론, 중소기업이기 때문이라고 이야기할 수도 있겠습니다만 필자가 그동안 경험했었던 대기업들도 썩 잘 준비하고 있는 수준은 아니었습니다.

빅데이터와 인공지능을 특정 전문가만이 이해하고 활용할 수 있는 영역이라고 생각하면 안 됩니다. 이제는 이러한 기술들은 필수적인 기술이 되었습니다.

이미 아마존 AWS(Amazon Web Service), 마이크로소프트 에저(Azure), 구글의 GCP(Google Cloud Platform), 국내의 네이버 NBP(Naver Business Platform)에 이르기까지 많은 클라우드 서비스 공급사업자들이 빅데이터와 인공지능 기술을 쉽게 접근하고 활용할 수 있도록 이미 서비스를 제공하고 있기 때문에 중소기업이라 할지라도 얼마든지 빅데이터 기업이 될 수 있습니다.

CDO(최고 데이터 책임자)와 전사적인 데이터 전략이 있습니까?

자 그럼, 이제 하나씩 점검 포인트를 이야기해 보도록 하겠습니다. 첫 번째는 앞에서 잠깐 언급했듯이 “여러분 기업들이 전사적인 데이터 수집, 관리, 활용에 대한 중장기적인 전략과 세부 실행계획을 가지고 있는가?”입니다. 만약에 전사적인 계획과 이에 Align된 각 조직별 세부적인 계획들을 가지고 있지 않다면, 안타깝지만 여러분 기업은 빅데이터 기업이 될 준비가 안된 회사입니다.

다른 시각에서 점검을 해 보면, “혹시 여러분 회사에 CDO(Chief Data Officer)라는 직책을 가진 임원이 계신가요?” 만약에 이 직책을 가지신 임원이 계시다면 아마도 여러분 회사는 이미 데이터 기업이거나 데이터 기업으로 갈 수 있는 가능성이 상당히 높은 기업임에 틀림없습니다.

본 내용과는 무관하게 들리실 수도 있겠지만, CIO에 대한 이야기를 다시 한번 언급하지 않을 수 없어서 잠깐만 하고 넘어가겠습니다. 제가 과거 기고문에서 여전히 CIO(최고 정보기술 책임자)가 CFO(최고 재무 책임자) 산하에 있는 기업들이 꽤 많다고 말씀드렸습니다.

과거에는 정보기술(IT)는 기업 입장에서 비용(Cost)로 인식하는 경향이 있었습니다. 그래서, CFO 산하에 두고 비용을 통제했고, 비용 절감을 목표로 제시했습니다. 그러나, 재미있는 점은 이제는 시대가 바뀌었고, 이를 IT가 기업의 혁신을 이끌어야 한다는 점을 대부분의 기업 수장들이 이해하고 있습니다.

그렇다면, 조직의 위치, 목표, 역할뿐만 아니라 프로세스, 일하는 방식에 이르기까지 모든 것을 완전히 뜯어고쳐서, 해당 조직이 혁신을 리딩 하게 해야 함에도 딱 한두 개만 고치고 이제 혁신을 할 수 있다고 기대를 합니다. 그렇다면, 그 고친 한두 개는 과연 무엇일까요?

바로 “조직 이름”입니다. 과거에는 정보기술그룹, IT 부서와 같은 이름이었다면 이제는 업무혁신그룹 등으로 바뀌었다는 것입니다. 이름만 바꾸면 모든 게 바뀔까요?

마찬가지로 기업이 빅데이터의 중요성을 인식하고 CDO(최고 데이터 책임자)라는 직책의 임원을 채용했다고, 그것만으로 그 기업이 데이터 기업이 될 수 있을까요? 이 직책이 있다는 측면은 데이터 기업이 될 가능성이 높다는 근거는 될 수 있겠지만, 이 직책을 신규로 만들었다고 해서 빅데이터 기업이 될 것이라고 착각해서는 안 된다는 점을 이야기 드리는 겁니다.

왜냐하면, 한 기업이 빅데이터 기업이 되고자 할 때, 어느 한 영웅과 같은 사람이 나타나서 이 사람이 전략을 잘 수립하면 되는 것이 아니기 때문입니다. 그래서, 전사적인 중장기 전략과 개별 조직별로 세부적인 실행계획이 있어야 한다는 점을 앞서 말씀드린 겁니다.

전 직원들은 데이터 기본 소양을 갖추고 있는가?

두 번째는 전사의 인력들이 데이터 수집, 관리, 활용에 대한 기본 지식을 가지고 있는지를 점검해 보아야 합니다. 기업이 데이터를 어떻게 수집하고, 관리하고, 활용할 것인지에 대한 중장기 계획을 수립하기 위해서는 전 직원들이 이에 대한 기본적인 지식과 역량을 갖추고 있어야 가능한 일입니다.

예를 들어, 서비스 조직이 있다고 가정해 보겠습니다. 이 조직은 서비스에 대해 너무나도 잘 이해하고 있을 겁니다. 그리고, 이 서비스를 지능화(Intelligence)를 하기를 원할 겁니다. 그런데, 이들에게는 “지능화”라는 용어를 실현시키기 위해서 “다분히 서비스 측면에서 어떻게 되면 좋겠다.”라고 하는 목표 이미지만 있을 뿐이지, 정작 이를 구현하기 위해서 어떤 재료 기반의 레시피와 이를 요리하는 기술이 필요한지는 모를 겁니다.

그렇다면, 이러한 부분을 과연 빅데이터 또는 인공지능을 담당하는 기술부서에서 모두 해결해 줄 수 있을까요? 아마도 요리하는 기술은 지원해 줄 수 있겠지만, 서비스와 이 서비스에서 창출되는 데이터를 모두 알지 못한다면 레시피에 대해서는 도움을 제대로 주기 힘들 겁니다.

이런 이유로 서비스 조직에서도(현업들도) 빅데이터와 관련한 기본적인 지식을 이해하고 있어야 기술부서와 협업을 통해 레시피를 만들 수 있게 됩니다. 그리고, 레시피에 반드시 필요한 재료 데이터를 가지고 있지 못하다면, 이를 먼저 확보하는 계획을 수립할 수 있게 됩니다.

실제로 국내 모 대기업에서 빅데이터, 인공지능 전문 부서에서 근무하는 담당자의 세미나를 들은 적이 있습니다. 이 분이 소속된 조직에서는 전사적으로 여러 개의 빅데이터, 인공지능 프로젝트를 동시에 진행하고 있었고, 몇몇 분야에서는 훌륭한 성과를 내고 있다고 합니다.

한 가지를 소개 드리면, 부품 수요 예측을 기존에는 사람이 했었는데 정확도가 62% 수준이었다고 합니다. 그리고, 경쟁사의 경우에는 60% 정도의 부품 수요 예측 정확도를 가지고 있다고 합니다. 그런데, 이를 빅데이터, 인공지능 기술을 활용해서 1차적으로 정확도를 70% 수준까지 올렸다고 합니다. 정확도가 올라간 것도 좋은 성과지만 이를 이제는 더 이상 사람이 하지 않아도 되기 때문에 이와 관련된 인력들이 더 Value 있는 업무에 집중할 수 있는 계기가 되었다고 합니다.

그런데, 이 분이 이 작업을 수행하면서 느낀 소외를 잠깐 언급을 했는데요. “결국, 데이터를 단순히 저장하는 게 중요한 게 아니고 분석을 위한 데이터가 관리되고 있어야 합니다.”라고 하셨습니다.

만약, 현업에 계시는 분들이 빅데이터, 인공지능에 대한 기본적인 소양 지식이 없다면, 분석을 위해 의미가 있는 데이터를 저장하고 있는지 사전에 점검하려는 생각을 못 할 겁니다. 그냥 잘하고 있다고 생각할 것입니다.

또한, 설사 데이터 품질 문제를 안다고 해도 빅데이터 활용 관점에서 데이터 수집과 정제의 개선이 선제적으로 되어야 한다고 판단하기도 힘들 겁니다. 즉, 자발적으로는 아무것도 안 할 거라는 겁니다.

그렇다면, 막상, 업무를 개선하고자 하는 아이디어가 나왔다고 할지라도 바로 이를 개선하는 활동을 하지 못하고, 데이터를 제대로 수집하고 정제하는 작업부터 수행하게 되어 시장에 빠르게 대응해야 살아남는 지금과 같은 시대에 타이밍을 잃게 되고 이는 곧 기업의 경쟁력 측면에서 부정적인 영향을 주게 될 것입니다.

결론적으로, 업무 효율화 측면(Operation Excellence)을 포함, 비즈니스 개선 및 혁신에 이르기까지 빅데이터와 인공지능은 필수적인 기술이기 때문에 전 직원들이 빅데이터와 관련된 기본적인 지식을 가지고 있어야 하고, 더 나아가 이들이 자신들이 저장하고 있는 데이터가 제대로 저장되고 있는지, 그리고 이를 의미 있게 활용하기 위해 잘 정제되고 있는지를 점검하는 프로세스나 활동도 필요할 것입니다.

조직의 빅데이터 운영 체계 및 평가 모델을 보유하고 있는가?

앞서 두 가지 측면은 모든 기업들이 가지고 있어야 할 기본적인 항목이라면 이제는 좀 더 적극적으로 데이터 기업이 되고자 하는 기업들이 갖추고 있어야 하는 내용을 이야기하고자 합니다.

세 번째는 조직의 빅데이터 운영 체계의 수준을 체계적으로 평가할 수 있는 빅데이터 성숙도 모델을 가지고 점검하고, 계획을 수립하고 있느냐 하는 점입니다. 좀 더 체계를 갖추고 이를 기반으로 한 걸음 한 걸음 나아갈 때 시행착오(Trial & Error)를 최소화할 수 있을 겁니다. 그리고, 사람이 바뀌거나 조직이 바뀌어도 동일한 시행착오를 반복하지 않게 될 것입니다.

아래는 한국 데이터베이스 진흥센터에서 발간한 “데이터 품질관리 성숙모형 (Ver 1.0)” 자료에서 제시한 “데이터 품질관리 성숙수준 단계”입니다. 이 자료에서 아래의 성숙수준은 조직이 수행하고 있는 데이터 품질관리의 체계화 정도를 나타낸다고 합니다. 그리고, 성숙도 수준을 도입-정형화-통합화-정량화-최적화 5단계로 분류했습니다.

l 데이터 품질관리 성숙 수준 단계 (출처: 한국 데이터베이스 진흥센터), 재구성

성숙 수준 측정은 정확성, 일관성, 유용성, 접근성, 적시성, 보안성의 6가지 데이터 품질 기준별로 측정합니다. 상세한 내용은 인터넷에서 누구나 받아볼 수 있으니 구글 검색을 통해서 받아서 읽어 보시기 바랍니다.

하나 더 소개를 드리자면, IDG(International Data Group)에서 나온 IT World CIO 자료 중 “클라우드와 빅데이터 환경을 향한 스토리지의 여정”이라는 자료에서 소개하고 있는 ‘빅데이터 성숙 모델’입니다. 이 또한, 5단계로 나눠져 있는데요. 한국 데이터베이스 진흥센터와 달리 여기에서는 아래 그림처럼 카오스-빅데이터 보유-최적화-간단한 분석-전략으로 구분하고 있습니다.

l 빅데이터 성숙도 5단계 (출처: IDG)

성숙도 모델에 대한 교육을 하고자 하는 의도가 아니니 본 자료도 상세 단계 정보는 해당 자료를 다운로드해서 읽어 보시기 바랍니다. 이 자료 또한 구글 검색을 통해 쉽게 구하실 수 있습니다.

앞서 빅데이터의 데이터의 품질 관점과 빅데이터를 활용하는 관점에서의 성숙도 모델 두 가지 예시를 살펴보았습니다. 기업이 가고자 하는 목표를 이런 성숙도 모델을 통해 정확히 제시하고 한 단계 한 단계를 넘어가기 위한 세부적인 계획을 세우고 실행하고 진단, 점검하는 활동이 상시적으로 진행될 때 데이터 기업에 가까워질 수 있다는 점을 잊지 마시기 바랍니다.

이러한 성숙도 모델을 자신들의 기업에 맞게 자체적으로 만들면 좋겠지만 그렇지 않다고 하더라도 외부 기관이나 컨설팅 펌에서 제시하는 성숙도 모델을 채용해 활용하는 것도 나쁘지 않은 방법입니다.

특히, 필자가 그동안 보고 들은 바에 의하면 대부분의 기업들 현장에서 가장 안 되어 있는 부분이 데이터 품질관리입니다. 그래서, 굳이 우선순위를 두라고 한다면, 필자는 데이터 품질관리 성숙도 모델이 우선적으로 도입되어야 함을 말씀드리고 싶습니다.

독고다이 No, 외부와 협력하고 있는가?

야쿠자들 사이에서 혼자 다니는 싸움꾼을 지칭하는 ‘독고다이’라는 다소 거친 표현을 소제목으로 사용하기는 했지만, 한 기업이 모을 수 있는 데이터는 한계가 있기 마련입니다. 독고다이 즉, 혼자서 하려고 한다면 빅데이터 기업이 될 수는 있겠지만, 경쟁에서 우위를 점하는 리딩 기업이 되기는 힘들 겁니다.

최근 코로나19와 관련해서 우리나라의 역학조사 시스템이 전 세계적으로 각광을 받고 있습니다. 이 또한 한 기업 또는 공공기관의 데이터만을 수집해서 확진자의 이동 동선과 시간대별 체류 지점을 확인하는 게 아니고, 국내 이통사 3개사 및 국내 22개 카드사의 정보를 모두 받아서 실시간 분석을 통해 확인하는 방식입니다.

기업도 동일합니다. 일단, 기업 내부적으로 자신들의 조직 데이터만을 활용해서 개선하고 Value를 창출하려고 하기보다는 ‘회사 내 다른 조직들이 어떤 데이터를 가졌고, 그 데이터와 우리 조직이 가지고 있는 데이터를 결합해서 어떤 시너지를 낼 수 있을까?’를 고민해야 합니다.

더 나아가서 공공 기관이 보유하고 있거나 다른 기업들이 보유하고 있는 데이터까지 확대해 통합 활용하는 방안을 지속적으로 고민해야 합니다. 그것이 실질적인 Value를 창출해 내고 기업의 실질적인 경쟁력을 강화 시키는 기본적인 방법입니다.

마무리하겠습니다. 오늘 글에서는 데이터 기업으로 가기 위해 기업들이 스스로 점검해 봐야 하는 4가지에 대해 이야기했습니다. 이것이 점검 포인트이기도 하지만 기업들이 빅데이터 기업이 되기 위해 반드시 갖추고 있거나 해야 하는 일이기도 합니다. 제가 언급한 네 가지 외에도 데이터 기업으로 가기 위해 기업들이 해야 할 일들은 더 많을 겁니다.

여러분들께서 반드시 기억해야 하실 점은 단순히 조직의 이름만 바꾸는 방식, 임원만 한 명 데려 다 놓는 방식과 같은 단편적인 방법으로는 빅데이터 기업이 될 수 없습니다. (1) 조직 및 People 관점, (2) 기술(Technology) 관점, (3) 프로세스, 체계 관점, (4) 창출하고자 하는 가치(Value) 관점, 그리고, (5) 데이터 관점에서 종합적으로 점검하고, 계획하고, 실행해 나가야 진정한 빅데이터 기업으로 발전할 수 있을 겁니다.

글 l 골든오렌지
사람의 성향을 판단하는 테스트 기법 중에 True Color test라는 기법이 있습니다. 이는 마치 혈액형을 나누듯이 4가지 색상(Gold, Green, Blue, Orange)으로 그 사람의 성향을 분류하는 방식인데요. 필자는 근본적으로 Orange의 성향을 지니고 있으나 오랫동안 회사 생활과 논리적인 전략기획(컨설팅) 업무를 수행하다 보니 Gold의 성향을 다른 이들에게 강하게 드러나 보이는 것으로 평가되었습니다. 그래서, 황금빛을 내는 오렌지라는 의미로 ‘골든오렌지’라고 이름 지었습니다.

챗봇과 대화를 할 수 있어요