스마트시티에 대해 최근 많이들 이야기 하고 있는데요. 우리의 도시를 디지털로 변환해 주는 디지털 생태계와 그 안에서 발생하는 정보를 전략적으로 관리하기 위해서는 무엇보다 먼저 데이터 인프라 구축을 고려해야 합니다. 오늘은 여러분께 스마트시티와 데이터에 대해서 이야기 해볼까 합니다.
스마스시티와 ‘빅 소셜 데이터’
지난 해 저는 스마트시티에 대해 두 그룹에서 강의하며 다시 한 번 스마트시티에 대해 생각해 볼 기회가 있었습니다. 첫 번째 강의는 일리노이 주립대에서 중국 경영자 리더십 프로그램을 이수하고 있는 베이항(Beihang) 대학교와 저장(Zheijang) 대학교의 학부생들을 위한 여름학기 집중 코스였고, 두번째 강의는 디지털 정부와 스마트시티를 공부하고 있는 일리노이 주립대 문헌정보학 대학원생들을 위한 대학원 코스였습니다.
우리는 선도적인 산업, 기업, 정부 기관들이 ‘빅 소셜 데이터(Big Social Data)’를 중심으로 어떻게 자신들의 서비스 전략을 진화시켜 나가는지 연구했습니다. 여기서 ‘빅 소셜 데이터’란 소셜 미디어와 빅데이터 영역을 결합한 새로운 용어입니다.1
‘빅 소셜 데이터’는 소셜 미디어 데이터 소스로부터 사람들의 활동에 대한 지식을 제공하고, 통찰을 가능하게 해줍니다. 이 데이터 소스들은 매우 방대하고 이질적이며, 다양한 형식으로 수집됩니다. 또 일부는 체계적이지만, 다른 일부는 반만 체계가 잡혀 있기도 하고, 혹은 아예 체계가 없기도 하죠. 그리고 이 소스들은 저장소에 그냥 저장된 상태로 있거나 실시간으로 인터넷에서 스트리밍되기도 합니다.
빅 소셜 데이터에 이어 우리는 ‘스마트시티’에 대한 연구를 했습니다. 요즘 떠오르는 분야인 스마트시티는 디지털 정보통신 기술이 지역 공동체와 결합되어 사회 기술적 인프라가 구축된 곳입니다. 데이터와 소프트웨어를 활용해서 정부와 기업, 공동체와 시민들이 도시의 서비스를 개선할 수도 있지요.
스마트시티에서는 운송, 에너지, 제조, 환경관리, 의료 분야에 상호 연결된 스마트기기 및 시스템을 통해 사물인터넷(Internet of Things, IoT)과 사이버 물리 시스템(Cyber-Physical System, CPS)을 활용할 수 있습니다.
전세계 많은 도시에서 전력 생산과 소비(스마트 그리드), 교통 관리와 주차(스마트 교통), 조명, 신호 체계, 건물 및 쓰레기 등의 관리를 개선하기 위해 디지털 기술을 이용하는 사례를 볼 수 있습니다.
2015년 9월 14일 오바마 행정부는 뉴 스마트시티(New Smart Cities) 이니셔티브를 공표하였는데요. 미 연방정부는 이 이니셔티브에 의거하여 “1억6천만 달러를 연방 연구비에 투자하여 25개 이상의 새로운 기술 협력 프로젝트를 활용하고, 지역 공동체를 도와 교통 혼잡 개선, 범죄와의 전쟁, 경제성장, 기후변화 관리, 시의 서비스 개선을 추진한다. 이 새로운 이니셔티브는 연방 자원을 지역의 필요한 곳에 사용하고 공동체 주도의 해결책을 지원하기 위한 미 행정부의 노력의 일환이다.”2라고 발표했습니다.
오바마 대통령은 “각각의 공동체는 서로 다르고, 필요한 것도 다르고, 접근 방식도 다릅니다. 그러나 이 문제들에서 가장 큰 성과를 보이는 공동체들에게는 공통점이 있습니다. 그들은 한 방의 묘책을 구하지 않습니다. 대신에 지방 정부, 비영리 기구, 기업, 교사, 학부모가 공통된 목표를 가지고 하나로 뭉칩니다”라고 말했습니다.
지난 주 미국 상무부의 국립표준기술원과 미 행정부 이니셔티브 중 하나인 US 이그나이트(Ignite)는 글로벌 시티 팀 챌린지(Global City Teams Challenge)를 개최하였습니다. 이는 전 세계의 도시, 개발자, 기술개발회사 등이 모여 스마트시티와 스마트 공동체를 위한 사물인터넷(IoT) 어플리케이션 개발 협력을 지속하기 위해 추진되었습니다.
글로벌 시티 팀 챌린지에서 발표된 프로젝트들은 데이터 수집 센서 네트워크, 클라우드 컴퓨팅, 기계와 기계간의 통신 등에 관심을 두고 있는데요. 각 프로젝트에는 정보 수집 뿐만 아니라, 이 정보를 다른 데이터 소스와 결합하여 실시간으로 분석하는 방법도 포함됩니다. 개발자 팀들이 센서 네트워크의 데이터 흐름을 분석하고 이해하기 위해 클라우드 기반 어플리케이션을 사용하기 때문에 여기에서는 클라우드가 핵심이라고 할 수 있습니다.
스마스시티 데이터 관리의 중요성
방대한 데이터 생태계는 혁신적인 각각의 접근 방식의 기반이 됩니다. 이 데이터 생태계는 도시 생활 개선을 위한 지식을 축적하는데 필요한 데이터를 포착, 저장, 가공, 관리, 전송, 공유하는데 필요합니다. 정보 관리는 스마트시티 구성 요소의 중요한 부분입니다.
정보 관리는 하나 이상의 소스에서 정보를 수집하고 관리 및 가공하여 한 명 이상의 수신인에게 전달 및 공유하기 위한 조직이고 제어 시스템입니다. 또한 정보 관리는 사례를 정립하고 자원과 능력을 모아 데이터를 맥락화하고 의미를 부여함으로써 미가공 형태의 데이터를 정보로 변환합니다.
따라서 정보 관리를 효과적으로 수행하면 도시와 시민들이 고품질의 정보 자원을 얻을 수 있습니다. 시민들은 이 정보 자원에 의존하여 지식을 축적하고, 이해를 증진하고, 최종적으로 자신들의 과업을 수행할 지혜를 얻을 수 있게 되는 것입니다.
과거와 현재의 데이터 분석 방법
이전의 데이터 분석 방법은 오늘날의 데이터를 처리하기에는 여러 모로 부족합니다. 인터넷 이전 시대(1980년 후반과 1990년 중반)의 데이터 분석과 데이터 관리 문제는 지금과는 매우 달랐죠.
고속도로의 교통량 증가를 예측하기 위해 전통적 방법에서는 가능한 모든 데이터를 수집하고, 체계화하여 데이터 저장소에 저장했는데요.
교통 기획자들은 인구 조사 데이터, 교통 센서 데이터, 세금 및 소포 관련 데이터, 기업 활동 데이터, 차량 소유권 데이터, 운전 방식에 관한 연구 데이터 등을 관리했습니다. 정책 입안 시에는 첨단 연구에서 진보된 예측 모델을 사용하고, 더불어 인구 통계, 토지와 건물의 사용, 범죄 이력, 911 신고 전화, 계절 요인 데이터 등을 분석하여 범죄가 자주 발생하는 지역을 예측했습니다. 교육 분야에서는 이와 유사한 데이터 그룹을 사용하여 학생 등록 정책에 대한 결정을 했습니다.
이들 각각의 경우 이전에는 데이터 분석 접근 방식에 구조화된 데이터를 사용하였는데요. 이 데이터는 정제 후 구조화된 형식으로 재구성하여 얻어졌으며 현재 데이터 웨어하우스의 초기 버전에 저장되었습니다. 그 당시에는 구조화된 데이터와 비구조화된 데이터를 컴퓨터를 사용하여 분석하는 것은 어려웠습니다.
그러나, 스마트시티 환경에서 이런 동일한 문제를 다룬다고 상상해 보시죠. 예전 기관들은 숫자와 문장으로 이루어진 간소한 ‘린(lean)’ 데이터에 의존해 왔지만, 이제는 멀티미디어 이미지, 소리, 그리고 의미 및 관계로 이루어진 풍부한 ‘리치(rich)’ 데이터까지 관리할 필요가 생겼습니다. 이 상황에서 과거의 분석 방식을 사용하는 전통적인 데이터 웨어하우스로 충분할까요?
사람들간의 사회적 교류, 사람과 차량 그리고 사물의 물리적 움직임, 에너지 생산, 데이터 통신, 신선한 물, 하수 오물, 자연과 인공 환경에의 영향 등 대도시 생활에서는 수많은 데이터가 나오게 됩니다.
이를 분석하기 위해 데이터 관리 시스템은 테라바이트와 페타바이트 크기의 데이터 모음들을 다뤄야 하는데요. 데이터 관리 시스템과 분석 도구들은 데이터의 규모, 속도, 다양성, 가치, 정확성까지 다뤄야 빅데이터 분석이 가능합니다.
센서 환경의 경우 저장 특성이 매우 독특하므로 각별히 고려하여야 하는데요. 센서 데이터를 저장하는 데이터베이스의 크기는 센서 어플리케이션의 크기와 복잡성에 따라 다양합니다. 이 크기는 측정의 횟수와 빈도, 센서 적용 범위의 크기, 단위시간당 샘플링 횟수에 따라 좌우됩니다.3
이에 더하여 소셜 미디어, 클릭 스트림(click stream), 거래 등으로 인해 발생하는 개인 또는 기업데이터의 끊임없는 흐름을 생각해 보십시오. 정보 교환을 위한 컴퓨터 시스템 상호 운용성의 발전과 상호 운용성을 지원하기 위한 구조 및 접근 방식을 개발할 필요성도 커지고 있습니다.
데이터 유형을 해석하고 분석하기 위한 어플리케이션을 개발하기 위해서는 기본 데이터의 관리를 지원하는 정보관리 전략이 필요한데요. 스마트시티 환경의 결정적인 과제는 이런 데이터 흐름을 정보와 지식으로 변환하여 의사 결정을 적시에 지원하는 것입니다.
오늘날의 빅데이터 패러다임은 전통적인 데이터 사용 능력을 확장시킵니다. 산업계에서는 분석, 예측, 모델링, 보고서 작성, 시각화 등을 위한 데이터 수집 용도로 데이터 웨어하우스를 널리 사용해 왔습니다. 데이터 웨어하우스는 특정 주제별로 내부 및 외부 소스에서 직접 연관된 데이터를 수집•통합하여 관리자의 의사 결정을 지원합니다.
‘데이터 웨어하우스의 아버지’로 불리는 빌 인멈(Bill Inmon)의 견해처럼 1세대 데이터 웨어하우스는 주로 구조화된 거래 기반 데이터를 디스크에 저장하는 것에 중점을 두었는데요. 최근의 데이터 웨어하우스는 구조화된 데이터와 비구조화된 데이터가 함께 저장되어 있어서 이 두 유형의 데이터 의미를 메타데이터를 통하여 어떻게 파악하느냐 하는 것이 중요한 과제가 되고 있습니다.4
빅테이터의 저장과 분석을 관리하는 최적의 접근방식
산업계는 이제 하둡(Hadoop)을 이용한 새로운 접근 방법으로 데이터를 통합•분석하기 위해 데이터 웨어하우스를 진화시키고 있습니다. 하둡은 범용 하드웨어 클러스터에서 신뢰성 있고, 확장성 있는 분산 컴퓨팅을 수행하기 위해 오픈소스 소프트웨어를 개발합니다. 또한 하둡은 어느 유형의 데이터든 대규모로 저장할 수 있고, 강력한 처리 능력을 가지고 있으며, 동시 작업을 거의 제한 없이 수행할 수 있는 능력을 제공합니다.5
하둡 개발자들은 ‘데이터 레이크(Data lake)’라고 알려진 개념을 아키텍처로 예시했는데요. 데이터 레이크는 이질적인 기록들을 통합하여 억지로 단일 포맷으로 만드는 대신, 그냥 원래 포맷으로 저장하였다가 나중에 분석할 수 있게 해 줍니다.
또한 데이터 레이크는 원래 포맷을 보존하여 데이터의 출처와 충실성을 유지하므로 여러가지 다른 맥락에서 다양한 분석을 할 수도 있습니다.6 가트너(Gartner)의 연구 이사인 닉 호이덱커(Nick Heudecker)는 데이터 레이크는 이질적인 소스의 데이터를 원래 포맷으로 분석하기 위한 기업 전반의 데이터 관리 플랫폼으로 판매할 수 있다고 하였는데요.
이를 구현하기 위해서는 데이터를 목적에 맞춰 데이터 저장소에 저장하는 대신 원래 포맷으로 데이터를 데이터 레이크에 이동시키면 됩니다. 이렇게 하면 데이터 변환 등의 데이터 처리를 위한 초기 비용이 제거되며, 일단 데이터 레이크에 저장된 데이터는 조직원 누구나 분석에 이용할 수 있습니다.”7
많은 분석가들이 중요한 것은 데이터 웨어하우스 대 데이터 레이크의 문제가 아니라고 합니다. 새로운 학파의 빅데이터 신봉자들은 하둡이야말로 궁극적 데이터 관리 기술이라고 하는데요. 반면 보수주의자들은 기존 솔루션의 시장 지배력, 그리고 과거 수십 년의 경험에서 배운 데이터 관리 방법과 보안 관련 지식 등을 더 강조합니다.
그러나 하둡은 단지 데이터 웨어하우스 기술을 대체하는 것이 아니라, 기존 시스템을 확장하고 동시에 기존 시스템과 병행하여 작업함으로써 가치를 창조하고, 융통성, 사업 가시성, 통찰력 등을 증진시키며, 비용을 절감합니다.”8
또한 하둡은 많은 조직에서 데이터 웨어하우스와 분석 툴킷을 위한 준비 단계로 쓰이는데요. 다수의 조직들은 하둡을 사용하여 비조직화된 데이터를 다루고, 데이터 웨어하우스에 있는 기존의 데이터를 관리합니다.
스마트시티에 대한 연구가 계속됨에 따라 개발자들은 계속적으로 혁신적이고, 효율적인 접근 방식을 연구하여 대량의 데이터를 관리하고, 이를 통해 전 세계의 도시들이 직면하고 있는 어려운 과제들에 대한 해결책을 개발하여 보다 나은 데이터 분석 작업을 수행할 수 있게 될 것입니다.
글 ㅣ 존 간트(Jon Gant) 박사
● 지난 글 보기
– Emerging Tech Trends and Issues 1편 –
지식 경영: 지식을 정보로 바꾸는 디지털화 (http://blog.lgcns.com/956)
- Bello-Orgaz, G., J.J. Jung, and D. Camacho. “Social Big Data: Recent Achievements and New Challenges.” Information Fusion 28 (2016): 45–59. doi:10.1016/j.inffus.2015.08.005 [back to the article] [본문으로]
- https://www.whitehouse.gov/the-press-office/2015/09/14/fact-sheet-administration-announces-new-smart-cities-initiative-help [back to the article] [본문으로]
- https://www.fas.org/sgp/othergov/doe/lanl/lib-www/sand/970195.pdf [back to the article] [본문으로]
- Inmon, William, Derek Strauss, and Genia Neushloss. DW 2.0: The Architecture for the Next Generation of Data Warehousing. Burlington, MA: Elsevier, 2008 [back to the article] [본문으로]
- https://hadoop.apache.org/ and http://www.sas.com/en_us/insights/big-data/hadoop.html [back to the article] [본문으로]
- http://www.pwc.com/us/en/technology-forecast/2014/cloud-computing/assets/pdf/pwc-technology-forecast-data-lakes.pdf [back to the article] [본문으로]
- http://www.gartner.com/newsroom/id/2809117 [back to the article] [본문으로]
- http://data-informed.com/the-data-lake-half-empty-or-half-full/#sthash.F9KTJPys.dpuf [back to the article] [본문으로]
