[함영훈 미래사업본부장] “강남역 지금 워터파크예요”, “출근길인데, 물 다 빠졌어요”, “부산엔 가뭄이예요”, “안산 8가구 침수”, “공덕도 걱정, 노후건물 많은데..”, “장마후 열대야면 병원균...헐~”

장마철 “강남역 워터파크” 논란에서 보듯 비나 눈이 많이 오거나 기상 상황이 달라지면 우리 네티즌들은 수천만개의 정보를 SNS 등을 통해 실어나른다. 지진, 재해를 많이 겪는 일본 국민도 우리 못지 않게 날씨 커뮤니케이션이 활발하다.

일본의 날씨정보업체 웨더뉴스는 10여년전부터 시민제보창구를 열어 전국 각 지역의 소상한 날씨정보를 받는다. 수많은 네티즌들의 날씨 관련 제보는 풍향 기압 구름의 이동 등 기초적인 기상정보와 함께 수퍼컴퓨터로 분석된다. 웨더뉴스는 분석결과를 토대로 각 지역별로 날씨가 어떻게 될지 10분 간격으로 1시간 앞까지 예보해준다. 거의 정확하다.

일본의 기상과학은 세계최고 수준이다. 정확성을 높이기 위해 10년전부터 수많은 데이터를 축적하느라 손이 많이 갔지만, 몇 년 전부터 어느 정도 안정화됐고, 계속 정보가 축적되면서 정확성은 더욱 높아질 것으로 기대된다.

일본의 통신회사 NTT도코모는 ‘모바일 공간 통계’로 재난에 대비하고 있다. 기지국을 거치는 모바일 전파수와 시민들의 이동성향 등을 면밀히 분석해 ‘현재 어느 지역에 사람이 몇 명이 있다’는 실시간 소지역별 인구통계를 1시간 단위로 공개한다. 도코모는 이 데이터를 다른 재난 데이터와 교차 분석해 도쿄에 규모 7.3의 지진이 발생했을 때 357만명이 귀가 곤란상황에 직면한다는 결론을 내리고 이 같은 빅데이터 분석정보를 교통당국과 공유해 대책 마련을 유도하기도 했다.


미국은 2008년 금융위기를 계기로 빅데이터를 본격적으로 채택한다. ‘99%의 분노’로 표현되는 금융위기 속에는 금융인들의 모럴헤저드가 자리잡았다. 탈세와 사기 등 금융범죄가 늘어나고 이는 국가 재정 위기로 이어졌다. 금융에 관여한 자들이 중심를 차지하는 탈세 금액은 미국내 저소득층 의료보장 총액을 초과하는 수준에 이르자, 2011년 미국 국세청은 사기의 패턴, 탈세범의 소득방법,수준, 법망회피의 수단, 부정행위를 저지를때의 주가지수,금리, 부정행위때의 업종별 여건, 부정재산의 흐름, 세제악용 패턴, SNS으로 연결된 부정행위자의 인맥, 학맥 등의 정보를 축적해 경제-금융 범죄 방지 솔루션을 개발해냈다. 미 국세청은 오픈소스 기반의 대용량 데이터 처리 소프트웨어인 하둡(Hadoop) 등을 적용해 데이터를 분석했고 연간 3450억 달러(38조원)의 세금 누락을 막아냈다.

오늘날 데이터는 참으로 방대해졌다. 1차원적 지표는 해석능력을 상실했다. 멕시코 맥주회사 솔비어의 대박은 경기지수, 소비자기대지수, 원자재가격 등 경제지표로 풀이할 수 없다. 목에 밧줄을 메고 다니는 직장인들의 퇴근후 심리와 행동양식, 입소문 및 소비의 확산 패턴 분석 결과를 토대로 ‘넥타이 반납하면, 맥주 줄께’라는 바이럴마케팅을 벌인 결과였다.

시장 판도변화를 가져온 이 현상은 경제지표가 감당 못한다. 지금의 경제지표는 40~50년전 근대화시대의 것 그대로이다. 정치권의 지표 놀음에 국민은 많이 속기도 속았다.

정보화시대 한 해 정보량은 2.8제타바이트(1테라바이트의 28억배)나 되고 정량적인 것 뿐 만 아니라 정성적인 것, 즉 비정형화된 데이터도 포함돼 있지만, 정보기술의 고도화에 힘입어 체감도 높은 해석과 미래 예측이 가능해졌다. 막대한 데이터 양(volume)의 처리, 사례별로 천차만별인 다양성(variety)의 반영, 신속(velocity)한 결론 도출 등 이른바 ‘3V’를 구현한 것이다. 최근들어 빅데이터 분석방법은 지능형(Intelligent Creative Cluster Mining)으로 고도화되고 있다. 이 분석법은 헤럴드경제 제휴사인 넥스모아, 윈스로드가 보유하고 있다.


빅데이터에 관한한 한국 정부의 지원은 일본 등에 너무 뒤처져 있다. 일본은 ‘해석기술’ 전문가의 대대적인 양성에 나서고 R&D를 지원하고 있다. 미국은 60개 기관별로 세부 빅데이터 프로그램을 준비중이고, 영국은 2015년까지 부처별로 계획을 수립해 주요정책 관련 빅데이터 분석 및 정책반영 시스템을 구축할 계획이다.  2016년 일본 빅데이터 시장은 8억달러에 달할 것으로 예측되지만 한국은 2.7억달러로 일본의 3분의 1에 불과하다.

빅데이터는 세상을 행복하게 살아가고 창조적인 경제활동을 벌이는 원유로 비유된다. 또 하나의 ‘신의 선물’이 우리 앞에 놓인 것이다.

현재 진행중인 창조경제 프로젝트에서 빅데이터 분석기법은 지역별로 체감도 높은 경제-산업 지표를 생성하고 자원의 선택과 집중을 가능케 한다. 아울러 그간 지표에 속아왔던 소상공인, 중소기업, 재래시장 상인 등에게 희망을 주는 밀알이 될 것이다.

빅데이터 전쟁에서 일본에 지면, 그간 IT에서 열 번 이기다가 미래를 담보하는 이번 한 방에 크게 당할 수 있다. 부밍업을 위해 정부와 기업은 머뭇거릴 사이가 없다. 빅데이터는 지금으로선 국민행복, 창조경제의 최고 컨설턴트이기 때문이다. /abc@heraldcorp.com