데이터 통합 시대가 끝나고 데이터 분석 시대가 도래 했다. 이 시기에 빅데이터가 중요한 화두로 부상하기 시작했다.

데이터 분석 시대에 이르러 대부분의 업무에 정보기술이 적용되고, 모바일 기기 보급, 공정 센서 확대, 소셜 네트워크 이용 확산 등으로 인해 데이터가 폭발적으로 증가했다. 또 대규모 데이터를 보관하고 관리할 수 있는 하둡, 스파크 등의 빅데이터 기술이 등장했다.

그 결과 데이터로부터 통찰력을 찾아내고 이를 비즈니스에 활용하는 조직들이 더욱 뛰어난 성과를 거두기 시작했다. 데이터를 학습하여 전문가보다도 정확한 의사결정을 빠르게 내릴 수 있는 인공지능 기술도 상용화됐다.

토마스 데이븐포트(Thomas H. Davenport)는 2006년 하버드 비즈니스 리뷰에 ‘Competing On Analytics’라는 논문을 발표해 데이터 분석이 강력한 경쟁 수단이 된다고 주장했다.

맥킨지와 MIT보고서 등이 이를 뒷받침했다. 데이터를 분석하여 사실들의 인과관계를 밝힐 수 있고, 이를 업무에 적용하면 의사결정의 연관성과 기민성를 높일 수 있다는 점이 다양한 사례로 증명되었다.

데이터가 주도하는 마케팅은 실시간으로 고객과 시장의 반응을 읽고 이를 기획과 서비스에 반영하여 성과를 내는 기법으로 디지털 기업들의 성장에 큰 힘이 됐다.

데이터 분석을 확산하기 위해서는 데이터를 보관하고 관리하고 접근할 수 있는 환경이 갖추어져야 하고, 데이터를 다양한 방식으로 분석하고 업무에 적용할 수 있는 도구가 준비되어야 한다.

데이터 마켓플레이스는 구조적 데이터를 보관하는 데이터웨어하우스와 비구조적 데이터를 관리하는 데이터 레이크(Data Lake)로 구분됐다. 그리고 데이터 카탈로그(Data Catalog) 정보를 제공하고 필요한 데이터를 확보할 수 있는 큐레이션 기능을 지원해야 한다.

애널리틱스 플랫폼(Analytics Platform)은 데이터 분석 도구들을 지원하고 입증된 분석 알고리즘을 배포하는 기능을 지원해야 한다.

이 시기 데이터 과학자가 21세기의 가장 매력적인 직업으로 거론됐다. 또 다양한 형태의 데이터를 다루는 데이터 엔지니어의 수요가 크게 늘었다. 데이터 분석 시대의 데이터 사용자는 비즈니스 부문에서 실제로 업무를 담당하는 사람들이었다.

데이터 분석이 효과를 내기 위해서는 전체 구성원이 데이터를 잘 다룰 수 있어야 한다. 데이터 소비자의 역할이 중요하게 된 것이다. 데이터 소비자의 데이터 활용 역량을 높이기 위한 데이터 리터러시(Data Literacy) 프로그램의 중요성도 커지고 있다.

김소율 기자 postmoneynews@gmail.com