< ICT & Science >“빅데이터 산업화 위해… 데이터 前처리서 IT전문가 해방시켜야”

클릭하시면 더 큰이미지를 보실 수 있습니다

김태정 데이터브릭 대표

데이터 3法 7월 시행되는데
정제·검증 등 단순노무 시달려

트리팩타 랭글러 프로그램 도입
비정형 데이터 정리하고 통일
전처리 시간 최대 90% 단축

143國 1만2000여 기업 사용중
펩시, 85억개 선적 오류 발견도

“구슬이 많아도 꿰지 못하면 상품 가치가 없잖아요? 기업도 확보한 수많은 데이터를 ‘전처리(前處理·어떤 조작을 하기 전 그 조작에 알맞은 상태로 준비하는 일)’하지 못하면 데이터 3법이 입법화돼도 수혜를 볼 수 없습니다.” 지난 16일 서울 강남구 역삼동에서 인터뷰한 김태정(58·사진) 데이터브릭 대표는 오는 7월부터 시행될 데이터 3법(개인정보보호법 ·정보통신망법·신용정보법) 개정안이 제대로 안착하기 위해 가장 중요한 ‘데이터 전처리 과정’을 이처럼 강조했다.

데이터브릭은 데이터 관련 각종 서비스를 제공하는 전문기업이다. 김 대표는 데이터 3법의 국회 통과에 대비해 2017년 미국 실리콘밸리 정보기술(IT)기업 ‘트리팩타(Trifacta)’의 데이터 전처리 프로그램인 ‘트리팩타 랭글러(Wrangler)’를 국내에 도입했다. 트리팩타 랭글러는 기업 데이터 분석자가 데이터 속성 이해부터 구조화, 변형, 정제, 검증에 이르기까지 데이터 전처리에 필요한 모든 과정을 직접 할 수 있게 함으로써 전처리 시간을 최대 90%까지 단축할 수 있다. IT 업계에서 34년간 종사한 김 대표는 “지금까지 기업들은 데이터 분석을 위해 IT 고급인력들을 활용해 정제되지 않은 데이터를 일일이 수작업으로 수정하는 과정을 거쳤다”며 “이러한 전처리에 걸리는 시간이 전체 프로젝트의 80% 이상을 차지했다”고 지적했다.

그는 “앞으로 데이터 3법 통과로 기업들은 사고판 비정형 데이터를 활용해 유용한 결과물을 도출해야 하는데 아직 이러한 문제에 대한 우리 기업의 인식이 부족하다”며 “이미 미국과 일본 등 데이터 선진국에선 전처리 과정에 공을 들임으로써 빅데이터 경제 시대를 열고 있다”고 말했다. 한국정보화진흥원에 따르면, 빅데이터 분석 시스템을 도입한 국내 기업(직원 100명 이상)은 2017년 기준 7.5%에 불과하다. 국내에서 빅데이터 분석을 시도한 기업도 전체의 약 1.7% 수준인 것으로 조사됐다.

◇비효율적 데이터 전처리 과정에 데이터 전문가들 업계 떠나=21일 IT 업계에 따르면, 지금까지 데이터 전처리 작업은 IT 개발자가 만든 프로그램 또는 분석가가 특화된 프로그램 언어를 활용해 수행했다. 문제는 이러한 방식을 통해 제대로 된 분석 결과를 얻기까지 부단한 노력과 시간이 필요하다는 점이다. 데이터 기업의 한 관계자는 “데이터 분석가들이 부단히 공부하고 노력해 현업에 뛰어들었지만, 정작 일선에선 정제되지 않은 데이터를 정리하는 단순 노무에 매달려 있다”며 “이러한 단순 작업에 피로를 느낀 데이터 분석가들이 다른 업종으로 이직하는 경우가 생각보다 많다”고 설명했다. 예컨대 A라는 데이터에 ‘Hong GilDong’이란 고객명이 있고, 데이터를 합쳐야 할 B라는 데이터에 ‘Gil-Dong Hong’으로 표기돼 있다면, 데이터 분석가는 이를 ‘수작업’을 통해 같은 이름으로 통일하는 일을 하고 있다. 고객명이 통일돼야 고객 관련 정보를 융합하고 가공할 수 있기 때문이다.

◇데이터 선진국, 전처리 프로그램으로 업무 효율 극대화=비효율적인 데이터 가공 문제를 해결하고자 이미 주요 선진국에선 트리팩타 랭글러와 같은 최신 데이터 전처리 프로그램을 활용해 업무 효율성과 생산력을 크게 높이고 있다. 트리팩타 랭글러는 현재 143개국 1만2000여 기업에서 7만5000명 이상의 데이터 분석가가 사용 중이다. 미국의 펩시(Pepsi)는 제품별 최적 재고량 유지를 위해 최신 데이터 전처리 프로그램을 활용했고, 이를 통해 분석 시간을 70%, 보고서 생산 시간을 90% 줄이는 데 성공했다. 특히 데이터 품질 확보를 통해 85억 개 상당의 제품 선적에 오류가 있음을 발견해 생산성을 높였다. 영국의 스코틀랜드왕립은행은 고객 웹 채팅 데이터를 최신 데이터 전처리 프로그램을 사용해 빠르고 정확하게 분석했다. 그 결과 고객 이탈을 막고 수백만 파운드의 손실을 방지했다.

◇AI 기반 전처리 프로그램이 빅데이터 시대 연다=기업에 효자 역할을 하는 최신 전처리 프로그램은 인공지능(AI) 기반의 기계학습, 패턴 분석, 통계적 기법으로 운용된다. 프로그램은 모든 정보를 막대 그래프와 색상 구분 등으로 구분해 사용자에게 시각 효과를 지원한다. 또한, 어떠한 항목을 하나로 통일하거나 수정할 필요가 있다고 프로그램이 스스로 판단하면, 프로그램은 사용자에게 가장 적합한 결과값을 산정해 최상의 선택지를 제공한다. ‘서울시 서대문구’ ‘서울 서대문구’ ‘서울시 서대문’ 등으로 표기된 데이터를 전처리 프로그램은 사용자에게 노란색으로 표시해 구분하고, 사용자에게 ‘서울시 서대문구로 통일하는 게 어떻겠냐’고 묻는 식이다. IT 업계 관계자는 “미래 산업의 원유(原油)로 불리는 빅데이터를 활용할 길이 데이터 3법 통과로 마침내 열렸다”며 “데이터 전처리 효율성만 높인다면 통신, 의료, 유통, 금융 분야에서 소비자의 요구를 반영한 다양한 상품 출시가 가능할 것”이라고 강조했다. 시장조사기관인 IDC에 따르면, 비식별화된 개인정보를 활용한 빅데이터 및 사업분석서비스의 전 세계 매출은 2020년 1891억 달러(약 219조 원)에서 2022년 2743억 달러(318조 원)로 성장할 전망이다.

이해완 기자 parasa@munhwa.com