가트너(Gartner)의 정보관리부문 VP 겸 Distinguished Analyst 도널드 파인버그(Donald Feinberg)가 전하는 빅데이터 시대의 리얼타임 비즈니스 트렌드와 사례를 소개합니다.

1. Real-Time Business, Real-Time Advantage
Donald Feinberg, VP and Distinguished Analyst, Gartner
빅데이터 발표자료 첫 장에 빅데이터는 큰 기회라는 제목이 있었죠?
빅데이터에
관한
논의는
문제가
무엇인가
하는
관점에서
벗어나
기회라는 관점에서 봐야 합니다. 20년 전에는 클릭스트림 데이터도,
소셜 데이터도 없었죠. 인터넷도 트위터도 없었기 때문입니다.
6개월 전 가트너가 조사를 했습니다. 빅데이터를 이용한다면, 어느
유형의 데이터를 이용할지 물었습니다. 놀랍게도 1,000개 기업의 75%가
트랜잭션 데이터를 이용하겠다고 밝혔습니다. 15%만 소셜 데이터에
관심을 보였습니다. 따라서 빅데이터 = 소셜 = 하둡이라는 공식은 잊으세요. 단순히 데이터의
활용에 관심을 가져야 합니다.
여러 벤더가 빅데이터 시장을 논하지만 그런 시장은 없습니다. 시장이 존재하려면 상품이 있어야
합니다. 휴대전화 시장, 스마트 TV 시장 등이 대표적이죠. 빅데이터 시장은 어떤가요? 하드웨어,
소프트웨어, 서비스 등으로 구성되지만 이것이 고유한 빅데이터 시장을 형성하지는 못합니다.
모든 IT 시장의 일환일 뿐이죠.
여러분 모두 소셜, 모바일, 클라우드 등에 대해 알고 계십니다. 정의는 달라도 대략 이해하고는
계십니다. 또 정보도 알고 계시죠. 2년 전 가트너는 새로운 개념을 정립했습니다. 소셜, 모바일,
클라우드. 정보 등이 큰 의미를 가지려면 이 네 가지 요소가 하나로 결합되어야 한다는
사실입니다. 이를 “Nexus of Forces”로 정의했죠. 이 네 요소의 교차점을 관리하는 기업은
드뭅니다. 주로 두 가지 요소를 묶어서 보죠. 하지만 실제로는 모바일, 소셜, 클라우드, 정보가
모두 어우러져야 합니다. 두 가지만 꼽으라고 하면 공통 요소는 바로 정보입니다.
먼저 정보와 모바일을 묶어 시작해 보죠. 모바일로 처리하는 새로운 일이 많아졌습니다. 데이터
수집, GPS 등은 보편화 되었습니다. 모바일 BI를 논할 때는 영업대표가 고객을 방문할 때 모든
CRM 정보를 보기는 어렵지만 그 동안의 구매이력, 수익성, 매출, 수익마진 등에 대해 파악할 수
있다면 모바일 기기를 통해 누구에게 어떤 제품을 어느 가격 범위에서 판매해야 수익성 목표를
달성할 수 있을지 파악할 수 있습니다.
모바일 기기를 하나만 가지고 있는 사람을 찾아보기가 어렵습니다. FitBit이라는 소형 기기를
이용해 블루투스로 제 몸 상태를 측정하고 스마트폰을 통해 인터넷에 저장합니다. 또한 냉장고
안의 식품을 측정해 관리할 수도 있고, 이제는 차량도 인터넷으로 연결됩니다. 이것이 바로
사물인터넷(Internet of Things)입니다.
Page | 1

2. 정보와 소셜을 묶어 보죠. 불만이 있는 고객이 트위터에 흔적을 남기고, 휴대폰으로 불만을
친구들에게 토로합니다. 결국 통신사에 불만 있는 고객 한 명이 떠날 경우 십여 명의 친구들도
떠날 가능성이 높습니다. 과거에 통신내역기록(CDR)을 분석할 길이 없었지만 이제는 가능합니다.
WHO가 이제는 소셜 데이터를 분석하고자 합니다. 왜일까요? 전염병이 창궐할 때 병원보다 먼저
파악할 수 있기 때문입니다. 병원에서 에볼라 바이러스를 진단할 때까지 세 시간 이상이
걸리지만, WHO는 소셜 데이터 분석을 통해 의료진보다 먼저 전염병 창궐을 예측합니다.
신용카드회사는 신용카드 사기를 일반적으로 사건 발생 사흘 뒤에야 파악할 수 있습니다. 이제는
패턴을 파악해 현재 거래를 소셜, 모바일, 정보와 결합해 실시간으로 사기거래 여부를 진단합니다.
정부는 소셜 데이터를 어떻게 이용할까요? 미국의 오바마 대통령만 봐도 소셜 데이터를 분석해
중요한 격전지에 선거운동원을 배치합니다.
정보와 클라우드를 묶어 보죠. 퍼블릭 클라우드를 사람들이 거의 모든 분야에 활용합니다.
클라우드 서비스라고 하는 회사는 아웃소싱, 호스팅 회사인 경우가 많습니다. SaaS도 PaaS도
아니죠. 하지만 클라우드라고 주장하는 건 좋습니다. 왜죠? 자본투자(CapEx)를 운영경비(OpEx)로
바꾸기 때문이죠. 특히 SMB의 경우 클라우드야말로 멋진 대안입니다.
AC Nielsen처럼 데이터를 파는 회사도 있지만, 일반 기업은 아니죠. 하지만 25%의 기업이 향후
데이터를 판매하기 시작할 전망입니다. 이 분야도 정보와 클라우드가 만나는 지점입니다.
Nexus of forces가 제시하는 미래는 네 가지 요소가 맞물렸을 때 보다 큰 효과를 낸다는
사실입니다. 소비자가 주도권을 갖는 세상이 옵니다. 블랙베리를 만든 RIM의 경우 소비자와 직접
거래하지 않았기 때문에 하향세를 타고 있습니다. 블랙베리를 아이들에게 사주고 싶은 부모
있나요?
인메모리
컴퓨팅은
빠릅니다.
왜
중요할까요?
애플리케이션이
천
배
빨리
돌아가는
게
중요하다기 보다는 이를 통해 더 빨라질 분야가 있다는 점이 관건입니다. 회계 처리를 빨리 하는
건 큰 의미가 없을 수 있지만 급여처리는 중요합니다. 급여처리 속도가 빨라지면 일주일 전부터
처리를 시작하고 수정하는 대신 몇 시간 이내에 모든 작업을 끝낼 수 있기 때문입니다. 인메모리
컴퓨팅의 중요한 점은 우리 비즈니스의 어떤 분야를 빨리 만들까입니다.
리얼타임에 대한 얘기는 아주 오래 전부터 있었지만 현실로 다가오지는 못했죠. 데이터가
생성되는 순간 분석할 수는 없었습니다. 트랜잭션 데이터를 기록하는 DB가 있고 이를 옮겨서
요약 분석하는 DB가 따로 있었죠. 하지만 인메모리 컴퓨팅은 이 둘의 경계를 없애고 Speed를
높입니다.
또한 Scale 측면도 중요합니다. 확장성은 인메모리 데이터 그리드를 구성하는 수천 개 컴퓨터를
연동해 확보합니다. 또한 빠른 속도로 증가하는 데이터, 예컨대 휴대폰 도난, 증권거래 사기 등에
대응할 수 있어야 합니다.
Page | 2

3. 세 번째로 통찰(Insight)이 중요합니다. 실시간 분석을 통해 기업 운영을 보다 스마트하게 할 수
있습니다.
비즈니스 가치 창출 측면에서 볼 때 일반적으로 인메모리 DB가 디스크 DB보다 비싸다고
생각하는 데 오해입니다. 물론 초기 구입 비용은 비쌉니다. 하지만 전력사용, 냉각 등의 비용이
저렴합니다. 또한 공간도 덜 차지합니다. 한 컴퓨터 안에서 더 많은 처리가 가능하고 과거보다
소형 서버로 처리할 수 있습니다. 서버가 늘어나면 관리할 사람도 더 필요하고 전력과 냉각
비용도 늘어나며 하드웨어 유지보수 비용도 늘어납니다. 결국 인메모리 컴퓨팅의 TCO가 훨씬
낮습니다. 연간 총비용이 1만-1만5천 달러 정도입니다. 모든 비용을 포함한 금액입니다.
스토리지 관리 인력이
필요
없고 데이터베이스가 알아서
처리합니다.
인메모리
컴퓨팅을
도입하는 기업은 싸서 도입하는 게 아니라 비즈니스 가치 창출이 필요해서 도입합니다.
인메모리에 대한 오해와 진실을 밝혀 드리죠. 관계형 DB가 등장하기 전에는 디스크에 데이터를
기록했고 버퍼를 두었습니다. 1960-70년대 DB는 용량이 KB 단위였습니다. 이제는 TB 시대를 살고
있죠. 버퍼 용량을 늘리면 인메모리일까요? I/O 기록 시간이 여전히 소요되므로 인메모리가
아닙니다. 디스크는 persistence와 백업 용으로 두고 데이터 기록은 메모리로 처리하는 모델이
인메모리입니다. 디스크 DB는 그대로 두고 버퍼 용량만 늘린다고 인메모리는 전혀 아닙니다.
애플리케이션에
필요한
모든 데이터가
메모리에
있어야
인메모리입니다. 코드도
데이터가
메모리에 있음을 알고 처리할 수 있어야 하죠. 버퍼가 있다 해도 디스크 DB에서는 트랜잭션과
분석을 한 군데서 처리할 수 없습니다.
인메모리는 SAP가 시작한 과장광고라는 오해가 있습니다. 하지만 이미 50여 소프트웨어 벤더가
인메모리 기술을 제공 중입니다. 새롭고 입증된 바 없다는 오해도 있죠. 이미 1990년대 말부터
나온 기술입니다. 오늘날 차이점이 있다면 메모리 비용이 낮아졌습니다. 돈이 많이 든다는 오해도
있습니다. 클릭과 같은 인메모리 분석의 주요 사용자는 SMB입니다. 틈새 기술이라는 오해도
있지만 이미 전 산업 분야에서 활용되고 있습니다.
오는 2025년경에는 대다수 IT 조직이 전체 인프라를 인메모리로 운영할 것으로 전망합니다.
데스크톱 컴퓨터 정도의 상자 안에 일반 전기를 꽂아 관리하면 됩니다. 속도와 소형화를
제공하죠.
가트너는 기술의 비즈니스 파급효과를 진단할 때 비즈니스 운영, 성장, 혁신 등 세 측면에서
봅니다. 인메모리 컴퓨팅은 이 세 측면에서 모두 큰 파급효과가 있습니다.
MRP의 경우 일반적으로 10여 시간이 걸리는데 사흘 걸린다는 고객도 있습니다. 재공재고(WIP)
현황을
파악하거나
재고
파악을
잘못하면
고객과의
약속을
지키기
어렵습니다.
MRP를
인메모리로 처리하니 4시간 걸리던 것이 몇 분으로, 사흘 걸리던 경우는 몇 시간으로 줄었습니다.
Page | 3

4. 영업대표가 고객을 만나 월요일까지 고객이 원하는 수량을 납품 가능한지에 바로 답을 드릴 수
있습니다. 그것도 수익성 있게 대응할 수 있죠. 결국 경쟁력도 높이고 수익성도 높입니다.
항공사의 경우 모든 좌석에 대한 요금을 실시간으로 즉시 조정할 수 있다면 엄청난 효과가
있습니다. 자리가 남았을 때 즉시 할인가로 제공한다면 경쟁사로 갈 고객을 확보할 수 있습니다.
이처럼 비즈니스 운영과 혁신이 가능합니다.
인메모리 컴퓨팅 도입의 걸림돌은 많습니다. 다양한 오해가 존재하죠. 오늘날 애플리케이션에서
운영되는 모든 데이터는 인메모리로 옮겨 처리할 수 있습니다. 예컨대 최적화를 거치지 않더라도
12시간 걸리는 일을 7분 이내로 줄일 수 있습니다. 물론 최적화를 거치면 초 단위로 줄일 수
있죠. 특히 제가 좋아하는 부분은 batch 처리가 없어진다는 점입니다.
단기 효과를 볼 수 있는 분야(low-hanging fruit)는 무엇일까요? 우선은 인메모리 DBMS로 분석을
100배 이상 빨리 할 수 있습니다. 인메모리 데이터 그리드를 이용해 글로벌 시장에서 실시간으로
거래를 지원할 수 있습니다. 인메모리 분석을 통해 데이터 분석을 셀프 서비스로 시각화하고
자유자재로 드릴다운할 수 있습니다. 또 이벤트 처리를 통해 실시간 현황을 파악합니다.
일반적인 기업의 경우 트랜잭션을 처리하는 운영 데이터베이스와 분석을 위한 데이터베이스가
분리되어 있습니다. BI 등 분석을 위해 칼럼 DB 형태로 관리하는 데이터웨어하우스가 존재합니다.
이 둘을 연결하기 위해 ETL 툴과 피드백 루프가 필요하죠. 이 둘을 연결하는 데는 항상 시간과
노력이 필요하죠.
하지만 이제 모두를 인메모리 DB로 처리하면 DB 구조가 달라집니다. 일반적인 업무 처리를 할
수 있도록 되어 있고 aggregates, indexing 등의 작업은 필요할 때 가상으로 즉시 처리합니다.
단일
데이터베이스
상에서
실행과
분석이
모두
처리됩니다.
이것이
바로
HTAP
(hybrid
transaction-analytical processing) 입니다.
인메모리 컴퓨팅 기반의 HTAP은 오랜 시간이 걸리던 일괄처리(batch processing) 시간이
단축되고 시뮬레이션을 거의 트랜잭션처럼 처리할 수 있습니다. 결국 인메모리가 제공하는
스피드는 과거에 불가능했던 일도 몇 초 안에 실현합니다.
모든 기업이 보유한 데이터, 고객, 상품 등은 서로 다릅니다. 따라서 항상 벤더가 어떤 얘기를
하든 PoC (proof of concept) 과정을 거치시기 바랍니다. 인메모리는 mainstream 기술입니다.
익숙해 지세요. 무엇보다 중요한 건 전략적인 질문입니다. 과거에는 불가능했던 일을 이제 할 수
있다면 그것이 무엇인지 파악하시기 바랍니다.
몇 가지 빅데이터 사례를 공유하고 발표를 마치겠습니다. 보험 사기 청구를 탐지하는 비율을
50%에서 88%로 크게 높인 인피니티(Infinity) 사례가 있습니다. PEMEX는 국영 석유회사입니다.
고가의 설비가 많죠. 고장이 나면 수리에 큰 돈이 듭니다. 정유소에 문제가 발생하는 일을 막고
다운타임을 960시간 이상 줄였습니다.
Page | 4

5. AmEx는 18개월 간의 이력 데이터 분석을 위해 115개 변수를 두고 40개 예측 모델을
만들었습니다. 이탈 가능성이 있는 고객을 사전에 파악해 적절한 대응을 할 수 있게 되었습니다.
NCR은 ATM도 판매합니다. 2억 1천만 달러의 매출 공헌과 영업효율을 5% 높였습니다. 모든 상품,
판매, 재고 데이터와 수만 가지 제품 사양구성을 최적화 하고 수요를 창출합니다.
저희 발표에는 보통 50 가지 정도의 사례를 준비한 후에 십여 가지 정도의 사례를 골라 실제
발표에 사용합니다.
끝으로, 빅데이터 = 맵리듀스 = 하둡이라는 믿음이 있습니다. 사실이 아니죠. 텍스트 검색, 분석
등을 대량으로 처리할 때 꼭 하둡이 필요한 건 아닙니다. 그런데 IT부서도 아니면서 박사
인력들을 투입해 자신들끼리만 정보를 공유하고 분석하기 위해 만든 스컹크웍스(skunkworks)
프로젝트가 바로 하둡입니다. 결론은 빅데이터는 데이터라는 점입니다.
사장님이 “왜 우리는 빅데이터 관련해 아무 것도 안 하나?”하고 묻는다면 지난 20년간 이미
빅데이터 분석을 해오고 있다고 하십시오. 기업 IT부서 내 외부에 있는 핵심 인력을 모아
비즈니스를 바꿀 아이디어를 모으세요.
Page | 5