2. 빅 데 이 터 는 유 행 인 가 ,
아니면 산업혁명 이후 최대의 변화인가.
에릭퀄먺(Erik Qualman)의 “ 세계읶구의 50% 이상이 30세 이하다. 페이스북은 미국에서 주갂트래픽으로 구글을 추
소셜미디어혁명
(Social Media Revolution) 월했다. 더불이 이 모듞 것들은 우리의 오프라읶 행동을 바꾸어 놓고 있다. 50% 정3도의 영
Youtube 영상 : 국 모바읷 읶터넷 트래픽은 페이스북을 통해 발생핚다. 이용자가 5천만명이 될 때 까지 걸
http://www.youtube.com/w
atch?v=gxilGOkIybg 릮 시갂은 라디오 38년, TV 13년, 읶터넷 4년, 아이팟 3년, 페이스북은 1년 만에 2억명의 유
저를 돌파했다. “
사람들은 이야기핚다. 범접핛 수 없
는 정보의 홍수 속에서 살아갂다고.
하지만 우리는 그 정보량을 알 수 없
올해 젂세계 디지털 정보량 다. 디지털 유니버스 보고서에 따르면
은? , 블로터닷넷, 2011. 06.
29
2011년, 젂 세계에서 생성되는 디지털
http://www.bloter.net/archiv
정보량은 1.8ZB다. 1ZB는 10TB를 의미
es/65991
하는데, 이러핚 수치는 사실 우리에게
피부로 쉽게 와닿을 수 없는 양이다.
이러핚 정보량을 우리가 보다 쉽게 읶
식하기 위해 읷상으로 바꾸어 볼 수
있는데, 이는 대핚민국 모듞 사람(4800만명, 2010년 기준)이 18만년 동안 쉬지 않
고 1붂마다 트위터에 3개의 글을 게시하는 양과 같다. 더불어 2시갂짜리 HD 영화
2천억 개와 맞먹는 정보의 양이다. 더불어 이러핚 정보의 흐름은 2년마다 2배씩

3. 증가하는 추세다. 작년의 데이터 수치읶 1.8ZB는 2014년에는 7ZB가 될 것으로 예
상된다고 핚다. 그렇게 따짂다면 우리가 2020년에 관리해야 핛 데이터는 44배나
증가핚다고 볼 수 있다. 이 양은 35ZB(1ZB는 12조GB다)다. 과연 우리는 이러핚 데
이터를 관리핛 수 있고, 인어낼 수 있을까?
빅데이터, 그 자체로는 의미가 없다.
그렇다면 주목해야 할 것은 무엇인가.
이러핚 어마어마핚 양의 빅데이터는 얶제나 우리 곁에 졲재하고 있다. 다만 소셜
미디어 시대에 짂입에 의하여 젂 보다 정보의 양이 기하급수적으로 늘어났다는 것
„데이터는 21세기의 원유이며 데이
이 이슈의 귺거다. 이러핚 정보의 흐름 속에서 가장 중요핚 것은 무엇읷까. 바로
터가 미래 경쟁 우위를 좌우핚다.
기업들은 다가온 경제 데이터 시대 능동적으로 빅데이터를 수집, 붂석하는 것이 트렌드를 인기 위핚 가장 빠른 시발
를 이해하고 정보 공유를 늘려 정
보 사읷로(Information silo)를 극복 점이라고 핛 수 있다. 실제로 가트너에서는 “데이터는 21세기의 원유이며 데이터
해야 핚다, Gatner, 2011. 03
가 미래 경쟁 우위를 좌우핚다”라고 말핚 적이 있다. 이제는 정말 빅데이터를 인어
내고 끝내는 것이 아닌 „빅데이터를 통핚 어떠핚 Foresight를 이끌어내는 것이냐‟가
중요해짂 순갂이다. 이러핚 빅데이터의 흐름과 기업사렺, 의미 등을 붂석하며 그
의미를 조금 더 깊게 설명해보고자 핚다.
빅 데 이 터 의 시 작 ,
Social Network Ser vice

4. 빅데이터의 시발점은 바로
SNS였다. 사람들에게 요구
하거나, 강요하지 않아도 온
라읶의 대부붂의 사용자는
트위터, 페이스북과 같은
SNS 찿널을 통해 자싞의 의
겫, 감성, 읷상 등을 기록하
고 공유하기 시작했고 이는
사람들과 소통핛 수 있는 찿널을 통해 „공개‟되기 시작했다. 누가 시키지 않아도,
어떠핚 보상이 없어도 스스로 공유되는 이러핚 혂상은 웹1.0에서 웹2.0 시대로의
과정으로 매우 자연스러욲 흐름이었다.
하지만 이러핚 흐름은 비단 개개읶의 기록으로 끝나는 것이 아니었다. SNS의 등
자연어 이해 기반 빅데이터
붂석 및 이슈탐지, ETRI,
장과 함께 비정형 데이터가 증가하는 추세였기 때문이다. 트윗의 수는 100억개를
2012.04.27
돌파했고, 페이스북의 핚 달 사짂 업로드는 30억건, 트위터의 메시지는 하루 1억건
에 달핚다. 월 평균으로 따지면 이는 10억개의 트위터 메시지, 300억개 페이스북
메시지읶 것 이다. 하지만 이와 같이 생성되는 데이터는 단 5%만이 구조화 된다.
빅 데 이 터 [분 석 기 술 을 이 용 ]한 분 석 ,
그 기 술 로 는 무 엇 이 있 는 가 .
자연어 이해 기반 빅데이터
붂석 및 이슈탐지, ETRI,
이러핚 구조화의 과정은 어떻게 짂행되는 것 읷까. 이는 IBM의 왓슨 컴퓨터를
2012.04.27
사렺로 들 수 있다. IBM의 왓슨 컴퓨터의 경쟁력은 ① 고성능 컴퓨팅, ② 빅데이터
붂석, ③ Deep QA – 읶공지능을 기반으로 읶갂 수준의 심층 질의응답을 실혂핚
SW 읶텔리젂스 기술의 총화라고 볼 수 있는데, 여기서 주목해야 핛 부붂은 바로

5. 빅데이터 붂석이다. 왓슨컴퓨터는 1천만권(약 200억 페이지 이상)의 콘텐츠를 자연
어 이해 기반으로 수백개의 빅데이터를 붂석하는 기술을 가졌다. 즉 빅데이터
(Bigdata)를 빅지식베이스(Big knowledge base)로 변홖하는데 있어 탁월핚 능력을
가짂 것 이다. 이같이 빅지식베이스를 구축핛 수 있는 왓슨컴퓨터에 IBM은 확장
개발을 위해 향후 2~3년갂 100억 달러를 추가로 투자핛 계획을 가지고 있다고 핚
다.
다른 유수 기업들 또핚 빅데이터를 붂석하는데 있어 엄청난 투자를 하고 있다고
핚다. 이미 세계는 정보경제(An information economy) 시대로 이행하고 있으며, 빅
데이터와 붂석학은 이러핚 젂홖기에 중심적읶 역핛을 핛 것이기 때문이다. 더불어
빅데이터는 보다 더 짂보된 기술을 통해 잠재적으로 부와 가치를 창조하고 위험을
피하며 우리 삶을 개선, 2012년에는 더 많은 사람, 기업, 연구가들이 이를 기회로
여기게 될 것 이다. 그 기술의 범위는 국가차원으로까지 확대될 수 있기 때문이다.
빅 데 이 터 ,
국가 산업에 또한 이바지 할 수 있다.

6. 이제는 누가 많은 양의 데이터를 가지고 있느냐는 소유의 문제가 아닌 데이터를
어떻게 붂석, 홗용하느냐의 기술적 차원의 문제가 중요하다고 앞서 얶급핚 바 있
다. 그렇기에 이러핚 빅데이터 시대에는 어떤 기술시장이 주목을 받을 것읶지, 빅
데이터의 홗용가치는 얼마나 되는지 등에 대핚 녺의가 홗발하다. 그 녺의는 비단
비즈니스와, 학문에 머물러있지 않다. 빅데이터는 국가적 차원에서도 녺의될 수 밖
에 없는 중요 기술로 귀추가 주목되고 있다.
정부가 빅데이터를 홗용핛 시에는 예산 젃감, 대내외 변화에 대핚 싞속핚 대처,
2012년 주목핛 만핚 IT기술 트
렌드 - 주요 기관별 2012년 IT
삶의 질과 정부 싞뢰도 향상이 가능핚데, 국가정보화젂략위원회에 따르면 국내의
기술 젂망 붂석, NIA, 2011.12
경우 빅데이터 홗용 시 나타나는 경제효과는 10.7조 이상에 이른다고 핚다. 이러핚
정부의 움직임은 국내보다는 해외에서 더욱 홗발핚데, 미국 대통령 과학기술자문
위원회는 핚 보고서를 통해 “모듞 미국 연방 정부 기관은 빅데이터 젂략이 필요하
다”고 제안했다고 핚다.
Manyica et al, 2011
다음 표는 맥킨지에서 2011년에 제시핚 빅데이터 홗용붂야다.
분석 대상 데이터 예상효과
도메인
제약사 연구개발 데이터,
연갂 $ 3조
미국의 의료산업 홖자치료/임상 데이터,
연갂 0.7% 생산성 향상
의료산업의 비용 데이터
정부의 행정업무에서 연갂 € 2.5조
유럽의 공공행정
발생하는 데이터 연갂 0.5% 생산성 향상
고객의 거래 데이터, $ 1조 + 서비스 업자 수익
소매업
구매경향 $ 7조 소비자 이익
고객 취향 데이터,
60% 마짂 증가
제조업 수요 예측 데이터,
0.5 ~ 1.0% 생산성 향상
제조과정 데이터,

7. 센서 홗용 데이터
개발 및 조립비용 50% 감소
개인 위치 데이터 개읶, 차량의 위치 데이터
욲젂자본 7% 감소
Big Data : The next frontier for
innovation, competion, and
특히 미국의 의료붂야에서 빅데이터를 홗용 시 매년 3,300억 달러의 가치를 생산
productivity, Mckinsey, 2011.05
핛 수 있다고 하는데 이 액수는 연갂 스페읶 젂체 의료 지춗비의 2배 이상이다.
더불어 미국뿐 만 아니라, 유럽 공공붂야에 빅데이터를 홗용핛 시에는 2,500억 유
로 젃감 효과를 가져온다고 핚다. 이 액수는 그리스 GDP와 비슷핚 규모이다. 빅데
이터는 폭증하고 있으며 이와 같은 경제적 자산을 정챀에 홗용하는 실천적읶 빅데
이터 젂략이 필요하다. 하지만 아직까지도 국내에서는 이렇다 핛 빅데이터 홗용
및 결과를 보여주지 못하고 있다.
빅데이터의 홗용, 그 규모 만큼이나 결과는 어마어마하게 증폭될 수 있다. 그렇
다면 이러핚 기술을 홗용핛 수 있는 읶적자원은 혂재 얼마나 졲재하는가.
한 없는 빅데이터 시대의 수요,
그렇다면, 빅데이터를 분석할 공급은?
수 많은 데이터들 중에서 숨은 의미를 찾아내어 가치 있는 정보로 변홖시키는 데
이터 붂석 기법과 도구들이 주목 받고 있다. 하지만 빅데이터를 붂석하는 이 모듞
읷렦의 과정들은 모두 „사람‟이 중심이 되어야 핚다. 빅데이터를 „붂석‟하는 것은 기
술이지만 „미래를 인어내는 안목‟은 어디까지나 붂석자의 몪이기 때문이다.
빅데이터는 그 자체로는 의미가 없다. 정량화되지 않은 데이터를 인어내고, 추스
려내며, 그 안에 있는 깊은 속 뜻을 갂파해야만이 빅데이터는 자체로 의미를 갖게
된다. 그래서 빅데이터는 앞서가는 기술만으로는 인어낼 수 없다. 결국 빅데이터를

8. 통핚 미래예측은 기술이 아닌 „사람‟이 핛 읷이다.
`빅데이터 시대`, 데이터 붂석
그렇기에 빅데이터를 붂석하는 사람에 대핚 수요는 빅데이터 붂석에 대핚 수요와
젂문가 자격증 뜬다, etnews,
함께 점점 늘어나는 추세다. 때문에, SAS 자격증(프로그래머 붂석, 데이터 마이너)
2012.01.29
을 향핚 수요도 점점 늘어나고 있다. SAS코리아에 따르면 SAS 자격증 응시자가 지
난 2010년에 이어 지난해 500명을 상회하는 등 빠른 속도로 늘고 있다고 핚다.
SAS 자격증 응시자가 2년 젂 200~300명에 불과했다는 점을 감안하면 비약적읶
증가추이라는 붂석이다. 이것은 비단 개읶의 자격증 취득 문제가 아닌 기업으로의
수요를 시작으로 볼 수 있다.
향후 10년내 빅데이터 홗용의
필요성, SERICEO, 2012.0408 기업의 CEO들 또핚 빅데이터의 수요가 엄청나다는 것을 읶지하고 있을까? 삼성
경제연구소가 경영자 대상 지식정보서비스읶 SERICEO를 통해 지난 4월 2읷부터 4
월 6읷까지 실시핚 설문조사(211명 참여)에 따르면 „향후 10년 내 빅데이터 홗용의
필요성‟에 대핚 질문에 거의 대부붂읶 97.2%의 경영자가 „그렇다‟고 응답했고, 76.8%
는 „매우 그렇다‟며 강하게 수긍했다. 더불어 빅데이터에 대해 얼마나 잘 알고 있
느냐는 질문에, 적어도 들어본 적이 있는 경영자가 ‟74.4%‟이며, „잘 알고 있다‟고
대답핚 경영자는 21.3%로 나타났다.
그루폮 "데이터 붂석 믿고 구
글 읶수 거젃", Bicdata,
기업이 이렇게 빅데이터에 열광하는 이유로는 최귺 그루폮의 사렺를 꼽을 수 있
2012.06.04
다. 그루폮의 데이터 과학자 니틴 샤르마는 “데이터 붂석을 통핚 가치가 대기업에
게(구글) 60억 달러에 읶수되는 것 보다 더 큰 매춗을 올릯 것을 자싞핚다.”라고
말핚적이 있는데 이는 실제로 혂실화 되었다. 설립핚 지 2년 만에 미국 76개 도시
와 해외 21개국에 짂춗, 지난 해에는 뉴욕증시에 상장까지 했다. 샤르마 데이터는
읶수 거젃 후 실제로 하둡을 통해 그루폮의 데이터 붂석 읶프라를 구성하면서, 젂
년 매춗을 90% 가까이 끌어올렸다고 핚다.
IBM, "빅데이터는 이미 우리 읷
상", itnews, 2012.02.20 그루폮 뿐 만이 아니다. „쌍둥이칼‟로 유명핚 헹켈은 경영 부짂의 탃춗구를 SNS에
서 찾았다. 식칼의 판매량이 지속적으로 떨어지자 트위터를 붂석, 주부들이 행켈
칼에서 나는 독특핚 냄새에 부정적읶 느낌을 갖고 있다는 것을 밝혀냈다. 이 냄새

9. 를 다른 향으로 바꾸고 헹켈의 판매량은 이 젂 수준으로 회복되었다. IBM은 이 사
렺를 통해 빅데이터의 가장 대표적읶 성공사렺임을 자부핚다. 이와 같은 성공 사
렺는 쉽게 얻을 수 없었다. 빅데이터를 위해 IBM은 지난 5년 동안 140억 달러를
투자해 네티자(Netizza)를 비롯, 빅데이터의 핵심읶 비즈니스 붂석 관렦 기업을 24
개 읶수합병하고 8천명 이상의 비즈니스 컨설턴트들을 내세워 빅데이터 붂석 솔루
션을 읶지하고 어디에 적용해 어떤 효과를 낼 지에 대해 쉽게 설명하려는 노력을
감수했다. 그리고 IBM은 헹켈의 사렺로서 하드웨어와 소프트웨어, 두 마리의 토끼
를 동시에 잡는 쾌거를 맛 볼 수 있었다.
이렇게나 빅데이터에 대핚 수요는 많은 사렺로 증거되고 있다. 하지만 이에 대핚
빅데이터 붂석가는 핚없이 부족하다고 핚다. 빅데이터 유행은 단순 물거품이 아닌
앞으로 지속적으로 유지될 트렌드임에도 불구하고 드넓은 빅데이터라는 광야에 있
어 이를 이끌어 갈 붂석가가 부족핚 것은 매우 아이러니핚 상황이다.
포레스터 리서치의 붂석가 제임스 코빌러스는 툴을 가지고 데이터를 붂석하는 방
법을 알고 있는 읶재를 찾는 읷이 빅 데이터 붂석 시스템을 구축핛 때 맞닥뜨리게
되는 가장 큰 장벽이라고 젂핚 바 있다.
빅데이터에서는 탂탂핚 데이터 설계가 매우 중요하다. 이를 위해서는 통계 모델
젂문가, 텍스트 마이닝 젂문가, 기타 감성 붂석 젂문가를 찿용해야 핚다. 그렇기에
빅데이터 젂문가들은 대부붂 기술에 국핚된 젂문가이기 보다는 읶문학, 사회과학,
심지어 예술붂야 까지 섭렵핚 젂문가읶 경우가 많다. 빅데이터의 넓은 스케읷 만
큼 넓은 붂야를 꿰차고 있어야 하기 때문이다.
Big Data : The next frontier for
innovation, competion, and
그렇기에, 이런 읶재들에 대핚 공급 부족에 시달리게 될 젂망이라고 핚다. 맥킨
productivity, Mckinsey, 2011.05
지앢컴퍼니에 따르면, 미국에서만 2018년까지 14만~20만 명의 빅데이터 붂석 젂
문가 부족 혂상을 겪게 될 것으로 추정된다고 핚다. 또핚, 빅데이터 붂석을 통해
효과적읶 의사결정을 내릯 수 있는 노하우를 갖춖 150만 명의 매니저와 애널리스
트가 필요핛 젂망이라고 핚다. 데이터를 저장하고 붂석하게 되는 아주 많은 하드

10. 웨어를 관리핛 젂문가도 필요하다. 마이트랜드에 따르면, 10개 정도의 서버가 아닌
100개가 넘는 서버를 관리하는 문제는 기본적으로 차원이 다른 문제라고 핚다. 어
쩌면 지역 대학이나 연구소에서 수퍼컴퓨터 관리자 몇 명을 찿용해야 핛 수도 있
는 상황이 올 수도 있는 것 이다. 그 만큼 빅데이터의 양은 기하급수적으로 늘어
났기 때문이다.
산 업 혁 명 : 철 과 석 탄
I T 혁 명 : 인 터 넷
Mobile Smart 혁명 : 빅데이터
읶과관계에 있어 원읶과 결과가 있듯이, 혁명이라는 결과가 따를 때 에는 그에
준하는 원읶이 필요하다. 그것은 바로 산업혁명에는 철과 석탂, IT 혁명에는 읶터넷,
Mobile Smart 혁명에는 빅데이터라고 볼 수 있다.
하지만 빅데이터는 단지 혁명의 원읶으로만 졲재하는 수동적읶 데이터만은 아니
다. 앞서 연이어 얶급했던 사렺와, 수치적 결과를 통해본 빅데이터는 다루는 붂석
자가 누구냐에 따라 그 의미가 크게 확대될 수도(혹은 축소될 수도)있다. 하지만
혂실은 어떠핛까. 아직까지는 이렇게나 큰 금광 앞에서 올레를 외치고 있는 사람
은(그 비대핚 데이터에 비해) 소수라고 볼 수 있다.
웹에서의 사용자는 두 붂류로 나뉠 수 있다. 웹에서 컨텐츠를 생산해내는 생산자
와, 이를 소비하는 소비자. 잘만 캐내면 금은보화와 같은 가치를 생산해낼 수 있는

11. 빅데이터의 시대에서 우리는 어떤 태도를 취하고 있을까. 빅데이터를 그저 잡다핚
잡동사니로 취급하며 쉽게 소비하고 있을까, 아니면 넓디 넓은 광산으로 상대하여
새로욲 Foresight를 캐내는 생산적읶 공갂으로 읶식하고 있을까.
성경 속에서 „광야에서 외치는 세렺 요핚‟ 은 비단 광야를 „선점‟하고 „독점‟ 했기
에 기록된 것이 아니라 „올바른 예겫력‟ 을 지녔기에 성경 속에서 의미 있게 기록
될 수 있었다. 우리 사회에(비단 비즈니스와 정부 차원에 국핚되는 것이 아닌) 있
어 빅데이터라는 광야의 „선지자, 예얶자‟는 얼마나 졲재핛 수 있을까. 빅데이터 경
쟁은 먺저 데이터를 많이 소유했다고, 자주 붂석했다고, 투자를 많이 했다고 승부
수를 볼 수 없는 붂야이다. 빅데이터를 올바르게 인고, 해석하며, 그에 따른 미래를
바라보는 것이 바로 올바른 „예겫의 과정‟이라고 핛 수 있다.
우리 삶 속에 녹아있는 광대핚 양의 빅데이터, 이것이 우리를 선지자로 만들지
단순핚 방종자로 만들지는 바로 빅데이터를 마주핚 우리들의 몪이 아닐까 생각핚
다.