Enterprise conference 2013 Microsoft BigData 사례발표자료

Microsoft
Enterprise Conference 2013
Reimagining Your Enterprise with Microsoft!

유통/서비스 고객을 위한

마이크로소프트의 BIGDATA 전략 및 고객 적용 사례
한국마이크로소프트 박명은 부장
신세계 김훈동 과장

신규 데이터에 대한 비즈니스 분석 Needs
44%

유저는
모바일 디바이스를
통해 페이스북 접근

Mobility

(350M people)

50%

70%

게임 콘솔이 평균적으로

의 미국

1.5 hrs/wk

스마트폰 유저는
모바일 디바이스를

을 인터넷을 접속하기 위해 사용함

통해 온라인 쇼핑

60% 의 미국

of

millennial 는 모바일
디바이스를 통해
제품 리서치

33% 의 BI 는

모바일 데이터는
오디오/비디오

스트리밍 데이터로
예상 (2014)

38%

페이스북 유저는
그들의 주소를

유저는
쇼셜상에서 “follow”
or “like” 를 통해
브랜드를 추천함

500M 트윗은
매일 발생함


페이스북 상에
포스트함
(2B/month).
Brands get

100M

페이스북 “likes”/일

클라우
드

소셜

1 in 4

모바일

휴대용 디바이스를
통해 서비스 될 것임

2/3 전세계 모바일
데이터 트래픽은
비디오 데이터로

빅데이
터

예상됨 (2016기준)

1.8

zettabytes
디지털 데이터가
사용됨 (2011기준)
2010기준 30% 증가함

80% 비정형
데이터가 증가 될
것으로 예상 (향후
5년내 )

기존 방식의 분석 플랫폼 Challenge


Modernized Data Warehouse

Self-service BI
가상화
소프트웨어
협업
“In-Memory”
대규모 병렬 처리
“Big Data”


클라우드
HW 어플라이언스

Modern Data Warehouse


신속한 데이터 분석
자가 서비스
Analytical

IT 프로비저닝

In-memory/OLAP

소셜 웹 API

Power Pivot

Unstructure
d

Power
Power
View
Query
Power Map

Relational

Non-relational


Structured

모든 데이터

Microsoft’s Modern Data Warehouse


“Whiteboard”
The Modern Data Warehouse

DATA TYPES
Structured:

e.g.MM/DD/YYYY

Semi-structured:
e.g. web logs, RFID,
“the internet of things”

DATA SOURCES
APPS

Biz process
ERP, CRM

Machines
“The Internet
of things”
Social Media
Web Logs

INFRASTRUCTURE
DM

E
T
L

TOOLS

EDW

DM

PDW

DM

HDInsights
Big Data
Hadoop

HDP on Windows

USERS

Power BI
P
O
L
Y
B
A
S
E

Known, known

Business

unknown,
unknown

“Data
Scientists”
“Quants”

신속한 데이터 접근: 병렬과 확장성
MPP 기반 SQL Server 2012 Parallel Data Warehouse


신속한 데이터 접근 : 실시간 분석을 위한 In-Memory 기술
SQL Server 2012 Parallel Data Warehouse 컬럼단위 데이터 저장

Country

Supplier

Sales

Products

Customer

모든 데이터 타입 : “Big Data”
HDInsights in Azure and HDInsights in PDW


익숙한 툴 기반으로 손쉬게 데이터 접근

Power View and PowerPivot visual and modeling tools


직관적인 시각화
Preview: Project codename “GeoFlow”


관리의 편리성
SharePoint 온라인/오프라인


어플라이언스
SQL Server 2012 Parallel Data Warehouse


Microsoft BIG DATA 국내 구축 사례


SHINSEGAE BigData – Our Team
신세계그룹 -> S.COM -> DataLab팀(가칭) ->’Money Mall’ Project

”돈이 되는, 숫자로 말하는 쇼핑몰” 만들기 Project


SHINSEGAE BigData – Our Goal
Our Big Picture

실시간
수집


SHINSEGAE BigData – 도입배경
What is it? ( ROI 측면에서 )

Why it?

Traditional Method
DW Appliance 30 TB
In-Memory Appliance 128 GB + Realtime Engine
Mining SW + Text Mining SW +
Weblog SW
+
Mining Model Development Cost

Investment
측면
VS

BigData Method
Hadoop Cluster 420 TB
(SW = 0, only HW)

Vol ume
25:1

In-Memory NoSQL 1TB
Real-time Analytics
(SW = 0, only HW)

Ve locity
1 0:1

Open Source R + Mahout SW = 0억
+
R + Mahout Development COST = ??

Variety
& Val ue
1 5+α:1
Open Source… Free…
But,
?? Cost & ?? Return
And, High Risk & High Return

Very High Cost & Middle-High Return

VS
or


Re turn
측면

SHINSEGAE BigData – Architecture1
TO-BE 정보계 & BigData Eco Systems
ETL / Batch
운영계

분석계

OLAP
/ BI

e.mall
shin.mall
S.com

ODS

Off-line

NoSQL 캐시 & 랜덤 억세스


Mart

EDW

Mining

Campaign

BigData (Hadoop)

MS Solution

MS Solution 선택 배경
MS PDW

DW / ETL

•
•
•
•
•
•

관리 UI 및 사용성 매우 우수
비용 ROI 매우 우수
MPP 성능 확장성 우수
동접처리 우수
백업 및 장애 대처 우수
컬럼인덱스, ROLAP + MOLAP+ RDBS 연
동기능 매우 우수
BI (OLAP + EIS) + α

•
•
•

BigData 연동성 (with PolyBase)

MS
PDW

Hadoop

Combine(with Polybase)
Insight

MS BI

아래 5가지 기술의 조합 & In-Memory(Tabular) + Local-Memory(PowerPivot)확장
PowerPivot + PowerView + SharePoint + Silverlight
+ .NET Framework
생산성
+ 화려함
+ 연동&융합 + 커스텀&디테일
+ 확장성&성능&다양한UX
&성능
&간편함
&공유
&크로스브라우징
&풍부한API


MS Solution 선택 배경2
Cloud Infra / SAAS

Hadoop Eco System + MS Tech Mesh Up

•
•
•
•

STORM vs MS-SQL StreamInsight
R, Mahout vs MS-SQL SSAS Data Mining
Redis, Memcashed vs Tabular
R, D3, jQuery vs
PowerPivot, PowerView, SilverLight

•
•
•

HDInsight ( PDW + HDFS ) 옵션
Windows Hyper-V 가상화 : 운영이 아니
더라도 Staging & Dev 영역에서 충분한
강점.
Windows Azure Storage : Out of date
data 에 대한 고려( Hadoop Connection)

Development Benefit

•
•
•

개발자 & Power Data Scientist 환경 : Windows OS + Windows HDP +
Java M.R. or C# Streaming + Linq To Hive & Avro Support (http://hadoopsdk.codeplex.com)
Visual Studio 2013 IDE : Python Support. (+ Django Web Framework) , Python Streaming.
C# Streaming. Run-Time Remote Debugging.
Production 에 부하를 주지 않는 Exploring Mart 역할. Local Power Pivot Visualization.


SHINSEGAE BigData – 기대효과1
BigData Visualization
& In-Memory Performance

Power Pivot / Silverlight
Tabular

PDW ( with PolyBase )
NoSQL
Hadoop Eco Systems

Performance & Productivity
• TEST 시스템 : PolyBase(MS PDW ver2 Half Rack), Hive(24TB,48Gb,12core * 5대 + 4TB,64Gb,12Core * 2대)
• TEST Full Scan Avg Query : (Hive 용 기준)
• SELECT avg(scm.qty)
FROM scm JOIN item
ON (item.item_id = scm.item_id AND item.cat_lvl1 > 5) ;
• TEST Full Scan Group By Query : (Hive 용 기준)
• SELECT item.cat_lvl1 , count(*)
FROM scm JOIN item
ON (item.item_id = scm.item_id AND item.cat_lvl1 > 5)
GROUP BY item.cat_lvl1;

Full Scan Avg Join
(726Mb,21Mb)

Full Scan Group By
Join
(726Mb,21Mb)

Full Scan Avg Join
(7.2GB,212Mb)

Full Scan Group
By Join
(7.2GB,212Mb)

Hive

35.469 초

88.21초

33.884초

85.147초

PDW PolyBase

16초

51초

18초

48초


Performance & Productivity


BigData Collection Infra & Usage


SHINSEGAE BigData – Road Map
Road Map & Future Work
온-오프
통합한 옴니 채널
•
•
•

마트 & 백화점
온라인 & 오프라인
내부 & 외부


Microsoft’s Modern Data Warehouse
HDInsights Service


감사합니다.


Enterprise conference 2013 Microsoft BigData 사례발표자료

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (18)

Similar to Enterprise conference 2013 Microsoft BigData 사례발표자료

Similar to Enterprise conference 2013 Microsoft BigData 사례발표자료 (20)

Enterprise conference 2013 Microsoft BigData 사례발표자료