Enterprise conference 2013 Microsoft BigData 사례발표자료

1,953 views

Published on

Microsoft의 엔터프라이즈 컨퍼런스 중 Microsoft의 Big Data Solution 체계에 대한 소개와 고객사(신세계)에서 적용한 사례 발표 내용입니다.

Open Source 기반의 저비용 Big Data 관리 체계에 더하여, 현 시점에서의 Open Source 진영의 취약점인 Big Data 활용 관점에서의 보완책으로 기존의 DW/BI 아키텍쳐가 결합된 사례 이며, 이를 위한 핵심 컴포넌트로 Polybase가 국내에서 최초로 적용되었습니다. Polybase에 대한 보다 자세한 내용은 다음 사이트 - Microsoft Gray SystemLab : http://gsl.azurewebsites.net/Projects/Polybase.aspx - 에서 확인하실 수 있습니다.

Back-end Infra인 Hadoop Echo 와 MPP 장비인 PDW 그리고 가장 활용성 높은 Microsoft BI 체계가 결합된 Big Data Hybrid Architect로 향후 상당 기간은 이와 유사한 아키텍쳐가 주류를 이룰 것으로 예상됩니다.

Published in: Technology
0 Comments
8 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,953
On SlideShare
0
From Embeds
0
Number of Embeds
65
Actions
Shares
0
Downloads
103
Comments
0
Likes
8
Embeds 0
No embeds

No notes for slide

Enterprise conference 2013 Microsoft BigData 사례발표자료

  1. 1. Microsoft Enterprise Conference 2013 Reimagining Your Enterprise with Microsoft! 유통/서비스 고객을 위한 마이크로소프트의 BIGDATA 전략 및 고객 적용 사례 한국마이크로소프트 박명은 부장 신세계 김훈동 과장
  2. 2. 신규 데이터에 대한 비즈니스 분석 Needs 44% 유저는 모바일 디바이스를 통해 페이스북 접근 Mobility (350M people) 50% 70% 게임 콘솔이 평균적으로 의 미국 1.5 hrs/wk 스마트폰 유저는 모바일 디바이스를 을 인터넷을 접속하기 위해 사용함 통해 온라인 쇼핑 60% 의 미국 of millennial 는 모바일 디바이스를 통해 제품 리서치 33% 의 BI 는 모바일 데이터는 오디오/비디오 스트리밍 데이터로 예상 (2014) 38% 페이스북 유저는 그들의 주소를 유저는 쇼셜상에서 “follow” or “like” 를 통해 브랜드를 추천함 500M 트윗은 매일 발생함 Enterprise Conference 2013 페이스북 상에 포스트함 (2B/month). Brands get 100M 페이스북 “likes”/일 클라우 드 소셜 1 in 4 모바일 휴대용 디바이스를 통해 서비스 될 것임 2/3 전세계 모바일 데이터 트래픽은 비디오 데이터로 빅데이 터 예상됨 (2016기준) 1.8 zettabytes 디지털 데이터가 사용됨 (2011기준) 2010기준 30% 증가함 80% 비정형 데이터가 증가 될 것으로 예상 (향후 5년내 )
  3. 3. 기존 방식의 분석 플랫폼 Challenge Enterprise Conference 2013
  4. 4. Modernized Data Warehouse Self-service BI 가상화 소프트웨어 협업 “In-Memory” 대규모 병렬 처리 “Big Data” Enterprise Conference 2013 클라우드 HW 어플라이언스
  5. 5. Modern Data Warehouse Enterprise Conference 2013
  6. 6. Modern Data Warehouse Enterprise Conference 2013
  7. 7. 신속한 데이터 분석 자가 서비스 Analytical IT 프로비저닝 In-memory/OLAP 소셜 웹 API Power Pivot Unstructure d Power Power View Query Power Map Relational Non-relational Enterprise Conference 2013 Structured 모든 데이터
  8. 8. Microsoft’s Modern Data Warehouse Enterprise Conference 2013
  9. 9. “Whiteboard” The Modern Data Warehouse DATA TYPES Structured: e.g.MM/DD/YYYY Semi-structured: e.g. web logs, RFID, “the internet of things” DATA SOURCES APPS Biz process ERP, CRM Machines “The Internet of things” Social Media Web Logs INFRASTRUCTURE DM E T L TOOLS EDW DM PDW DM HDInsights Big Data Hadoop HDP on Windows USERS Power BI P O L Y B A S E Known, known Business unknown, unknown “Data Scientists” “Quants”
  10. 10. Enterprise Conference 2013
  11. 11. 신속한 데이터 접근: 병렬과 확장성 MPP 기반 SQL Server 2012 Parallel Data Warehouse Enterprise Conference 2013
  12. 12. 신속한 데이터 접근 : 실시간 분석을 위한 In-Memory 기술 SQL Server 2012 Parallel Data Warehouse 컬럼단위 데이터 저장 Country Supplier Sales Products Customer Enterprise Conference 2013
  13. 13. 모든 데이터 타입 : “Big Data” HDInsights in Azure and HDInsights in PDW Enterprise Conference 2013
  14. 14. Enterprise Conference 2013
  15. 15. 익숙한 툴 기반으로 손쉬게 데이터 접근 Power View and PowerPivot visual and modeling tools Enterprise Conference 2013
  16. 16. 직관적인 시각화 Preview: Project codename “GeoFlow” Enterprise Conference 2013
  17. 17. 관리의 편리성 SharePoint 온라인/오프라인 Enterprise Conference 2013
  18. 18. Enterprise Conference 2013
  19. 19. 어플라이언스 SQL Server 2012 Parallel Data Warehouse Enterprise Conference 2013
  20. 20. Microsoft BIG DATA 국내 구축 사례 Enterprise Conference 2013
  21. 21. SHINSEGAE BigData – Our Team 신세계그룹 -> S.COM -> DataLab팀(가칭) ->’Money Mall’ Project ”돈이 되는, 숫자로 말하는 쇼핑몰” 만들기 Project Enterprise Conference 2013
  22. 22. SHINSEGAE BigData – Our Goal Our Big Picture 실시간 수집 Enterprise Conference 2013
  23. 23. SHINSEGAE BigData – 도입배경 What is it? ( ROI 측면에서 ) Why it? Traditional Method DW Appliance 30 TB In-Memory Appliance 128 GB + Realtime Engine Mining SW + Text Mining SW + Weblog SW + Mining Model Development Cost Investment 측면 VS BigData Method Hadoop Cluster 420 TB (SW = 0, only HW) Vol ume 25:1 In-Memory NoSQL 1TB Real-time Analytics (SW = 0, only HW) Ve locity 1 0:1 Open Source R + Mahout SW = 0억 + R + Mahout Development COST = ?? Variety & Val ue 1 5+α:1 Open Source… Free… But, ?? Cost & ?? Return And, High Risk & High Return Very High Cost & Middle-High Return VS or Enterprise Conference 2013 Re turn 측면
  24. 24. SHINSEGAE BigData – Architecture1 TO-BE 정보계 & BigData Eco Systems ETL / Batch 운영계 분석계 OLAP / BI e.mall shin.mall S.com ODS Off-line NoSQL 캐시 & 랜덤 억세스 Enterprise Conference 2013 Mart EDW Mining Campaign BigData (Hadoop) MS Solution
  25. 25. SHINSEGAE BigData – Architecture2 MS Solution 선택 배경 MS PDW DW / ETL • • • • • • 관리 UI 및 사용성 매우 우수 비용 ROI 매우 우수 MPP 성능 확장성 우수 동접처리 우수 백업 및 장애 대처 우수 컬럼인덱스, ROLAP + MOLAP+ RDBS 연 동기능 매우 우수 BI (OLAP + EIS) + α • • • BigData 연동성 (with PolyBase) MS PDW Hadoop Combine(with Polybase) Insight MS BI 아래 5가지 기술의 조합 & In-Memory(Tabular) + Local-Memory(PowerPivot)확장 PowerPivot + PowerView + SharePoint + Silverlight + .NET Framework 생산성 + 화려함 + 연동&융합 + 커스텀&디테일 + 확장성&성능&다양한UX &성능 &간편함 &공유 &크로스브라우징 &풍부한API Enterprise Conference 2013
  26. 26. SHINSEGAE BigData – Architecture3 MS Solution 선택 배경2 Cloud Infra / SAAS Hadoop Eco System + MS Tech Mesh Up • • • • STORM vs MS-SQL StreamInsight R, Mahout vs MS-SQL SSAS Data Mining Redis, Memcashed vs Tabular R, D3, jQuery vs PowerPivot, PowerView, SilverLight • • • HDInsight ( PDW + HDFS ) 옵션 Windows Hyper-V 가상화 : 운영이 아니 더라도 Staging & Dev 영역에서 충분한 강점. Windows Azure Storage : Out of date data 에 대한 고려( Hadoop Connection) Development Benefit • • • 개발자 & Power Data Scientist 환경 : Windows OS + Windows HDP + Java M.R. or C# Streaming + Linq To Hive & Avro Support (http://hadoopsdk.codeplex.com) Visual Studio 2013 IDE : Python Support. (+ Django Web Framework) , Python Streaming. C# Streaming. Run-Time Remote Debugging. Production 에 부하를 주지 않는 Exploring Mart 역할. Local Power Pivot Visualization. Enterprise Conference 2013
  27. 27. SHINSEGAE BigData – 기대효과1 BigData Visualization & In-Memory Performance Power Pivot / Silverlight Tabular PDW ( with PolyBase ) NoSQL Hadoop Eco Systems Enterprise Conference 2013
  28. 28. SHINSEGAE BigData – 기대효과2 Performance & Productivity • TEST 시스템 : PolyBase(MS PDW ver2 Half Rack), Hive(24TB,48Gb,12core * 5대 + 4TB,64Gb,12Core * 2대) • TEST Full Scan Avg Query : (Hive 용 기준) • SELECT avg(scm.qty) FROM scm JOIN item ON (item.item_id = scm.item_id AND item.cat_lvl1 > 5) ; • TEST Full Scan Group By Query : (Hive 용 기준) • SELECT item.cat_lvl1 , count(*) FROM scm JOIN item ON (item.item_id = scm.item_id AND item.cat_lvl1 > 5) GROUP BY item.cat_lvl1; Full Scan Avg Join (726Mb,21Mb) Full Scan Group By Join (726Mb,21Mb) Full Scan Avg Join (7.2GB,212Mb) Full Scan Group By Join (7.2GB,212Mb) Hive 35.469 초 88.21초 33.884초 85.147초 PDW PolyBase 16초 51초 18초 48초 Enterprise Conference 2013
  29. 29. SHINSEGAE BigData – 기대효과3 Performance & Productivity Enterprise Conference 2013
  30. 30. SHINSEGAE BigData – 기대효과3 BigData Collection Infra & Usage Enterprise Conference 2013
  31. 31. SHINSEGAE BigData – Road Map Road Map & Future Work 온-오프 통합한 옴니 채널 • • • 마트 & 백화점 온라인 & 오프라인 내부 & 외부 Enterprise Conference 2013
  32. 32. Microsoft’s Modern Data Warehouse HDInsights Service Enterprise Conference 2013
  33. 33. 감사합니다. Enterprise Conference 2013

×