Digital Determination Conference 2018 세션 발표자료 SK텔레콤 Metatron Project, 이정룡 PL SK텔레콤 Metatron 사업팀, 김지호 매니저

1. Session

2. Session 1
Metatron 오픈소스화 및 생태계 구축

3. SKT Big Data Solution
Metatron Discovery의 오픈소스화 및 생태계
2018 Digital Determination Conf.
Metatron Project | 이정룡 PL , Metatron 사업팀 | 김지호

4. Smart Factory향 Intelligence 플랫폼
Big Data, AI기반 기술 개발 및 상용화
Machine
Vision
Appliance
Anomaly
HMP
SK Telecom’s Industrial Intelligence Platform

5. Big Data
Analysis
&
Visualize
Value
Big Data, AI 기반 Data Discovery & Analytics
머신 러닝, 빅데이터, 시각화 기술을 융합하여
비전문가도 데이터로부터 상위 레벨의 가치를 손쉽게 얻을 수 있도록 지원
Performance Efficiency
Customer Understanding
Business Insight

6. Metatron Discovery – Overview
Time Series 최적화
ML/DL 분석 모델
실시간 통계
“Big Data, AI 기반의 Data Discovery & Analytics”
Big Data
(실시간/배치)
IoT Data
User Data
Application Data
Operation Data
…
Engines
Tools
Managements
실시간 지표 관리
서비스 장애 분석
Fraud Detection
HMP
(Health Monitoring & Prediction)
사용자 행태 분석 (CRM)
APM
(App Performance Monitoring)
…
Click-stream 분석
모니터링
알람
이상탐지
원인분석
4

7. Data Source
Cloud AZURE …
…
Realtime Streams
(Kafka, AMQP, Flink, StreamSets,..)
Batch Data
(HIVE, Spark, HDFS, RDBMS, ..)
실시간 운전 습관
빅데이터 분석 환경
실시간 지표 관리
모바일 미디어
서비스 장애 분석
Click-stream 분석
실시간 지표 관리
UV/PV 분석
광고사 연계
추천 모델 생성
사용자 행태 분석
CRM
분석 App Store
커스텀 분석 보드
메타데이타 관리
GIS 지도
통신
분석모델관리
알람 처리
실시간 모니터링
Anomaly
FDC, HMP
품질 자동화
실시간 모니터링
실시간 불량 분석
제조
ML/AI 기반
이상탐지 엔진
실시간 대용량
Data 처리 엔진
Management
PreparationWorkbench VisualizationAnalytics Evaluator
Engines
Tools
Managements
On-premise Data Lake …
5
Metatron Discovery – Use Cases

8. 8
Tool
실시간 대용량 Data 처리 엔진 ML/AI 기반 이상탐지 엔진
Big OLAP Cube, Pre-aggregation, Accelerator, 이상탐지, Geo-Data
Processing, Semi-supervised Learning, Transfer/Online Learning 등
MDMManage
-
ment
사용자/그룹 관리
인증/권한
데이터 소스 관리
알람
리니지
RESTFul API
Data
Sources
Data (실시간, 배치)
사용자 행태분석(CRM)
Cloud
Support
(Cloud
Manager)
Docker Packaging
Auto-Scaling
Workbook
(Chart/Dashboard)
Notebook
(Jupyter/Zepplin 연동)
Data Preparation
Workbench (SQL)
Integrator
(Scheduler)
Partner’s Tool 연동
Model Evaluator
Model Manager
(모델 등록/관리)
Embedded Analytics
(Trend, Clustering)
Engine
Platform
App
배포/Provisioning
Workflow
Partner’s App
RESTFul API
Data Sources외부 연계
Zeppelin …Jupyter
실시간 모니터링
Realtime Streams
(Kafka, AMQP, Flink, StreamSets,..)
Batch Data
(HIVE, Spark, HDFS, RDBMS, ..)
Metatron Discovery – Architecture

9. Workbook - DashBoard/Chart
Workbench – SQL Explorer
Embedded Analytics
Data Prep. – Data Transformer
Workspace
Data Lineage
MDM
Metatron Discovery – Tool & Managements

10. 10
ü Engineer 그룹, 분석가 그룹, 컨설팅 그룹
ü 경력 10년 이상
ü PhD
Product Reference
TeamTechnology
Unified Solution
For Data Discovery
ü Easy Preparation
ü Fast & Intuitive Visualization
ü Powerful Management
다양한 Use Cases
통한 검증
ü 적용분야(통신/금융/제조 등) O개
ü 적용 Site(OO/OO/OO/OO 등) OO개
ü 일 최대 처리 쿼리 수 OOOO건
실시간 Time Series
Data 처리/분석 최적화
Global Top 수준의
Big Data, 분석, IT 전문가
ü Sub-second Processing Engine
ü Big Data Handing (Big OLAP Cube)
ü ML/AI 기반 이상탐지 모델
STRONG
POINT
Metatron Discovery – 특징 & 장점

11. 11
Enhanced Development Support
ü Metering/Charging
ü High Availability
ü Security
Cloud PaaS/SaaS
ü Enhance APIs
ü Pluggable Architecture
ü Community
Enhanced Analytics (ML/AI)
ü Automated ML/DL Support
ü Advanced Analytics
ü Predictive/Prescriptive
ü Co-working with Zeppelin
Metatron Discovery – Next Step

12. 홈페이지 : https://metatron.app/
’18.8월 소스 오픈 후 40여개국 2,000여 개발자/사용자 방문
소스코드 : https://github.com/metatron-app/
11
Metatron Discovery – Open Source & Activities

13. ü Board Meeting (월 1회, Off-line) : 릴리즈 내용 공유, 향후 릴리즈 계획 논의 등
ü Druid Meetup (분기 1회, Off-line) : 개발자/사용자의 Druid 기술/적용 경험 공유 등
https://www.meetup.com/Druid-Seoul/
12
Metatron Discovery – Open Source & Activities

14. Join us
metatron@sk.com

15. 행사 주요 키워드
인공지능
IoT
Big data
Opensource

16. <자료:과학기술정보통신부 등>
3.75% 수준
성장률 7.6%
성장률 11.9%

18. Level 1
Infancy
Level 2
Tech. Biz.
Level 3
Biz. analysis
Level 4
Enterprise analysis
Level 5
Data & Analytics aaS
Big Data에 대한 고민 대응
Big Data Proof-of-concept / Pilot
IT팀에 의해 Big Data Infra 도입
대부분 Storage로 사용
BI와 연동을 위한 DW 판매
비정형 Data 분석
현업의 Business use case 발굴
Predictive 분석 PoC
다양한 Business use case 적용
LOB를 위한 Vertical Application 판매
Business 환경에 Predictive 분석 컨설팅
Cloud 환경에서 서비스 제공
대부분 구성원이 자유롭게 데이터 활용/insight 창출
Data Maturity

19. Level 1
Infancy
Level 2
Tech. Biz.
Level 3
Biz. analysis
Level 4
Enterprise analysis
Level 5
Data & Analytics aaS
Big Data에 대한 고민 대응
Big Data Proof-of-concept / Pilot
IT팀에 의해 Big Data Infra 도입
대부분 Storage로 사용
BI와 연동을 위한 DW 판매
비정형 Data 분석
현업의 Business use case 발굴
Predictive 분석 PoC
다양한 Business use case 적용
LOB를 위한 Vertical Application 판매
Business 환경에 Predictive 분석 컨설팅
Cloud 환경에서 서비스 제공
대부분 구성원이 자유롭게 데이터 활용/insight 창출
2014년도
2016년도
2017년도
2015년도
2018년도
Data Maturity

20. • 빅데이터 분석 과제 다수 진행
• 일부 배포되어 현업도 활용 중
• 빅데이터 인프라 도입 시 1-3가지
정도의 현업 분석 과제 동시 진행
• 구축 후 현업 사용 유도
• 빅데이터 인프라 도입 시 1-2가지
정도의 현업 분석 과제 동시 진행
• 구축 후 현업 사용 유도
CASE STUDY
CASE 1
분석가 / IT인력 다수 보유
자체 인력으로 구축 노력
CASE 2
분석가 부족
IT주도 인프라 도입
CASE 3
현업/IT 부정적
C-Level 의지로 도입

21. • 빅데이터 분석 과제 다수 진행
• 일부 배포되어 현업도 활용 중
• 빅데이터 인프라 도입 시 1-3가지
정도의 현업 분석 과제 동시 진행
• 구축 후 현업 사용 유도
• 빅데이터 인프라 도입 시 1-2가지
정도의 현업 분석 과제 동시 진행
• 구축 후 현업 사용 유도
CASE STUDY
CASE 1
분석가 / IT인력 다수 보유
자체 인력으로 구축 노력
CASE 2
분석가 부족
IT주도 인프라 도입
CASE 3
현업/IT 부정적
C-Level 의지로 도입
빅데이터의 효용성에 대해서는 공감
• Silo 인프라로 인해 전사 데이터 관리/분석
결과 관리 불가
• 증가하는 데이터/마트로 인해 한계점 봉착
빅데이터 인프라 내 데이터 적재 증가
• 현업 사용률 저조
(도입 전후 차이가 별로 없고, 여전히 내부
데이터를 확인하는 것은 어려움)
• 여전히 대용량 데이터 활용 어려움
빅데이터 인프라 내 데이터 적재 증가
• 현업 사용률 거의 없음
• 결국 Level1,2부터 다시 시작

22. 22
[ Tech. Partner ]
• ML/DL 학계
• ML/DL 전문 회사
• 실시간 처리엔진
[ 공동 제품 개발 Partner ]
[ Sales Partner ]
• High-tech 제조
• Platform개발
• 구축/운영
• 컨설팅
[ 기관 ]
• 정부
• 공공
Engine
Tool
Management
[ 오픈소스 개발자 ]
[ SKT ]
Metatron Discovery – 생태계 구축

23. 23
with Partners
Metatron Discovery – VISION

24. 올바른 방향을 설정하고 함께 나아가야 할 시기

25. Enhanced Analytics (ML/AI)
25
V1.0 (~‘16.4Q) V2.0 (~’17.4Q) V3.0 (~’18.4Q)
Enhanced FunctionsEnd-to-end FunctionsCore Functions
• UX 2.0
• Embedded Analytics
(Trend, Prediction, Clustering)
• Analytic Support
(Zeppelin, Jupyter)
• Data Management
(Lineage & Job Log)
• Data Preparation
• Chart
• Dashboard
• User/Group Management
• Data Source Management
• Workbench
• Data Management (MDM)
• Vertical-specific Functions
• Realtime Functions
• Map Analysis
• Data Collection Agent
• Model Evaluator
• Docker Packaging
• Anomaly Detection
§ Metering/Charging
§ High Availability
§ Security
Cloud PaaS/SaaS
Until
Now
§ Automated ML/DL Support
§ Advanced Analytics
§ Predictive/Prescriptive
Next
Step
§ App Market
§ Co-authoring
§ Mobile Support
Collaboration
’19 ~ ‘21
[Appendix] Metatron Discovery – Roadmap

26. 26
Apps
Tool
실시간 대용량 Data 처리 엔진 ML/AI 기반 이상탐지 엔진
Cloud Support
RESTFul API
장비Data RDBSSensors
Data
Management
Partner’s Tools 연동
(Tightly Coupled)
Tools
Engine
Platform
App Partner’s Apps (HMP,…)
RESTFul API
…Cloud Storage
Partner’s Agents
외부 연계
(Loosely Coupled)
Analytic Tools
(Zeppelin, …)
Vertical 특화
[Appendix] Metatron Discovery – Co-development with Partners

27. 27
포탈
실시간 대용량 Data 처리/분석엔진
Tool
Workbench Workbook, …Notebook MDM, …
VisualizationSQL Analysis
Management
API
• SW (연 2회 Stable Version)
• Q&A (Basic, Per Server,…)
• 기술 지원/교육
Biz Partner 고객
• 기능 요청
• 비용
분석 앱
API
• 시스템 구축
• 분석 환경 구축
• 분석 서비스
• 요구사항
• 비용
[Appendix] Metatron Discovery with Biz Partners