Introducing Apache Kylin and Apache Druid, those are the open source OLAPs around hadoop world.

1. OLAP op(ons on Hadoop
Yuta Imai, Hortonworks
Jul 15, 2016

2. 2 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Hortonworks会社概要
IPO 4Q14 (NASDAQ: HDP)

3. 3 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Hortonworks Data Platform
Hortonworks Data Platform 2.4
GOVERNANCE OPERATIONS BATCH, INTERACTIVE & REAL-TIME DATA ACCESS
YARN: Data Opera(ng System
(Cluster Resource Management)
Map
Reduce
Apache Falcon
Apache Sqoop
Apache Flume
Apache KaLa
Apache
Hive
Apache
Pig
Apache
HBase
Apache
Accumulo
Apache
Solr
Apache
Spark
Apache
Storm
1 • • • • • • • • • • •
• • • • • • • • • • • •
HDFS
(Hadoop Distributed File System)
Apache Ambari
Apache
ZooKeeper
Apache Oozie
Deployment Choice
Linux Windows On-premises Cloud
Apache Atlas
Cloudbreak
SECURITY
Apache Ranger
Apache Knox
Apache Atlas
HDFS EncrypXon
ISV
Engines
Apache
Spark

4. 4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Hortonworks Data Platform
powered by Apache Hadoop
Hortonworks Data Platform
powered by Apache Hadoop
Enrich
Context
Store Data
and Metadata
Internet
of Anything
Hortonworks DataFlow
powered by Apache NiFi
動的・鮮度が重要な
インサイト
静的・過去データ
によるインサイト
Hortonworks DataFlowによるHadoopの可能性の拡⼤
Hortonworks DataFlowとHortonworks Data Platformにより、
ビックデータ基盤のエンド・ツー・エンドソリューションを提供します。
Connected Data Platform

5. 5 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Communityへの貢献
1,500を超えるエコシステムパートナー
Hortonworks テクノロジーパートナー
専⾨家集団： 開発に深く携わるコア・メンバーにより構成
à コミッターの多くがHortonworksの社員で
す。Apache Hadoop プロジェクトに関わるコ
ミッターの約1/3はHortonworksの社員です。
Apache NiFiの⼤半を始めとする多くの重要なプ
ロジェクトに関わっています。
à コミッターはコネクティッド・データプラッ
トフォームを改良し、⾰新を続けています。
à Hadoopのロードマップに関わっています。
コミュニティに対し、重要なリクワイアメント
を⾔える⽴場にいます。
Hortonworks はApache
Communityに⾮常に深く関与してい
ます。

6. 6 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
HDP Enterprise and Enterprise Plus サブスクリプション
Enterprise
Enterprise
Plus
Apache Hadoop & YARN ✔ ✔
Apache Tez ✔ ✔
Apache Hive ✔ ✔
Apache Pig ✔ ✔
Apache Sqoop ✔ ✔
Apache Flume ✔ ✔
Apache Mahout ✔ ✔
Apache Ambari ✔ ✔
Apache Oozie ✔ ✔
Apache Falcon ✔ ✔
Apache Knox ✔ ✔
Apache HBase ✔ ✔
Apache Accumulo ✔
Apache Storm ✔
HDP Advanced Security ✔
Apache Solr Separate Separate
Enterprise Enterprise Plus
Apache Hadoop & YARN ✔ ✔
Apache Ambari ✔ ✔
Apache Falcon ✔ ✔
Apache Flume ✔ ✔
Apache HBase ✔ ✔
Apache Hive ✔ ✔
Apache Knox ✔ ✔
Apache Mahout ✔ ✔
Apache Oozie ✔ ✔
Apache Phoenix ✔ ✔
Apache Pig ✔ ✔
Apache Sqoop ✔ ✔
Apache Tez ✔ ✔
Apache Zookeeper ✔ ✔
Apache Accumulo ✔
Apache KaLa ✔
Apache Ranger ✔
Apache Spark ✔
Apache Storm ✔
Apache Solr Separate Separate
HDP サブスクリプリョンに含まれる内容
• 24x7, 365⽇/年のグローバルサポート
• Web 及び電話によるサポート（⽇本語窓⼝あり）
• バグフィックスや、エンハンスメントのリクエストが可能
• アップグレード、アップデート、パッチへのアクセス権
• HDP旧リリースバージョンへの複数年におけるZ-Stream メンテナン
ス
• カスタマーサポートポータル、ナレッジベースへのアクセス
• WEBベースセルフラーニングHortonworks利⽤権
• 以下のリモートトラブル対応及び解析⽀援:
• 設定に関する問い合わせ、クラスタマネジメント
• パフォーマンス問題
• データロード、プロセス、クエリー問題
• アプリ開発の質問についてのリモートアドバイス
• 半年ごとのチェックポイントレビュー (ent plusでは四半期毎)

7. 7 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
HDPサブスクリプションサービスのValueとは
-アプリケーション開発の問い合わせ
-分析、ユースケースの追加の相談例
-こんな分析をしたいが、どのようなデータをとればよいか
-やりたいことを実現するためにどのようなコンポーネントを揃えればよいか
-機械学習による提案型システムヘルスチェックサービスSmart Senseの提供
Hadoopの開発エンジニアを多数抱えるホートンワークスだから⾃信を持ってお
届けできるサービス。
内製化にも対応。
Hadoopエンジニア、ディヴェロッパー、コミッターを抱えるユーザ企業もサブ
スクリプションサポートを有効活⽤。

8. 8 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Agenda
OLAP op(ons on Hadoop
Overview
Apache Kylin
Apache Druid
SoluXon Architecture
Wrap up

9. 9 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
SQL evolution on Hadoop
Capabilities
Batch SQL OLAP / Cube
Interactive
SQL
Sub-Second
SQL
ACID /
MERGE
Speed Feature
Hive0.x
(MapReduce)
Hive1.2-
(Tez, Vectorize, ORC, CBO)
Hive2.0
(LLAP)
Presto
Impala
Drill
Spark SQL
HAWQ
MPP
Kylin
Druid
Commercial
Kyvos Insights
AtScale
Source
Hive(WIP)

10. 10 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
SQL evolution on Hadoop
Capabilities
Batch SQL OLAP / Cube
Interactive
SQL
Sub-Second
SQL
ACID /
MERGE
Speed Feature
Hive0.x
(MapReduce)
Hive1.2-
(Tez, Vectorize, ORC, CBO)
Hive2.0
(LLAP)
Presto
Impala
Drill
Spark SQL
HAWQ
MPP
Kylin
Druid
Commercial
Kyvos Insights
AtScale
Source
Hive(WIP)

11. 11 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Agenda
OLAP op(ons on Hadoop
Overview
Apache Kylin
Apache Druid
SoluXon Architecture
Wrap up

12. 12 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin
à eBayで開発されたOLAPエンジン。
à 2014年10⽉にオープンソース化
à 2015年にApacheのTop Level Projectに昇格。
à 読み⽅
– きりん
– かいりん
– ちりん

13. 13 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin – Motivation
à eBayではもともとHiveでOLAP的なことをしていたが、速度に満⾜で
きなかった。
à ⼀般的なOLAPクエリに対して数秒〜10秒前後でレスポンスが返って
くることが求められていた。
à 当時、オープンソースのソフトウェアでその要求を満たすものがな
かった

14. 14 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin – Architecture
REST API
Query Engine
Router
Cube Builder Hive HBase
Metadata Cube
REST API JDBC/ODBC
3rd Party App BI Tools

15. 15 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin – Interface
Queries
à ANSI SQL
à No direct cube exposure / Just through Hive metastore
à No MDX

16. 16 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin – Cube Designer
à Apache Kylin does not provide build scheduler

17. 17 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin – Partial Cube
à Balance Between Space and Time
A, B, C, D
A, B, C A, B, D A, C, D B, C, D
A, B B, C B, D A, C C, D A, D
A B C D

18. 18 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin – Cube vs. HBase schema
Pre-Joined/Aggregated Table
Dimensions D1
D2
D3
D4
Measures M1
M2
M3
M4
Cuboid ID D1 D2 D3 D4
M1 M2 M3 M4
ROW KEY
ROW VALUE

19. 19 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin – Incremental cube build
à Incremental build
Y-2011-2012 M-2013-1-8 D-2013-09-1-20 D-2013-09-21
• Minutes micro cubes
• Kafka source
• in-memory cubing
• Auto merge

20. 20 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin – Streaming cubing(WIP)
Stream
Cube
Cube
Before Last Hour
Hybrid
Storage
Interface
Query Engine
ANSISQL
Inverted
Index
Inverted
Index
Last Hour

21. 21 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin – Who is using?
à eBay
– 90% queries < 5 seconds
• User Session Analysis: 26TB, 28+ billion rows
• Traffic Analysis: 21TB, 20+ billion rows
• Behavior Analysis: 560GB, 1.2+ billion rows
à Baidu
– Baidu Map internal analysis
à Many other Proof of Concepts
– Huawei, Boomberg, Law, British GAS, JD.com, Microsoft, StubHub, Tableau…

22. 22 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Kylin – Support
à Kyligence

23. 23 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Agenda
OLAP op(ons on Hadoop
Overview
Apache Kylin
Apache Druid
SoluXon Architecture
Wrap up

24. 24 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid
à MetaMarketで開発されたOLAPエンジン。
à 2012年10⽉にオープンソース化。この時点ではGPLライセンス。
à 2015年にApache License 2.0に。
à 150⼈以上のコントリビューター。
à 名前は、RPGのクラス

25. 25 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid - Concept
à 列志向の分散データストア
à sub-secondでのクエリレスポンス
à Realtime streaming ingestion
à ⾃在なスライシングとダイシング
à ⾃動で⾏われるデータサマライズ
à 概算を計算するアルゴリズムも利⽤(hyperloglog, theta)
à ペタバイトスケール
à ⾼い可⽤性

26. 26 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid– Motivation
à 広告配信サービスのリアルタイムダッシュボード
à ⼤量のトランザクションデータを⾼い速度で投⼊し、探索可能にした
かった。
à append heavy
à low latency
à multi-tenant
à highly available
à real-time alerting, actionable

27. 27 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid– Solutions Evaluated
à RDBMS
– Star schema with aggregate tables
– Slow performance on large scale (upto 20 sec page load times)
– Query caching helped, arbitrary queries still slow
à Key/Value stores(Hbase, Cassandra, BigTable)
– Pre-aggregate all dimensional combinations
– Fast queries were achieved
– Precomputation scales exponentially
– Takes time to precompute(9hrs with 14 dimensions)
– Not cost effective

28. 28 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid – Architecture in early days
Ingest
Historical
Node
Historical
Node
Historical
Node
Broker
Node
Batch
Data

29. 29 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid – Historical Node
Deep Storage Disk
Memory
Segment Segment
Segment
à Shared Nothing
à Main workhorsers of druid cluster
à Load immutable read optimized
segments
à Respond to queries
à Use memory mapped files to load
segmengs

30. 30 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid – Current architecture
Ingest
Historical
Node
Historical
Node
Historical
Node
Broker
Node
Batch
Data
RealXme
Node
RealXme
Node
KaLa
Batch
Data
Deep Storage

31. 31 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid – Current architecture

32. 32 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid – Broker Node
à Keeps track of segment announcements in cluster
à Scatters query across historical and realtime nodes
à Merge results from different query nodes
à Caching layer

33. 33 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid – Coordinator Node
à Assign segments to historical nodes
à Interval based cost function to distribute segments
à Make sure query load is uniform across historical nodes
à Handles replication of data
à Configurable rules to load/drop data

34. 34 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid – Interface
Queries
à REST API
à SQL(Community effort, No ANSI compliance yet)

35. 35 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid – Pivot
à Cube design and visualizaXon

36. 36 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid– Building cube
à Druid is totally ʻtime-basedʼ OLAP data store.
à Basically it builds cube based on ʻtime x dimensionsʼ.
à But how about Unique?
– Theta Sketches KMV: Open source by Yahoo!
– Predictable approximation error can be trade-off by sketch size
• k=4096: RSE of +/-3.2% -> 32768bytes
• k=16K: RSE of +/-1.6% -> 131072bytes
– Mergeable at query time
• ʻmerge rate of about 14.5 million skethces per second per
processor threadʼ
– Intersection can be computed at query time
– Duplication insensitive

37. 37 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache Druid – Who is using?

38. 38 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Data mart architecture in Yahoo, Inc
Hour
ETL
Event
Data
Daily
Rollup
Aggregate
ETL
Data
Aggregate
Druid HDFS
User Interface
1x 24x ?x

39. 39 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Agenda
OLAP op(ons on Hadoop
Overview
Apache Kylin
Apache Druid
SoluXon Architecture
Wrap up

40. 40 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Solution Architecture for SQL analysis
OLAP
HDFS Hive
Kafka
OLAP Access
Row Level Access
Data Source Source of truth Application

41. 41 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Agenda
Scalable Data Warehousing on Hadoop
Overview
Apache Kylin
Apache Druid
SoluXon Architecture
Wrapup

42. 42 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
SQL evolution on Hadoop
Capabilities
Batch SQL OLAP / Cube
Interactive
SQL
Sub-Second
SQL
ACID /
MERGE
Speed Feature
Hive0.x
(MapReduce)
Hive1.2-
(Tez, Vectorize, ORC, CBO)
Hive2.0
(LLAP)
Presto
Impala
Drill
Spark SQL
HAWQ
MPP
Kylin
Druid
Commercial
Kyvos Insights
AtScale
Source
Hive(WIP)