#reactive_shinjuku Reactive Meetup 第2回で使用したLT資料です

1. Gearpump, akka based
Distributed Reactive
Realtime Engine
2016/02/02
Kimura Sotaro(@kimutansk)
https://www.flickr.com/photos/financialaidpodcast/4146240083/

2. アジェンダ
1. Gearpumpとは？
2. 何故Gearpumpが必要なのか？
3. Gearpumpの特長
4. Gearpumpの構成
5. どうリアルタイム処理が組めるか？
1

3. 1. Gearpumpとは？
• Akka based Distributed Reactive Realtime Engine
• Scala製のApache License OSS
• 2014/7/23にOSS化
2
シンプルで強力な
メッセージレベルの
ストリーム処理Daemon
•Communication
•Concurrency
•Isolation
•Fault-tolerant
http://conferences.oreilly.com/strata/big-data-conference-sg-2015/public/schedule/detail/45109

4. 1. Gearpumpとは？
• GoogleのMillWheelがアーキテクチャのベース
• MillWheel: Fault-Tolerant Stream Processing at Internet Scale
• http://research.google.com/pubs/pub41378.html
• Cloud Dataflowで使用可能なストリーム処理基盤
3
http://qiita.com/kazunori279/items/3ce0ba40e83c8cc6e580

5. 1. Gearpumpとは？
• 下記を基に開発されたReactive Realtime Engine
• MillWheelのアーキテクチャ
• akka actor, streams ReactiveなToolbox
• https://software.intel.com/en-us/blogs/2015/08/14/all-about-gearpump-the-
real-time-big-data-streaming-engine-behind-intel-s-latest
4

6. 2. 何故Gearpumpが必要なのか？
• 信頼できる分析基盤として、下記要素が必要
① データは生成後すぐに利用可能である
② システムの永続化された状態は利用者のコードから
参照・ 更新可能で、一貫性のあるモデルを持つ
③ 厳密な順序は要求しない
④ Low Watermarkのシステム側での管理
⑤ スケールアウト時レイテンシーは変わらない
⑥ Exactly-Onceなレコード処理
5
MillWheel: Fault-Tolerant Stream Processing at Internet Scale

7. 3. Gearpumpの特長
• 下記のような特長を持つ。
① 高スループット
② 低レイテンシ
③ Global minimum-clockを常時管理
④ メッセージの処理信頼性設定可能
（At least once / exactly once）※但し条件あり
⑤ 高レベルAPIによる簡易な定義、
低レベルAPIによる詳細な制御のどちらも可能
⑥ 高拡張性
⑦ システムの動的再構成が可能で全体再起動不要
6

8. 4. Gearpumpの構成
• コンポーネントは全てakka actorで構成
• アドレス解決をAkkaを用いることで
全体のアーキテクチャはシンプルに出来ている。
7

9. 4. Gearpumpの構成
• 耐障害性もakka clusterで維持
• 親Actorは子Actorの状態を確認し、自動復旧
• 一番Rootとなる親はakka cluster ／ CRDTで冗長化
8
WorkerWorkerWorker
Master
standb
y
Master
Standb
y
Master
State
Gossi
p
CRDT Data type example:
leader

10. 5. どうリアルタイム処理が組めるか？
• Gearpumpのアプリケーションは下記で構成
• 各ProcessorのActorコード
• ActorをDAGとして組み合わせてアプリケーションとして
デプロイするコード
9
例：WordCountを行うアプリケーション
Split Sum
単語ごとに集約
Sum.scala
Split.scala
HashPartitioner
(既存コンポーネント)
WordCount.scala

11. 5. どうリアルタイム処理が組めるか？
• グラフを書くことでリアルタイム処理が組める
• 非常に直観的！
10
Graph(split ~ hashPartitioner ~> sum)
Split.scala Sum.scala
HashPartitioner
（同一のメッセージは同一のPartitionとして扱うコンポーネント）

12. Enjoy Gearpump!
https://www.flickr.com/photos/stevecavers/6719310075/