Apache GEODE Meetup Tokyo #4で登壇した際の資料です。

1. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
Geode+Alpakka+Akka Streamsでリアルタイムデータ処理
ウルシステムズ株式会社 阿品翔悟
2018/3/26
ウルシステムズ株式会社
http://www.ulsystems.co.jp
mailto:info@ulsystems.co.jp
Tel: 03-6220-1420 Fax: 03-6220-1402

2. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
1
Alpakkaをご存知でしょうか？
Akka Streamsから様々なサービスへ接続できるコネクタ
2017/1/30のリリースでApache Geodeに対応
Apache Geode以外に２０種類以上のサービスに対応
–AWS Lambda
–AWS S3
–Elasticsearch
–MongoDB
–Slick (JDBC)
etc…

3. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
2
Akka Streamsとは
Reactive StreamsのAkka実装
Reactive Streams：ノンブロッキングかつBack
Pressureを備えた非同期ストリーム処理の標準仕様

4. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
3
非同期ストリーム処理とは
Source、Flow、Sinkを組み合わせてストリーム処理を定
義する
それぞれが非同期で実行される
３つを組み合わせたものをRunnableGraphと呼ぶ
Source Flow Sink
Runnable
Graph
非同期実行 非同期実行

5. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
4
コンポーネント 説明
データの供給源。ひとつの出力を持つ。ファイルの読
み込みなどデータを用意する処理を行う。
データの流れを表す。ひとつの入力とひとつの出力を
持つ。データの加工、変換を行う。
データの終着点。ひとつの入力を持つ。データの表示、
格納など終端処理を行う。
Source、Flow、Sinkを接続したもの。run()メソッド
をコールすることで実行することができる。
Source、Flow、Sink、RunnableGraphについて
Source
Flow
Sink
Runnable
Graph
Source、Flow、Sink、 RunnableGraphの役割は以下

6. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
5
Back Pressureとは
下流が処理できる量を上流へ伝えることで、効率的に処理
をする仕組み
全てのAkka Streamのコンポーネントに自動的に制御が
かかる
Source
10msg/s
Flow
Sink
1msg/s
1msg/s
1msg/s

7. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
6
Geode+Alpakka+Akka Streams
AlpakkaによりAkka StreamsをGeodeと統合すること
ができる
Apache
Geode
Source
Flow
Sink Apache
Geode
Geodeのデータを
Sourceとして使用
できる
最終処理結果をGeodeへ登録
できる

8. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
7
AlpakkaによりSourceとGeodeのCQを接続できる
SourceとGeodeのCQ (Continuous Querying) を接
続できる
CQとはGeodeのイベント通知の仕組みの一つで、Query
に合致するデータの登録が発生した場合に通知される
Apache
Geode
Source Flow Flow
// Sourceの定義
String cqName = “GetPerson"; // CQ名
String query = "SELECT * FROM /person"; // CQのクエリ
Source<Person, Future<Done>> sorce =
reactiveGeode.continuousQuery(cqName, query, new PersonPdxSerializer());

9. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
8
AlpakkaによりSinkとGeodeを接続できる
SinkとGeodeを接続できる
RunnableGraphの最終処理結果をGeodeへ登録するこ
とができる
Sink Apache
Geode
Flow Flow
// Sinkの定義
RegionSettings<Long, Person> resultsRegionSettings =
new RegionSettings<>(“person”, Person::getId); // Personリージョン設定
Sink<Person, CompletionStage<Done>> sink =
reactiveGeode.sink(resultsRegionSettings, new PersonPdxSerializer());

10. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
9
Geode+Alpakka+Akka Streamを使用したデモ
Twitterのつぶやきをリアルタイムで取得して、つぶやきを
もとに文章の自動生成を行う
※文章の自動生成はリクルート社が公開しているAPIを使用
https://a3rt.recruit-tech.co.jp/product/textSuggestAPI/
デモの後に簡単にソースの説明をします
Tweets
リージョン
文章の自動
生成プログラ
ム
Results
リージョン
つぶやき取
得プログラム
Twitter4jで作成 Alpakka+Akka Streamsで作成
登録 登録イベント通知 登録
取得 自動生成
API取得

11. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
10
それではみなさんつぶやいてみてください！
ハッシュタグは「 #geode_jp」です
内容は自由です
例：「 #geode_jp geode最高！」
「 #geode_jp geodeやってみようかな。」
「 #geode_jp テスト。」
テスト用のTwitterアカウントを作成したので、こちらも使っ
てください※セッション終了後に削除します。
ID＝
PW=

12. ULS
Copyright © 2018 UL Systems, Inc. All rights reserved.
11
終わりに
ご清聴ありがとうございました
Apache GeodeのCQとAlpakka+Akka Streamsを組
み合わせることで、リアルタイムにデータを処理する仕組み
を構築することができました
Apache Geodeに少しでも興味をもっていただけたら幸い
です