https://yj-meetup.connpass.com/event/96526/stream processing,paas,bigdata

1. StreamPaaSのご紹介
Shingo Furuyama
2018/08/23
Yahoo! JAPAN MEETUP
-データサイエンス&プラットフォーム-

2. 1. 自己紹介
2. そもそもストリーム処理ってなに？
3. StreamPaaSについて

3. 1. 自己紹介
2. そもそもストリーム処理ってなに？
3. StreamPaaSについて

4. 2007 Simplex Technology で金融まわりのいろいろ
2011 ノーチラステクノロジーズで業務バッチ on Hadoop
-- ここからYahoo! JAPAN
2014 金融まわりのエンジニア&BD/DDなどいろいろ
2016 データプラットフォーム周りの部長などいろいろ
2018 データプラットフォーム周りのリサーチなどいろいろ
http://jp.linkedin.com/in/shingofuruyama
自己紹介

5. 2007 Simplex Technology で金融まわりのいろいろ
2011 ノーチラステクノロジーズで業務バッチ on Hadoop
-- ここからYahoo! JAPAN
2014 金融まわりのエンジニア&BD/DDなどいろいろ
2016 データプラットフォーム周りの部長などいろいろ
2018 データプラットフォーム周りのリサーチなどいろいろ
http://jp.linkedin.com/in/shingofuruyama
自己紹介

6. 1. 自己紹介
2. そもそもストリーム処理ってなに？
3. StreamPaaSについて

7. • ストリーム処理とは
• ストリーム処理のイメージ図
• ストリーム処理の使いどころ
そもそもストリーム処理ってなに？

8. • Continuous processing on data that
is continuously produced
• 溜めてから処理するモデル（バッチ処
理）と比べて、低レイテンシ・低ス
ループットになりやすい
• その筋で有名な”Mining of Massive
Datasets”も触れられているが、
sketchなどアルゴリズムの検討寄りな
話題が多い（この筋だと「オンライン
処理」と呼ばれることも）
• ここでの話はシステムアーキテクチャ
やミドルウェア寄りで、”Principles
and best practices of scalable
realtime data systems” とかの方が
近い
ストリーム処理とは
http://www.mmds.org
https://www.manning.com/books/big-data

9. ストリーム処理のイメージ図
Source
ストリーム処理
ストレージ
ストリーム処理
実行エンジン Sink
• 処理のためにある程
度の保持期限でデー
タをためておく
• 直接処理すると耐障
害性が事実上絶無に
なるのでその対策
• Kafkaとか
• データを読んで結果
となるデータを変換
する
• StormとかFlinkとか
• 結果をおいておくス
トレージ
• Redis/Cassandra/R
DBMSなど
• Kafkaにして別アプ
リケーションの入力
にすることも
ストリーム処理
アプリケーション
• 実行エンジン上で動
作するアプリケー
ション
• 継続的に発生する
データの生成元
• フロントエンドサー
バーのログとか
tweetとかセンサー
データとか

10. アルゴリズムやMLに
フレッシュなデータを渡す
低レイテンシで
人間に干渉
• 証券取引:時間優先の原則により利益に直結
• 不正検知:不正の発生から対策までの時間を短く
する
• その他いろんな機械学習:広告など。アルゴリズ
ム vs データのフレッシュネス的な話題はある
• アナリティクス:はやく結果がわかると判断の効
率が上がる可能性がある
• Push:いい感じのタイミングでPush通知してリテ
ンションに繋げる
ストリーム処理の使いどころ

11. 1. 自己紹介
2. そもそもストリーム処理ってなに？
3. StreamPaaSについて

12. • 解きたかった問題
• Architecture overview - Application deployment
• Architecture overview - Dataflow
StreamPaaSについて

13. • 既存PFのユーザー/オペレーターに話
を聞いたり技術調査などをした結果、
デプロイメントにつらみが集約されて
いるという見立てでストリーム処理の
PaaSであるStreamPaaSを設計
• ちょうど検討が終わったくらいの頃に
FBから出た論文で“Ease of
Deployment”という良い言葉を使って
いて、これがやりたかったこと
• NetflixのKeystone SPaaSとはだいぶ
近い（名前見たときはかぶっててうー
んとなったが気にしないことにした）
• ちなみにだいたい設計が終わった頃に
この辺りの情報がpublicになってきた
ので、初期の頃は参考にしてない
解きたかった問題
https://www.slideshare.net/AmazonWebServices/netflix-keystone-spaas-realtime-stream-processing-as-a-service-abd320-reinvent-2017
https://research.fb.com/publications/realtime-data-processing-at-facebook/

14. Architecture overview - Application deployment
ScrewDriver
Artifactory
Stream
processor
API
Stream
processor
Web UI
Github
Build system
Deploy, start, stop, and delete application
Source
Sink
Application can be replicated

15. Architecture overview - Dataflow
Source Kafka
for delivery
Kafka
for stream processing
HDFS
Storm/NiFi
for delivery
Storm/Flink
for stream processing
Sink
- Extract data required by
user application
- Load output of user
application into many
kind of sink
Other
Application
- Cassandra/RDBMS/File
System

16. おわりに

17. • 部長になりStreamPaaSに直接関与することはなくなった
けど、組織・PaaS機能・アプリケーション・実行環境はそ
れぞれいい感じにスケールしている
• 最近はSysML的な流れもあり（実際のところミドルウェア
もハードウェアもそれなりにボリュームがあるので色々な
つらみがある）、StreamPaaSの特性を使ってストリーム
処理アプリケーションのAuto Tuningとかをやりたいと画
策中
その後…

18. Attribution-ShareAlike 2.0 Generic (CC BY-SA 2.0) https://creativecommons.org/licenses/by-sa/2.0/ https://www.flickr.com/photos/pictoquotes/23555254519/

19. EOP