鈴木 貴典＋木村 宗太郎 TwitterのNathan Marz氏が開発している 「Storm」 。 2011年9月に、オープンソースとして公開されましたが、まだまだ日本で得られる情報は少なく、 詳細は不明なところも多いです。 そこで、日本初（たぶん）の「Storm」セッションを行います。 「Storm」は、CEP（Complex Event Processing＝複合イベント処理）に属するプロダクトであり、 分散リアルタイム処理を行うための基本セットを提供しています。 今回のセッションでは、その概念や特性などについて解説してみます。

1. Advanced Tech Night No.04
Twitterの
リアルタイム分散処理システム
Storm
DEMO
2012/03/01
Acroquest Technology
木村宗太郎

2. 発表の流れ
1. 自己紹介
2. Stormのクラスタ構築ってどうやるの？
3. 今回動かすStormクラスタ構成
4. 今回動作させるTopologyの機能
Stormデモ
5. 今回開発した規模
6. まとめ
1
Advanced Tech Night

3. １．自己紹介
• 名前 ： 木村宗太郎
• 所属 ： Acroquest Technology
• Twitter ： @kimutan_sk
• 主な仕事：
Androidのアプリ基盤、サービス基盤開発
• 趣味：
料理全般
（特にお菓子作り）
2
Advanced Tech Night

4. ２．Stormのクラスタ構築ってどうやるの？
• ブログ：T3（Taste of Tech Topics）
（http://d.hatena.ne.jp/acro-engineer/）
をご覧ください。
3
Advanced Tech Night

5. ３．今回動かすStormクラスタ構成
• 1台の仮想マシンに下記のプロセスを構築しています。
仮想マシン（CentOS 6.2 64bit）
① Nimbus
② Zookeeper Nimbus Zookeeper Supervisor
③ Supervisor Worker
④ Worker
⑤ Storm UI Storm UI
NimbusとThriftを用いて通信し、
Stormクラスタの概況を表示するWebUI
Jettyを用いて構築
4
Advanced Tech Night

6. ４．今回動作させるTopologyの機能
Twitterから「ATN」のハッシュタグを含むつぶやきを取得する
Twitter HashTag Fields
Shuffle Printer
Single Filter Grouping
Grouping Bolt
Spout Bolt
TwitterのTweetで 1つのTweetを ハッシュタグが「atn」を
「#atn2012」を含む {ハッシュタグ,Tweet} 含む場合
呟きを抽出 の構造に分割する （CorrectTag + Tweet）
（スレッド数：１） ※複数ハッシュタグを をログに出力
含む場合は複数の
タプルを生成する
（スレッド数：5）
（スレッド数：5）
5
Advanced Tech Night

7. DEMO
Stormの実行
6
Advanced Tech Night

8. ５．今回開発した規模
TwitterSingleSpout 90ライン
HashTagFilterBolt 37ライン
PrinterBolt 30ライン
Topologyの定義 45ライン
計 202ライン
たった
これだけ！
7
Advanced Tech Night

9. ６．まとめ
1. Stormを使うと、少ない実装量（数百ライン程度）で
簡単にリアルタイム処理システムが構築できます。
2. Topologyの概要は、Storm UIで常に見れます。
3. 1つのStormクラスタ上で
複数のTopologyを混在して実行可能です。
→ クラスタのリソースを有効活用できます。
8
Advanced Tech Night