Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Twitterのリアルタイム分散処理システム「Storm」入門 demo

7,268 views

Published on

鈴木 貴典+木村 宗太郎

TwitterのNathan Marz氏が開発している 「Storm」 。
2011年9月に、オープンソースとして公開されましたが、まだまだ日本で得られる情報は少なく、
詳細は不明なところも多いです。

そこで、日本初(たぶん)の「Storm」セッションを行います。

「Storm」は、CEP(Complex Event Processing=複合イベント処理)に属するプロダクトであり、
分散リアルタイム処理を行うための基本セットを提供しています。

今回のセッションでは、その概念や特性などについて解説してみます。

Published in: Technology
  • Be the first to comment

Twitterのリアルタイム分散処理システム「Storm」入門 demo

  1. 1. Advanced Tech Night No.04 Twitterの リアルタイム分散処理システム Storm DEMO 2012/03/01 Acroquest Technology 木村宗太郎
  2. 2. 発表の流れ1. 自己紹介2. Stormのクラスタ構築ってどうやるの?3. 今回動かすStormクラスタ構成4. 今回動作させるTopologyの機能 Stormデモ5. 今回開発した規模6. まとめ 1 Advanced Tech Night
  3. 3. 1.自己紹介• 名前 : 木村宗太郎• 所属 : Acroquest Technology• Twitter : @kimutan_sk• 主な仕事: Androidのアプリ基盤、サービス基盤開発• 趣味: 料理全般 (特にお菓子作り) 2 Advanced Tech Night
  4. 4. 2.Stormのクラスタ構築ってどうやるの?• ブログ:T3(Taste of Tech Topics) (http://d.hatena.ne.jp/acro-engineer/) をご覧ください。 3 Advanced Tech Night
  5. 5. 3.今回動かすStormクラスタ構成• 1台の仮想マシンに下記のプロセスを構築しています。 仮想マシン(CentOS 6.2 64bit) ① Nimbus ② Zookeeper Nimbus Zookeeper Supervisor ③ Supervisor Worker ④ Worker ⑤ Storm UI Storm UI NimbusとThriftを用いて通信し、 Stormクラスタの概況を表示するWebUI Jettyを用いて構築 4 Advanced Tech Night
  6. 6. 4.今回動作させるTopologyの機能 Twitterから「ATN」のハッシュタグを含むつぶやきを取得する Twitter HashTag Fields Shuffle Printer Single Filter Grouping Grouping Bolt Spout Bolt TwitterのTweetで 1つのTweetを ハッシュタグが「atn」を「#atn2012」を含む {ハッシュタグ,Tweet} 含む場合 呟きを抽出 の構造に分割する (CorrectTag + Tweet) (スレッド数:1) ※複数ハッシュタグを をログに出力 含む場合は複数の タプルを生成する (スレッド数:5) (スレッド数:5) 5 Advanced Tech Night
  7. 7. DEMOStormの実行 6 Advanced Tech Night
  8. 8. 5.今回開発した規模 TwitterSingleSpout 90ライン HashTagFilterBolt 37ライン PrinterBolt 30ライン Topologyの定義 45ライン 計 202ライン たった これだけ! 7 Advanced Tech Night
  9. 9. 6.まとめ1. Stormを使うと、少ない実装量(数百ライン程度)で 簡単にリアルタイム処理システムが構築できます。2. Topologyの概要は、Storm UIで常に見れます。3. 1つのStormクラスタ上で 複数のTopologyを混在して実行可能です。 → クラスタのリソースを有効活用できます。 8 Advanced Tech Night

×