Your SlideShare is downloading. ×
0
Twitterのリアルタイム分散処理システム「Storm」入門 demo
Twitterのリアルタイム分散処理システム「Storm」入門 demo
Twitterのリアルタイム分散処理システム「Storm」入門 demo
Twitterのリアルタイム分散処理システム「Storm」入門 demo
Twitterのリアルタイム分散処理システム「Storm」入門 demo
Twitterのリアルタイム分散処理システム「Storm」入門 demo
Twitterのリアルタイム分散処理システム「Storm」入門 demo
Twitterのリアルタイム分散処理システム「Storm」入門 demo
Twitterのリアルタイム分散処理システム「Storm」入門 demo
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Twitterのリアルタイム分散処理システム「Storm」入門 demo

6,080

Published on

鈴木 貴典+木村 宗太郎 …

鈴木 貴典+木村 宗太郎

TwitterのNathan Marz氏が開発している 「Storm」 。
2011年9月に、オープンソースとして公開されましたが、まだまだ日本で得られる情報は少なく、
詳細は不明なところも多いです。

そこで、日本初(たぶん)の「Storm」セッションを行います。

「Storm」は、CEP(Complex Event Processing=複合イベント処理)に属するプロダクトであり、
分散リアルタイム処理を行うための基本セットを提供しています。

今回のセッションでは、その概念や特性などについて解説してみます。

Published in: Technology
0 Comments
10 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
6,080
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
71
Comments
0
Likes
10
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Advanced Tech Night No.04 Twitterの リアルタイム分散処理システム Storm DEMO 2012/03/01 Acroquest Technology 木村宗太郎
  • 2. 発表の流れ1. 自己紹介2. Stormのクラスタ構築ってどうやるの?3. 今回動かすStormクラスタ構成4. 今回動作させるTopologyの機能 Stormデモ5. 今回開発した規模6. まとめ 1 Advanced Tech Night
  • 3. 1.自己紹介• 名前 : 木村宗太郎• 所属 : Acroquest Technology• Twitter : @kimutan_sk• 主な仕事: Androidのアプリ基盤、サービス基盤開発• 趣味: 料理全般 (特にお菓子作り) 2 Advanced Tech Night
  • 4. 2.Stormのクラスタ構築ってどうやるの?• ブログ:T3(Taste of Tech Topics) (http://d.hatena.ne.jp/acro-engineer/) をご覧ください。 3 Advanced Tech Night
  • 5. 3.今回動かすStormクラスタ構成• 1台の仮想マシンに下記のプロセスを構築しています。 仮想マシン(CentOS 6.2 64bit) ① Nimbus ② Zookeeper Nimbus Zookeeper Supervisor ③ Supervisor Worker ④ Worker ⑤ Storm UI Storm UI NimbusとThriftを用いて通信し、 Stormクラスタの概況を表示するWebUI Jettyを用いて構築 4 Advanced Tech Night
  • 6. 4.今回動作させるTopologyの機能 Twitterから「ATN」のハッシュタグを含むつぶやきを取得する Twitter HashTag Fields Shuffle Printer Single Filter Grouping Grouping Bolt Spout Bolt TwitterのTweetで 1つのTweetを ハッシュタグが「atn」を「#atn2012」を含む {ハッシュタグ,Tweet} 含む場合 呟きを抽出 の構造に分割する (CorrectTag + Tweet) (スレッド数:1) ※複数ハッシュタグを をログに出力 含む場合は複数の タプルを生成する (スレッド数:5) (スレッド数:5) 5 Advanced Tech Night
  • 7. DEMOStormの実行 6 Advanced Tech Night
  • 8. 5.今回開発した規模 TwitterSingleSpout 90ライン HashTagFilterBolt 37ライン PrinterBolt 30ライン Topologyの定義 45ライン 計 202ライン たった これだけ! 7 Advanced Tech Night
  • 9. 6.まとめ1. Stormを使うと、少ない実装量(数百ライン程度)で 簡単にリアルタイム処理システムが構築できます。2. Topologyの概要は、Storm UIで常に見れます。3. 1つのStormクラスタ上で 複数のTopologyを混在して実行可能です。 → クラスタのリソースを有効活用できます。 8 Advanced Tech Night

×