[社内勉強会]春の嵐を巻き起こせ Storm補完計画
•Download as PPTX, PDF•
0 likes•243 views
2013年ぐらいに社内勉強会で使ったStormの概要資料
More Related Content
Featured
Featured (20)
[社内勉強会]春の嵐を巻き起こせ Storm補完計画
- 3. 3 Stormとは ビックデータのリアルタイム分散並列処理を簡単 に行うためのフレームワーク もともと米BackType社(ソーシャルメディア解析 企業)がつぶやき解析システムとして開発 2011年7月にTwitter社が買収しオープンソース化 Clojureで実装されており、連続的に発生するデ ータを、継続的に処理し続けるフレームワーク
- 5. 5 Storm
- 9. 9 以上６つが主な特徴
- 10. 10
- 11. 11 ぶっちゃけ何ができるの？
- 12. 12 Stormができること 其の壱 継続的な並列処理 • Stormの基本的な機能 • 通常はストリームデータであるメッセージを一時的 メッセージキューに保存し、そのメッセージを継続 的、かつ並列的に処理し続ける
- 14. 14 Stormができること 其の参 トランザクション • Stormはメッセージが必ず処理されることを保証す るが、障害が発生し、メッセージが再送された場合、 重複して処理される可能性がある • たった1度だけの処理としたい場合は、 Transactional Topologies機能を使用する • すると、メッセージにはトランザクションIDが自動 で付与され、Spout/boltの処理を一つのトランザク ションの処理として扱うことができる
- 16. 16 ここまで駆け足できましたが
- 17. 17 知らない用語ばかりだ…
- 25. 25 Stormの基本アーキテクチャと用語 Topologyを具体的に図にすると Topology(トポロジー) Spout & Boltからなるネットワーク構造 Spout Bolt Bolt
- 31. 31 Topologyの構築 // 新規のTopologyを生成 TopologyBuilder builder = new TopologyBuilder(); // Spout を設定 builder.setSpout(“spout1", new TestWordSpout(true), 5); builder.setSpout(“spout2", new TestWordSpout(true), 3); // Bolt を設定 builder.setBolt(“bolt1", new TestWordCounter(), 3) .fieldsGrouping("spout1", new Fields("word")) .fieldsGrouping(“spout2", new Fields("word")); // Topologyの設定を指定 Map conf = new HashMap(); conf.put(Config.TOPOLOGY_WORKERS, 4); // TopologyをStormのクラスタへ登録 StormSubmitter.submitTopology("mytopology", conf, builder.createTopology()); http://www.slideshare.net/AdvancedTechNight/twitterstorm Spout、Bolt共に スレッド数を指定 Worker数を“4”で指定 （1つのSupervisorで 起動する最大Work Topologyの構築は非常に簡単（分散処理を、これだけで実現） とのこと(苦笑)
- 37. 37 Topologyのおさらい Spout データを取得 → Tuple生成 → Tuple送信 スパウト
- 39. 39 Topologyのおさらい Boltボルト Tuple受信 → 処理・加工 → Tuple送信
- 47. 47 HadoopとStorm比較 ただし、StormはHadoopと競合するものではない 導入するシステムの特性を見極め、使い分けるこ とが重要 Hadoop Storm 対象 バッチ処理 リアルタイム処理 実行 • 巨大で有限なジョブ • たくさんのデータを一度だけ 処理する • 長い待ち時間 • 小さい無限のジョブ • 無限のストリームデータを連 続して処理する • 短い待ち時間 処理構成 MapReduce →Mapper + Reducer Topology →Spout + Bolt ノード JobTracker TaskTracker Nimbus Supervisor
- 48. 48 まとめ Stormはリアルタイム分散並列処理を継続的 に行うフレームワーク • シンプル • 拡張性 • 耐障害性 • データ欠損なしの保障 • プログラム言語非依存 • 簡単なデプロイと運用 Stormを構成する要素 クラスタ/Topology/Stream/Tuple/Spout/Bolt ６つの特徴