• Save
halook (Hadoop/HBase可視化OSS) - Hadoop Conference Japan 2013 Winter 発表資料
Upcoming SlideShare
Loading in...5
×
 

halook (Hadoop/HBase可視化OSS) - Hadoop Conference Japan 2013 Winter 発表資料

on

  • 3,113 views

2013年1月21日開催のHadoop Conference Japan 2013 Winter 発表資料です。 ...

2013年1月21日開催のHadoop Conference Japan 2013 Winter 発表資料です。
発表時のムービーデモは、以下をご覧ください。
(1)機能紹介: http://youtu.be/rH16eS2_SJ8
(2)適用事例1: http://youtu.be/vD1f_sktoH4
(3)適用事例2: http://youtu.be/MsEycyy8p_k

halook
https://github.com/endosnipe/halook

Statistics

Views

Total Views
3,113
Views on SlideShare
2,604
Embed Views
509

Actions

Likes
5
Downloads
7
Comments
0

7 Embeds 509

http://d.hatena.ne.jp 266
http://acro-engineer.hatenablog.com 171
http://www.acroquest.co.jp 62
https://twitter.com 7
http://webcache.googleusercontent.com 1
http://translate.googleusercontent.com 1
http://www.google.co.jp 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

halook (Hadoop/HBase可視化OSS) - Hadoop Conference Japan 2013 Winter 発表資料 halook (Hadoop/HBase可視化OSS) - Hadoop Conference Japan 2013 Winter 発表資料 Presentation Transcript

  • Hadoop Conference Japan 2013 Winterトラブルシューティングのために欲しかった、 Hadoopがまるっと分かる可視化ツール Acroquest Technology 落合雄介 2013/1/21
  • 自己紹介 落合雄介 @taro_x 東京大学大学院数理科学研究科卒 Acroquest Technology 株式会社 所属 Hadoop World に2年連続で参加するほどの Hadoop 好き。 業務: Hadoop, HBaseのインフラ構築/検証 Hadoop, HBase可視化ソフト「halook」の開発 2
  • でHadoop, HBaseを可視化 Hadoop, HBase の内部動作を可視化するOSS MapReduce JobHDFS使用量 HBase リージョン 3
  • Hadoop World 2012 NYC で発表!? 1. 世界中から2500人が集まる 2. 初日に開催された関連イベント 「New York Hadoop User group Meetup」 で を発表 発表時のtweet 4
  • Hadoop World 公式のパーティー  halook ルックでダンス!! 5
  • 目次1. Hadoop可視化の動機2. halookでわかること3. Hadoop, HBaseの可視化事例4. halookの構成5. 適用方法 6
  • 1. Hadoop可視化の動機 7
  • Java Troubleshooting Service 1. Acroquest の手掛ける、世にも珍しい、 期間内解決保障型 トラブルシュートサービス 2. 年間100件のトラブルに対応 3. 現在のところ解決率100% (全く再現せず、調査終了となったものを除く)解決できなかった場合は、「半額」をお返しします。 の武器 で蓄積した Java トラブルシュートノウハウ をパッケージ化 8
  • によるシステム診断1. Javaシステムを動的に診断し、見える化2. JaTSが遭遇したシステムトラブルの原因を自動で 検出し、警告する「PerformanceDoctor」 ① メモリリーク ② フレームワークの利用方法誤り (初期化処理の多重実行など) ③ SQLの大量発行 ④ フルスキャン etc. ヒープメモリ使用量 ヒープメモリ(最大) ヒープメモリ(現在 最大) ヒープメモリ(現在 最小) ヒープメモリ(現在 平均) 300 250 200 メモリ使用量(MB) 150 100 50 0 2009/11/04 2009/11/04 2009/11/04 2009/11/04 2009/11/04 2009/11/04 2009/11/05 2009/11/05 2009/11/05 2009/11/05 11:27:00 13:43:09 15:59:17 18:15:26 20:31:34 22:47:43 01:03:52 03:20:00 05:36:09 07:52:17 9
  • Hadoopのトラブルシュートツールが欲しい! ENdoSnipeのプラグインとしてhalookを開発  フロントエンドのWebアプリケーションと同時に 統合的な監視が可能に そして・・・ halook公開を機に をOSS化! 10
  • 2. halookでわかること 11
  • Hadoop, HBase の難しさ 数十台~数千台のサーバを束ねて、大量 データの保存、分散処理を実行する。 どう動いているか把握するだけでも大変 1. 期待通りにデータが分散配置されているか? 2. アプリケーションが、期待通りに分散処理されているのか? 3. 設定ミスで、意図しない挙動をしていないか? ログ、WebUI 見える化してトラブルを防ぎたい だけでは大変! 12
  • トラブルを防ぐHadoop可視化ツール halookが提供する機能対象 画面名 説明HDFS HDFS view HDFS使用量表示 MapReduce Job Gantt chart MapReduce Job 一覧MapReduce MapReduce Task Arrow chart MapReduce Task 一覧 MapReduce Task Bubble chart MapReduce Task のグラフ HBase Region Grow graph リージョン数推移をグラフ化HBase HBase Region Map graph リージョン分布をグラフ化 13
  • HDFS view  HDFSの使用量を表示 HDFSの使用状況  容量に余裕はあるか  データの偏りはないか が一目で確認できる! 1本のバーが一つの DataNodeを表す 各DataNodeの使用率が 閾値を超えると、色が変わる 14
  • MapReduce Job Gantt chart  実行Jobの一覧をガントチャートで表示 複数のJobの実行状況を 包括的に把握できる。  失敗したJob  時間のかかったJob も一目で確認できる! Jobが、いつ開始して いつ終了したかを表示 15
  • MapReduce Task Arrow chart  Map, Reduce Task を矢印で表示。  時系列に表示  実行ホストごとに表示 並べ替えでJobの特性を 簡単に把握できる。 使用スロット数のグラフ化で 分散状況がわかる! Map, Reduce, Success, Fail で色分け 16
  • MapReduce Task Bubble chart  Jobの特性をバブルチャートで表示  処理時間の長いTask は ないか  Job の開始から終了まで 安定して動作しているか Jobの様々な特性がわかる! 横軸:Taskの開始(or終了)時刻 縦軸:実行時間 17
  • HBase Region Growth graph  HBaseのリージョン数の推移を表示 HBaseの成長の様子をグラ フ化! Splitのタイミングを表示 18
  • HBase Region Map graph  HBaseのリージョンの分布をサーバごとに表示 リージョンの数は各サーバで 均等になっていても、 テーブルごとのリージョン数 には偏りがあるかもしれない。 書き込み先のテーブルの リージョン配置が偏っていると、 書き込みが分散しない。 グラフ化して状況を可視化! テーブルごとに色分け 19
  • 他アプリケーションと合わせて監視 ENdoSnipeの監視対象と合わせて監視 1つ目の監視対象 Hadoop クラスタ ENdoSnipeによるフロントエンドの We b アプリケーション監視 2つ目の監視対象 Hadoop クラスタ 20
  • ムービーデモ 21
  • 3. Hadoop, HBaseの可視化事例 22
  • 1. HDFSのデータ偏り解消 新規ノードの追加、その他の理由で、 HDFSのデータが偏る場合がある bin/start-balancer.sh ムービーデモ 23
  • 2. MapReduceジョブ失敗その1  HBaseのExport に失敗した事例 ムービーデモ 24
  • 3. MapReduceジョブ失敗その2  Region Server の障害による MapReduceジョブの失敗 ムービーデモ 25
  • 4. ASAKUSAのサンプルプログラム カテゴリー別売上金額集計バッチ  売上データCSVファイル(2,600万行 1.2GB)を集計  2ノード、4ノードで実行 ムービーデモ 26
  • 4. halookの構成 27
  • halookの構成 1. Hadoop/HBaseからデータを取得する エージェント、データ蓄積部分は を利用 2. 画面表示はWGPをベースにしている halook ENdoSnipe WGP 28
  • 処理の流れ Hadoop からデータの取得 DBへの格納 DataCollector DB (PostgreSQL)Javelin Javelin Javelin リアルタイム 通知 過去データ取得NameNode JobTracker HBaseMaster halook Server 過去データ表示 リアルタイム 通知 29
  • データ取得部分(OSS版 ENdoSnipe)1. ENdoSnipe Javelinによるデータ取得  Javaプロセスに適用するエージェント  バイトコード・インスツルメンテーションにより、 JMXやログ以上に詳細な情報を引き出すことが可能2. ENdoSnipe DataCollector によるデータ収集、 リアルタイム通信 30
  • 画面表示部分(WGP)WGP - Web Graphical Platform1. HTML5、CSS3、JavaScript のプラットフォーム  halook画面の、 • Tree表示 • ウィンドウの分割 • グラフ表示 等は、WGPで実現。2. Ajaxリアルタイム通信が 簡単にできる仕組みを持つ 31
  • 5. 適用方法 32
  • 1. マスターノードの設定1. Javelinを置く2. Javelin設定ファイルを環境に合わせて 書き換える3. NameNode, JobTracker, HBaseMaster の JAVA_OPTS を書き換えて起動する 33
  • 2. データ収集サーバの設定1. 収集データ保存用DB(PostgreSQL)を準備する2. DataCollectorを置く3. DataCollectorの設定ファイルを 環境に合わせて書き換えて起動する4. Tomcat 7にhalookのwarファイルを置いて起動 (必要に応じて、設定ファイルを更新して再起動) 34
  • まとめ1. halookで Hadoop, HBaseを可視化しよう2. 実際の挙動を確認することで、 分散アプリケーションを正しく使おう 35
  • 参考1. halook 紹介ページ  http://www.acroquest.co.jp/OSS/halook/2. halook(GitHub)  https://github.com/endosnipe/halook3. ENdoSnipe OSS版(GitHub)  https://github.com/endosnipe/ENdoSnipe4. WGP(SourceForge)  http://wgp.sourceforge.net/ 36
  • でHadoopを可視化!ぜひ使ってみてください! 37