Cloudera Manager 5 (hadoop運用)  #cwt2013
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

Cloudera Manager 5 (hadoop運用) #cwt2013

on

  • 3,199 views

#cwt2013 Clouderaの嶋内 @shiumachi によるCloudera Manager ...

#cwt2013 Clouderaの嶋内 @shiumachi によるCloudera Manager 5のスライドを公開しました。統合的リソース管理機能、スナップショットなど、エンタープライズで必須の機能について紹介しています

Statistics

Views

Total Views
3,199
Views on SlideShare
3,141
Embed Views
58

Actions

Likes
8
Downloads
40
Comments
0

1 Embed 58

https://twitter.com 58

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Cloudera Manager 5 (hadoop運用) #cwt2013 Presentation Transcript

  • 1. Cloudera  Manager   2013/11/07   Cloudera株式会社 嶋内 翔   1  
  • 2. 自己紹介   嶋内 翔(しまうち しょう)   •  2011年4月にClouderaの最初の日本人社員として入 社   •  テクニカルサポート業務をメインに、日本における技 術に関係する業務全般を担当   •  email:  sho@cloudera.com   •  twi@er:  @shiumachi   •  2  
  • 3. Hadoop オペレーションの日本語訳が発売予定です   •  •  •  •  •  •  3   11月下旬発売 通称「パカ」本  (?) Cloudera  の Eric  Sammer  著 翻訳は安心の玉川竜司さん レビューを手伝ってました 日本語版のみの付録も執筆!
  • 4. Cloudera  Impala  の⽇日本語フリーブック •  •  •  オライリーの「インパラ本」、日本語PDF版が無償公開される予定です! Cloudera  の John  Russell  著 Hadoop、HBase、Hadoopオペレーション、 プログラミングHiveなどを翻訳された 玉川竜司さんが翻訳! 「これまでClouderaの皆 さんにご尽力いただいた 翻訳レビューへの感謝の 気持ちとして、Cloudera World Tokyo開催のお祝 いに翻訳寄贈します!」 4  
  • 5. 本日のアジェンダ   Cloudera  Manager  の背景   •  Cloudera  Manager  の基本   •  •  Hadoop  クラスタを構築する   •  •  Hadoop  クラスタを運用する   •  •  起動・停止、監視、バックアップ・リカバリなど   Hadoop  クラスタの障害解析   •  5   インストールと設定   ログ検索やチャート  
  • 6. Cloudera  Manager  の背景   6  
  • 7. Hadoop  クラスタの問題  (1)     構築が大変   •  インストール手順が複雑   •  •  •  SSHの設定   ネットワークの設定   Hadoop自体の設定   •  •  •  •  RDBMSの設定   Javaのインストール   サーバの数がとにかく多い   •  7   xmlファイルの編集   100ノードの構築は手作業では無理  
  • 8. Hadoop  クラスタの問題(2)   運用が大変   •  起動・停止の順序   •  •  •  設定ファイルの管理   •  •  •  あるノードだけ変更し忘れ   複数のハードウェアスペックがあると非常に大変   監視   •  8   HBase  →  MapReduce  →  HDFS  の順に停止   他のコンポーネントがあるとさらに複雑に   監視項目をきちんと網羅できるか?  
  • 9. Hadoop  クラスタの問題(3)   障害解析が大変   •  全部のログを調査はできない   •  •  •  9   スレーブ:  1ノードあたりGB単位のログ   マスター:  1000ノード級になると、1分間にGB単位のログ   ハードウェア障害は特定が容易、しかし遅延の特定 は極めて困難  
  • 10. Cloudera  Manager  なら…   •  簡単に構築ができます   •  •  簡単に運用できます   •  •  •  設定のバージョン管理が可能   Hadoopサービスの監視や、ジョブ監視が可能   簡単に障害解析ができます   •  •  10   100ノードへのインストールもたった1時間   管理画面から何百ノードのログファイルを検索可能   障害ノードをグラフィカルに表示  
  • 11. Cloudera  Managerは2種類   •  Cloudera  Standard   •  •  •  •  Cloudera  Enterprise   •  •  •  •  •  •  •  11   無償利用可能   サービス管理   サービス監視   サブスクリプションご購入者向け   ローリングリスタート・アップデート   LDAP連携   設定の履歴管理とロールバック   バックアップ・ディザスタリカバリ機能(アドオン)   アクセス監査(アドオン)   サポートシステム連携  
  • 12. Cloudera  Managerの   基本用語   デプロイメント:  CMサーバーと 全管理対象ホストの設定   クラスタ:  同じバージョンのソフト を動作させるホストのグループ。 HDFSは同一クラスタ内に一つまで   デプロイメント   クラスタ   “Prod  (CDH4)”   ホスト:  CMエージェントを稼働さ せるマシン(通常は物理サーバ)   ラック:  通常は同じスイッチによっ ホスト   “a001”   ラック   “/r1”   ホスト   “b001”   ラック   “/r2”   12   サービス   “HDFS”   て管理される、同一ラック内のマシ ン群   サービス:  クラスタ上のシステム。 ロール   ロール設定   グループ   “datanodes”   分散するもの(例:HDFS)もあれば、 分散しないものもある(例:Oozie)   ロール:  特定のホストにひもづけ られた、システムの参加者(例:特 定のデータノード)   ロール設定:  ロールの集合(全て ロール   ロール設定   グループ   “namenodes”   同一タイプ)。これらは同一の設定 を用いる   設定:  特スコープに関連する、 キーと値のペア  
  • 13. Cloudera  Manager  5  での新機能   •  リソース管理機能   •  サービス単位だけでなく、ロール単位でのリソース配分が 可能になった   YARN対応(監視含む)   •  HDFS  /  HBase  スナップショットの管理   •  チャート機能の強化   •  サポート対象CDH   •  •  •  13   CM5  /  CDH5   CDH5  /  CDH4   CDH3  はサポート対象外  
  • 14. Hadoopクラスタを構築する(1)     インストール   14  
  • 15. Cloudera  Manager  によるクラスタ構築   ネットワーク内のノードを識別し、必要なパッケージを インストール   •  必要なサーバ設定は2つだけ   •  •  •  OSのインストール   SSHの設定   デモビデオ (CM4)     h@ps://www.youtube.com/watch?v=DuBYXhB_IyA     15  
  • 16. パーセル  (Parcel)   CM4.5から導入された新し いパッケージングシステム   •  root権限は不要   •  rpmでなくtar.gzで管理   •  ダウングレードも可能   •  パッケージの単位は「パー セル」   パーセルが   リポジトリにある   •  •  16   「◯◯のrpmパッケージ」と 同じように、「◯◯のパーセ ル」と表現する   完全削除   ダウンロード   パーセルが   CMサーバにある   削除   配布   パーセルが ホストに配布済み   デアクティベート   アクティベート   パーセルが アクティベート済み
  • 17. パーセルの設定画面   17  
  • 18. Hadoopクラスタを構築する(2)     設定   18  
  • 19. 設定管理画面   •  •  設定に問題がある場合は警告する   下の図では2箇所に警告が出ている   •  •  19   NNと2NNのヒープサイズが異なる   NNのヒープサイズが50MBを下回っている  
  • 20. 設定はバージョン管理できる   20   Enterprise  
  • 21. 設定変更後は再起動を促す   21  
  • 22. マルチクラスタサポート   サービスはクラスタとしてグループ化される   •  サービス設定と監視はクラスタ別に可能   •  クラスタ単位での起動・停止   •  異なるバージョンのクラスタを管理可能   •  22  
  • 23. 2クラスタ管理時   CDH5クラスタ   CDH4クラスタ   管理サービス   23  
  • 24. クライアント設定管理   クライアント設定とサービス設定は別に管理されてい る   •  クライアント =  サービスを利用するためにアクセスす るノード   •  クライアント上のユーザは環境変数等の設定なしで クラスタにアクセス可能   •  そのサービスのロールを持つ全ホストからアクセス 可能   •  24  
  • 25. クライアント設定の配布とダウンロード   CM5では「View  Client  Configuraeon  URLs」からダウンロードする   25  
  • 26. Hadoop  クラスタを運用する(1)     起動・停止   26  
  • 27. ホーム画面   27  
  • 28. コマンドメニュー   再起動なども簡単   •  クラスタ単位の再起動が可能   •  •  •  28   停止順序などもきちんと考慮   Enterprise版ならローリングリ スタートが可能  
  • 29. Hadoop  クラスタを運用する(2)   監視   29  
  • 30. サービスモニタ   サービスの状態をグラフィカルに監視する機能   •  表示できる情報はサービスによって異なる   •  •  •  アラートなどもリンクつきでモニタに表示   •  30   HDFS:  IO,  壊れたレプリカ数,  etc   クリックすると詳細ページに飛ぶ  
  • 31. サービスモニタ(HDFS)   ホスト名   31  
  • 32. サービスモニタ(YARN)   32   CM5  /  CDH5  
  • 33. ヘルスチェック   サービスの状態を細かく チェック   •  問題がある場合アラート を上げる   •  33  
  • 34. 問題発生時   ホスト名   34  
  • 35. ホストモニタ   •  ホストに関する情報を管理・監視できる   •  •  •  •  ホストインスペクタにより、ホストレベルでのヘルス チェックが可能   •  35   IPアドレス、ホスト名、ラックID   CPUコア数、メモリ量などのハードウェア情報   ロードアベレージ   障害の原因として頻出のホスト名設定ミスなど  
  • 36. ホストモニタ(ホスト全体画面)   ホスト名   36   IP   アドレス  
  • 37. ホストモニタ(ホスト画面)   ホスト名   IPアドレス   37   ホストID  
  • 38. ホストインスペクタ   ホストのヘルスチェックを能 動的に行うことも可能   インストールされているパッ ケージのバージョンチェック なども行う 38   ホスト名  
  • 39. アクティビティモニタ   実行した(している)ジョブを監視可能   •  対応サービス   •  •  •  MapReduce1   MapReduce2     •  •  •  •  39   Hive   Pig   Oozie   Impala   CM5  /  CDH5  
  • 40. アクティビティモニタ   40  
  • 41. Hadoop  クラスタを運用する(3)   リソース管理   41  
  • 42. リソース管理   •  CM5  /  CDH5   ロールベースでのリソース管理機能が追加   •  IT部門:  20%、マーケティング部門:  30%     サービスベースのリソース管理もUIが大幅に強化   •  当然YARNもリソース管理対象   •  Impalaのリソース管理にYARNが使えるようになった   •  スケジューラもGUIで設定可能   •  42  
  • 43. リソース管理   43   CM5  /  CDH5  
  • 44. Hadoop  クラスタを運用する(4)   バックアップ・リカバリ   44  
  • 45. Backup  and  Disaster  Recovery  (BDR)   Enterprise   Cloudera  Enterprise  のアドオン機能の一つ   •  クラスタ間でデータ転送を行い、バックアップ機能を 提供する   •  機能   •  •  •  45   レプリケーション   スナップショット   CM5  /  CDH5  
  • 46. レプリケーション   クラスタ間でデータをバッ クアップする   •  Hiveメタストアもバックアッ プ対象   •  主要機能   •  •  •  •  スケジューリング   監視とアラート   dry-­‐run   •  46   実行前にバックアップにか かる時間を見積もり可能   Enterprise  
  • 47. スナップショット   HDFSやHBaseをあらゆるバージョンに復元可能   47   Enterprise   CM5  /  CDH5  
  • 48. スナップショット   スナップショットもスケジューリング可能   48   Enterprise   CM5  /  CDH5  
  • 49. Hadoop  クラスタを運用する(5)   監査   49  
  • 50. Cloudera  Navigator   Enterprise   コンテンツ管理用のCloudera  Manager  アドオン   •  現在は監査ログの取得ができる   •  実装予定の機能   •  •  •  50   data  linage  (データの出力元や変換処理の内容などを追 跡調査できるようにする機能)   ライフサイクルマネジメント  
  • 51. Cloudera  Navigator  の監査ログ   51   Enterprise  
  • 52. Hadoop  クラスタの障害解析(1)   ログ検索   52  
  • 53. ログ検索   クラスタ全体のログを高速に検索可能   •  以下のようなクエリで検索できる   •  •  •  •  •  53   「7月6日  20:00から21:00の間に」   「ホストa,b,c,dにおいて」   「サービスmapreduce1で発生した」   「WARN以上のログ」  
  • 54. ログ検索   54  
  • 55. イベント   •  ヘルスチェックにおいて、イベントのしきい値を柔軟 に設定可能   •  •  CDH標準のログには出力されない情報をイベントとし てログ化   •  55   重要、致命的の2段階   ログと同様検索が可能  
  • 56. イベント設定(HDFS)   56  
  • 57. イベント検索   57  
  • 58. Hadoop  クラスタの障害解析(2)   問題箇所のグラフィカルな表示   58  
  • 59. チャート機能   メトリクスをグラフ化して表示   ほぼ全てのメトリクスが対象   CM4.5で導入、CM5で大幅に機能強化       60  
  • 60. 新しいチャート機能   •  グラフの種類が大幅に追加   •  •  •  •  •  •  •  61   ヒートマップ   ヒストグラム   折れ線グラフ   面グラフ   棒グラフ   散布図   指数・対数表示に対応   CM5  /  CDH5  
  • 61. 全サーバの全ディスクの   IOPSヒートマップ   62   CM5  /  CDH5  
  • 62. TSQuery   チャート生成専用のクエリ言語   •  工夫次第であらゆるチャートが生成可能   •  YARNも対応済み     CM5  /  CDH5   •  メトリクスの一覧はここで閲覧できる   (たくさんある)   63  
  • 63. まとめ   64  
  • 64. Cloudera  Manager   構築・運用が大変なHadoopの管理を楽にします   •  100ノードのクラスタを1時間で構築可能   •  Enterprise  Edieon  なら監視やアラートなども搭載   •  Hadoopを使うなら   Cloudera  Manager  5  を選びましょう   ダウンロードはこちら   h@ps://ccp.cloudera.com/display/SUPPORT/Downloads   65  
  • 65. CDHコミュニティ・MLの紹介   CDH  ユーザ メーリングリスト(日本語)   cdh-­‐user-­‐jp@cloudera.org   CDH  の質問についてはこちら     Cloudera  ニュースレター   h@p://www.cloudera.co.jp/newsle@er   Cloudera  に関するニュースをお届けします   CDH/CMの最新情報・使い方なども紹介します       66    
  • 66. We  are  Hiring!   •  Clouderaは貴方を求めています!!   •  ソリューションアーキテクト   •  •  カスタマーオペレーションエンジニア(サポート)   •  •  •  •  Hadoopを使ったコンサルティングやモデリング   世界中のお客様のHadoopを守る!   インストラクター   システムエンジニア(技術営業)   セールス   興味のある方は   info-­‐jp@cloudera.com  まで   ご連絡下さい!   67
  • 67. We  are  Hiring!   68
  • 68. 69