Cloudera Manager 4 の紹介
Upcoming SlideShare
Loading in...5
×
 

Cloudera Manager 4 の紹介

on

  • 3,700 views

2012/07/31に発表した、Cloudera QA セミナーで発表した資料です。

2012/07/31に発表した、Cloudera QA セミナーで発表した資料です。

Statistics

Views

Total Views
3,700
Views on SlideShare
3,403
Embed Views
297

Actions

Likes
5
Downloads
60
Comments
0

2 Embeds 297

http://www.cloudera.co.jp 292
https://twitter.com 5

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Cloudera Manager 4 の紹介 Cloudera Manager 4 の紹介 Presentation Transcript

  • CDHはなぜエンタープライズに適しているのか嶋内 翔 カスタマーオペレーションズエンジニア
  • アジェンダ•  Cloudera Manager 概要•  Cloudera Manager Free Edition •  Service and Configuration Manager •  Cloudera Manager API•  Cloudera Manager Enterprise Edition •  Service Monitor •  Host Monitor •  Activity Monitor •  Report •  Cluster Stats
  • エンタープライズにおける ソフトウェアの要件 View slide
  • CDH4 + Cloudera Manager 4.0:エンタープライズの要件とは…1 4 他のITとの統合   高可用性    2 セキュリティ   5 設定と構築の単純化  3 6 スケーラビリティと拡張性   グローバルサポートとサービス   View slide
  • ビッグデータ時代の運用管理ソフトウェアCLOUDERA MANAGER 4
  • Cloudera Manager(以下CM) とは?•  CDHを1つのシステムとして扱い、あらゆる構 築・運用のシナリオを統一されたインタフェー スから行うための運用管理ツール•  分散システムの熟知やコンポーネントの相互 依存性などのCDHの運用・構築に必須の知 識を必要としない
  • アーキテクチャ•  集約型管理サーバ •  全デーモンとサービスの設定情報を管理 •  サービスと設定の作成・管理をするためのWeb UI を提供•  エージェントは全てのノードで稼働 •  エージェントはHadoopの起動・停止に責任を持 つ •  サーバから指示されたコマンドを実行する •  デーモンのログへのアクセス手段を提供する
  • CM なしの CDH DN/RS/NM   DN/RS/NM   NN   DN/RS/NM   DN/RS/NM   RM   DN/RS/NM   DN/RS/NM  管理者   HMaster   DN/RS/NM   DN/RS/NM   Hue   DN/RS/NM   DN/RS/NM   DN/RS/NM   DN/RS/NM  
  • CM 導入後 CDH  クラスタ   DN/RS/NM   DN/RS/NM   NN   DN/RS/NM   DN/RS/NM   Cloudera     RM   DN/RS/NM   DN/RS/NM   Manager  管理者   HMaster   DN/RS/NM   DN/RS/NM   Hue   DN/RS/NM   DN/RS/NM   DN/RS/NM   DN/RS/NM   CMエージェント  
  • RAID構成のディスクで一台壊れても…… •  サービス停止は発生し ない •  ディスクを交換すれば 問題ない •  ディスク故障を最も致 命的な問題と考える人 は少ないはず
  • Hadoopクラスタを同じように考える CDH  クラスタ   DN/RS/NM   DN/RS/NM   NN   DN/RS/NM   DN/RS/NM   Cloudera     RM   DN/RS/NM   DN/RS/NM   Manager  管理者   HMaster   DN/RS/NM   DN/RS/NM   Hue   DN/RS/NM   DN/RS/NM   1ノード壊れてもサービス継続   DN/RS/NM   DN/RS/NM   サーバ故障が致命的な問題に CMエージェント   ならない  
  • Cloudera Manager 構成図 管理PC   DN/RS/NM   DN/RS/NM   管理者はwebブラウザで   CMにアクセス   スイッチ   DN/RS/NM   DN/RS/NM   DN/RS/NM   DN/RS/NM   CM   DN/RS/NM   DN/RS/NM   スイッチ   DN/RS/NM   DN/RS/NM   設定情報やログ等は   DN/RS/NM   DN/RS/NM   DB   DBに保存  
  • CM 基本用語•  サービス •  一つの処理のために協調稼働するデーモン群の単 位 •  例: HDFS, MapReduce, HBase•  ロール •  あるサービスを稼働させるにあたってホストに割り当 てられた役割 •  例: NAMENODE, DATANODE•  コマンド •  サービスを動作させるために管理者が実行する処理 •  例: 起動/停止、HDFSのフォーマット
  • CM4.0の新機能(一部)•  国際化対応(日本語化!)•  CM API •  管理用 REST API(後述)•  ホスト監視 •  CPUリソースなど、CDH以外の部分も監視でき るようになった•  複数クラスタ管理•  クライアント設定の管理
  • CMサーバインストール方法•  ウィザードによるインストール •  GUIベースの自己解凍形式インストーラ•  マニュアルインストール •  ユーザがyumなどでインストールする •  柔軟性の高いインストールをしたいならこちら
  • CMインストーラ•  ローカルリポジトリのサポート•  サポートDBの強化 •  デフォルトで組み込みPostgreSQLを使うので、 デモ用などの場合にDBサーバの構築は不要 •  MySQL/PostgreSQL/OracleDBに対応•  Debian/Ubuntuのサポート•  CDHのバージョンを選択可能(CDH3/CDH4)
  • クラスタの管理を簡単にするCLOUDERA MANAGER FREE EDITION
  • CM Free Edition•  ウェブサイトから自由にダウンロード可能•  監視、アラート、イベント、ログ検索、 Kerberosサポートはありません•  50ホストまで管理可能•  ライセンスキーでアップグレード可能(要再起 動)
  • Free Edition と Enterprise Edition の違い Free  Edi*on   Enterprise  Edi*on   サービス管理   ◯   ◯   設定管理   ◯   ◎(バージョン管理可能)   CDH一括インストール   ◯   ◯   API   ◯   ◯   管理ノード数制限   50ノードまで   無制限   監視機能   -­‐-­‐   ◯   セキュリティ機能   -­‐-­‐   ◯   イベント機能   -­‐-­‐   ◯   入手方法   無償でDL可   Cloudera  Enterprise  サブス クリプションがあれば誰で も利用可  
  • Service and ConfigurationManager
  • SCM•  Service and Configuration Manager (サー ビス・設定マネージャ)•  プロセスの起動・停止を行う•  設定の管理、配布を行う•  Free Edition ではほぼ全機能が使用可能 •  設定のバージョン管理機能のみEnterprise専用 (後述)
  • サービス管理画面
  • コマンドメニュー•  再起動なども簡単 •  HBase の graceful stop なども自動で行う•  クラスタ単位の再起動が可能 •  停止順序などもきちんと考慮
  • 設定管理画面•  設定に問題がある場合は警告する•  下の図では2箇所に警告が出ている •  NNと2NNのヒープサイズが異なる •  NNのヒープサイズが1GBを下回っている
  • Enterprise  Only  設定はバージョン管理できる
  • 設定変更後は再起動を促す
  • マルチクラスタサポート•  サービスはクラスタとしてグループ化される•  サービス設定と監視はクラスタ別に可能•  クラスタ単位での起動・停止•  異なるバージョンのクラスタを管理可能
  • 2クラスタ管理時 CDH3クラスタ   CDH4クラスタ   管理サービス  
  • クライアント設定管理•  クライアント = サービスを利用するためにアク セスするノード•  CM4からGUIで管理・自動配布できるように なった •  CM3ではxmlファイルの生成のみ•  クライアント上のユーザは環境変数等の設定 なしでクラスタにアクセス可能•  そのサービスのロールを持つ全ホストからア クセス可能
  • クライアント設定の配布とダウンロード
  • 3ステップHA•  3ステップでHDFS HAを設定可能•  マニュアル設定すると16ステップ必要•  CM用のカスタムフェイルオーバフェンシング ルールも設定
  • 3ステップ HA(ステップ1)1. スタンバイNNを選ぶ
  • 3ステップ HA(ステップ2)2. 共有editsディレクトリを指定する3ステップ目で設定が始まるので注意
  • サービス管理画面から見たHANNの片方がダウンして、アクティブのみで動いていることがわかる
  • CDH3からCDH4へのアップグレード•  重要: CMはCDHパッケージ自体のアップグ レードはしません•  パッケージがアップデートされたら、サービス ごとのアップグレードウィザードがある •  例: HDFS メタデータアップグレード•  古い設定プロパティは新しいプロパティに自 動置換してくれる
  • Cloudera Manager API
  • Cloudera Manager API•  Cloudera Manager を REST 経由で管理す るための API•  HTTPベーシック認証を使う•  JSONでデータの送受信を行う•  github で Python クライアントライブラリを公 開中 (Apache License) •  http://cloudera.github.com/cm_api/
  • 組み込みの API ドキュメント
  • 例:クラスタのリスト$ curl -u "admin:admin" http://$CM/api/v1/clusters{ "items" : [ { "name" : "Cluster 1 - CDH4", "version" : "CDH4" }, { "name" : "Cluster 2 - CDH3", "version" : "CDH3" } ]}
  • 例:コマンドの実行$ curl -X POST -u admin:admin http://$CM/api/v1/clusters/Cluster%201%20 -%20CDH4/services/my_hbase/commands/hbaseCreateRoot { "id" : 142, "name" : "CreateRootDir", "startTime" : "2012-05-06T20:56:57.918Z", "active" : true, "serviceRef" : { "serviceName" : "my_hbase", "clusterName" : "Cluster 1 - CDH4" } }
  • CLOUDRA MANAGER ENTERPRISE EDITION
  • Enterprise Editionとは?•  CM Free Edition に、監視やログ検索、 Kerberos認証などエンタープライズ領域にお いて必須の機能を追加したもの•  サブスクリプションをご購入いただいたお客様 なら自由に利用できます
  • Cloudera  Manager  Free  Edi*on   Cloudera  Manager  Ent.  Edi*on  自動構築   Yes   Yes  API   Yes   Yes    サービス及び設定管理   HDFS,  MapReduce,  MR2,  HBase,  Hue,  Oozie,  Zookeeper  の管理   Yes   Yes   高可用性と名前空間管理のサポート   Yes   Yes   設定の自動化   Yes   Yes   クライアント設定管理   Yes   Yes   監査と追跡   Yes   Yes   追加/再起動/デコミッションロールインスタンス   Yes   Yes   設定のバージョン管理   Yes  サービス監視   プロアクティブ・ヘルスチェック   Yes   ステータスサマリー   Yes   ヒートマップと性能監視   Yes   ホスト監視  セキュリティ   Free   Yes   LDAP  認証   Yes   Kerberos  設定   Yes  マルチクラスタ管理   Yes  インテリジェント・ログ管理   Yes  イベントマネジメントとアラート  アクティビティ監視   Enterprise   Yes   Yes  運用レポート   Yes  ファイルブラウザとクォータ管理   Yes  グローバルタイムコントロール   Yes  サポート統合   Yes  
  • Service Monitor
  • サービスモニタ•  サービスの状態をグラフィカルに監視する機 能•  表示できる情報はサービスによって異なる •  HDFS: IO, 壊れたレプリカ数, etc •  MapReduce: Map数, Reduce数•  アラートなどもリンクつきでモニタに表示 •  クリックすると詳細ページに飛ぶ
  • サービスモニタ(トップ画面)画面はSCMと変わらない
  • サービスモニタ(HDFS)
  • サービスモニタ(HDFS詳細)
  • ヘルスチェック•  サービスの状態を細かくチェック•  問題がある場合アラートを上げる
  • ヒートマップ•  多数のノードの状態を グラフィカルに表現•  ヘルスチェックの項目 の多くはヒートマップで 表現可能
  • ヒートマップ(赤は問題のあるノード)
  • サービスモニタ(HDFSチャート)•  メトリクスの経時変化をグラフ化して表示•  アラートが発生したら、赤いフラグで表示
  • サービスモニタ(MapReduceチャート)
  • Host Monitor
  • ホストモニタ•  ホストに関する情報を管理・監視できる •  IPアドレス、ホスト名、ラックID •  CPUコア数、メモリ量などのハードウェア情報 •  ロードアベレージ•  ホストインスペクタにより、ホストレベルでのヘル スチェックが可能 •  障害の原因として頻出のホスト名設定ミスなど
  • ホストモニタ(ホスト全体画面)
  • ホストモニタ(ホスト画面)
  • ホストモニタ(ホスト画面詳細)
  • ホストモニタ(ホスト画面チャート)
  • ホストモニタ(ホスト監視設定)
  • ホストインスペクタホストのヘルスチェックを能動的に行うことも可能インストールされているパッケージのバージョンチェックなども行う
  • Activity Monitor
  • アクティビティモニタ•  実行した(している)ジョブを監視可能 •  MapReduce, Hive, Pig, Oozie など全て•  map数/reduce数、mapの入出力バイト数な ど、MapReduceジョブに関するあらゆるデー タをグラフィカルに表示可能•  現在MR1のみ対応
  • アクティビティモニタ
  • アクティビティモニタ(ジョブ詳細画面)
  • アクティビティモニタ(ジョブ比較)•  類似ジョブの比較が可能 •  クエリ名、ジョブ名などで識別•  ジョブのメトリクスの平均及び標準偏差を算 出 •  選択中のジョブがどれだけ平均から離れている かを表示•  徐々に性能劣化していく、特定の日のジョブ だけ遅い、などが検出可能
  • アクティビティモニタ(ジョブ比較)
  • アクティビティモニタ(ジョブ比較) 平均と±2σ(=  95%信頼区間)を表示  選択中のジョブのメトリクスがどのくらい平均から離れている かをバーで表示
  • アクティビティモニタ(jobのkill)ジョブの強制終了が可能(MRとStreamingのみ)
  • アクティビティモニタ(タスクの分散)
  • アクティビティモニタ(タスクの分散) 異なる2つの評価軸による、タス クの分散を調べるヒートマップを 作成可能
  • アクティビティモニタ(タスクの分散) クリックするとそのタスクを実行 したタスクトラッカーの一覧が表 示される   遅いタスクがどのノードで実行され ていたか、容易に特定が可能
  • Log Search
  • ログ検索•  クラスタ全体のログを高速に検索可能•  以下のようなクエリで検索できる •  「7月6日 20:00から21:00の間に」 •  「ホストa,b,c,dにおいて」 •  「サービスmapreduce1で発生した」 •  「WARN以上のログ」•  結果をグラフィカルに表示するため、特定のホス トのログが極端に多いなども一目で識別可能
  • ログ検索
  • ログ検索(検索オプション)サービス、ログレベル、ホスト名、キーワードなどで絞り込み可能
  • ログ検索(結果ウィンドウ)ホスト別の集計結果を表示するので、ログが極端に多いホストを容易に特定可能
  • Event
  • イベント•  ヘルスチェックにおいて、イベントのしきい値 を柔軟に設定可能 •  重要、致命的の2段階•  CDH標準のログには出力されない情報をイ ベントとしてログ化 •  ログと同様検索が可能
  • イベント設定(HDFS)
  • イベント検索
  • Report
  • レポート機能•  クラスタのディスク使用率についてのレポートを作成することがで きる •  データサイズ別 •  ユーザ別 •  ディレクトリ別 •  etc.•  ファイルを検索したり、クォータを設定したりすることも可能•  ユーザ別のMapReduceアクティビティも閲覧することができる•  CSVやExcel形式でのダウンロードも可能
  • レポート機能•  トップ画面
  • レポート機能(ユーザ別ディスク使用量)
  • レポート機能(ユーザ別ディスク使用履歴)
  • Cluster Stats
  • サポート連携: Cluster Stats•  ユーザはボタン一つでクラスタの情報をzip形式に圧縮できる•  クラスタ情報の一例 •  ログ •  設定 •  メトリクス •  イベント •  ホスト情報•  自動アップロード、自動定期アップロードが可能•  自動送信はデフォルトで無効•  ユーザはzipファイルをダウンロード可能
  • Cluster Stats
  • Cluster Stats 結果画面
  • Cluster Stats 結果(jsonで保存){ "load_avg" : [ 4.11, 2.68, 1.31 ], "physical_memory_total" : 6260060160, "physical_memory_used" : 3595923456, "virtual_memory_total" : 2097434624, "virtual_memory_used" : 86016, "mountpoint_available_space_bytes" : { "/" : 205013987328, "/boot" : 85797888 }}
  • まとめ
  • Cloudera Manager•  構築・運用が大変なHadoop の管理を楽にす る•  数100ノードのクラスタを数分で構築可能•  Enterprise Edition ならログ検索、アラート機 能なども搭載•  管理に時間をとられたくない人はまず試して みましょう
  • Thank ご質問はこちら: You! info-jp@cloudera.com   03(6228)7930   cloudera.co.jp   twiVer.com/   ClouderaJP facebook.com/   cloudera