Apache Ambari Overview -- Hadoop for Everyone

© Hortonworks Inc. 2011 – 2015. All Rights Reserved
Apache Ambari
Hadoop全てのユーザーのために
March 10, 2015
Hadoopのことなら、Hortonworksに
左居有作 (Yusaku Sako)
Hortonworks

アジェンダ
概要
オープンソース活動
クラスタ運用機能
拡張性
今後の計画と展望
Q＆A

Apache Ambariとは？
Hadoopクラスタの運用・
使用を簡単にする、
１００％オープンソースの
プラットフォーム

Apache Ambariのミッション
大スケールでの

運用を簡単に

大スケールでクラスタのインストール、管理、監視

コミュニティーに

よる拡張を簡単に

コミュニティーによるイノベーションを推進

既存Enterprise
So,wareとの統合

新しい機能の導入と提供の加速

Hadoop全ての一元
アクセス

クラスタ管理だけでなく、

全てのHadoopのユーザのアクセスポイト
使いやすさの徹底追及

１００％オープンソース == 速いイノベーション
オープンソースコミュニティ @Apache Software Foundation
•  貢献者 100人以上 / コッミター 50人以上
•  Ambari ユーザーグループのメンバー 280人以上
Ambari 1.6.0
May 2014
321 課題解決
Ambari 1.5.1
Apr 2014
252 課題解決
Ambari 1.5.0
Apr 2014
968 課題解決
Ambari 1.6.1
Jul 2014
586 課題解決
Ambari 1.7.0
Dec 2014
1620 課題解決
Ambari 2.0.0
Mar 2015 (予定)
1700+ 課題解決
現在の最新バージョン

Core Features
クラスタ運用機能

インストール・ウィザード

クラスタ・ダッシュボード

サービス・ダッシュボード

サービス管理 (例：HDFS）

ホスト管理

設定変更

設定バージョンの比較

監視・通知
Email
SNMP
通知方法

Ambari Extensibility
Stacks | Views | Blueprints
Ambariの拡張性
スタック｜ビュー｜ブループリント

拡張機能
スタック
Stacks
ブループリント
Blueprints
ビュー
Views
プラガブルな拡張
•  Ambariのコードを変えることなく、新しい機能の追加や統合を可能にする
•  コミュニティーからの貢献が簡単に

Ambari スタック
主な目的：
まだAmbariで提供されていない新サービスの管理機能の追加
既存サービスの新機能の導入
AMBARI

{REST}
<ambari-web>
Stacks
HDFS
YARN
MR2

Hive

Pig

Oozie
HBase

Storm
Falcon

Stack
Advisor

Ka@a
Knox
＋ Ranger

Spark
Slider

スタックの構成
スタックはサービスとレポを定義
•  スタックは何のサービスで構成されているか、パッケージのダウンロード元はどこか（レポ）
各サービスの定義
•  サービスはどんなコンポーネントで構成されているか、これらをどうやって管理するのか
•  start, stop, status, install, configureなどのコマンドはコマンドスクリプトで定義
設定の推奨・警告
•  静的・動的制約や依存性のチェック
AMBARI

SERVER

スタック
コマンド

スクリプト

サービス定義

AMBARI

AGENT/S

AMBARI

AGENT/S

AMBARI

AGENTS

pythonxml
レポ定義

スタックのInheritance(継承)サポート
HDP 2.0 スタック
HDFS,YARN, MR2, ZOOKEEPER, HBASE, HIVE,
OOZIE, PIG, FLUME, SQOOP
STORM, FALCON, TEZを追加
KAFKA, SPARK, KNOX, SLIDER, RANGERを追加
目的：再利用でスタックの定義の「てま」を最小限に

Ambari ビュー
目的:
•  Ambari Web UI内で様々なビュー（アプリ）を提供
•  ビューはクラスタ管理者／開発者／データアナリスト用などと多目的
•  ビューの開発は普通のWebアプリを開発する感覚
•  開発するにあったてAmbariのコアコードの理解や変更を必要としないのでコミュニティーにとって
貢献がしやすい

ビューの例（管理者向け）
Capacity Scheduler　
Queue Manager

ビューの例（一般ユーザー向け）
HDFS File Browser

ビューの例（開発者向け）
TezのジョブのトラブルシューティングHiveクエリをTezで走らせた場合の
トラブルシューティング

ビューの例（データアナリスト向け）
Hiveクエリの作成・編集・実行 Pig スクリプトの作成・編集・実行

クラスタがAmbariの管理上にない場合でもOK
•  Ambariの管理上にない既存クラスタに対してもビューの使用は可能
•  複数のクラスタに対してのビューの使用も可能
Ambari
Server
Ambariでインストールされた

クラスタ

Ambari
Server 「スタンドアローン・モード」
または
「ビュー・オンリー・モード」
Ambariでインストールされてない

クラスタ

クラスタ管理
ビューの使用
ビューの使用
ビューの使用

Blueprints

Ambari ブループリント
目的：
•  クラスタ・インストールを自動化（特にクラウド環境で役に立つ）
•  実例：Microsoft Azureポータル内でのHDPクラスタインストール
•  クラスタのスケールアップ／ダウンを簡素化

ブループリントとブループリントAPI
ブループリントとはクラスタの設定状態をJSONで表したもの
ブループリントAPIに入力してクラスタをインストール
Blueprint


Ambari
Server

Blueprint
API

ブループリントAPI

IMPORT
インポート
CLUSTER

クラスタ

INSTANTIATE
作成

例：100台クラスタのインストール
{
"configurations" : [
{
”hdfs-site" : {
"dfs.datanode.data.dir" : ”/hadoop/1,/hadoop/2,/hadoop/3"
}
}
],
"host_groups" : [
{
"name" : ”master-host",
"components" : [
{ "name" : "NAMENODE” },
{ "name" : "RESOURCEMANAGER” },
…
],
"cardinality" : "1"
},
{
"name" : ”worker-host",
"components" : [
{ "name" : ”DATANODE” },
{ "name" : ”NODEMANAGER” },
…
],
"cardinality" : "1+"
},
],
"Blueprints" : {
"blueprint_name" : ”multi-node-hdfs-yarn",
"stack_name" : "HDP",
"stack_version" : "2.0"
}
}
{
"blueprint" : ”multi-node-hdfs-yarn",
"host_groups" :[
{
"name" : ”master-host",
"hosts" : [
{
"fqdn" : ”master001.ambari.apache.org”
}
]
},
{
"name" : ”worker-host",
"hosts" : [
{
"fqdn" : ”worker001.ambari.apache.org”
},
{
},
…
{
}
]
}
]
}
1. POST /blueprints/my-blueprint 2. POST /clusters/MyCluster

実行中のクラスタの復元
実行中のクラスタからブループリントをエクスポートが可能
設定が同じまたはほぼ同じクラスタの復元に役立つ
CLUSTER

クラスタ

EXPORT
エクスポート
Blueprint


GET /api/v1/clusters/mycluster?format=blueprint

Supported Platforms
プラットフォーム・サポート

OS/JDKサポート(Ambari 1.7時点）
OS:
•  RedHat, CentOS, Oracle Linux 5 / 6
•  SUSE / SLES 11
•  Ubuntu 12
JDK:
•  Oracle/Open JDK 6 / 7

Databaseサポート
Ambari Database Oozie Hive Metastore
MySQL 5
Oracle 11g
PostgreSQL 8, 9
Default MySQLPostgreSQL Derby

ユーザー認証サポート
LDAP Server／Active Directoryとの統合 (オプション）
デフォルトはAmbari Database
LDAP Server
Active Directory
Ambari
Database
Ambari Server
ユーザー認証

Futures
今後の計画と展望

Ambari 2.0.0の主な新機能
コア機能
+自動アップグレード（ダウンタイムゼロ）
+Ambari Alerts 新監視／通知システム
+Ambari Metrics 新メトリックスシステム
+Kerberosの統合自動化 (セキュリティ）

Ambari 2.1.0の主な新機能（予定）
コア機能
使いやすさに焦点
+サービスの設定をより簡単・直感的に
+ダッシュボードのフルカスタマイズ
プラットフォーム
+OS・JDK・Databaseサポートの拡張
•  RedHat / CentOS / Oracle Linux 7
•  Debian 7
•  Windows (ベータ)
•  JDK 8
•  Oracle 12c

Hadoopの「顔」としてのビジョン
今までのHadoopはエキスパート用
これからはHadoopの管理者だけでなく、Hadoopの全てのユーザーがAmbari
のビューを使ってクラスタを使用する
•  Hadoopを全てのユーザーにとって身近なものに
•  コミュニティーよってのイノベーションが鍵を握っている

お試しください
Quick Start Guideでどうぞ
ラップトップで３台クラスタが簡単に立ち上げられます
https://cwiki.apache.org/confluence/display/AMBARI/Quick+Start+Guide

Ambariについての情報はこちらで
Resource Location
Apache Ambari プロジェクトサイト http://ambari.apache.org
Ambari Project Wiki https://cwiki.apache.org/confluence/display/AMBARI
Ambari Project JIRA https://issues.apache.org/jira/browse/AMBARI
Ambari ユーザーメーリングリスト user@ambari.apache.org　（登録はuser-subscribe@ambari.apache.org）
Ambari 開発者メーリングリスト dev@ambari.apache.org　（登録はdev-subscribe@ambari.apache.org）

拡張ポイントの詳しくはこちらで
Capability Link
Stacks
スタック
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=38571133
https://github.com/apache/ambari/tree/trunk/ambari-server/src/main/resources/
stacks/HDP/
Blueprints
https://cwiki.apache.org/confluence/display/AMBARI/Blueprints
Views
ビュー
https://cwiki.apache.org/confluence/display/AMBARI/Views
https://github.com/apache/ambari/blob/trunk/ambari-views/docs/index.md
https://github.com/apache/ambari/tree/trunk/ambari-views/examples
https://github.com/apache/ambari/tree/trunk/contrib/views

Apache Ambari Overview -- Hadoop for Everyone

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Apache Ambari Overview -- Hadoop for Everyone

Similar to Apache Ambari Overview -- Hadoop for Everyone (20)

More from Yifeng Jiang

More from Yifeng Jiang (16)

Recently uploaded

Recently uploaded (9)

Apache Ambari Overview -- Hadoop for Everyone