Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

1

Share

世界征服を目指すAmbariだからこそ期待する5つのポイント (AmbariMeetup Tokyo #1 発表資料)

(AmbariMeetup Tokyo #1 発表資料)
世界征服を目指すAmbariだからこそ期待する5つのポイント

2016/4/18
株式会社NTTデータ
OSSプロフェッショナルサービス
鯵坂 明

Related Books

Free with a 30 day trial from Scribd

See all

世界征服を目指すAmbariだからこそ期待する5つのポイント (AmbariMeetup Tokyo #1 発表資料)

  1. 1. Copyright © 2016 NTT DATA Corporation 2016/4/18 株式会社NTTデータ OSSプロフェッショナルサービス 鯵坂 明 世界征服を目指すAmbariだからこそ 期待する5つのポイント Ambari Meetup Tokyo #1
  2. 2. 2Copyright © 2016 NTT DATA Corporation 自己紹介 - 鯵坂明  鯵坂 明 (@ajis_ka)  NTTデータ システム技術本部  Apache Hadoopなどのサポート業務を主に担当  Apache Hadoop committer & PMC member  ドキュメント  バグ修正  リリース管理など  Apache Ambari contributor  使ってみて困ったことをいくつかフィードバック
  3. 3. 3Copyright © 2016 NTT DATA Corporation はじめに  タイトルの由来
  4. 4. 4Copyright © 2016 NTT DATA Corporation SIerの立場から  多種多様な環境への対応  多種多様なお客様  SLAも様々  要件に応じてカスタマイズできることが重要  メンテナンス性  これまでのツール(Puppet/Chef + Ganglia + Nagios/Zabbix)できていたことが全てできるのか?  扱うツールの数を、なるべく減らしたい  ベンダ中立  ロックインはなるべく排除したい
  5. 5. 5Copyright © 2016 NTT DATA Corporation 世界征服を目指すAmbariだからこそ期待する 5つのポイント 1. 任意のパラメータを設定したい 2. Hadoop以外も設定したい 3. Ambari Server HA 4. ベンダ中立性 5. ドキュメントのさらなる充実
  6. 6. 6Copyright © 2016 NTT DATA Corporation 1. 任意のパラメータを設定したい  パラメータのvalidationが厳しい  必須のパラメータを外せない  通常は、良い方向に働く  AMBARI-13373 のようなバグを踏むと大変  HA環境だと不要なパラメータが必須扱いだったため、HA 環境でHDFSのバランサーが動作しない (2.2.0で解決済)  参考: -confオプションでconfigを差し替えてコマンドラ インからバランサーを起動すれば回避できる
  7. 7. 7Copyright © 2016 NTT DATA Corporation 2. Hadoop以外も設定したい  現状のAmbariでできない設定  OS  Ambari Server  Ambari Agent  OS や Ambari Agentの設定を自動化するため、やはり Puppet/Chefなどのツールが必要  ツールが増えるとメンテナンスコストがかさむ  ツール間の境界を決めるのも面倒  Kickstart + Ambari で構築を終わらせたい
  8. 8. 8Copyright © 2016 NTT DATA Corporation 3. Ambari Server HA  Ambari Alertは便利なツール  監視に失敗すると、メール/SNMP通知する  最初から数十の項目が用意されている  だが、Ambari Serverが止まると監視が全て止まる  割り切って、スタンバイしていたAmbari Serverを起動  割り切れない場合は ...?
  9. 9. 9Copyright © 2016 NTT DATA Corporation 4. ベンダ中立性  デフォルトだとHDPしかインストールできない  コミュニティ版のApache Ambariなんだから、コミュニ ティ版のApache XXXがインストールされるべき  Apache Bigtopでビルドされているrpmやdebを簡単に インストールできるとうれしい  HDPにないコンポーネントもインストールしたい  Impala  Presto  Hue  etc...
  10. 10. 10Copyright © 2016 NTT DATA Corporation 5. ドキュメントのさらなる充実  運用手順  マスタサーバ故障時の復旧  どこにもない!  Ambari Server 故障時の復旧  どこにもない!  Ambari Agent, Ambari Serverのログ設定方法  どこにもない!  APIs  REST API は充実  Custom Service を作る場合、現状ソースコードを読ま ざるを得ない
  11. 11. 11Copyright © 2016 NTT DATA Corporation 世界征服を目指すAmbariだからこそ期待する 5つのポイント 1. 任意のパラメータを設定したい 2. Hadoop以外も設定したい 3. Ambari Server HA 4. ベンダ中立性 5. ドキュメントのさらなる充実
  12. 12. 12Copyright © 2016 NTT DATA Corporation 世界征服を目指すAmbariだからこそ期待する 5つのポイント 1. 任意のパラメータを設定したい 2. Hadoop以外も設定したい 3. Ambari Server HA 4. ベンダ中立性 5. ドキュメントのさらなる充実 Custom Ambari Service
  13. 13. 13Copyright © 2016 NTT DATA Corporation Custom Ambari Serviceとは?
  14. 14. 14Copyright © 2016 NTT DATA Corporation 何をするのか?  各種設定ファイルの配布  /etc/hosts  ラックアウェアネススクリプト  logrotate設定  Ambari Server, Ambari Agentの設定  etc...  OSのユーザ・グループを追加  NTPの設定  THP (Transparent Huge Pages) の無効化  Hot fixes  and more...
  15. 15. 15Copyright © 2016 NTT DATA Corporation どうやって実装するのか?  公式ドキュメントに実装方法が記載されている  中身はこんな感じのPythonスクリプト群  実物はもっと綺麗 from resource_management.libraries.script import Script config = Script.get_config() hostname = config['hostname'] hosts = config['clusterHostInfo'] if hostname in hosts['namenode_host'] # NameNodeに対する設定 if hostname in hosts['journalnode_hosts'] # JournalNodeに対する設定 ...
  16. 16. 16Copyright © 2016 NTT DATA Corporation どうやって実装するのか?  configの実体はjsonファイルをパースしたもの  ClientConfigResourceProviderから読むとよさそう Map<String, Object> jsonContent = new TreeMap<String, Object>(); jsonContent.put("configurations", configurations); jsonContent.put("configuration_attributes", configurationAttributes); jsonContent.put("commandParams", commandParams); jsonContent.put("clusterHostInfo", clusterHostInfo); jsonContent.put("hostLevelParams", hostLevelParams); jsonContent.put("hostname", hostName); jsonContent.put("clusterName", cluster.getClusterName()); jsonConfigurations = gson.toJson(jsonContent);
  17. 17. 17Copyright © 2016 NTT DATA Corporation FAQ  オープンソース化されるのか?  No  秘伝のタレが入っているから (特にOSの設定)  とてもシンプルなロジック  作るのはそれほど難しくないと思う  Hot fixとは?  AmbariやHadoopの起動スクリプトを修正  同じ内容をコミュニティへフィードバック  AMBARI-14945 (JVMの設定が想定どおりにならない)  AMBARI-15588 (.out への書き込みにappendフラグを 入れる)
  18. 18. 18Copyright © 2016 NTT DATA Corporation まとめ  Apache Ambariは、Hadoopを使う上で便利なツール  ただし、Ambariだけで完結しない部分も多い  何らかの方法でギャップを埋める必要がある  他のツールに頼る  パッチを書く  Custom Ambari Serviceを使ってみる  Apache Ambariの更なる発展を期待しています!
  19. 19. Copyright © 2011 NTT DATA Corporation Copyright © 2016 NTT DATA Corporation
  • yasukazunagatomi

    Sep. 17, 2017

(AmbariMeetup Tokyo #1 発表資料) 世界征服を目指すAmbariだからこそ期待する5つのポイント 2016/4/18 株式会社NTTデータ OSSプロフェッショナルサービス 鯵坂 明

Views

Total views

4,526

On Slideshare

0

From embeds

0

Number of embeds

1,426

Actions

Downloads

0

Shares

0

Comments

0

Likes

1

×