Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

世界征服を目指すAmbariだからこそ期待する5つのポイント (AmbariMeetup Tokyo #1 発表資料)

3,542 views

Published on

(AmbariMeetup Tokyo #1 発表資料)
世界征服を目指すAmbariだからこそ期待する5つのポイント

2016/4/18
株式会社NTTデータ
OSSプロフェッショナルサービス
鯵坂 明

Published in: Technology
  • Be the first to comment

世界征服を目指すAmbariだからこそ期待する5つのポイント (AmbariMeetup Tokyo #1 発表資料)

  1. 1. Copyright © 2016 NTT DATA Corporation 2016/4/18 株式会社NTTデータ OSSプロフェッショナルサービス 鯵坂 明 世界征服を目指すAmbariだからこそ 期待する5つのポイント Ambari Meetup Tokyo #1
  2. 2. 2Copyright © 2016 NTT DATA Corporation 自己紹介 - 鯵坂明  鯵坂 明 (@ajis_ka)  NTTデータ システム技術本部  Apache Hadoopなどのサポート業務を主に担当  Apache Hadoop committer & PMC member  ドキュメント  バグ修正  リリース管理など  Apache Ambari contributor  使ってみて困ったことをいくつかフィードバック
  3. 3. 3Copyright © 2016 NTT DATA Corporation はじめに  タイトルの由来
  4. 4. 4Copyright © 2016 NTT DATA Corporation SIerの立場から  多種多様な環境への対応  多種多様なお客様  SLAも様々  要件に応じてカスタマイズできることが重要  メンテナンス性  これまでのツール(Puppet/Chef + Ganglia + Nagios/Zabbix)できていたことが全てできるのか?  扱うツールの数を、なるべく減らしたい  ベンダ中立  ロックインはなるべく排除したい
  5. 5. 5Copyright © 2016 NTT DATA Corporation 世界征服を目指すAmbariだからこそ期待する 5つのポイント 1. 任意のパラメータを設定したい 2. Hadoop以外も設定したい 3. Ambari Server HA 4. ベンダ中立性 5. ドキュメントのさらなる充実
  6. 6. 6Copyright © 2016 NTT DATA Corporation 1. 任意のパラメータを設定したい  パラメータのvalidationが厳しい  必須のパラメータを外せない  通常は、良い方向に働く  AMBARI-13373 のようなバグを踏むと大変  HA環境だと不要なパラメータが必須扱いだったため、HA 環境でHDFSのバランサーが動作しない (2.2.0で解決済)  参考: -confオプションでconfigを差し替えてコマンドラ インからバランサーを起動すれば回避できる
  7. 7. 7Copyright © 2016 NTT DATA Corporation 2. Hadoop以外も設定したい  現状のAmbariでできない設定  OS  Ambari Server  Ambari Agent  OS や Ambari Agentの設定を自動化するため、やはり Puppet/Chefなどのツールが必要  ツールが増えるとメンテナンスコストがかさむ  ツール間の境界を決めるのも面倒  Kickstart + Ambari で構築を終わらせたい
  8. 8. 8Copyright © 2016 NTT DATA Corporation 3. Ambari Server HA  Ambari Alertは便利なツール  監視に失敗すると、メール/SNMP通知する  最初から数十の項目が用意されている  だが、Ambari Serverが止まると監視が全て止まる  割り切って、スタンバイしていたAmbari Serverを起動  割り切れない場合は ...?
  9. 9. 9Copyright © 2016 NTT DATA Corporation 4. ベンダ中立性  デフォルトだとHDPしかインストールできない  コミュニティ版のApache Ambariなんだから、コミュニ ティ版のApache XXXがインストールされるべき  Apache Bigtopでビルドされているrpmやdebを簡単に インストールできるとうれしい  HDPにないコンポーネントもインストールしたい  Impala  Presto  Hue  etc...
  10. 10. 10Copyright © 2016 NTT DATA Corporation 5. ドキュメントのさらなる充実  運用手順  マスタサーバ故障時の復旧  どこにもない!  Ambari Server 故障時の復旧  どこにもない!  Ambari Agent, Ambari Serverのログ設定方法  どこにもない!  APIs  REST API は充実  Custom Service を作る場合、現状ソースコードを読ま ざるを得ない
  11. 11. 11Copyright © 2016 NTT DATA Corporation 世界征服を目指すAmbariだからこそ期待する 5つのポイント 1. 任意のパラメータを設定したい 2. Hadoop以外も設定したい 3. Ambari Server HA 4. ベンダ中立性 5. ドキュメントのさらなる充実
  12. 12. 12Copyright © 2016 NTT DATA Corporation 世界征服を目指すAmbariだからこそ期待する 5つのポイント 1. 任意のパラメータを設定したい 2. Hadoop以外も設定したい 3. Ambari Server HA 4. ベンダ中立性 5. ドキュメントのさらなる充実 Custom Ambari Service
  13. 13. 13Copyright © 2016 NTT DATA Corporation Custom Ambari Serviceとは?
  14. 14. 14Copyright © 2016 NTT DATA Corporation 何をするのか?  各種設定ファイルの配布  /etc/hosts  ラックアウェアネススクリプト  logrotate設定  Ambari Server, Ambari Agentの設定  etc...  OSのユーザ・グループを追加  NTPの設定  THP (Transparent Huge Pages) の無効化  Hot fixes  and more...
  15. 15. 15Copyright © 2016 NTT DATA Corporation どうやって実装するのか?  公式ドキュメントに実装方法が記載されている  中身はこんな感じのPythonスクリプト群  実物はもっと綺麗 from resource_management.libraries.script import Script config = Script.get_config() hostname = config['hostname'] hosts = config['clusterHostInfo'] if hostname in hosts['namenode_host'] # NameNodeに対する設定 if hostname in hosts['journalnode_hosts'] # JournalNodeに対する設定 ...
  16. 16. 16Copyright © 2016 NTT DATA Corporation どうやって実装するのか?  configの実体はjsonファイルをパースしたもの  ClientConfigResourceProviderから読むとよさそう Map<String, Object> jsonContent = new TreeMap<String, Object>(); jsonContent.put("configurations", configurations); jsonContent.put("configuration_attributes", configurationAttributes); jsonContent.put("commandParams", commandParams); jsonContent.put("clusterHostInfo", clusterHostInfo); jsonContent.put("hostLevelParams", hostLevelParams); jsonContent.put("hostname", hostName); jsonContent.put("clusterName", cluster.getClusterName()); jsonConfigurations = gson.toJson(jsonContent);
  17. 17. 17Copyright © 2016 NTT DATA Corporation FAQ  オープンソース化されるのか?  No  秘伝のタレが入っているから (特にOSの設定)  とてもシンプルなロジック  作るのはそれほど難しくないと思う  Hot fixとは?  AmbariやHadoopの起動スクリプトを修正  同じ内容をコミュニティへフィードバック  AMBARI-14945 (JVMの設定が想定どおりにならない)  AMBARI-15588 (.out への書き込みにappendフラグを 入れる)
  18. 18. 18Copyright © 2016 NTT DATA Corporation まとめ  Apache Ambariは、Hadoopを使う上で便利なツール  ただし、Ambariだけで完結しない部分も多い  何らかの方法でギャップを埋める必要がある  他のツールに頼る  パッチを書く  Custom Ambari Serviceを使ってみる  Apache Ambariの更なる発展を期待しています!
  19. 19. Copyright © 2011 NTT DATA Corporation Copyright © 2016 NTT DATA Corporation

×