Ambari Meetup Tokyo #1 at Yahoo! JAPANのスライドです。 http://connpass.com/event/30398/

1. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
ヤフー株式会社
データ&サイエンスソリューション統括本部
データプラットフォーム本部 開発2部グリッド 深澤 開
2016年04月28日
Yahoo! JAPAN の Ambari 活用事例

2. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
自己紹介
氏名
深澤 開 (2013年度新卒)
業務
Hadoopクラスタの設計・構築・運用
データセンター内ネットワークの構築
Ambari 歴
1年と1ヶ月くらい
趣味・興味
テニス・ボルダリング・ダーツ(最近はじめた)
Splatoon (妻の方が上手)

3. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
私の Ambari 歴
2015/03
• v1.7.0
2015/05
• v2.0.0
2015/07
• v2.1.0
2015/10
• v2.1.1
2015/11
• v2.1.2
2016/02
• v2.2.0.0

4. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
アジェンダ
• Ambari 概要
(Yahoo! JAPAN の事例を添えて)
• 最近の出来事
• Config 書き換わり問題
• MoveNameNode で大苦戦

5. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
Ambari 概要
https://ambari.apache.org/
Hadoopの構築・管理・運用を
簡単にする100%オープンソースのツール

6. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
クラスタ管理
Ambari 概要
ホスト管理
設定管理
監視・通知
View

7. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
クラスタ管理
Ambari 概要
ホスト管理
設定管理
監視・通知
View

8. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
クラスタ管理
Ambari 概要
ホスト管理
設定管理
監視・通知
View

9. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
クラスタ管理
Ambari 概要
ホスト管理
設定管理
監視・通知
View
• Ambari 自体のHAが
できていない
• 台数が多いため負荷が高い
• カスタマイズ性が物足りない

10. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
クラスタ管理
Ambari 概要
ホスト管理
設定管理
監視・通知
View
• 開発者向けの機能のため
使用は見送り

11. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
クラスタ管理
初期構築
Agent を入れたサーバからコンポーネントを
アサインしたいサーバをポチポチ選ぶだけ

12. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
クラスタ管理
初期構築
Agent を入れたサーバからコンポーネントを
アサインしたいサーバをポチポチ選ぶだけコンポーネントごとの
パッケージ管理/インストール
をしなくていいので楽

13. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
クラスタ管理
初期構築
Agent を入れたサーバからコンポーネントを
アサインしたいサーバをポチポチ選ぶだけAgent の管理が必要
※ 詳しくは LT で

14. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
クラスタ管理
ダッシュボード

15. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
ホスト管理
プロセス Start/Stop
Node Decommission/Recommission が可能

16. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
ホスト管理
プロセス Start/Stop
Node Decommission/Recommission が可能
WebUI から複数Node選択して
同時にオペレーションすることが可能

17. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
ホスト管理
プロセス Start/Stop
Node Decommission/Recommission が可能Nodeを選択するために
正規表現などが使えない
処理したいノードリストを読み込めない

18. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
設定管理
各Service単位での設定管理
各設定の推奨設定

19. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
設定管理
各Service単位での設定管理
各設定の推奨設定
設定バージョンの比較することが可能
複数のConfigの管理が可能

20. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
設定管理
各Service単位での設定管理
各設定の推奨設定Ambari 上でのConfigの
事前レビューができない
バージョンアップ時に設定が増えたりする

21. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
Yahoo! JAPAN での Ambari 活用
本番
Cluster1
3PB
(2011/06)
Cluster2
20PB
(2013/01)
Cluster4
58PB
(2015/12)
Cluster3
30PB
(2014/4)
このほかにユーザ開発用のクラスタや検証目的のクラスタでも利用
Cluster5
90PB
(2016/06)
※ 構築中

22. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
Yahoo! JAPAN での Ambari 活用
本番
Cluster1
3PB
(2011/06)
Cluster2
20PB
(2013/01)
Cluster4
58PB
(2015/12)
Cluster3
30PB
(2014/4)
このほかにユーザ開発用のクラスタや検証目的のクラスタでも利用
Cluster5
90PB
(2016/06)
※ 構築中
• 2クラスタで
Ambari を用いて運用

23. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
最近起きた出来事
Config の書き換わり問題
MoveNameNode で大苦戦

24. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
最近起きた出来事
Config の書き換わり問題
MoveNameNode で大苦戦

25. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
最近起きた出来事
• Ambari の Upgrade した後や
Node を追加したら Config の
Version が何故か上がってる

26. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
最近起きた出来事
• Ambari の Upgrade した後や
Node を追加したら Config の
Version が何故か上がってるAmbari のバージョンが上がったことで
設定できる項目が増えたため

27. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
最近起きた出来事
• Ambari の Upgrade した後や
Node を追加したら Config の
Version が何故か上がってる
単純にBug

28. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
最近起きた出来事
• Ambari の Upgrade した後や
Node を追加したら Config の
Version が何故か上がってる
プロセスを再起動
設定をロールバック

29. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
最近起きた出来事
• Ambari の Upgrade した後や
Node を追加したら Config の
Version が何故か上がってる
ツールによってコンフィグが
勝手に書き換わる可能性

30. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
最近起きた出来事
Config の書き換わり問題
MoveNameNode で大苦戦

31. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
• クラスタの構築の中でNameNode
の筐体を変える必要があった
• Ambari の MoveNameNode
というオペレーションを使用
• 過去にもやったことがあったので
2台で3-4時間くらいで見積もってた

32. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
最初はそこそこ順調だった

33. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
こいつをサーバログインして実行
sudo su hdfs –l –c hdfs namenode -bootstrapStandby

34. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
なしてっ!?Σ(゜ω゜；

35. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
調べてみると確かに入ってない

36. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦

37. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
これが嘘

38. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
これが嘘
ひとまずコマンドが実行できなくても
先には進めるので試しに進めてみる

39. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
案の定ダメ

40. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
オペレーションウィザードをそっとじ

41. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
オペレーションウィザードをそっとじ
NameNode が3台になる

42. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
オペレーションウィザードをそっとじ
NameNode が3台になる

43. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
切り替え先のNameNodeがinstallしなおして
Bootstrapコマンドを実行しなおす。

44. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
再現性あるか確かめたいからもう一回

45. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
再現性あるか確かめたいからもう一回
やっぱりだめ

46. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
再現性あるか確かめたいからもう一回
やっぱりだめ
NameNode が4台という素敵なクラスタに！

47. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
再現性あるか確かめたいからもう一回
やっぱりだめ
NameNode が4台という素敵なクラスタに！
1回目と同じ対応 + APIでNameNodeを削除

48. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
MoveNameNode で大苦戦
再現性あるか確かめたいからもう一回
やっぱりだめ
NameNode が4台という素敵なクラスタに！
1回目と同じ対応 + APIでNameNodeを削除
過去にできたオペレーションが
Bugによってできなくなる可能性

49. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
感想みたいなもの
WebUI で色々なオペレーションできるのは楽
ツールを使うからこそのデメリットもある
合言葉は「 I ♥ Ambari 」

50. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
Appendix
Ambariと大規模クラスタと私#yjdsw3
http://www.slideshare.net/techblogyahoo/ambariyjdsw3

51. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
ご清聴ありがとう
ございました
Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止