Yahoo! JAPAN の Ambari 活用事例 #yjdsnight

1. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ヤフー株式会社
データ&サイエンスソリューション統括本部
データプラットフォーム本部 開発2部グリッド 深澤 開
2016年年04⽉月28⽇日
Yahoo!
JAPAN
の Ambari 活⽤用事例例

2. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
⾃自⼰己紹介
⽒氏名
深澤 開 (2013年年度度新卒)
業務
Hadoopクラスタの設計・構築・運⽤用
データセンター内ネットワークの構築
趣味・興味
テニス・ボルダリング・ダーツ(最近はじめた)
Splatoon
(妻の⽅方が上⼿手)

3. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
私の Ambari 歴
2015/03
•v1.7.0
2015/05
•v2.0.0
2015/07
•v2.1.0
2015/10
•v2.1.1
2015/11
•v2.1.2
2016/02
•v2.2.0.0
2016/05
•v2.2.2.0

4. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
アジェンダ
• Yahoo!
JAPAN
での Ambari 活⽤用
• Ambari 概要
(Yahoo!
JAPAN
の事例例を添えて)
• 最近の出来事
• MoveNameNode で⼤大苦戦

5. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
Yahoo!
JAPAN
での Ambari 活⽤用
本番
Cluster1
3PB
(2011/06)
Cluster2
20PB
(2013/01)
Cluster4
58PB
(2015/12)
Cluster3
30PB
(2014/4)
このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用
Cluster5
90PB
(2016/06)
※ 構築中

6. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
Yahoo!
JAPAN
での Ambari 活⽤用
本番
Cluster1
3PB
(2011/06)
Cluster2
20PB
(2013/01)
Cluster4
58PB
(2015/12)
Cluster3
30PB
(2014/4)
このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用
Cluster5
90PB
(2016/06)
※ 構築中
• 2クラスタで
Ambari を⽤用いて
構築・運⽤用

7. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
Yahoo!
JAPAN
での Ambari 活⽤用
本番
Cluster1
3PB
(2011/06)
Cluster2
20PB
(2013/01)
Cluster4
58PB
(2015/12)
Cluster3
30PB
(2014/4)
このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用
Cluster5
90PB
(2016/06)
※ 構築中
800台 800台

8. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
Ambari 概要
https://ambari.apache.org/
Hadoopの構築・管理理・運⽤用を
簡単にする100%オープンソースのツール

9. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari 概要
ホスト管理理
設定管理理
監視・通知
View

10. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari 概要
ホスト管理理
設定管理理
監視・通知
View

11. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari 概要
ホスト管理理
設定管理理
監視・通知
View

12. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari 概要
ホスト管理理
設定管理理
監視・通知
View
• Ambari ⾃自体のHAが
できていない
• 台数が多いため負荷が⾼高い
• カスタマイズ性が物⾜足りない

13. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari 概要
ホスト管理理
設定管理理
監視・通知
View
• 開発者向けの機能のため
使⽤用は⾒見見送り

14. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
ダッシュボード

15. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
初期構築
Agent
を⼊入れたサーバからコンポーネントを
アサインしたいサーバをポチポチ選ぶだけ

16. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
初期構築
Agent
を⼊入れたサーバからコンポーネントを
アサインしたいサーバをポチポチ選ぶだけコンポーネントごとの
パッケージ管理理/インストール
をしなくていいので楽

17. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
初期構築
Agent
を⼊入れたサーバからコンポーネントを
アサインしたいサーバをポチポチ選ぶだけ
Agent
の管理理が必要

18. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari Server
クラスタ
Ambari Agent

19. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent

20. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行

21. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Master Node /
Application
Data Node
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行

22. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Master Node /
Application
Data Node
Agentの⾃自動インストール
コンポーネントの追加
通常構築は簡単！
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行

23. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Master Node /
Application
Data Node
Agentの⾃自動インストール
コンポーネントの追加
通常構築は簡単！
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行
800
Node

24. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Master Node /
Application
Data Node
Agentの⾃自動インストール
コンポーネントの追加
通常構築は簡単！
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行
800
Node
800台の Ambari Agent
の操作が必要

25. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Master Node /
Application
Data Node
Agentの⾃自動インストール
コンポーネントの追加
通常構築は簡単！
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行
800
Node
管理理するコンポーネントが増えた

26. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
プロセス Start/Stop
Node
Decommission/Recommission
が可能

27. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
プロセス Start/Stop
Node
Decommission/Recommission
が可能
WebUI から複数Node選択して
同時にオペレーションすることが可能

28. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
プロセス Start/Stop
Node
Decommission/Recommission
が可能Nodeを選択するために
正規表現などが使えない
処理理したいノードリストを読み込めない

29. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理

30. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
プロセスの操作や必要なファイル操作
をすべてやってくれる

31. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
本当に必要なのか？
と思うオペレーションをしたりする

32. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理

33. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
なぜか起動に1000秒近くかかっている

34. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
なぜか起動に1000秒近くかかっている
特定のhdfsディレクトリに
chmod –r
をしていた

35. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
なぜか起動に1000秒近くかかっている
ソースコードいじってコメントアウト

36. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
設定管理理
各Service単位での設定管理理
各設定の推奨設定

37. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
設定管理理
各Service単位での設定管理理
各設定の推奨設定
設定バージョン間の⽐比較することが可能
複数のConfigの管理理が可能

38. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
設定管理理
各Service単位での設定管理理
各設定の推奨設定
Ambari 上でのConfigのレビューができない
バージョンアップ時に設定が増えたりする

39. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
最近起きた出来事
MoveNameNode で⼤大苦戦

40. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
• クラスタの構築の中でNameNode
の筐体を変える必要があった
• Ambari の MoveNameNode
というオペレーションを使⽤用
• 過去にもやったことがあったので
2台で3-­‐4時間くらいで⾒見見積もってた

41. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
最初はそこそこ順調だった

42. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
こいつをサーバログインして実⾏行行
sudo su hdfs –l
–c
hdfs namenode -­‐bootstrapStandby

43. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
あれ？

44. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
調べてみると確かに⼊入ってない

45. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦

46. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
これが嘘

47. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
これが嘘
ひとまずコマンドが実⾏行行できなくても
先には進めるので試しに進めてみる

48. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
案の定ダメ

49. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
オペレーションウィザードをそっとじ

50. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
オペレーションウィザードをそっとじ
NameNode が3台になる

51. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
オペレーションウィザードをそっとじ
NameNode が3台になる

52. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
切切り替え先のNameNodeがinstallしなおして
Bootstrapコマンドを実⾏行行しなおす。

53. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
再現性あるか確かめたいからもう⼀一回

54. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
再現性あるか確かめたいからもう⼀一回
やっぱりだめ

55. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
再現性あるか確かめたいからもう⼀一回
やっぱりだめ
NameNode が4台という素敵なクラスタに！

56. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
再現性あるか確かめたいからもう⼀一回
やっぱりだめ
NameNode が4台という素敵なクラスタに！
1回⽬目と同じ対応 +
APIでNameNodeを削除

57. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
再現性あるか確かめたいからもう⼀一回
やっぱりだめ
NameNode が4台という素敵なクラスタに！
1回⽬目と同じ対応 +
APIでNameNodeを削除
過去にできたオペレーションが
Bugによってできなくなる可能性

58. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
最後に
WebUI で⾊色々なオペレーションできるのは楽
ツールを使うからこそのデメリットもある
合⾔言葉葉は 「 I ♥ Ambari 」

59. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
Appendix
Ambariと⼤大規模クラスタと私#yjdsw3
http://www.slideshare.net/techblogyahoo/ambariyjdsw3
Yahoo! JAPAN の Ambari 活⽤用事例例 #ambarimeetup
http://www.slideshare.net/techblogyahoo/yahoo-‐‑‒japan-‐‑‒
ambari-‐‑‒ambarimeetup

60. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ご清聴ありがとう
ございました
ご清聴ありがとう
ございました
Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止