Successfully reported this slideshow.
Your SlideShare is downloading. ×

Yahoo! JAPAN の Ambari 活用事例 #yjdsnight

Ad

Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止
ヤフー株式会社
データ&サイエンスソリューション統括本部
データプラット...

Ad

Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止
⾃自⼰己紹介
⽒氏名
深澤 開 (2013年年度度新卒)
業務
Hado...

Ad

Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止
私の Ambari 歴
2015/03
•v1.7.0
2015/05
...

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Loading in …3
×

Check these out next

1 of 60 Ad
1 of 60 Ad
Advertisement

More Related Content

Slideshows for you (19)

Viewers also liked (20)

Advertisement

Similar to Yahoo! JAPAN の Ambari 活用事例 #yjdsnight (20)

More from Yahoo!デベロッパーネットワーク (20)

Advertisement

Yahoo! JAPAN の Ambari 活用事例 #yjdsnight

  1. 1. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ヤフー株式会社 データ&サイエンスソリューション統括本部 データプラットフォーム本部 開発2部グリッド 深澤 開 2016年年04⽉月28⽇日 Yahoo!  JAPAN  の Ambari 活⽤用事例例
  2. 2. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ⾃自⼰己紹介 ⽒氏名 深澤 開 (2013年年度度新卒) 業務 Hadoopクラスタの設計・構築・運⽤用 データセンター内ネットワークの構築 趣味・興味 テニス・ボルダリング・ダーツ(最近はじめた) Splatoon  (妻の⽅方が上⼿手)
  3. 3. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 私の Ambari 歴 2015/03 •v1.7.0 2015/05 •v2.0.0 2015/07 •v2.1.0 2015/10 •v2.1.1 2015/11 •v2.1.2 2016/02 •v2.2.0.0 2016/05 •v2.2.2.0
  4. 4. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 アジェンダ • Yahoo!  JAPAN  での Ambari 活⽤用 • Ambari 概要 (Yahoo!  JAPAN  の事例例を添えて) • 最近の出来事 • MoveNameNode で⼤大苦戦
  5. 5. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 Yahoo!  JAPAN  での Ambari 活⽤用 本番 Cluster1 3PB (2011/06) Cluster2 20PB (2013/01) Cluster4 58PB (2015/12) Cluster3 30PB (2014/4) このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用 Cluster5 90PB (2016/06) ※ 構築中
  6. 6. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 Yahoo!  JAPAN  での Ambari 活⽤用 本番 Cluster1 3PB (2011/06) Cluster2 20PB (2013/01) Cluster4 58PB (2015/12) Cluster3 30PB (2014/4) このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用 Cluster5 90PB (2016/06) ※ 構築中 • 2クラスタで Ambari を⽤用いて 構築・運⽤用
  7. 7. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 Yahoo!  JAPAN  での Ambari 活⽤用 本番 Cluster1 3PB (2011/06) Cluster2 20PB (2013/01) Cluster4 58PB (2015/12) Cluster3 30PB (2014/4) このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用 Cluster5 90PB (2016/06) ※ 構築中 800台 800台
  8. 8. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 Ambari 概要 https://ambari.apache.org/ Hadoopの構築・管理理・運⽤用を 簡単にする100%オープンソースのツール
  9. 9. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari 概要 ホスト管理理 設定管理理 監視・通知 View
  10. 10. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari 概要 ホスト管理理 設定管理理 監視・通知 View
  11. 11. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari 概要 ホスト管理理 設定管理理 監視・通知 View
  12. 12. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari 概要 ホスト管理理 設定管理理 監視・通知 View • Ambari ⾃自体のHAが できていない • 台数が多いため負荷が⾼高い • カスタマイズ性が物⾜足りない
  13. 13. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari 概要 ホスト管理理 設定管理理 監視・通知 View • 開発者向けの機能のため 使⽤用は⾒見見送り
  14. 14. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 ダッシュボード
  15. 15. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 初期構築 Agent  を⼊入れたサーバからコンポーネントを アサインしたいサーバをポチポチ選ぶだけ
  16. 16. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 初期構築 Agent  を⼊入れたサーバからコンポーネントを アサインしたいサーバをポチポチ選ぶだけコンポーネントごとの パッケージ管理理/インストール をしなくていいので楽
  17. 17. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 初期構築 Agent  を⼊入れたサーバからコンポーネントを アサインしたいサーバをポチポチ選ぶだけ Agent  の管理理が必要
  18. 18. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari Server   クラスタ Ambari Agent
  19. 19. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari Server   クラスタ オペレーション指⽰示 Ambari Agent
  20. 20. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari Server   クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行
  21. 21. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Master  Node  /   Application Data  Node Ambari Server   クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行
  22. 22. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Master  Node  /   Application Data  Node Agentの⾃自動インストール コンポーネントの追加 通常構築は簡単! Ambari Server   クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行
  23. 23. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Master  Node  /   Application Data  Node Agentの⾃自動インストール コンポーネントの追加 通常構築は簡単! Ambari Server   クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行 800  Node
  24. 24. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Master  Node  /   Application Data  Node Agentの⾃自動インストール コンポーネントの追加 通常構築は簡単! Ambari Server   クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行 800  Node 800台の Ambari Agent  の操作が必要
  25. 25. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 クラスタ管理理 Master  Node  /   Application Data  Node Agentの⾃自動インストール コンポーネントの追加 通常構築は簡単! Ambari Server   クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行 800  Node 管理理するコンポーネントが増えた
  26. 26. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ホスト管理理 プロセス Start/Stop Node  Decommission/Recommission  が可能
  27. 27. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ホスト管理理 プロセス Start/Stop Node  Decommission/Recommission  が可能 WebUI から複数Node選択して 同時にオペレーションすることが可能
  28. 28. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ホスト管理理 プロセス Start/Stop Node  Decommission/Recommission  が可能Nodeを選択するために 正規表現などが使えない 処理理したいノードリストを読み込めない
  29. 29. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ホスト管理理
  30. 30. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ホスト管理理 プロセスの操作や必要なファイル操作 をすべてやってくれる
  31. 31. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ホスト管理理 本当に必要なのか? と思うオペレーションをしたりする
  32. 32. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ホスト管理理
  33. 33. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ホスト管理理 なぜか起動に1000秒近くかかっている
  34. 34. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ホスト管理理 なぜか起動に1000秒近くかかっている 特定のhdfsディレクトリに chmod –r  をしていた
  35. 35. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ホスト管理理 なぜか起動に1000秒近くかかっている ソースコードいじってコメントアウト
  36. 36. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 設定管理理 各Service単位での設定管理理 各設定の推奨設定
  37. 37. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 設定管理理 各Service単位での設定管理理 各設定の推奨設定 設定バージョン間の⽐比較することが可能 複数のConfigの管理理が可能
  38. 38. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 設定管理理 各Service単位での設定管理理 各設定の推奨設定 Ambari 上でのConfigのレビューができない バージョンアップ時に設定が増えたりする
  39. 39. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 最近起きた出来事 MoveNameNode で⼤大苦戦
  40. 40. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 • クラスタの構築の中でNameNode の筐体を変える必要があった • Ambari の MoveNameNode というオペレーションを使⽤用 • 過去にもやったことがあったので 2台で3-­‐4時間くらいで⾒見見積もってた
  41. 41. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 最初はそこそこ順調だった
  42. 42. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 こいつをサーバログインして実⾏行行 sudo su hdfs –l  –c  hdfs namenode -­‐bootstrapStandby
  43. 43. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 あれ?
  44. 44. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 調べてみると確かに⼊入ってない
  45. 45. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦
  46. 46. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 これが嘘
  47. 47. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 これが嘘 ひとまずコマンドが実⾏行行できなくても 先には進めるので試しに進めてみる
  48. 48. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 案の定ダメ
  49. 49. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 オペレーションウィザードをそっとじ
  50. 50. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 オペレーションウィザードをそっとじ NameNode が3台になる
  51. 51. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 オペレーションウィザードをそっとじ NameNode が3台になる
  52. 52. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 切切り替え先のNameNodeがinstallしなおして Bootstrapコマンドを実⾏行行しなおす。
  53. 53. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回
  54. 54. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ
  55. 55. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ NameNode が4台という素敵なクラスタに!
  56. 56. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ NameNode が4台という素敵なクラスタに! 1回⽬目と同じ対応 +  APIでNameNodeを削除
  57. 57. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ NameNode が4台という素敵なクラスタに! 1回⽬目と同じ対応 +  APIでNameNodeを削除 過去にできたオペレーションが Bugによってできなくなる可能性
  58. 58. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 最後に WebUI で⾊色々なオペレーションできるのは楽 ツールを使うからこそのデメリットもある 合⾔言葉葉は 「 I  ♥ Ambari 」
  59. 59. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 Appendix Ambariと⼤大規模クラスタと私#yjdsw3 http://www.slideshare.net/techblogyahoo/ambariyjdsw3 Yahoo!  JAPAN  の Ambari 活⽤用事例例 #ambarimeetup http://www.slideshare.net/techblogyahoo/yahoo-‐‑‒japan-‐‑‒ ambari-‐‑‒ambarimeetup
  60. 60. Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 ご清聴ありがとう ございました ご清聴ありがとう ございました Copyright  (C)  2015  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

×