Download as PDF, PPTX
Uploaded byYahoo!デベロッパーネットワーク
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
More Related Content
![[db tech showcase Tokyo 2016] B31: Spark Summit 2016＠SFに参加してきたので最新事例などを紹介しつつデ...](https://cdn.slidesharecdn.com/ss_thumbnails/1oula7aqkczs8b8nxbbw-signature-52b95cf478429666da1eac73ad45213570cae72b7e57434c17b4c128f24099d3-poli-160722095519-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
- 1. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ヤフー株式会社 データ&サイエンスソリューション統括本部 データプラットフォーム本部 開発2部グリッド 深澤 開 2016年年04⽉月28⽇日 Yahoo! JAPAN の Ambari 活⽤用事例例
- 2. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ⾃自⼰己紹介 ⽒氏名 深澤 開 (2013年年度度新卒) 業務 Hadoopクラスタの設計・構築・運⽤用 データセンター内ネットワークの構築 趣味・興味 テニス・ボルダリング・ダーツ(最近はじめた) Splatoon (妻の⽅方が上⼿手)
- 3. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 私の Ambari 歴 2015/03 •v1.7.0 2015/05 •v2.0.0 2015/07 •v2.1.0 2015/10 •v2.1.1 2015/11 •v2.1.2 2016/02 •v2.2.0.0 2016/05 •v2.2.2.0
- 4. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 アジェンダ • Yahoo! JAPAN での Ambari 活⽤用 • Ambari 概要 (Yahoo! JAPAN の事例例を添えて) • 最近の出来事 • MoveNameNode で⼤大苦戦
- 5. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 Yahoo! JAPAN での Ambari 活⽤用 本番 Cluster1 3PB (2011/06) Cluster2 20PB (2013/01) Cluster4 58PB (2015/12) Cluster3 30PB (2014/4) このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用 Cluster5 90PB (2016/06) ※ 構築中
- 6. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 Yahoo! JAPAN での Ambari 活⽤用 本番 Cluster1 3PB (2011/06) Cluster2 20PB (2013/01) Cluster4 58PB (2015/12) Cluster3 30PB (2014/4) このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用 Cluster5 90PB (2016/06) ※ 構築中 • 2クラスタで Ambari を⽤用いて 構築・運⽤用
- 7. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 Yahoo! JAPAN での Ambari 活⽤用 本番 Cluster1 3PB (2011/06) Cluster2 20PB (2013/01) Cluster4 58PB (2015/12) Cluster3 30PB (2014/4) このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用 Cluster5 90PB (2016/06) ※ 構築中 800台 800台
- 8. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 Ambari 概要 https://ambari.apache.org/ Hadoopの構築・管理理・運⽤用を 簡単にする100%オープンソースのツール
- 9. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari 概要 ホスト管理理 設定管理理 監視・通知 View
- 10. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari 概要 ホスト管理理 設定管理理 監視・通知 View
- 11. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari 概要 ホスト管理理 設定管理理 監視・通知 View
- 12. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari 概要 ホスト管理理 設定管理理 監視・通知 View • Ambari ⾃自体のHAが できていない • 台数が多いため負荷が⾼高い • カスタマイズ性が物⾜足りない
- 13. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari 概要 ホスト管理理 設定管理理 監視・通知 View • 開発者向けの機能のため 使⽤用は⾒見見送り
- 14. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 ダッシュボード
- 15. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 初期構築 Agent を⼊入れたサーバからコンポーネントを アサインしたいサーバをポチポチ選ぶだけ
- 16. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 初期構築 Agent を⼊入れたサーバからコンポーネントを アサインしたいサーバをポチポチ選ぶだけコンポーネントごとの パッケージ管理理/インストール をしなくていいので楽
- 17. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 初期構築 Agent を⼊入れたサーバからコンポーネントを アサインしたいサーバをポチポチ選ぶだけ Agent の管理理が必要
- 18. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari Server クラスタ Ambari Agent
- 19. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari Server クラスタ オペレーション指⽰示 Ambari Agent
- 20. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Ambari Server クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行
- 21. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Master Node / Application Data Node Ambari Server クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行
- 22. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Master Node / Application Data Node Agentの⾃自動インストール コンポーネントの追加 通常構築は簡単！ Ambari Server クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行
- 23. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Master Node / Application Data Node Agentの⾃自動インストール コンポーネントの追加 通常構築は簡単！ Ambari Server クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行 800 Node
- 24. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Master Node / Application Data Node Agentの⾃自動インストール コンポーネントの追加 通常構築は簡単！ Ambari Server クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行 800 Node 800台の Ambari Agent の操作が必要
- 25. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 クラスタ管理理 Master Node / Application Data Node Agentの⾃自動インストール コンポーネントの追加 通常構築は簡単！ Ambari Server クラスタ オペレーション指⽰示 Ambari Agent 実⾏行行 800 Node 管理理するコンポーネントが増えた
- 26. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ホスト管理理 プロセス Start/Stop Node Decommission/Recommission が可能
- 27. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ホスト管理理 プロセス Start/Stop Node Decommission/Recommission が可能 WebUI から複数Node選択して 同時にオペレーションすることが可能
- 28. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ホスト管理理 プロセス Start/Stop Node Decommission/Recommission が可能Nodeを選択するために 正規表現などが使えない 処理理したいノードリストを読み込めない
- 29. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ホスト管理理
- 30. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ホスト管理理 プロセスの操作や必要なファイル操作 をすべてやってくれる
- 31. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ホスト管理理 本当に必要なのか？ と思うオペレーションをしたりする
- 32. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ホスト管理理
- 33. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ホスト管理理 なぜか起動に1000秒近くかかっている
- 34. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ホスト管理理 なぜか起動に1000秒近くかかっている 特定のhdfsディレクトリに chmod –r をしていた
- 35. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ホスト管理理 なぜか起動に1000秒近くかかっている ソースコードいじってコメントアウト
- 36. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 設定管理理 各Service単位での設定管理理 各設定の推奨設定
- 37. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 設定管理理 各Service単位での設定管理理 各設定の推奨設定 設定バージョン間の⽐比較することが可能 複数のConfigの管理理が可能
- 38. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 設定管理理 各Service単位での設定管理理 各設定の推奨設定 Ambari 上でのConfigのレビューができない バージョンアップ時に設定が増えたりする
- 39. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 最近起きた出来事 MoveNameNode で⼤大苦戦
- 40. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 • クラスタの構築の中でNameNode の筐体を変える必要があった • Ambari の MoveNameNode というオペレーションを使⽤用 • 過去にもやったことがあったので 2台で3-‐4時間くらいで⾒見見積もってた
- 41. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 最初はそこそこ順調だった
- 42. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 こいつをサーバログインして実⾏行行 sudo su hdfs –l –c hdfs namenode -‐bootstrapStandby
- 43. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 あれ？
- 44. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 調べてみると確かに⼊入ってない
- 45. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦
- 46. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 これが嘘
- 47. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 これが嘘 ひとまずコマンドが実⾏行行できなくても 先には進めるので試しに進めてみる
- 48. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 案の定ダメ
- 49. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 オペレーションウィザードをそっとじ
- 50. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 オペレーションウィザードをそっとじ NameNode が3台になる
- 51. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 オペレーションウィザードをそっとじ NameNode が3台になる
- 52. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 切切り替え先のNameNodeがinstallしなおして Bootstrapコマンドを実⾏行行しなおす。
- 53. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回
- 54. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ
- 55. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ NameNode が4台という素敵なクラスタに！
- 56. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ NameNode が4台という素敵なクラスタに！ 1回⽬目と同じ対応 + APIでNameNodeを削除
- 57. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ NameNode が4台という素敵なクラスタに！ 1回⽬目と同じ対応 + APIでNameNodeを削除 過去にできたオペレーションが Bugによってできなくなる可能性
- 58. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 最後に WebUI で⾊色々なオペレーションできるのは楽 ツールを使うからこそのデメリットもある 合⾔言葉葉は 「 I ♥ Ambari 」
- 59. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 Appendix Ambariと⼤大規模クラスタと私#yjdsw3 http://www.slideshare.net/techblogyahoo/ambariyjdsw3 Yahoo! JAPAN の Ambari 活⽤用事例例 #ambarimeetup http://www.slideshare.net/techblogyahoo/yahoo-‐‑‒japan-‐‑‒ ambari-‐‑‒ambarimeetup
- 60. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 ご清聴ありがとう ございました ご清聴ありがとう ございました Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止