Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

YJTC18 A-1 大規模サーバの戦略

1,955 views

Published on

Yahoo! JAPAN Tech Conference 2018 A-1 セッションのスライドです。

Published in: Technology
  • Be the first to comment

YJTC18 A-1 大規模サーバの戦略

  1. 1. 大規模サーバインフラの戦略 サイトオペレーション本部 藤見和英 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
  2. 2. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
  3. 3. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. この発表について 「サーバインフラ」の話しです。アプリケーションレイヤとは違った領域 についてお話させて頂きます。 写真:アフロ
  4. 4. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. 自己紹介 藤見和英 (ふじみ かずひで) • サイトオペレーション本部 インフラ技術2部 ハードウェア • 2010年入社 • 調達~保守までサーバインフラ全般を担当
  5. 5. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. アジェンダ • サーバインフラ概要 • OCPサーバ • 戦略的なパートナーシップ • 将来の取り組み
  6. 6. サーバインフラ概要 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
  7. 7. サーバインフラのキーワードは 全体最適化 と OCP Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
  8. 8. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. サーバインフラ規模 • 担当メンバー • ≒ 2チーム(約10人) + 業務委託メンバー • 物理サーバ • ≒100,000 • 機種 • ≒80 • パーツ点数 • 200,000~
  9. 9. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. サーバチームタスク 構成検討 検証・比較 物理作業 保守 分析
  10. 10. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. 構成検討について • ヤフーでは大規模にサーバを導入する • 1台単位最適化するのではなく、全体で最適化されるように構成を検討する • 例 • SSDの容量を80GB,120GB,…,900GB,1.6TB のようにラインナップ増やさない • 理由 • 管理コストの観点(在庫、潜在的バグ型番)
  11. 11. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. 検証~保守 • 検証・比較 • 内製インストーラーのテスト • 付属ユーティリティのテスト • 物理作業 • 作業時間に大幅な影響を与える物理機構か確認 • 保守 • 独自フローをカバーできる保守スキームか確認
  12. 12. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. 分析について • 将来のサーバ選定、パーツ選定の準備 • メーカーサーバだと委任 • OCPだと全部確認 • 故障率減少、調達価格の適正値 • 保守力高める、価格を知る • 運用の効率化 • ログツール、CLI、BMC各種の運用性・容易性 => 分析を用いて将来の全体最適化につなげる
  13. 13. OCPサーバ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
  14. 14. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. 「http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh1288-v3」 「http://www.wiwynn.com/english/product/type/details/48?ptype=28」
  15. 15. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. サーバ種類 – 19インチサーバ • 伝統的な形状のサーバ • 社内 80%以上のサーバが1U/2U Rack Mount Server 「http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh1288-v3」 「http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh2288-v3」
  16. 16. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. サーバ種類 – OCPサーバ • TechGiantが主導、新しいコンセプトのサーバ • 社内 2017年以降 1,000 node以上導入 「http://www.wiwynn.com/english/product/type/details/48?ptype=28」 「http://www.opencompute.org/products/lightning-nvme-jbof/」
  17. 17. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. OCP (Open Compute Project) • Facebookが主導 • Google, Microsoftなども参加 • オープンソースハードウェア • HyperScaleの思想 • “Take control of your technology future” ユーザ(購入側)が主導できる 「http://www.opencompute.org/」
  18. 18. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. OCPサーバ 様々なメリット • 物理運用 • フロントオペレーション、背面に移動必要なし 時間がかからない、暑くない • パーツ選定 • サーバベンダの調達ポリシーに影響を受けない 使いたいデバイスを組み込める • IPMI/SEL • 独自フォーマットがない、OCP準拠 システム開発容易 「http://e.huawei.com/jp/products/cloud-computing-dc/servers/pcie-ssd/es3000v3-nvme」
  19. 19. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. とてもよい 「http://www.wiwynn.com/english/product/type/details/48?ptype=28」 「http://www.opencompute.org/products/lightning-nvme-jbof/」
  20. 20. 戦略的パートナシップ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
  21. 21. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. サーバインフラを支えるパートナー サーバインフラ視点では、 ヤフーは「ユーザ」の立場なので各分野の会社と協力をする。 • サーバベンダ • サーバを提供する会社 • パーツサプライヤー • サーバ内に組み込む「単位のパーツ」を提供する会社 • ディストリビューター • 調達、導入、保守などの「Hardware」以外を提供する会社
  22. 22. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. パートナー企業規模感 ヤフー サーバベンダ 約12社 ディストリビューター 約10社 パーツサプライヤー 約15社
  23. 23. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. パートナーシップ事例 • ラッキングレールの提案 • ラッキング業務からナレッジ集約して形状を提案 • サーバ搭載パーツの提案 • 故障率やCLI容易性を考慮してパーツを提案 「http://e.huawei.com/jp/products/cloud-computing-dc/servers/pcie-ssd/es3000v3-nvme」
  24. 24. 将来の取り組み Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
  25. 25. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. 将来のサーバインフラ • 自立したサーバインフラへ • “売る側”のポリシーに影響される • 現状と今後 • (現状)パーツ選定においてサーバベンダのパーツポリシーに依存 主体的にパーツを選定 • (現状)手厚いサーバサポートとサポートコスト =>過去事例や故障率の統計を活用して不要なサポート削減
  26. 26. さいごに Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
  27. 27. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. まとめ • ヤフーは「大規模なサーバインフラ」を持っている • 大規模なので全体最適化が優先 + 統計的なデータも有効活用できる • OCPサーバ • 伝統的な19インチサーバと比較して様々メリット有 • サーバインフラを支える戦略的なパートナー企業がいる • サーバベンダ、パーツサプライヤー、ディストリビューターと協力 • 外部への依存をなくし自立したサーバインフラを目指す • 意思決定をヤフーが主体的にできる状態へ • 最新の取り組み => 「OCP」 「http://www.wiwynn.com/english/product/type/details/48?ptype=28」
  28. 28. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ご清聴ありがとうございました Thank you for your attention
  29. 29. Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

×