Yahoo!Japan北米DCでOCPのツボをみせてもらってきました 講師：重松 光浩 (NTT ソフトウェアイノベーションセンター) アジェンダ： - OpenStack Summit 2016 Austin参加 - YJ America DC視察

1. Copyright©2016 NTT corp. All Rights Reserved.
Yahoo!Japan 北米 DC で
OCP のツボをみせてもらってきまし
た
2016.5.26
重松 光浩
NTT ソフトウェアイノベーションセンタ
OpenStack 最新情報セミナー
(2016 年 5 月 )

2. 2Copyright©2016 NTT corp. All Rights Reserved.
who
• 重松 光浩 ( しげまつ みつひろ ) / twitter @pshige
• 所属 :
日本電信電話株式会社
ソフトウェアイノベーションセンタ
第一推進プロジェクト
• OpenStack 歴 : 1 年強
•Ironic Project などで活動
• Cross-Project Liaison {Documentations, InterProject neutron} for Ironic
•NTTG 内 OpenStack ユーザ会 とりまとめ

3. 3Copyright©2016 NTT corp. All Rights Reserved.
4 月下旬に北米滞在． Yahoo!Japan の北米 DC ( 現地法人 YJ America が管理運用を
担当 ) を視察 , OpenStack Summit に参加
•OpenStack Summit 2016 Austin 参加 ( テキサス州 )
← まずは若干こちら
• ベアメタルクラウド実現を目指す Ironic プロジェクトのデザインサミット等に参加
•YJ America! DC 視察 ( ワシントン州 ) ← 今回の発表は主にはこちら
• OCP 準拠仕様の機器を採用し OpenStack 環境を構築・運用する現場を視察
where

4. 4Copyright©2016 NTT corp. All Rights Reserved.
■ 動機：研究所内プライベートクラウド提供の高度化 / 経済化
仮想 / 物理サーバを含む環境を極力手間をかけずに各プロジェクトに迅
速に提供したい
■ 条件：
必要な環境を必要な分だけ，極力迅速に提供したい
- 仮想 / 物理サーバを必要なネットワークと組み合わせて提供
- 提供の迅速化などのため，利用者の API 操作での提供が尚可
- 予算制約もあるため，機器は安いに超したことはなく，構築
運用の予算もおさえたい
why

5. 5Copyright©2016 NTT corp. All Rights Reserved.
■ 関心対象：
•OpenStack を活用した環境の構築技術の確立
- ベアメタルやコンテナを駆使した利用技術の確立
- 特に技術的成熟の遅れているベアメタルをクラウド環境として活用
する技術 ( 仮想 NW や仮想ストレージ技術との連携等 ) の確立
•OCP 準拠機器の利用が拡大するタイミングと課題の把握
→ もしブレイクしそうならそれまでには OCP 準拠機器での構築技術を
確立しておく必要あり
what

6. 6Copyright©2016 NTT corp. All Rights Reserved.
1. OpenStack Summit 2016 Austin 参加

7. 7Copyright©2016 NTT corp. All Rights Reserved.
OpenStack Summit 2016 Austin 全体概要
■ 日程 / 場所 / 総参加者数
• 日時： 2016/4/24( 日 )-29( 金 )
• 場所： Austin Convention Center
• 主催： OpenStack Foundation
• 参加者数： 7500 名
• ←5000 名強 (Tokyo) 6000← 名強 (Vancouver)
■ キーノートでのキーワード
• …多様性 4 つのﾕｰｻﾞｶﾀﾛｸﾞ「ｴﾝﾀｰﾌﾟﾗｲｽﾞ」｢ﾊﾟﾌﾞﾘｯｸｸﾗｳﾄﾞ｣｢ Telcom ｣｢ Research ｣
• フォーチュン 100 の半数が OpenStack を運用
• 導入の 65 ％は商用利用
■ …コラボレーション ユーザの関心は 1. コンテナ， 2.SDN ， 3. ベアメタルに拡大
• Cisco ： OPNFV ， OpenDaylight ， CloudFoundry といったプロジェクトとの連携が重要
• チェコのスマートシティ：プロジェクトをビッグテントに広げることで， IoT 基盤の実績を
拡大中
•その他
・次回はバロセロナ 10 月 25 日～ 28 日
・ 2016 年春は Boston, 秋は Sydney で開催予定
・ Super User Award は AT ＆ T が受賞．

8. 8Copyright©2016 NTT corp. All Rights Reserved.
• マルチテナント対応機能は一刻も早く仕上げていく
• マルチテナント対応機能はテナントごとの仮想 NW にベアメタルインスタンス
を接続して使えるようにするための機能
• 一年前のバンクーバサミット以降高優先で取り組まれてきているがいまだマー
ジされていない
• まもなく初期機能が実現した暁には VLAN 対応や Bonding 対応にも拡大していく
• ストレージ連携機能もとりくんでいく
• ボリュームからベアメタルサーバを起動
できるようにする機能
• ユーザデータをボリュームとしてベアメタル
サーバに接続する機能
• 利用者目線の機能以外ではテストの円滑化
やレビュアの拡大が急務！
OpenStack Summit 2016 Austin での Ironic の議論

9. 9Copyright©2016 NTT corp. All Rights Reserved.
2. YJ America DC 視察

10. 10Copyright©2016 NTT corp. All Rights Reserved.
( 参考 ) 米データセンターでの仮想化統合基盤に Open Compute Project を採
用 (2015/10/13)
cf. http://japan.zdnet.com/article/35071845/

11. 11Copyright©2016 NTT corp. All Rights Reserved.
•私自身の興味：
• OCP 準拠サーバを安く買うための工夫を知りたい
• OCP 準拠サーバを安定動作する形で調達する工夫を知り
たい
• どのように運用しているのかを実際に目でみてみたい
以下私が見聞きしてきたことを紹介します！
2. YJ America DC 視察

12. 12Copyright©2016 NTT corp. All Rights Reserved.
• 概要：
• Facebook が提唱し 2011 年発足． DC テクノロジーのオープン化を目指す．最も効率の
いいサーバ / ストレージ / データセンタ等のハードウェアを設定，提供していくた
めのエンジニアコミュニティ．
• 参加団体 ( 抜粋 )
• Facebook, Google, Apple, Microsoft, Rackspace,
• CTC, Ericsson, Canonical, Cisco, cumulus, Huawei, HPE, IBM, Intel, Juniper, Lenovo, NEC, Nokia, QCT,
Penguin, samsung, wiwynn,
• Goldman Sachs, Fidelity, Bank of America,
• AT&T, EE, Equinix, SK Telecom,
• 最近のトピック：
• Google 加入． 48V ラックの設計書を公開． (2016.3)
• OCP Telco Project 始動 . 通信事業者のニーズをサポートするための OCP のエコシス
テム構築を目指す． (2016.3)
• CTC が NTT データ先端，村田製作所と日本仕様の OCP ラックを開発． (2016.3)
OpenComputeProject (OCP) とは？

13. 13Copyright©2016 NTT corp. All Rights Reserved.
• 消費電力の削減
• パワーシェルフ一括給電で高効率供給
• 設置スペースの削減
• サーバ集約を考慮したラックデザイン
•作業時間の削減
• 工具を必要とせずすべての作業が前面で可能
• サーバ費用の削減
• 要件にあったサーバ構成とパーツ別調達
による価格競争
• サービスプロセッサー機能の簡素化
• 出荷検査の簡素化
OCP 準拠サーバの特徴
288 サーバ /8racks 等

14. 14Copyright©2016 NTT corp. All Rights Reserved.
• 私自身の疑問：
• OCP 準拠サーバは大幅値引き前提の汎用サーバに較べたとき価格面でアピールしな
いと何故かされてきたのか？
• 本質的にやすくなるはずの OCP を安く買うための方法はないのか？
• 安くなる仕組み / 安く買う工夫：
• 完成品の単なる納品以外に，利用者側での部品の自前調達による組立依頼等
の形態を各レベル ( 次ページ参照 ) で選択可能．マザーボードや筐体以外の全て
の部品等にもさらなる価格低減の余地あり．
• 汎用サーバではサービスプロセッサを都度開発となる．センサ点数も多く，開発費
が高どまりしがちであるが，この仕様が簡素な形で統一され安価となる．
• 汎用サーバでは出荷検査を必ず行っているが，利用者側での受入検査と検査観点が
異なるため，都合 2 度実施することになる． OCP 準拠サーバの納品条件として受入
検査を代行実施させる等すれば稼働削減になる
OCP 準拠サーバを安く買うための工夫

15. 15Copyright©2016 NTT corp. All Rights Reserved.
( 参考 ) MANUFACUTURING LEVEL
http://www.amax.com/blog/?p=668

16. 16Copyright©2016 NTT corp. All Rights Reserved.
• Level 1: Parts manufacturing—this includes non-painted parts and molding parts on the component level.
• Level 2: Piece Parts Sub Assembly—some level of assembly.
• Level 3: Metals and plastics are integrated together and shipped as a case (i.e. chassis).
• Level 4: Metals and Plastics + PSU and/or Flat Cable and/or Backplane are shipped as a kit or bag.
• Level 5: All enclosure parts from Level 4 attached, cables integrated, I/O tested
• Level 6: Integration of motherboard into chassis enclosure and power on test.
• Level 6 manufactured platforms are what ODMs provide when they ship out server barebones” which are integrated“
motherboard/chassis combinations with parts included, but missing components such as CPU, memory, hard drives,
networking cards, etc. Often systems integrators will buy these barebones and populate with components to create specific server
configurations. How much value that integrator can add in terms of services and further building out the solution depends on
their capabilities in the next levels:
( 参考 ) MANUFACUTURING LEVEL 説明文
1/2

17. 17Copyright©2016 NTT corp. All Rights Reserved.
• Level 7: Integration of add-on cards into server barebone with ability to test.
• Level 8: Integration of hard drives into server barebone with ability to test.
• Level 9: Integration of CPU and memory into server barebone with ability to test.
• Level 10: Full assembly of server with full system and component level testing, OS/software integration, product kitted with user manual and
other required documentation and delivered as a fully-integrated server solution.
• A manufacturer capable of up to Level 10 manufacturing will deliver a working server solution. But if you need multiple servers networked
together as a rack-level or even multi-rack level solution, you will need at least a Level 11 manufacturer:
• Level 11: Node-level assembly, testing, OS/software loading of all server nodes followed by rack cabinet assembly of nodes into racks with full
cable networking (including switches), and tested as a working total solution at the rack or multi-rack level.
• Level 12: Rack to multi-rack level manufacturing featured in Level 11 including all networking with full software loading, validation and
optimization. This may include but is not limited to cluster management, cloud OS (such as OpenStack) and networking software.
( 参考 ) MANUFACUTURING LEVEL 説明文
2/2

18. 18Copyright©2016 NTT corp. All Rights Reserved.
• 私自身の疑問：
• 出荷検査の必須ではない OCP 準拠サーバをどう安定動作させるのか？
• 安定動作する構成選択をどう実現するのか？
• 安定動作への工夫：
• Facebook 等先行利用者がすでに採用している構成情報を入手し，その構成を
ベースに検討する
• 物理検証 / システム検証を事前に実施，パーツ動作不良等は未然に防ぐ
• 検査項目リストはどちらで分担してもよいが，必要に応じて納品前作業に
加えて省力化をはかる
OCP 準拠サーバを安定動作する形で調達する工夫

19. 19Copyright©2016 NTT corp. All Rights Reserved.
• OpenStack Ironic は機能拡充間近．皆で使い倒してバグをつ
ぶし枯れた技術にしていきましょう！
• OCP は注目花丸急上昇中？！ OCP 準拠サーバの価格低減
もはかられてきているので選択肢のひとつに加えてましょ
う．少しでも早く技術確立を一緒に手がけませんか？
私からのメッセージ