© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
Hewlett-Packard Company 
クラウドチーフテクノロジスト 
真壁徹 
Okinawa Open Days 2014 
オープンソースで 商用クラウドを提供するということ ~HPがOpenStackの開発と運用を経て得た経験、課題、今後の展望~
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
スピーカー紹介 
•真壁徹(まかべとおる) 
•HPクラウドチーフテクノロジスト 
•略歴 
–大和総研 
•公共分野のアプリケーション開発 
–HP 
•通信事業者向けアプリケーション開発 
•通信事業者担当テクニカルプリセールス 
•オープンソースとの関わり 
–日本OpenStackユーザー会ボードメンバー 
•Web連載中 
–TechTarget“エンタープライズのためのOpenStack検討ガイド” 
–http://techtarget.itmedia.co.jp/tt/news/1411/26/news01.html 
HP
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
HPのクラウド戦略の柱は オープンソースである
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
OpenStack 
Development Platform 
Java 
PHP 
Node.js 
Ruby 
Python 
Application Lifecycle Management 
… 
Cloud Foundry 
Compute 
Network 
Storage 
Identity, Images, Orchestration, Baremetal install 
Portal 
Hypervisor 
Application Services 
DB 
Messaging 
Caching 
OpenStack 
Marketplace 
Vertica 
IDOL on Demand 
HP “Helion” オープンソースソフトウェア構成要素 
ハードウェア 
運用管理ソフトウェア、アプリケーション開発支援ソフトウェア 
提供中 
近日 リリース 
クラウドネイティブ 
アプリケーションを 作り、動かす仕組み 
クラウドOS
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
オープンソースで、もっとクラウドを使いやすく 
オープンソース(OpenStack/Cloud Foundry) 
クラウドを作りたいお客様向け製品 (for Enterprise/Service Provider) 
マネージドクラウド サービス 
預ける 
パブリッククラウド サービス 
使う 
作る 
Helionソフトウェア製品 
•HelionOpenStack 
•HelionDevelopment Platform 
HelionManaged Cloud 
•HelionManaged Private Cloud 
•HelionManaged VPC 
HelionPublic Cloud 
アプリ開発者 
システム運用者 
アプリ 
どれも同じように使え るから、楽だわー 
どこでも同じように動 けるから、楽だわー
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
HP& OpenStack挑戦の歴史 
2011 
2012 
2013 
2014 
2015 
2011/9 
Public Cloud ベータ提供開始 (“Diablo” Release) 
2012/8 
Public Cloud 商用提供開始 
2013/3 
クラウドアプラ イアンス製品 (CloudSystemMatrix)へ OpenStackを搭載 
2013/4 
ストレージ製品 のOpenStack対応 
2014/10 
HelionOpenStack リリース 
2014/5 
HelionOpenStackCommunity リリース 
パブリッククラウドサービスで 経験とノウハウを得た時期 
ハードウェア事業部門も 製品対応を始め 現実が見えてきた時期 
これまでの経験をふまえ 
ベースのディストリを確立した時期 
2015 
さらなる進化
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
見えてきた 課題
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
オープンソースを商用サービスで使って、 また、商用製品の開発を通じて見えた、課題 
•あまりに早い進化 
–OpenStackは半年に1度バージョンアップ 
–世界中の開発者がアイデアを持ち寄るため、 良くも悪くも、先が読めない 
–進化への追従をあきらめたら、負け 
•常に”初めて” 
–次から次へとあらわれるボトルネック まるでモグラたたき 
–誰かが検証してくれる、ではなく 自分たちで事前に見つけ出す気概が必要 
OpenStackでの経験だが、 活発なオープンソースプ ロジェクトでは、同様の 課題があるはず
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
OpenStackボトルネック四天王 
•DB族 
1.認証DB (Keystone) 
•みんなここを通る 
2.Compute DB(Nova DB) 
•スケジューラーからのアクセスが激しくなる 
•起動要求VM数* ノード数* フィルター数 
•帯域族 
3.イメージストア(Glance) 
•数百Mbytesのデータがビュンビュン飛び交う 
•Compute ノード上のキャッシュで緩和 
4.ネットワークデータプレーン(Neutron) 
•NetworkNodeへのトラフィック集中
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
OpenStackNetworkingの成長痛とともに 
•2011~2013 nova-network 
–Flat DHCP with HP extensions 
–シンプルな非集中モデル 
•2013~Neutronへ移行 
–Neutron ServerAPI/PRC Worker、Metadata agentがシングルプロセスで詰まる 
•Multi-worker実装へ変更 
–DHCP Agentに関わる様々な問題 
•sync_state性能、failover時のDNS情報引き継ぎ、dhcp_releaseコール性能、etc 
–OSのバージョンによって起こる様々な問題 
•カーネル、コマンド(sudoなど)のバージョンによっては性能が著しく劣化 
https://www.openstack.org/summit/openstack-summit-atlanta-2014/session-videos/presentation/operating-neutron-at-scale-in-hp-public-cloud
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
Neutronにおける直近の課題~ML2 Plugin+ Open vSwitch~ 
•Network Nodeが単一障害点になる 
•Network Nodeがボトルネックになる (特にEast/Westトラフィック) 
Compute Node 
Compute Node 
Network Node 
VM 
VM 
Router 
外部 
Non-DVR 
集中 
すべての、 
•サブネットまたぎの通信 
•外部ネットワークとの通信 
がNetwork Nodeに集中している
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
Neutron DVR (Distributed Virtual Router)の実装~Junoでリリース~ 
•Neutronの仮想ルーター機能を、 
•Network Node1か所への集中配置から、 
•各Compute Nodeへ分散配置できるようにした 
Compute Node 
Compute Node 
Network Node 
VM 
VM 
Router 
外部 
Compute Node 
Compute Node 
Network Node 
VM 
VM 
外部 
Router 
Router 
Router 
Non-DVR 
DVR 
破線:SNAT 
集中
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
オープンソース/リファレンス実装への期待は高い 
http://superuser.openstack.org/articles/openstack-user- survey-insights-november-2014 
•オープンソースPluginの利用率 が高い 
•まだ根強いnova-network人気 
•非集中モデル 
•リファレンス実装であるML2 + OVSの底上げには価値がある 
•もちろん商用製品は機能豊富 で、検討価値がある 
•”Choice”は重要
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
今後のテーマは “予防”
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
OpenStackの開発・検証環境“Gozer” 
Github 
Gerrit 
Launch 
Pad 
Zuul 
Jenkins 
コード管理 
レビュー 
仕様管理、バグ報告 
ビルドの トリガー 
ContinuousIntegration 
•とことん自動化 
•インフラはAPIを通じ、必要に応じて迅速 に構築・破棄される 
•軽微な変更でも、レビュー、ビルド、自 動テストが実施される 
•HP Public CloudとRackspaceのクラウド上 で動いている 
常に変化し続けるのなら、常に検証し続ける仕組みがあればいい
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
With the Juno release the OpenStackinstance of Gozerran 1,776,065 jobs, across 440 related projects, storing and analyzing 18 terabytes of log data during the six- month release cycle! 
OpenStackコミュニティの成長を支えるGozer 
https://medium.com/@markpotts/managing-the-cloud-development-of-openstack-f77c7c5c6002 
•HPはGozerのリーダーとして、改善を続けていく 
•なお、HP向けのGozerも存在し、HP製品・サービスの開発と運用を支えている
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
オープンソースの進化を受け入れるための環境を持っていますか? 
•CI/CD環境 
–ビルド自動化 
–テスト自動化 
–デプロイ自動化 
•本番環境のBlue/Green運用 
–複数のコントロールプレーン(Blue/Green) 
–障害だけでなく、アップグレードやメンテナンス にも有用 
•ローリングアップグレード/メンテナンス 
–アプリもそれを意識できればベスト 
•BlueがだめならGreenで動く
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
Ride on the opensourcewind
© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 
Thank you 
Twitter: tmak_tw

Okinawa Open Days HP事例紹介

  • 1.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Hewlett-Packard Company クラウドチーフテクノロジスト 真壁徹 Okinawa Open Days 2014 オープンソースで 商用クラウドを提供するということ ~HPがOpenStackの開発と運用を経て得た経験、課題、今後の展望~
  • 2.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. スピーカー紹介 •真壁徹(まかべとおる) •HPクラウドチーフテクノロジスト •略歴 –大和総研 •公共分野のアプリケーション開発 –HP •通信事業者向けアプリケーション開発 •通信事業者担当テクニカルプリセールス •オープンソースとの関わり –日本OpenStackユーザー会ボードメンバー •Web連載中 –TechTarget“エンタープライズのためのOpenStack検討ガイド” –http://techtarget.itmedia.co.jp/tt/news/1411/26/news01.html HP
  • 3.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HPのクラウド戦略の柱は オープンソースである
  • 4.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. OpenStack Development Platform Java PHP Node.js Ruby Python Application Lifecycle Management … Cloud Foundry Compute Network Storage Identity, Images, Orchestration, Baremetal install Portal Hypervisor Application Services DB Messaging Caching OpenStack Marketplace Vertica IDOL on Demand HP “Helion” オープンソースソフトウェア構成要素 ハードウェア 運用管理ソフトウェア、アプリケーション開発支援ソフトウェア 提供中 近日 リリース クラウドネイティブ アプリケーションを 作り、動かす仕組み クラウドOS
  • 5.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. オープンソースで、もっとクラウドを使いやすく オープンソース(OpenStack/Cloud Foundry) クラウドを作りたいお客様向け製品 (for Enterprise/Service Provider) マネージドクラウド サービス 預ける パブリッククラウド サービス 使う 作る Helionソフトウェア製品 •HelionOpenStack •HelionDevelopment Platform HelionManaged Cloud •HelionManaged Private Cloud •HelionManaged VPC HelionPublic Cloud アプリ開発者 システム運用者 アプリ どれも同じように使え るから、楽だわー どこでも同じように動 けるから、楽だわー
  • 6.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP& OpenStack挑戦の歴史 2011 2012 2013 2014 2015 2011/9 Public Cloud ベータ提供開始 (“Diablo” Release) 2012/8 Public Cloud 商用提供開始 2013/3 クラウドアプラ イアンス製品 (CloudSystemMatrix)へ OpenStackを搭載 2013/4 ストレージ製品 のOpenStack対応 2014/10 HelionOpenStack リリース 2014/5 HelionOpenStackCommunity リリース パブリッククラウドサービスで 経験とノウハウを得た時期 ハードウェア事業部門も 製品対応を始め 現実が見えてきた時期 これまでの経験をふまえ ベースのディストリを確立した時期 2015 さらなる進化
  • 7.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 見えてきた 課題
  • 8.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. オープンソースを商用サービスで使って、 また、商用製品の開発を通じて見えた、課題 •あまりに早い進化 –OpenStackは半年に1度バージョンアップ –世界中の開発者がアイデアを持ち寄るため、 良くも悪くも、先が読めない –進化への追従をあきらめたら、負け •常に”初めて” –次から次へとあらわれるボトルネック まるでモグラたたき –誰かが検証してくれる、ではなく 自分たちで事前に見つけ出す気概が必要 OpenStackでの経験だが、 活発なオープンソースプ ロジェクトでは、同様の 課題があるはず
  • 9.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. OpenStackボトルネック四天王 •DB族 1.認証DB (Keystone) •みんなここを通る 2.Compute DB(Nova DB) •スケジューラーからのアクセスが激しくなる •起動要求VM数* ノード数* フィルター数 •帯域族 3.イメージストア(Glance) •数百Mbytesのデータがビュンビュン飛び交う •Compute ノード上のキャッシュで緩和 4.ネットワークデータプレーン(Neutron) •NetworkNodeへのトラフィック集中
  • 10.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. OpenStackNetworkingの成長痛とともに •2011~2013 nova-network –Flat DHCP with HP extensions –シンプルな非集中モデル •2013~Neutronへ移行 –Neutron ServerAPI/PRC Worker、Metadata agentがシングルプロセスで詰まる •Multi-worker実装へ変更 –DHCP Agentに関わる様々な問題 •sync_state性能、failover時のDNS情報引き継ぎ、dhcp_releaseコール性能、etc –OSのバージョンによって起こる様々な問題 •カーネル、コマンド(sudoなど)のバージョンによっては性能が著しく劣化 https://www.openstack.org/summit/openstack-summit-atlanta-2014/session-videos/presentation/operating-neutron-at-scale-in-hp-public-cloud
  • 11.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Neutronにおける直近の課題~ML2 Plugin+ Open vSwitch~ •Network Nodeが単一障害点になる •Network Nodeがボトルネックになる (特にEast/Westトラフィック) Compute Node Compute Node Network Node VM VM Router 外部 Non-DVR 集中 すべての、 •サブネットまたぎの通信 •外部ネットワークとの通信 がNetwork Nodeに集中している
  • 12.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Neutron DVR (Distributed Virtual Router)の実装~Junoでリリース~ •Neutronの仮想ルーター機能を、 •Network Node1か所への集中配置から、 •各Compute Nodeへ分散配置できるようにした Compute Node Compute Node Network Node VM VM Router 外部 Compute Node Compute Node Network Node VM VM 外部 Router Router Router Non-DVR DVR 破線:SNAT 集中
  • 13.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. オープンソース/リファレンス実装への期待は高い http://superuser.openstack.org/articles/openstack-user- survey-insights-november-2014 •オープンソースPluginの利用率 が高い •まだ根強いnova-network人気 •非集中モデル •リファレンス実装であるML2 + OVSの底上げには価値がある •もちろん商用製品は機能豊富 で、検討価値がある •”Choice”は重要
  • 14.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 今後のテーマは “予防”
  • 15.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. OpenStackの開発・検証環境“Gozer” Github Gerrit Launch Pad Zuul Jenkins コード管理 レビュー 仕様管理、バグ報告 ビルドの トリガー ContinuousIntegration •とことん自動化 •インフラはAPIを通じ、必要に応じて迅速 に構築・破棄される •軽微な変更でも、レビュー、ビルド、自 動テストが実施される •HP Public CloudとRackspaceのクラウド上 で動いている 常に変化し続けるのなら、常に検証し続ける仕組みがあればいい
  • 16.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. With the Juno release the OpenStackinstance of Gozerran 1,776,065 jobs, across 440 related projects, storing and analyzing 18 terabytes of log data during the six- month release cycle! OpenStackコミュニティの成長を支えるGozer https://medium.com/@markpotts/managing-the-cloud-development-of-openstack-f77c7c5c6002 •HPはGozerのリーダーとして、改善を続けていく •なお、HP向けのGozerも存在し、HP製品・サービスの開発と運用を支えている
  • 17.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. オープンソースの進化を受け入れるための環境を持っていますか? •CI/CD環境 –ビルド自動化 –テスト自動化 –デプロイ自動化 •本番環境のBlue/Green運用 –複数のコントロールプレーン(Blue/Green) –障害だけでなく、アップグレードやメンテナンス にも有用 •ローリングアップグレード/メンテナンス –アプリもそれを意識できればベスト •BlueがだめならGreenで動く
  • 18.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Ride on the opensourcewind
  • 19.
    © Copyright 2014Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Thank you Twitter: tmak_tw