Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

OpenStackによる、実践オンプレミスクラウド

6,057 views

Published on

QCon Tokyo 2013 講演資料

OpenStackによる、実践オンプレミスクラウド

  1. 1. QCon Tokyo 2013 - BS3-1 講演資料Copyright © 2013 NTT DATA CorporationApril 23, 2013株式会社NTTデータ基盤システム事業本部 伊藤 雅典OpenStack による、実践オンプレミスクラウド
  2. 2. 自己紹介氏名伊藤 雅典 (いとう まさのり)所属株式会社NTTデータ 基盤システム事業本部 システム方式技術BU担当業務OpenStack をベースにした 「フルオープン仮想化基盤構築ソリューション」 の2Copyright © 2013 NTT DATA Corporation 2開発、OSS系案件対応等に従事http://oss.nttdata.co.jp/openstack/http://www.nttdata.com/jp/ja/news/release/2012/100201.html活動領域専門は、OS・仮想化・ネットワーク等のプラットフォーム系技術一般。日本OpenStackユーザ会(JOSUG)、オープンクラウド実証実験タスクフォース(OCDET)等で活動中。そのほか、各種記事執筆など。趣味は子育て。
  3. 3. INDEX01 Introduction - はじめに02 Overview - OpenStack プロジェクトの全体像03 How it Works - どう動いているのか?04 Toward the Production Systems -- 実システムへむけて3Copyright © 2013 NTT DATA Corporation
  4. 4. 01 はじめにCopyright © 2013 NTT DATA Corporation 4
  5. 5. 利用者視点で見たクラウドとは• 情報システムを「保有せずに利用する」サービス形態• 利用者は「ネットワークの向こう側」からサービスを受ける• 「ネットワークの向こう側」がどうなっているかを知る必要はない5Copyright © 2013 NTT DATA Corporation 5一言でいえば、 「従量課金」ということ。
  6. 6. クラウドのサービスモデルミドルウェア・フレームPaaS種類 解説SaaSSoftwareas a ServiceCRM・ERPなどの業務アプリケーションアプリケーションアプリケーションアプリケーションを提供中中中中柔軟性低低低低•アプリケーションとしてサービスが完成しているため、変更には改修が伴うユーザはハードを意識せずにアプリケーションを利用可能SaaS基盤(テナント管理・認証等)AP APユーザはハードを意識せずに6Copyright © 2013 NTT DATA Corporation 6ミドルウェア・フレームワーク等アプリケーション実行環境実行環境実行環境実行環境を提供CPU・メモリ・ネットワーク・ストレージなどのリリリリソースソースソースソースを提供PaaSPlatformas a Service中中中中•アプリケーション開発を行うための基盤であるため、仕様変更等は比較的反映し易い高高高高•アプリケーションを動作させるインフラであるため、サービスの要求スペックにあわせて自由に変更が可能ユーザはハードを意識せずにアプリケーションを開発可能開発環境 開発ツールIaaSInfrastructure as aServiceユーザはハードを意識せずにリソースを利用可能仮想サーバミドルウェアメモリCPUメモリCPUリソース本日の話題はこのあたりをカバー
  7. 7. クラウドのサービス形態パブリッククラウドコミュニティクラウドプライベートクラウドプライベートクラウドオンプレミスのプライベートクラウドと外部パブリッククラウドを組み合わせた「ハイブリッド・クラウド」へ7Copyright © 2013 NTT DATA Corporation 7•一般共有(例 ECサイト)•汎用性が求められるため、個別の要求仕様には適合しにくいプライベートクラウド コミュニティクラウド パブリッククラウド•特定組織間で共有(例 共同センター)•コミュニティが定めた範囲内でユーザの要求仕様に適合可能•単一機関内で利用(例 社内ポータル)•個別機関毎に構築するため、細かな要求仕様にも適合可能特徴
  8. 8. ところで「オンプレミス」なのか?ノーチラス・テクノロジーズ 2013/04/09付報道発表http://www.nautilus-technologies.com/topics/20130409.html西鉄ストアさんの本部基幹システムをパブリッククラウド(AWS)のみで構築画面数 約600、処理量 約3000バッチ、データ20億件/日開発期間 2年、開発工数 600-700人月ノーチラス・テクノロジーズ 神林さんの 2013/04/14付ブログhttp://d.hatena.ne.jp/okachimachiorz/20130414/1365914031「オンプレミス・システムの終わり」の始まり8Copyright © 2013 NTT DATA Corporation「オンプレミス・システムの終わり」の始まり~AWSでのミッションクリティカルシステムの稼働ブログ末尾より引用最後に実際に弊社某エースの作業中の独り言だけ書いておきます。「「「「これは・・・これは・・・これは・・・これは・・・一筋縄一筋縄一筋縄一筋縄ではいかないではいかないではいかないではいかないわわわわ((((汗汗汗汗」」」」だそうでございます。いろいろありましたよ。そんな簡単じゃないですよ。まじめに。まぁとはいえ、できているという現実は直視すべきでしょう。
  9. 9. ところで「オンプレミス」なのか?TechTarget 「OSSクラウド基盤 OpenStackの全て【前編】」より抜粋http://techtarget.itmedia.co.jp/tt/news/1012/22/news01.html「「「「プライベートクラウドを持つ(オンプレミスで設備を所有する)ことの意義は、…(中略)…………インフラ運用ノウハウの担保、つまり現場力の維持も意義になるだろう。日本の産業界を支えてきた最大の要因は現場力の強さであったことを思い起こしてほしい。」」」」≒>インフラはサービス(現場)の根幹9Copyright © 2013 NTT DATA Corporation「インフラエンジニアがOpenStackを学ぶべきたった一つの理由」より(OSC.Cloud 2012 by 日本OpenStackユーザ会会長 中島さん)http://www.slideshare.net/irix_jp/osc2012-15658447「OpenStackは一粒で8度おいしい」≒>(レイヤを問わず)エンジニア自身の価値向上パブリッククラウドでもパブリッククラウドでもパブリッククラウドでもパブリッククラウドでも、、、、オンプレミスでもオンプレミスでもオンプレミスでもオンプレミスでも、、、、プライベートプライベートプライベートプライベートクラウドでもクラウドでもクラウドでもクラウドでも、、、、幅広幅広幅広幅広くくくく理解理解理解理解してしてしてして使使使使うべしということうべしということうべしということうべしということ
  10. 10. 02 OpenStack プロジェクトの全体像Copyright © 2013 NTT DATA Corporation 10
  11. 11. OpenStackとはIaaS レイヤからPaaS レイヤの下部までをカバーするクラウド基盤OSS11Copyright © 2013 NTT DATA Corporationhttp://www.openstack.org/software/ より引用
  12. 12. OpenStackの特徴1 フルオープンソース2 リッチな機能セット(≒豊富な周辺エコシステム)3 確固とした開発・ユーザコミュニティの運営体制12Copyright © 2013 NTT DATA Corporation4 主要ディストリビューションに標準搭載5 豊富なユーザー事例
  13. 13. OpenStack コアコンポーネントの概要図Compute(Nova)ObjectStorage(Swift)Network(Quantum)Dashboard(Horizon)13Copyright © 2013 NTT DATA Corporationhttp://ken.pepple.info/openstack/2012/09/25/openstack-folsom-architecture/Identity --AuthN/AuthZ(Keystone)VM Image(Glance)BlockStorage(Cinder)
  14. 14. OpenStack の機能範囲コアプロジェクトOpenStack Compute - Nova AWS の EC2/VPCに相当スケーラビリティ強化大規模対応強化OpenStack Image Service - Glance AWS の EC2 の一部に相当OpenStack Network Service - Quantum AWS の EC2 の一部に相当Grizzly で Load Balancer 機能をサポートGrizzly で多数のSDNコントローラプラグインが追加14Copyright © 2013 NTT DATA CorporationGrizzly で多数のSDNコントローラプラグインが追加OpenStack Volume Service - Cinder AWS の EBS に相当Grizzly で多数のストレージ装置ドライバが追加OpenStack Object Storage - Swift AWS の S3 に相当Grizzly で地理的分散対応OpenStack Identity Service – Keystone 認証/認可サービスOpenStack Dashboard – Horizon AWS の Mgmt. Console に相当Quantumの機能強化追従(ネットワークトポロジーのグラフィックパネルを含む)NovaのLiveMigration対応1
  15. 15. OpenStack の機能範囲周辺プロジェクトMonitoring and Billing - Ceilometer AWS では CloudWatch に相当Orchestration - Heat AWS では CloudFormation に相当Hadoop as a Service - Savanna AWS では EMR に相当S3の代わりに Swift インテグレーションも進行中DNS as a Service - Moniker AWS では Route53 に相当RDBMS as a Service - Reddwarf AWS では RDS に相当LB as a Service - Libra/Atlas AWS では ELB に相当15Copyright © 2013 NTT DATA CorporationLB as a Service - Libra/Atlas AWS では ELB に相当Grizzly では Quantum 内蔵の LBaaS 機能が追加されたGrizzlyの新機能の詳細については以下を参照https://wiki.openstack.org/wiki/ReleaseNotes/Grizzly1
  16. 16. OpenStack FoundationOpenStack Community を運営する、ベンダ中立な非営利団体強いコミットメントを伴うメンバーシップTechnical Committee / Board of Directors / UserCommittee で構成16Copyright © 2013 NTT DATA CorporationAT&THPIBMNeburaRackSpaceRedhatSUSEUbuntuNECCiscoDELLIntelNetAppVMwareYAHOO!… and others
  17. 17. OpenStack プロジェクトの歴史2011年9月の Diable(4th)リリース以降、順調に半年ごとにリリースされている(タイムベースのリリースポリシー)HavanaReleaseNASA Press Release:NovaRackspace PressRelease : Swift05/09/‘10イマココ17Copyright © 2013 NTT DATA Corporation07/19/’10 10/21/’10AustinReleaseBexarReleaseCactusRelease02/03/’11 04/15/’11発表DiabloRelease09/22/’11EssexRelease04/05/’123.5か月2か月5か月FolsomRelease09/27/’12 04/04/’136か月6か月GrizzlyReleaseイマココ6か月
  18. 18. ユーザ事例 (パブリッククラウドサービス)HPHPのパブリッククラウドサービス5/10/’11時点で1000 Nodes, PBs Storage、Ubuntu ベースRackspaceRackSpace社のパブリッククラウドサービス(Virtual Network, Virtual Block Storage Services (5/1/’11~)GMOインターネット お名前.com VPSサービスを OpenStack で構築・運用18Copyright © 2013 NTT DATA CorporationKorea Telecom Swift を用いた商用オブジェクトストレージサービスSoftLayer Swift ベースのグローバルCDNサービス(等)
  19. 19. ユーザ事例 (商用/内部サービスのホスト)Mercado Libre南米本拠の e-Bay パートナe-Commerce on Top of OpenStack(1000Nodes, 58M Users, Peak 50K Reqs./s)PayPalvCloud から OpenStack にサービス基盤を移行http://www.openstack.org/user-stories/paypal/agility-with-stability/Sina中国版Twitter(Weibo)を運営する会社自社サービスのAP基盤をOpenStack上で運用19Copyright © 2013 NTT DATA CorporationWebEX (Cisco) WebEx のシステムをOpenStack上に収容Sina 自社サービスのAP基盤をOpenStack上で運用SCE America 社内ゲーム開発環境をOpenStack上で運用(AWSから移行)サイバーエージェント Ameba の基盤を VMwareベースから置き換え
  20. 20. ユーザ事例 (テレコム系、学術系)DeutscheTelecomSMB向けのビジネスマーケットプレースの基盤をOpenStackで構築NECTOR オーストラリアのHPC学術クラウド基盤国立情報学研究所教育クラウドの基盤で OpenStack を利用(ベアメタルプロビジョニング機能等を独自開発)20Copyright © 2013 NTT DATA CorporationCERNEUの高エネルギー研究施設のクラウド基盤(48 Nodes, 1PB)OpenStackのユーザー事例は、OpenStack本家の以下のページから参照できます。http://www.openstack.org/user-stories/
  21. 21. OpenStack ベースのディストリビューション/ソリューションRedHat http://www.redhat.com/products/cloud-computing/openstack/Canonical http://www.ubuntu.com/cloudSuSE https://www.suse.com/products/suse-cloud/21Copyright © 2013 NTT DATA CorporationPistonCloud http://www.pistoncloud.com/openstack-cloud-software/RackSpace RackSpace Private Cloud Editionhttp://www.rackspace.com/cloud/private/Cisco http://www.cisco.com/web/solutions/openstack/index.htmlNTTデータフルオープン仮想化基盤構築サービスhttp://oss.openstack.co.jp/openstack/
  22. 22. 国内コミュニティの動向•日本OpenStackユーザ会• OpenCloudCampus(http://opencloud.jp/)の中核として:• 各種イベントやML等を通して情報発信• ドキュメントの翻訳• 海外コミュニティとの連携等を行っています。22Copyright © 2013 NTT DATA Corporation• HP http://openstack.jp/• ML http://groups.google.com/group/openstack-ja• 最近の活動 : OpenStack Days Toky 2013 @ 秋葉原• http://openstackdays.com/• 事前登録1000名超、ユニーク来場者 650名!
  23. 23. 03 How It Works?Copyright © 2013 NTT DATA Corporation 23
  24. 24. Compute NodeCompute NodeCompute NodeCompute NodeNovaのアーキテクチャ(Diablo リリースくらいまで)仮想マシンの作成、削除、監視等の管理SchedulerNodeSchedulerNodeリソーススケジューラCompute NodeCompute NodeOpenStack API(/AWS API)REST• モジュラーなコンポーネント群がRPCメッセージを介して協調動作する構造。• 外部I/Fは REST APIDBMSDBMSDBアクセス24Copyright © 2013 NTT DATA CorporationRPC /AMQPRPC /AMQPAPI ServerAPI Server仮想マシンに不揮発性のブロックストレージを提供Network NodeNetwork NodeGlanceGlance仮想マシンへのstatic NAT/DHCPを提供仮想マシンイメージの管理ユーザからの要求受付Volume NodeVolume NodeSwiftSwiftRESTRESTイメージデータの実体を保持RPC
  25. 25. Novaのアーキテクチャ (現在はこうなっています)RPC(/AMQP)RPC(/AMQP)nova-apinova-apinova-schedulernova-schedulerOpenStack API(/AWS API)• モジュラーなコンポーネント群が REST/RPC メッセージを介して通信、協調動作する構造。CinderCinderDBMSDBMSDBアクセスRPC25Copyright © 2013 NTT DATA Corporationnova-computenova-computenova-computenova-computenova-computenova-computeSwiftSwiftRESTKeyStoneKeyStonenova-conductornova-conductorGlanceGlanceQuantumQuantum注1:各コンポーネントから出る「認可」のためのメッセージは省略しています。注2:Nova以外はサブコンポーネントをまとめています。大量のnova-compute からのDBアクセスを集約RESTRPC
  26. 26. Account ServerAccount ServerSwiftのアーキテクチャContainer の一覧を保持認証サーバ(Keystone)認証サーバ(Keystone)Account ServerAccount ServerContainerContainer• 外部I/Fを含めてすべてのコンポーネントが REST API で通信、協調動作する構造。認証 認可26Copyright © 2013 NTT DATA CorporationObject ServerObject ServerObject ServerObject ServerObject ServerObject ServerContainerServerContainerServerProxy ServerProxy ServerObject の一覧を保持Object のデータを保持利用者とストレージノードの間でリクエストを中継するクライアントswift コマンドのほか、CyberDug や CloudBerry等(curl等操作可能)RESTProxy ServerProxy ServerContainerServerContainerServerObject ServerObject Serverストレージノード注1:ここに挙げたのは主要サブコンポーネントのみで、replicator 等は省略しています。
  27. 27. n-api n-scheduler n-compute q-server q-agentrun_instanceschedule_run_instancecreatenova コマンド等Novaの動作:VM起動時のシーケンス抜粋(例: Quantum OVSの場合)Quantum呼び出しはL2 NW一覧取得や、portの作成等さまざま27Copyright © 2013 NTT DATA Corporationallocate_for_instanceovs-vsctl 呼び出し(port 作成等)凡例RPCRESTAPI注意・DBアクセスは省略しています。・RPCはMQサーバを経由します。この後、必要に応じてGlance からイメージ取得、libvirt へVM作成要求等
  28. 28. システム構成例インターネット/イントラネットCinderZone #1外部ネットワークエンドユーザPCiptablesNova + Glance +Quantum(ovs plugin) +Cinder + Swift(イメージのみ) の標準的な構成 (ただし、Keystone/DB/MQは省略)クラウドコントローラ28Copyright © 2013 NTT DATA CorporationQuantumAgent(L2/L3)Nova-apiEBSEBSEBSEBSボリュームボリュームボリュームボリュームGlance/SwiftCinderVolume(iSCSI等)VMVMVMVMImageImageImageImageNova ComputeQuantum AgentVMVM…内部ネットワーク管理・ストレージ用ネットワーク管理・ストレージ用ネットワークDB(MySQL)Nova ComputeQuantum AgentVMNovaSchedulerQuantumServerovsovsdnsmasq/ovs
  29. 29. 仮想マシンの起動シーケンス(1) : APIサーバで受付インターネット/イントラネットCinderZone #1外部ネットワークエンドユーザPC① 起動要求iptables29Copyright © 2013 NTT DATA CorporationQuantumAgent(L2/L3)Nova-apiEBSEBSEBSEBSボリュームボリュームボリュームボリュームGlance/SwiftCinderVolume(iSCSI等)VMVMVMVMImageImageImageImageNova ComputeQuantum AgentVMVM…内部ネットワーク管理・ストレージ用ネットワークDB(MySQL)Nova ComputeQuantum AgentVMNovaSchedulerQuantumServerovsovsdnsmasq/ovs
  30. 30. 仮想マシンの起動シーケンス(2) : スケジューラで資源選択インターネット/イントラネットCinderZone #1外部ネットワークエンドユーザPCユーザの要求とCompute Nodeの混み具合を照らし合わせて、VMを実行するべきホストを選択iptables30Copyright © 2013 NTT DATA CorporationQuantumAgent(L2/L3)Nova-apiEBSEBSEBSEBSボリュームボリュームボリュームボリュームGlance/SwiftCinderVolume(iSCSI等)VMVMVMVMImageImageImageImageNova ComputeQuantum AgentVMVM…内部ネットワーク管理・ストレージ用ネットワークDB(MySQL)NovaSchedulerQuantumServerNova ComputeQuantum AgentVM② VM作成指示ovsovsdnsmasq/ovs
  31. 31. 仮想マシンの起動シーケンス(3) : compute へVM作成指示インターネット/イントラネットCinder物理マシンプール#1外部ネットワークエンドユーザPCiptables31Copyright © 2013 NTT DATA CorporationQuantumAgent(L2/L3)Nova-apiEBSEBSEBSEBSボリュームボリュームボリュームボリュームGlance/SwiftCinderVolume(iSCSI等)VMVMVMVMImageImageImageImageNova ComputeQuantum AgentVMVM…内部ネットワーク管理・ストレージ用ネットワークDB(MySQL)Nova ComputeQuantum AgentVMVMNovaSchedulerQuantumServer③VM起動処理要求ovsovsdnsmasq/ovs
  32. 32. 仮想マシンの起動シーケンス(4) : 内部L2NW作成処理インターネット/イントラネットCinderZone #1外部ネットワークエンドユーザPC テナントに対応した VLAN や GREトンネル、内部用IP(FIXED_IP)を割り当てる各テナントごとに tap と内部用IP(FIXED_IP)空間の gateway を設定DHCPサーバを設定(・起動)⑤ tap作成iptables32Copyright © 2013 NTT DATA CorporationQuantumAgent(L2/L3)Nova-apiEBSEBSEBSEBSボリュームボリュームボリュームボリュームGlance/SwiftCinderVolume(iSCSI等)VMVMVMVMImageImageImageImageNova ComputeQuantum AgentVMVM…内部ネットワーク管理・ストレージ用ネットワークDB(MySQL)NovaSchedulerQuantumServerNova ComputeQuantum AgentVM④ NW割当要求⑤ tap作成dnsmasq 起動⑤’ tap作成 ovsovsdnsmasq/ovs
  33. 33. 仮想マシンの起動シーケンス(5) : compute上でのVM作成処理インターネット/イントラネットCinder物理マシンプール#1外部ネットワークエンドユーザPCiptablesステップ(3)で作成される tap をVMの仮想NICに bridge 接続してVM生成。ebtables を利用し、L2でフィルタが設定される内部NW側の private address はDHCPで割り当てられる。33Copyright © 2013 NTT DATA CorporationQuantumAgent(L2/L3)Nova-apiEBSEBSEBSEBSボリュームボリュームボリュームボリュームGlance/SwiftCinderVolume(iSCSI等)VMVMVMVMImageImageImageImageNova ComputeQuantum AgentVMVM…内部ネットワーク管理・ストレージ用ネットワークDB(MySQL)Nova ComputeQuantum AgentVMVMNovaSchedulerQuantumServer⑥ VM テンプレートダウンロード⑦ VM生成ovsovsdnsmasq/ovs
  34. 34. 仮想マシンの起動シーケンス(6) : 外部通信用設定インターネット/イントラネットCinder物理マシンプール#1外部ネットワークエンドユーザPC⑧ 外部用Floating IP割り当て要求外部通信用の global IP addressは iptables で SNAT/DNAT設定されるiptables別オペレーション34Copyright © 2013 NTT DATA CorporationQuantumAgent(L2/L3)Nova-apiEBSEBSEBSEBSボリュームボリュームボリュームボリュームGlance/SwiftCinderVolume(iSCSI等)VMVMVMVMImageImageImageImageNova ComputeQuantum AgentVMVM…内部ネットワーク管理・ストレージ用ネットワークDB(MySQL)Nova ComputeQuantum AgentVMVMSchedulerNodeQuantumServer⑨ NAT設定要求ovsovsdnsmasq/ovs
  35. 35. OpenStack が利用するホストOS側の機能OpenStack はホストOSのごく基本的な機能を(ただし、幅広く)使って動いています仮想NW(VLAN/tunnel)切り出し → vconfig、ip、ovs-vsctl仮想NWへ仮想NICの接続 → brctl、libvirt APIVMへのアドレス割り当て → dnsmasqNATの設定 → ip, iptables35Copyright © 2013 NTT DATA CorporationF/Wルールの適用 → iptables内部NWフィルタの設定 → ebtables、libvirt APIVMの起動・停止制御 → libvirt APIボリュームの制御 → iSCSI系コマンドVMへのボリューム接続 → libvirt APIボリュームのスナップショット実現 → lvm2 系コマンドetc.
  36. 36. 他のIaaS構築ソフトとの比較CloudStack機能範囲Compute サービスのみSwift や RiakCS、Gluster 等、周辺エコシステムは拡充中メリットCitrix社の製品(例:NetScaler、XenServer等)との親和性が高い海外だけでなく、国内での適用事例も豊富。36Copyright © 2013 NTT DATA Corporation構造コントローラはモノリシックな構造。実装言語は JavaEucalyptus機能範囲Compute サービスのみメリットAmazon Web Service(AWS)との公式な互換性がある構造コントローラはモノリシックな構造。実装言語は Java + C
  37. 37. OpenStack NW構成例:VLAN/GREベースで隔離する場合インターネット/イントラネットZone #1外部ネットワークエンドユーザPCiptablesAmazon EC2型+αのネットワークモデルを実現物理Network Nodeが外部トラフィックを集約(*1) クラウドコントローラAPI, Scheduler, RabbitMQ, RDBMS37Copyright © 2013 NTT DATA CorporationQuantumagent(L2/L3)クラウドコントローラ(*1)Glance/SwiftVMVMVMVMImageImageImageImageNova ComputeQuantum AgentVMVM…内部ネットワーク(VLAN/GRE等)管理・ストレージ用ネットワーク管理・ストレージ用ネットワークDB(MySQL)Nova ComputeQuantum AgentVMVMdnsmasqovs ovs
  38. 38. CloudStack NW構成例:Advanced Network モードの場合インターネット/イントラネットZone/Pod外部ネットワークエンドユーザPC仮想ルータ向けトラフィックが流れるDNATベースのネットワークモデルテナントごとに仮想ルータVMが作成され、内部NW経由でVMの通信を中継する。38Copyright © 2013 NTT DATA CorporationMgmt.Server.NFS/iSCSIVMVMVMVMImageImageImageImageComputeVM…管理・ストレージ用ネットワーク管理・ストレージ用ネットワークDBComputeVMCompute仮想ルータCompute仮想ルータvnic0vnic1内部ネットワークVMvnic0vnic1SSVMCPVM
  39. 39. OpenStack NW構成例:Flatモデル + multi_host オプションの場合インターネット/イントラネットzone1#1外部ネットワークエンドユーザPC(*1) クラウドコントローラAPI, Scheduler, RabbitMQ, RDBMS etc.RackSpace型のネットワークモデルを実現Gatewayはホスト単位に存在するので、ボトルネックにならないただし、アイソレーションはできない。39Copyright © 2013 NTT DATA CorporationGlance/SwiftVMVMVMVMImageImageImageImage…管理・ストレージ用ネットワーク管理・ストレージ用ネットワークDB(MySQL)nova-computeVMVMdnsmasqiptablesnova-networknova-computeVMVMdnsmasqiptablesnova-networkクラウドコントローラ(*1)
  40. 40. 04 Toward Production SystemsCopyright © 2013 NTT DATA Corporation 40
  41. 41. OpenStack Operations Guide (OpenStack 運用ガイド)コミュニティ有志による、設計~構築~運用にまつわるベストプラクティス・ノウハウの集大成(トラブル事例もあります ☺)http://docs.openstack.org/ops/現在、日本OpenStackユーザー会(JOSUG)の有志で翻訳中http://dream.daynight.jp/openstack/openstack-ops/content/↑翻訳中のスナップショット41Copyright © 2013 NTT DATA CorporationCloudStack 等、他の実装にも通じる部分が多いです。
  42. 42. システム設計上のポイント原則一般的なWebサービスの高可用化・サイジング設計とほとんど変わりません出発点サービスの仕様を決定する提供する仮想NWのモデル → アイソレーションが必要か?どの程度のユーザ/仮想マシン/ストレージをホストするのか?42Copyright © 2013 NTT DATA Corporationどの程度のユーザ/仮想マシン/ストレージをホストするのか?etc.
  43. 43. システム設計上のポイントOperations Guide で紹介されているExample ArchitectureQuantum を使わず、nova-networkで multi_host 構成。アイソレーションと、全体スループット/外部GWの高可用化のトレードオフ43Copyright © 2013 NTT DATA Corporation→仕様も構造もシンプルにするユーザ数/VM数に比例するブロックストレージ、VMディスクイメージの保持ノードを分離→スケールアウトしやすい構成コントローラは通常のHA化機構で冗長化実際の需要/負荷に応じて、DB、MQ、glance等から分離→監視の設計も重要
  44. 44. システム設計上のポイント悩ましいところBlock Storage (Cinder)の実体に何を使うか?箱モノは信頼性はあるが高価。Ceph RBD や Sheepdog 等は面倒を見切られるかどうか、見極めが難しい。etc.44Copyright © 2013 NTT DATA Corporation
  45. 45. Demo45Copyright © 2013 NTT DATA CorporationDemo
  46. 46. モデルケース•OpenStack では、SDNコントローラ等の周辺部品との組合わせにより、非常に多彩な仮想システムモデルを実現できます。•本日お見せするデモシステムの構成は以下の通りです• Amazon EC2型+αの仮想NWモデル• 全体が global firewall の内側にあり、VMには private addressが割46Copyright © 2013 NTT DATA Corporation 4• 全体が global firewall の内側にあり、VMには private addressが割り当てられる。• 外部通信は、NAT経由で行う。→外部からのアイソレーション• 他のユーザのパケットは見えない。→テナント間のアイソレーション• テナントあたり、複数の孤立仮想L2ネットワークを定義できる(+α)• VMあたり、複数の仮想NICを接続できる(+α)
  47. 47. VyattaPublicNetwork172.28.0.0/24EXT1Cloudext-z1zone1eth2eth0eth1172.28.0.11/24172.28.0.12/24172.28.1.11/24172.28.2.1/24172.28.1.1/24eth2 eth3FLOATING (as next-hop)172.28.11.0/24172.28.12.0/26HOST(on KVM)VML2 NW(as a bridge)QuantumNWデモ環境システム構成図インターネット開場発表者PC47Copyright © 2013 NTT DATA CorporationManagement (10.10.1.x)CloudControllern-cpu n-cpuINT1vm1-1 vm2-1VR-z1net-t1-2net-t1eth0eth0eth1eth1net-t2-1vm1-2eth0nova-compute以外、Horizon, Glance, Cinder,Quantum L2/L3 agentを含めてすべてここで動作作業用サーバ
  48. 48. モデルケース• OpenStack では、SDNコントローラ等の周辺部品との組合わせにより、非常に多彩な仮想システムモデルを実現できます。• 本日お見せするデモシステムの構成は以下の通りです• Amazon EC2型+αの仮想NWモデル• 全体が global firewall の内側にあり、VMには private addressが48Copyright © 2013 NTT DATA Corporation 4• 全体が global firewall の内側にあり、VMには private addressが割り当てられる。• 外部通信は、NAT経由で行う。→外部からのアイソレーション• 他のユーザのパケットは見えない。→テナント間のアイソレーション• テナントあたり、複数の孤立仮想ネットワークを定義できる(+α)• VMあたり、複数の仮想NICを接続できる(+α)
  49. 49. OpenStack Dashboard (Horizon)画面サンプル仮想L2面や仮想ルータの動日本のOpenStackユーザ会で翻訳しました49Copyright © 2013 NTT DATA Corporation想ルータの動的な追加・削除もできます。
  50. 50. NTTデータのOpenStackソリューション2012年10月10日開催 「ITpro EXPO 2012」優秀賞受賞!50Copyright © 2013 NTT DATA Corporation「ITpro EXPO 2012」に出展されたすべての製品/サービスの中から、製品/サービスとして優れていると同時に、来場者に対して分かりやすくインパクトのある展示を行ったものに与えられる賞です。
  51. 51. クラウド構築における悩ましい障壁1 各種設計や高可用性確保3 設定や利用方法の不明点の解消2 サーバやストレージの選定51Copyright © 2013 NTT DATA Corporation4 カスタマイズ5 サービスイン後の運用に関する配慮クラウド = 相応規模のITシステムは、SIerにお任せください
  52. 52. フルオープン仮想化基盤構築ソリューションとはNTTデータではコンサルから運用までワンストップでサポートしますリソースの増減に応じてサーバ電源を制御し、冗長なノードの電源をアイドリングストップ最小限の投資で素早くサービスを開始し、需要に応じて拡リーンスタートアップコンピュート(nova)コンサル 構築 運用52Copyright © 2013 NTT DATA Corporationモニタリング&マネージメント(Hinemos+α)ディザスタリカバリ落としエコな運用災害などでデータセンターが停止した場合でも、他のデータセンターでサービスを継続張可能コンピューティングリソース、大規模ストレージ、ネットワークを統合的に運用・管理統合マネージメントストレージ(swift)ネットワーク(OpenFlow)
  53. 53. 小規模からリーン・スタートアップ~お試しから徐々に増設Before 需要予測 → サーバ購入 → 予想ハズレ →After 最低限購入 → Full キャパ → 増設 →53Copyright © 2013 NTT DATA Corporationリーン(無駄のない)システムその時々に応じた最も安いサーバーを選択A社 A社 B社 B社 B社A社 B社 B社 B社 C社 C社C社 C社 C社 C社 C社 C社増設増設 増設増設
  54. 54. エコ・クラウドの実現にアイドリング・ストップ~ランニングコストを最低限に走行中はエンジン全開でも 停止中はエンジンも停止54Copyright © 2013 NTT DATA Corporation★★★休閉期には自動で電源OFF!繁忙期には自動で電源ON!stop stop電源ON 電源OFF
  55. 55. エコ・クラウドの実現にアイドリング・ストップ~ランニングコストを最低限にCompute NodeCompute NodeCompute NodeCompute NodeOpenFlow OpenFlowVM VMVM VMVM VMVM VM VMVM繁忙期閑散期Compute NodeOpenFlow OpenFlowVMCompute NodeOpenFlow OpenFlowVM成長期電源OFFの機器電源ONの機器55Copyright © 2013 NTT DATA CorporationCompute NodeCompute NodeCompute NodeCompute NodeCompute NodeVMVMVM VMVMCompute NodeCompute NodeCompute NodeCompute NodeOpenFlow OpenFlowVM VMVMVM VMVMCompute NodeCompute NodeCompute NodeCompute NodeVM VMVMVM VMVM電力最小化VMVMデフラグ機能でVM・NWを寄せるアイドリングストップで不要なノードを停止
  56. 56. 大規模クラウドに必須な OpenFlow~VLAN上限もNTTデータ独自OpenFlow技術で突破!テナントごとにNWを区画するのにVLANの上限が問題新規格”Openflow”を使うことにより改善可能同一テナント56Copyright © 2013 NTT DATA Corporationパケットフロー指定テナント
  57. 57. NTTデータ独自 ”Virtual Network Controller”1 物理NWの上に自由に論理NWを構築可能2 マルチテナントで利用される仮想NWを一元制御可能なGUI57Copyright © 2013 NTT DATA Corporation
  58. 58. まとめ:成功のポイントとは1 サービスの仕様自体を、可能な限りシンプルに保つ2 サービスの構造を、可能な限りシンプルに保つ3 理解して使い、可能な限り自分で責任を持つ58Copyright © 2013 NTT DATA Corporation4 信頼できるパートナーを選ぶNTTデータでは、OpenStackによるクラウド基盤のコンサルから運用までをカバーしたワンストップサービスを提供しています
  59. 59. 59Copyright © 2013 NTT DATA Corporationご清聴、どうもありがとうございました
  60. 60. Copyright © 2011 NTT DATA CorporationCopyright © 2013 NTT DATA Corporation
  61. 61. Q&A61Copyright © 2013 NTT DATA CorporationQ&A

×