• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
異種クラスタを跨がる仮想マシンマイグレーション機構
 

異種クラスタを跨がる仮想マシンマイグレーション機構

on

  • 935 views

SWoPP北九州2013

SWoPP北九州2013

Statistics

Views

Total Views
935
Views on SlideShare
916
Embed Views
19

Actions

Likes
4
Downloads
5
Comments
0

1 Embed 19

https://twitter.com 19

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    異種クラスタを跨がる仮想マシンマイグレーション機構 異種クラスタを跨がる仮想マシンマイグレーション機構 Presentation Transcript

    • ⾼高野  了了成、中⽥田  秀基、広渕  崇宏、 ⽥田中  良良夫、⼯工藤  知宏 産業技術総合研究所  情報技術研究研究部⾨門 2013年年7⽉月31⽇日  SWoPP北北九州2013 異異種クラスタを跨がる 仮想マシンマイグレーション機構
    • 背景 •  広域環境における仮想計算機(VM)マイグレー ション技術の重要性拡⼤大 –  応⽤用例例:災害復復旧(DR)、コスト最適化 –  先⾏行行研究:データ転送量量の削減、状態同期の最適化 2 VMマイグレーション VM VM VM 障害
    • 背景 •  広域環境における仮想計算機(VM)マイグレー ション技術の重要性拡⼤大 –  応⽤用例例:災害復復旧(DR)、コスト最適化 –  先⾏行行研究:データ転送量量の削減、状態同期の最適化 3 VM VM VM 価格:XXX 仕様:XXX 価格:YYY 仕様:YYY 価格:ZZZ 仕様:ZZZ
    • 背景 •  広域環境における仮想計算機(VM)マイグレー ション技術の重要性拡⼤大 –  応⽤用例例:災害復復旧(DR)、コスト最適化 –  先⾏行行研究:データ転送量量の削減、状態同期の最適化 •  しかし、実⽤用化に向けた課題は⼭山積 –  ヘテロなクラウド環境間で仮想クラスタを移送 4 •  アーキテクチャ(CPU) •  仮想計算機モニタ •  通信デバイス
    • 仮想クラスタマイグレーション •  アプリケーションを再起動することなく、 クラウド間で仮想クラスタをマイグレーション •  ホストにおける最適なネットワークを利利⽤用 5 BMBMBM Public  CloudPrivate  Cloud Infiniband BMBMBM Ethernet Virtual  Cluster Node VM Node VM Node VM Network
    • 本研究の貢献 •  アプリケーションを再実⾏行行することなく、 実⾏行行環境の変化に応じて、最良良の通信性能を 達成する通信デバイスを選択・利利⽤用できる 仮想クラスタマイグレーションを提案 •  プロトタイプ実装を開発し、HPCクラスタと 商⽤用パブリッククラウド間の仮想クラスタ マイグレーションを実現 6
    • 発表の流流れ •  背景 •  仮想クラスタマイグレーション •  プロトタイプ実装 •  実験 •  関連研究 •  まとめと今後の予定 7
    • 仮想クラスタマイグレーション 8
    • HPCクラウド •  仮想クラスタ上で⾼高性能計算を実⾏行行 –  仮想化I/Oを⽤用いた場合、実⽤用的な速度度で実⾏行行できる アプリは限定 –  直接I/O(PCIパススルー、SR-‐‑‒IOV)を⽤用いた場合、 I/O性能は物理理計算機に匹敵 •  仮想クラスタ=ノードVM+ネットワーク –  ネットワークには通信⽤用と管理理⽤用が存在 9 本発表での前提 •  プライベートクラウド:通信⽤用にInfinibandを直接I/Oで使⽤用 •  パブリッククラウド:両者を仮想化I/Oで兼⽤用
    • 仮想クラスタマイグレーション 10 BMBMBM Public  CloudPrivate  Cloud Migration Node VM Node VM Node VM Infiniband  Network Virtual  Cluster IB  HCA IB  HCA IB  HCA BMBMBM Node VM Node VM Node VM Ethernet  Network NIC NIC NIC PCI  pass through virtio_̲net DRユースケース: プライベートクラウドでは、Infinibandを直接I/Oで⽤用いる仮想 クラスタを使⽤用し、災害時等には、(Ethernetしか持たない) パブリッククラウドにマイグレーションし、復復旧後に戻す
    • 要求 1.  実⾏行行環境に応じた最適な通信デバイスの切切替え –  仮想クラスタで稼働するアプリケーションは、利利⽤用 可能な通信⽤用ネットワークに応じて動的に通信デバ イスを切切り替える必要がある 2.  ローカルエリアネットワークの差異異の隠蔽 –  クラウド間でクラスタ環境をシームレスに移送する ために、管理理⽤用ネットワークのIPアドレスをマイグ レーション前後で同⼀一に保つ必要がある 3.  広域環境におけるVMマイグレーション –  ⾼高遅延環境において、共有ストレージを⽤用いること は性能上現実的ではない 11
    • アプローチ 1.  実⾏行行環境に応じた最適な通信デバイスの切切替え    インターコネクト透過型マイグレーション Ninja  migration 2.  ローカルエリアネットワークの差異異の隠蔽    OpenFlow技術を⽤用いたエッジオーバレイ ネットワークの構築 3.  広域環境におけるVMマイグレーション    共⽤用ストレージが不不要なストレージマイグ レーションの利利⽤用 12
    • Ninja  migration •  要件 –  マイグレーション時だけ、直接I/Oデバイスを取り外 し、VMマイグレーションを実⾏行行 –  VM間のコーディネーション –  ゲストOS内のデバイスの検出、通信デバイスの切切替 13 VMMとゲストOS内のMPIランタイムの連携動作 (MPIチェックポイントシステム機能を流流⽤用)
    • Ninja  migrationの全体構成 14 IB  HCA VM VMM Application MPI   system IB  HCA VM VMM Application MPI   system      Ninja  migration Ethernet  NIC VM VMM Application MPI   system Ethernet  NIC VM VMM Application MPI   system      Ninja  migration Virtual  Cluster Migration Global   coordination Device  setup
    • エッジオーバレイネットワーク •  OpenFlowとGREトンネルを⽤用いて、パブリッ ククラウド上にプライベートクラウドのネット ワーク環境を模擬 15 VMM Node  VM VMM Node  VM VMM Node  VM eth0 eth0 eth0 tap0tap0 tap0 gre0gre0 gre0 OFS OFS OFS GRE  Tunneling OFC Trema 192.168.0.1 192.168.0.2 192.168.0.3 ※OFS:  OpenFlow  Switch   OFC:  OpenFlow  Controller
    • ストレージマイグレーション •  共有ストレージを⽤用いず、マイグレーション先 にVMイメージを転送 •  フルストレージマイグレーション –  VMイメージ全体を転送 •  インクリメンタルストレージマイグレーション –  ベースイメージに対する差分のみを転送 –  ベースイメージはあらかじめ同期の必要あり 16
    • プロトタイプ実装にあたって •  現在のパブリッククラウドは、外部とのVM マイグレーションに未対応 •  ⼊入れ⼦子型仮想化(Nested  KVM)を使⽤用 17 BMBMBM VMVMVM NIC NIC NIC Node VM Node VM Node VM Ethernet Network × 〇
    • 実験 18
    • 実験環境(1/2) 19 T510T510 CV01CV01 CloudCore  VPS@KDDI  Web  Comm.AIST  DC Node VM Node VM Ethernet  Network Node VM Node VM Infiniband  Network Virtual  Cluster Tsukuba  WAN, SINET OvS OvS GRE RTT遅延 7.5ミリ秒 グッドプット 920  Mbps 490  Mbps ※(T510  –  CV01間)
    • 実験環境(2/2) 20 AIST  (PowerEdge  T410) CloudCore  CV01 CPU 6-‐‑‒core  Intel  Xeon  X5650  @   2.66GHz 2-‐‑‒core  Intel  Core2  duo  T7700   @  2.40GHz Memory 6  GB 2  GB Infiniband Mellanox  ConnectX-‐‑‒2  (QDR) -‐‑‒ Ethernet Broadcom  on-‐‑‒board  NIC  (GbE) virtio_̲net HDD 1  TiB 100  GiB OS Debian  GNU/Linux  7.1 (kernel  3.2.0-‐‑‒4-‐‑‒amd64) CentOS  6.2 (kernel  2.6.32-‐‑‒220.el6.x86_̲64) Node  VM CPU 1  core Memory 512  MB Ethernet virtio_̲net HDD 5  GiB OS CentOS  6.4
    • ストレージマイグレーション時間 21 #VM AIST  -‐‑‒>  CloudCore CloudCore  -‐‑‒>  AIST full 1 172 179 2 215 299 inc 1 9 9 2 9 9 •  フルストレージマイグレーション –  VM数が増えるとWAN回線がボトルネック •  インクリメンタルストレージマイグレーション –  転送量量が⼤大幅に削減できるので(5.4  GB→260MB)、 マイグレーション時間が短縮 (単位は秒)
    • Ninja  migration •  オーバヘッド時間測定 –  産総研→CloudCore:約4秒 –  CloudCore→産総研:約22秒 •  考察 –  今後の課題:Infinibandのリンクアップ時間が約20秒 と無視できない 22
    • MPI  Point-‐‑‒to-‐‑‒Point通信性能 23 0.01 0.1 1 10 100 1000 10000 1 10 100 1000 10000 100000 1e+06 Bandwidth(MB/sec) message size (byte) T410 L1 (IB) CloudCore L1 (TCP) CloudCore L2 (TCP) 2.1  GB/s 111  MB/s 72.4  MB/s※ メッセージ⻑⾧長  4MB ※  L2  VMにはGREのオーバヘッドも含まれる
    • まとめと今後の予定 24
    • 関連研究 •  ヘテロ環境におけるVMマイグレーション –  Vagrant:XenとKVM間でマイグレーションを実現 è  本提案とは相補的 •  ⼊入れ⼦子型仮想化を⽤用いたVMマイグレーション –  Xen  Blanket:Amazon  EC2とのVMマイグレーショ ンに成功 è  複数VM対応に関しては、初歩的な段階 –  Virtage  (KVM  on  LPAR):ユースケース「VMM  as  a   Service」を提案 è  VMマイグレーションの検討は不不明 25
    • まとめ •  実⾏行行環境の変化に応じて、 最良良の通信性能を達成する通信デバイスを アプリケーションから透過的に選択・利利⽤用できる 仮想クラスタマイグレーションを提案 –  Ninja  migration –  エッジオーバレイネットワーク –  ストレージマイグレーション •  プロトタイプ実装を開発し、HPCクラスタと 商⽤用パブリッククラウド間の仮想クラスタ マイグレーションを実現 –  ⼊入れ⼦子型仮想化 26
    • 今後の予定 •  より詳細かつ⼤大規模環境での評価 •  クラウドミドルウェアのPCIパススルー対応  [済] •  MPIシステムに依存しないNinja  migration実装 •  仮想クラスタマイグレーションの応⽤用 27 本研究の⼀一部は、JSPS科研費(24700040)の成果を活⽤用している。 Physical machines HaaS IaaS user A IaaS A IaaS user B IaaS
 user C IaaS B IaaS
 user D Physical machines HaaS IaaS マイグレーション