⾼高野  了了成、中⽥田  秀基、広渕  崇宏、
⽥田中  良良夫、⼯工藤  知宏
産業技術総合研究所  情報技術研究研究部⾨門
2013年年7⽉月31⽇日  SWoPP北北九州2013
異異種クラスタを跨がる
仮想マシンマイグレーション機構
背景
•  広域環境における仮想計算機(VM)マイグレー
ション技術の重要性拡⼤大
–  応⽤用例例:災害復復旧(DR)、コスト最適化
–  先⾏行行研究:データ転送量量の削減、状態同期の最適化
2
VMマイグレーション
VM VM VM
障害
背景
•  広域環境における仮想計算機(VM)マイグレー
ション技術の重要性拡⼤大
–  応⽤用例例:災害復復旧(DR)、コスト最適化
–  先⾏行行研究:データ転送量量の削減、状態同期の最適化
3
VM VM VM
価格:XXX
仕様:XXX...
背景
•  広域環境における仮想計算機(VM)マイグレー
ション技術の重要性拡⼤大
–  応⽤用例例:災害復復旧(DR)、コスト最適化
–  先⾏行行研究:データ転送量量の削減、状態同期の最適化
•  しかし、実⽤用化に向けた課題は⼭山積
– ...
仮想クラスタマイグレーション
•  アプリケーションを再起動することなく、
クラウド間で仮想クラスタをマイグレーション
•  ホストにおける最適なネットワークを利利⽤用
5
BMBMBM
Public  CloudPrivate  Cloud
...
本研究の貢献
•  アプリケーションを再実⾏行行することなく、
実⾏行行環境の変化に応じて、最良良の通信性能を
達成する通信デバイスを選択・利利⽤用できる
仮想クラスタマイグレーションを提案
•  プロトタイプ実装を開発し、HPCクラスタと
商...
発表の流流れ
•  背景
•  仮想クラスタマイグレーション
•  プロトタイプ実装
•  実験
•  関連研究
•  まとめと今後の予定
7
仮想クラスタマイグレーション
8
HPCクラウド
•  仮想クラスタ上で⾼高性能計算を実⾏行行
–  仮想化I/Oを⽤用いた場合、実⽤用的な速度度で実⾏行行できる
アプリは限定
–  直接I/O(PCIパススルー、SR-‐‑‒IOV)を⽤用いた場合、
I/O性能は物理理計算機に...
仮想クラスタマイグレーション
10
BMBMBM
Public  CloudPrivate  Cloud
Migration
Node
VM
Node
VM
Node
VM
Infiniband  Network
Virtual  Cluster...
要求
1.  実⾏行行環境に応じた最適な通信デバイスの切切替え
–  仮想クラスタで稼働するアプリケーションは、利利⽤用
可能な通信⽤用ネットワークに応じて動的に通信デバ
イスを切切り替える必要がある
2.  ローカルエリアネットワークの差異異...
アプローチ
1.  実⾏行行環境に応じた最適な通信デバイスの切切替え
    インターコネクト透過型マイグレーション
Ninja  migration
2.  ローカルエリアネットワークの差異異の隠蔽
    OpenFlow技術を⽤用いた...
Ninja  migration
•  要件
–  マイグレーション時だけ、直接I/Oデバイスを取り外
し、VMマイグレーションを実⾏行行
–  VM間のコーディネーション
–  ゲストOS内のデバイスの検出、通信デバイスの切切替
13
VMM...
Ninja  migrationの全体構成
14
IB  HCA
VM
VMM
Application
MPI  
system
IB  HCA
VM
VMM
Application
MPI  
system
      Ninja  migr...
エッジオーバレイネットワーク
•  OpenFlowとGREトンネルを⽤用いて、パブリッ
ククラウド上にプライベートクラウドのネット
ワーク環境を模擬
15
VMM
Node  VM
VMM
Node  VM
VMM
Node  VM
eth0...
ストレージマイグレーション
•  共有ストレージを⽤用いず、マイグレーション先
にVMイメージを転送
•  フルストレージマイグレーション
–  VMイメージ全体を転送
•  インクリメンタルストレージマイグレーション
–  ベースイメージに対...
プロトタイプ実装にあたって
•  現在のパブリッククラウドは、外部とのVM
マイグレーションに未対応
•  ⼊入れ⼦子型仮想化(Nested  KVM)を使⽤用
17
BMBMBM
VMVMVM
NIC	
 NIC	
 NIC	
Node
VM...
実験
18
実験環境(1/2)
19
T510T510
CV01CV01
CloudCore  VPS@KDDI  Web  Comm.AIST  DC
Node
VM
Node
VM
Ethernet  Network
Node
VM
Node
VM
I...
実験環境(2/2)
20
AIST  (PowerEdge  T410) CloudCore  CV01
CPU 6-‐‑‒core  Intel  Xeon  X5650  @  
2.66GHz
2-‐‑‒core  Intel  Core...
ストレージマイグレーション時間
21
#VM AIST  -‐‑‒>  CloudCore CloudCore  -‐‑‒>  AIST
full 1 172 179
2 215 299
inc 1 9 9
2 9 9
•  フルストレージマイ...
Ninja  migration
•  オーバヘッド時間測定
–  産総研→CloudCore:約4秒
–  CloudCore→産総研:約22秒
•  考察
–  今後の課題:Infinibandのリンクアップ時間が約20秒
と無視できない
22
MPI  Point-‐‑‒to-‐‑‒Point通信性能
23
0.01
0.1
1
10
100
1000
10000
1 10 100 1000 10000 100000 1e+06
Bandwidth(MB/sec)
message s...
まとめと今後の予定
24
関連研究
•  ヘテロ環境におけるVMマイグレーション
–  Vagrant:XenとKVM間でマイグレーションを実現
è  本提案とは相補的
•  ⼊入れ⼦子型仮想化を⽤用いたVMマイグレーション
–  Xen  Blanket:Amazo...
まとめ
•  実⾏行行環境の変化に応じて、
最良良の通信性能を達成する通信デバイスを
アプリケーションから透過的に選択・利利⽤用できる
仮想クラスタマイグレーションを提案
–  Ninja  migration
–  エッジオーバレイネットワー...
今後の予定
•  より詳細かつ⼤大規模環境での評価
•  クラウドミドルウェアのPCIパススルー対応  [済]
•  MPIシステムに依存しないNinja  migration実装
•  仮想クラスタマイグレーションの応⽤用
27
本研究の⼀一...
Upcoming SlideShare
Loading in...5
×

異種クラスタを跨がる仮想マシンマイグレーション機構

926

Published on

SWoPP北九州2013

Published in: Technology
0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
926
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
9
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

Transcript of "異種クラスタを跨がる仮想マシンマイグレーション機構"

  1. 1. ⾼高野  了了成、中⽥田  秀基、広渕  崇宏、 ⽥田中  良良夫、⼯工藤  知宏 産業技術総合研究所  情報技術研究研究部⾨門 2013年年7⽉月31⽇日  SWoPP北北九州2013 異異種クラスタを跨がる 仮想マシンマイグレーション機構
  2. 2. 背景 •  広域環境における仮想計算機(VM)マイグレー ション技術の重要性拡⼤大 –  応⽤用例例:災害復復旧(DR)、コスト最適化 –  先⾏行行研究:データ転送量量の削減、状態同期の最適化 2 VMマイグレーション VM VM VM 障害
  3. 3. 背景 •  広域環境における仮想計算機(VM)マイグレー ション技術の重要性拡⼤大 –  応⽤用例例:災害復復旧(DR)、コスト最適化 –  先⾏行行研究:データ転送量量の削減、状態同期の最適化 3 VM VM VM 価格:XXX 仕様:XXX 価格:YYY 仕様:YYY 価格:ZZZ 仕様:ZZZ
  4. 4. 背景 •  広域環境における仮想計算機(VM)マイグレー ション技術の重要性拡⼤大 –  応⽤用例例:災害復復旧(DR)、コスト最適化 –  先⾏行行研究:データ転送量量の削減、状態同期の最適化 •  しかし、実⽤用化に向けた課題は⼭山積 –  ヘテロなクラウド環境間で仮想クラスタを移送 4 •  アーキテクチャ(CPU) •  仮想計算機モニタ •  通信デバイス
  5. 5. 仮想クラスタマイグレーション •  アプリケーションを再起動することなく、 クラウド間で仮想クラスタをマイグレーション •  ホストにおける最適なネットワークを利利⽤用 5 BMBMBM Public  CloudPrivate  Cloud Infiniband BMBMBM Ethernet Virtual  Cluster Node VM Node VM Node VM Network
  6. 6. 本研究の貢献 •  アプリケーションを再実⾏行行することなく、 実⾏行行環境の変化に応じて、最良良の通信性能を 達成する通信デバイスを選択・利利⽤用できる 仮想クラスタマイグレーションを提案 •  プロトタイプ実装を開発し、HPCクラスタと 商⽤用パブリッククラウド間の仮想クラスタ マイグレーションを実現 6
  7. 7. 発表の流流れ •  背景 •  仮想クラスタマイグレーション •  プロトタイプ実装 •  実験 •  関連研究 •  まとめと今後の予定 7
  8. 8. 仮想クラスタマイグレーション 8
  9. 9. HPCクラウド •  仮想クラスタ上で⾼高性能計算を実⾏行行 –  仮想化I/Oを⽤用いた場合、実⽤用的な速度度で実⾏行行できる アプリは限定 –  直接I/O(PCIパススルー、SR-‐‑‒IOV)を⽤用いた場合、 I/O性能は物理理計算機に匹敵 •  仮想クラスタ=ノードVM+ネットワーク –  ネットワークには通信⽤用と管理理⽤用が存在 9 本発表での前提 •  プライベートクラウド:通信⽤用にInfinibandを直接I/Oで使⽤用 •  パブリッククラウド:両者を仮想化I/Oで兼⽤用
  10. 10. 仮想クラスタマイグレーション 10 BMBMBM Public  CloudPrivate  Cloud Migration Node VM Node VM Node VM Infiniband  Network Virtual  Cluster IB  HCA IB  HCA IB  HCA BMBMBM Node VM Node VM Node VM Ethernet  Network NIC NIC NIC PCI  pass through virtio_̲net DRユースケース: プライベートクラウドでは、Infinibandを直接I/Oで⽤用いる仮想 クラスタを使⽤用し、災害時等には、(Ethernetしか持たない) パブリッククラウドにマイグレーションし、復復旧後に戻す
  11. 11. 要求 1.  実⾏行行環境に応じた最適な通信デバイスの切切替え –  仮想クラスタで稼働するアプリケーションは、利利⽤用 可能な通信⽤用ネットワークに応じて動的に通信デバ イスを切切り替える必要がある 2.  ローカルエリアネットワークの差異異の隠蔽 –  クラウド間でクラスタ環境をシームレスに移送する ために、管理理⽤用ネットワークのIPアドレスをマイグ レーション前後で同⼀一に保つ必要がある 3.  広域環境におけるVMマイグレーション –  ⾼高遅延環境において、共有ストレージを⽤用いること は性能上現実的ではない 11
  12. 12. アプローチ 1.  実⾏行行環境に応じた最適な通信デバイスの切切替え    インターコネクト透過型マイグレーション Ninja  migration 2.  ローカルエリアネットワークの差異異の隠蔽    OpenFlow技術を⽤用いたエッジオーバレイ ネットワークの構築 3.  広域環境におけるVMマイグレーション    共⽤用ストレージが不不要なストレージマイグ レーションの利利⽤用 12
  13. 13. Ninja  migration •  要件 –  マイグレーション時だけ、直接I/Oデバイスを取り外 し、VMマイグレーションを実⾏行行 –  VM間のコーディネーション –  ゲストOS内のデバイスの検出、通信デバイスの切切替 13 VMMとゲストOS内のMPIランタイムの連携動作 (MPIチェックポイントシステム機能を流流⽤用)
  14. 14. Ninja  migrationの全体構成 14 IB  HCA VM VMM Application MPI   system IB  HCA VM VMM Application MPI   system      Ninja  migration Ethernet  NIC VM VMM Application MPI   system Ethernet  NIC VM VMM Application MPI   system      Ninja  migration Virtual  Cluster Migration Global   coordination Device  setup
  15. 15. エッジオーバレイネットワーク •  OpenFlowとGREトンネルを⽤用いて、パブリッ ククラウド上にプライベートクラウドのネット ワーク環境を模擬 15 VMM Node  VM VMM Node  VM VMM Node  VM eth0 eth0 eth0 tap0tap0 tap0 gre0gre0 gre0 OFS OFS OFS GRE  Tunneling OFC Trema 192.168.0.1 192.168.0.2 192.168.0.3 ※OFS:  OpenFlow  Switch   OFC:  OpenFlow  Controller
  16. 16. ストレージマイグレーション •  共有ストレージを⽤用いず、マイグレーション先 にVMイメージを転送 •  フルストレージマイグレーション –  VMイメージ全体を転送 •  インクリメンタルストレージマイグレーション –  ベースイメージに対する差分のみを転送 –  ベースイメージはあらかじめ同期の必要あり 16
  17. 17. プロトタイプ実装にあたって •  現在のパブリッククラウドは、外部とのVM マイグレーションに未対応 •  ⼊入れ⼦子型仮想化(Nested  KVM)を使⽤用 17 BMBMBM VMVMVM NIC NIC NIC Node VM Node VM Node VM Ethernet Network × 〇
  18. 18. 実験 18
  19. 19. 実験環境(1/2) 19 T510T510 CV01CV01 CloudCore  VPS@KDDI  Web  Comm.AIST  DC Node VM Node VM Ethernet  Network Node VM Node VM Infiniband  Network Virtual  Cluster Tsukuba  WAN, SINET OvS OvS GRE RTT遅延 7.5ミリ秒 グッドプット 920  Mbps 490  Mbps ※(T510  –  CV01間)
  20. 20. 実験環境(2/2) 20 AIST  (PowerEdge  T410) CloudCore  CV01 CPU 6-‐‑‒core  Intel  Xeon  X5650  @   2.66GHz 2-‐‑‒core  Intel  Core2  duo  T7700   @  2.40GHz Memory 6  GB 2  GB Infiniband Mellanox  ConnectX-‐‑‒2  (QDR) -‐‑‒ Ethernet Broadcom  on-‐‑‒board  NIC  (GbE) virtio_̲net HDD 1  TiB 100  GiB OS Debian  GNU/Linux  7.1 (kernel  3.2.0-‐‑‒4-‐‑‒amd64) CentOS  6.2 (kernel  2.6.32-‐‑‒220.el6.x86_̲64) Node  VM CPU 1  core Memory 512  MB Ethernet virtio_̲net HDD 5  GiB OS CentOS  6.4
  21. 21. ストレージマイグレーション時間 21 #VM AIST  -‐‑‒>  CloudCore CloudCore  -‐‑‒>  AIST full 1 172 179 2 215 299 inc 1 9 9 2 9 9 •  フルストレージマイグレーション –  VM数が増えるとWAN回線がボトルネック •  インクリメンタルストレージマイグレーション –  転送量量が⼤大幅に削減できるので(5.4  GB→260MB)、 マイグレーション時間が短縮 (単位は秒)
  22. 22. Ninja  migration •  オーバヘッド時間測定 –  産総研→CloudCore:約4秒 –  CloudCore→産総研:約22秒 •  考察 –  今後の課題:Infinibandのリンクアップ時間が約20秒 と無視できない 22
  23. 23. MPI  Point-‐‑‒to-‐‑‒Point通信性能 23 0.01 0.1 1 10 100 1000 10000 1 10 100 1000 10000 100000 1e+06 Bandwidth(MB/sec) message size (byte) T410 L1 (IB) CloudCore L1 (TCP) CloudCore L2 (TCP) 2.1  GB/s 111  MB/s 72.4  MB/s※ メッセージ⻑⾧長  4MB ※  L2  VMにはGREのオーバヘッドも含まれる
  24. 24. まとめと今後の予定 24
  25. 25. 関連研究 •  ヘテロ環境におけるVMマイグレーション –  Vagrant:XenとKVM間でマイグレーションを実現 è  本提案とは相補的 •  ⼊入れ⼦子型仮想化を⽤用いたVMマイグレーション –  Xen  Blanket:Amazon  EC2とのVMマイグレーショ ンに成功 è  複数VM対応に関しては、初歩的な段階 –  Virtage  (KVM  on  LPAR):ユースケース「VMM  as  a   Service」を提案 è  VMマイグレーションの検討は不不明 25
  26. 26. まとめ •  実⾏行行環境の変化に応じて、 最良良の通信性能を達成する通信デバイスを アプリケーションから透過的に選択・利利⽤用できる 仮想クラスタマイグレーションを提案 –  Ninja  migration –  エッジオーバレイネットワーク –  ストレージマイグレーション •  プロトタイプ実装を開発し、HPCクラスタと 商⽤用パブリッククラウド間の仮想クラスタ マイグレーションを実現 –  ⼊入れ⼦子型仮想化 26
  27. 27. 今後の予定 •  より詳細かつ⼤大規模環境での評価 •  クラウドミドルウェアのPCIパススルー対応  [済] •  MPIシステムに依存しないNinja  migration実装 •  仮想クラスタマイグレーションの応⽤用 27 本研究の⼀一部は、JSPS科研費(24700040)の成果を活⽤用している。 Physical machines HaaS IaaS user A IaaS A IaaS user B IaaS
 user C IaaS B IaaS
 user D Physical machines HaaS IaaS マイグレーション
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×