Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
マイクロソフト株式会社 コンサルティングサービス統括本部佐々木邦暢 <ksasaki@microsoft.com>
本日のテーマ         2
仮想化  とクラスタ化        3
4
仮想化とクラスタ化仮想化 一つのマシンを、複数に見せかけるクラスタ化 複数のマシンを、一つに見せかける                    5
一見、逆のテクノロジ        6
しかし両者に密接な関係         7
Hyper-Vとクラスタの関係            8
簡単に 説明します      9
Hyper-V ホストのクラスタ化    Windows Server 2008 R2 Hyper-V       クラスタ化 ホスト サーバー                                     10
Hyper-Vホスト サーバー  束ねると            11
仮想マシンは物理マシン間を 往来可能に          12
そのメリット         13
例えばホスト停止時の可用性       14
Hyper-V ホストの停止時  Windows Server 2008 R2 Hyper-V     クラスタ化 ホスト サーバー                                   15
あるいは負荷に応じた 再配置         16
負荷に応じた再配置 Windows Server 2008 R2 Hyper-V    クラスタ化 ホスト サーバー                                  17
いやちょっとまった       18
この話去年も聞いた      19
Hyper-V 1.0 のクラスタ対応 クラスタ化はHyper-V 1.0で既に実現  Windows Server 2008のフェールオーバー ク  ラスタは、仮想マシンを認識します  仮想マシンを別のノードに移行する  「Quick Mig...
課題1  Quick Migrationの     停止時間仮想マシンのメモリ内容を共有ディスクへ書き込み、移行先ノードで読み込みます仮想マシンのメモリ容量に比例したダウンタイムが発生します                      21
Quick Migrationの動き  移行元ノード             Hyper-V 1.0では         移行先ノード                     これが限界でした                          ...
課題2  ストレージ管理の    複雑化単一のLUNに複数の仮想マシンを格納すると、それらの仮想マシンは個別に移行することができませんでした仮想マシン1台ごとに専用のLUNを割り当てることになり、LUN管理が複雑になりがちでした        ...
複数VM/LUNの問題点      いわゆる「一LUN托生」問題                単一のLUN                VM2をVM2             構成する                ファイルVM1     ...
結果として「LUN爆発」       LUN10   VM10VM9     LUN9        LUN8   VM8VM7     LUN7        LUN6   VM6VM5     LUN5        LUN4   VM4V...
Hyper-V 2.0 の進化   Hyper-V 1.0       Hyper-V 2.0 Quick Migration時の     Live Migrationで    ダウンタイム             ダウンタイム削減(メモリ容量...
百聞は一見に如かず      27
本日はHyper-V R2 4ノードクラスタを             28
ここに持ってきました       29
本セッションのデモ環境 Hyper-V       Hyper-V            Hyper-V            Hyper-V  1号機           2号機                3号機             ...
狂熱のライヴ              マイグレーション- The VM Remains the Same -
Tech Ed会場でのデモの内容今回のデモは、Live Migrationの一般的な紹介だけでなく、「実際の現場での利用例」がイメージできるように、以下の三本立てで実施しました。ライブ マイグレーション基本編   今回のデモ環境のシステム構成の...
ライヴ マイグレーション     基本編
Dynamicsが止まらない コンサルティングサービス統括本部 並木 知己
営業担当の1日8:50      10:00        13:00          17:00        18:00                  客先       客先   客先   客先  朝会         外出     ...
営業担当の1日 (実態)            客先       客先   客先   客先       外出        昼朝会          訪問       訪問   訪問   訪問            訪問資料準備       準...
報告・計画業務を効率的に!            客先       客先   客先   客先       外出        昼                     報    訪問朝会          訪問       訪問   訪問  ...
報告・計画業務を効率的に!8:50      10:00        13:00          19:00        21:00                  客先       客先   客先   客先  朝会         外...
これから行う業務内容@19:00訪問結果を報告します 本日の訪問したお客様との折衝記録を登録新しいお客様を登録します 本日訪問したお客様から別のお客様(子会社) をご紹介いただいたので、新規顧客登録を実施次週の予定を登録します Dynamics...
シミュレーションだって   止まらない  システムテクノロジー統括本部 柴田直樹
研究開発者の仕事(HPCな人のお仕事内容とは・・) 1分でも早く他社よりも新製品を出す為に   サーバの性能を100%振り絞って計算計算   メモリもCPUもフル稼働!!(Disk I/Oも。) やっている計算はシミュレーション!!   構造解...
Windows HPC Server 2008 主に並列計算用クラスタを構築するために 必要なものをパッケージ化した製品   OS (Windows Server 2008 HPC Edition)   並列計算向けメッセージ通信ミドルウェア ...
Windows HPC Server 2008管理ツール- 数百台の計算用サーバを一括監視 -                  クラスタ構成ウィザード                  WDSで高速なOS配信                 ...
HPCクラスタで行う「MPIによる並列計算」とはヘッドノード   MyMPIapp.exe    MyMPIapp.exe   MyMPIapp.exe                        MyMPI.exe             ...
並列計算時に計算サーバが落ちたら・・・これが、10時間かかる計算で9時間目のおきたら。。。。 悪夢です。。ヘッドノード   MyMPIapp.exe    MyMPIapp.exe   MyMPIapp.exe                 ...
本セッションは  もちろんHyper-Vが主題             47
しかしながら         48
Hyper-Vとフェールオーバ クラスタ            49
非常に親密な 関係      50
そこでいまさらではありますが         51
クラスタの基本用語を 再確認        52
フェールオーバ クラスタWindows Server Enterprise以上に標準装備のクラスタミドルウェアいわゆる「MSCS」というやつです  最近は、MSFC (Microsoft Failover Clustering),  WSFC ...
クラスタの構成要素リソース ホスト                            ホスト名を表す                      ネットワーク名        “r2cluster” 等    モニタ             ...
クラスタと仮想マシン  リソース                                 仮想マシンを表す ホスト モニタ                         仮想マシン               仮想マシンが      ...
クラスタのおさらい終了         56
では、あらためて        57
Live Migrationの動き(概略)移行元ノード                          移行先ノード                       VM         移                  後         ...
Live Migrationの 各フェーズについて  もう少し詳しく移行準備フェーズVMメモリ転送フェーズVM状態転送フェーズ後片付けフェーズ                    60
移行準備フェーズリソースモニタ                                                       リソースモニタresrcmon.exe                                 ...
※ まめ知識この時、ライブマイグレーション用に使用されるネットワークは、仮想マシンリソースのプロパティで指定できます                     62
VMメモリ転送フェーズ         仮想マシン          仮想マシン        ワーカープロセス       ワーカープロセス         (vmwp.exe)     (vmwp.exe)移行元VM          ワー...
メモリ転送フェーズのポイントメモリ転送中もVMは稼働し続けます転送済みのページが再度変更された場合は、変更されたページのリストを管理しておき、メモリ転送が一巡した後、再度転送しますこのフェーズまでは、Live Migrationのキャンセルが可...
VM状態転送フェーズ             仮想マシンを一時停止移行元VM   仮想マシンの状態情報             移行先VM          仮想マシンのVRAM           CPUのレジスタ         デバイスの...
状態転送フェーズのポイントこのフェーズの間、移行元の仮想マシンは短時間ですが、停止しています  「ブラックアウト期間」と呼びますMicrosoft-Windows-Hyper-V-Worker/Adminログに結果が記録されます      ちょ...
後片付けフェーズリソースモニタ                                                       リソースモニタresrcmon.exe                                 ...
Live Migrationに関する注意点 「所要時間」短縮の肝はネットワーク   「Live Migration専用」のギガビットネットワークが理想 「ダウンタイム(ブラックアウト期間)」削減のために   仮想マシンはCluster Shar...
次にフェールオーバ クラスタの  新兵器          69
Codename: "Centipede"
そもそもなぜ必要?        71
これでなぜダメ? VM1             VM2                VM3        VM4Hyper-V        Hyper-V             Hyper-V    Hyper-V 1号機       ...
共有ディスクにつなぐだけ確かに、SANストレージに接続さえしてしまえば、ボリュームをクラスタに登録しなくとも、全てのノードでディスクが同時に認識されます例えば、本日のデモ機(4台)に、新しい共有ディスクボリューム「ディスク5」を接続すると、次ペ...
同じディスクが4台から見える1号機                 2号機      ID:216F23E5         ID:216F23E53号機                 4号機      ID:216F23E5        ...
NTFSはクラスタファイルシステム        75
か?     76
いいえ、NTFSはクラスタファイルシステム   ではありません何の制御も無しに複数のノードから同時アクセスすると、壊れてしまいます何らかの形で、同時アクセスの調停を行う必要があります                      77
通常のクラスタディスク                                          Hyper-V クラスタ  VM1                  VM2                VM3            ...
VMの移動=LUN所有権の移動                                          Hyper-V クラスタ  VM1                  VM2                VM3        ...
CSVの場合  VM1             VM2                VM3        VM4Hyper-V         Hyper-V            Hyper-V    Hyper-V 1号機        ...
ノード間の移動も自由自在  VM1             VM2                VM3        VM4Hyper-V         Hyper-V            Hyper-V    Hyper-V 1号機  ...
CSVはどうやって   同時アクセスを  実現しているのか新しいファイルシステムを作ったのか? NO!NTFSを大幅に機能拡張したのか? NO!                     82
そんなタイヘンな ことはしていませんNTFSは10年以上の歴史を持つ、枯れた(安定した)ファイルシステムですファイルシステムとして必要な機能は揃っていますクラスタ対応のために全て作り直すなど、                      83
車輪の再発明      84
NTFSをそのまま    利用しつつ 同時アクセスを実現ファイルシステム ミニフィルタ ドライバ"CSVFilter.sys"                       85
ミニフィルタ ドライバ  ?         86
Windowsストレージスタックの概観  アプリケーション   プログラム                              ユーザー モード                              カーネル モード  I/Oマネージ...
ミニフィルタ ドライバと「高度」             グループ: FSFilter Top                          高                                                ...
CSVFilter が   位置している  高度404900とは現存するほぼ全てのミニフィルタより上I/Oリクエストを真っ先に横取りします横取りして、何をどうしているのか??                      89
話がややこしくなってきたので          90
CSVの構成 方法から         91
CSVの構成CSVを利用するためには、 「CSVの有効化」 「物理ディスクをCSVとして登録」 の2段階の手続きを踏みますCSVの有効化 「フェールオーバー クラスター  マネージャー」を使ってGUIから Power Shellを使ってコマンド...
CSVの有効化      GUIで「フェールオーバークラスター マネージャー」から有効化                93
こんなのが出てきます             94
CSVの有効化      PowerShellで(Get-Cluster).EnableSharedVolumes=“enabled/noticeread”単に”enabled”ではなく、“noticeread”をつける必要があります。    ...
CSVへのディスク追加  GUIで         96
CSVへの      ディスク追加      PowerShellでAdd-ClusterSharedVolume  “物理ディスクリソース名"                          97
利用可能になった   CSV           98
CSVの特徴 その1   アクセスポイントCSVはドライブレターを持ちませんC:ClusterStorage配下にマウントされますドライブレターの枯渇問題や、ボリュームGUIDの扱いにくさから解放されます                    ...
CSVの特徴 その2     所有者CSVの実体は、普通の”物理ディスクリソース”です他のクラスタリソースと同様に、「所有者」となるノードがいます               100
所有者?       101
全ノードから同時アクセスできるのに 所有者?         102
「コーディネータ」ノードHyper-V                                                   Hyper-V 1号機                                         ...
ボリュームをマウントしているのはコーディネータだけ他のノードは、ボリュームをマウントしていないので、通常の方式ではボリュームにアクセスできません 「ダイレクトモード I/O」(後述)という方式でアクセスしますコーディネータノードでは、「ダイレク...
コーディネータノードのI/OHyper-V 1号機             VM1                    コーディネータノードでの                                    I/Oは、通常通り    ...
非コーディネータノードのI/O                                                     Hyper-V                                               ...
I/O要求の種類とは?ファイルの実データへのアクセスか 要するに、ファイルの中身に対する読み書きあるいはNTFSメタデータへのアクセスか ファイルの新規作成 ファイル名の変更  などなど、ファイルシステムの属性情報に  対する変更が発生する操作...
実データへのアクセスは「ダイレクト モード」CSVFilterによって、VHDファイルは移動不能と指定され、ディスク上のブロック位置が固定されますこれにより、ボリュームをマウントしていない非コーディネータノードからも、コーディネータノードに頼ら...
実データへのアクセス                                                     Hyper-V                                                    ...
メタデータへのアクセスは「リダイレクト モード」メタデータの変更が競合するとファイルシステムの整合性が失われる可能性がありますそのため、コーディネータノードがこれを調停することになりますノード間の通信には、クラスタ用ネットワークが使用されます ...
メタデータへのアクセスHyper-V                               こちらで                  Hyper-V 1号機                                 メタデータ  ...
CSV共有コーディネーターノードには、リダイレクトモードのアクセスを受け付けるためのファイル共有が自動的に作成されます共有名は、CSVのボリュームIDです                        112
CSVネットワーク要件CSV共有へのアクセスのため以下の機能を有効にしておく必要があります 「Microsoft ネットワーク用クライアント」 「Microsoft ネットワーク用ファイルとプリンター共有」                   ...
CSVの障害ポイント                       ネットワーク障害 Hyper-V         Hyper-V            Hyper-V    Hyper-V  1号機             2号機      ...
ネットワーク障害ネットワーク1ネットワーク2   Hyper-V    Hyper-V   Hyper-V   Hyper-V    1号機        2号機       3号機       4号機   複数のネットワークをクラスタに登録し...
コーディネータノード障害障害ノード上のVMも        CSVのフェールオーバー中も、 フェールオーバー           他ノードのVMには無影響  Hyper-V         Hyper-V              Hyper-...
ストレージ経路障害                                    DATA Hyper-V         Hyper-V            Hyper-V      Hyper-V  1号機            ...
CSVとディスクメンテナンスCSVの特性 CSVは複数のノードから同時並行的に 読み書きされます CSVFilterによってVHDファイルが 移動不可にされる → デフラグできませんchkdskやデフラグの考慮点 ボリュームを「メンテナンスモー...
PowerShellコマンドレットCSVのメンテナンス用のcmdletがあります  "Repair-ClusterSharedVolume"-ChkDskオプションでchkdsk-Defragオプションでデフラグ                ...
CSVとバックアップ   (VSSとの関係)要注意!ポイントが二つあります バックアップ製品側の対応状況 VSSプロバイダの種類によるCSVの動作の違い                           120
CSVとVSS        注意点 その1バックアップ製品の対応状況  CSVをVSSでバックアップするには、  リクエスタがCSVのAPI  “ClusterPrepareSharedVolumeForBackup” を呼び出し  て準備を...
CSVとVSS     注意点 その2VSSプロバイダによるCSV動作の違い CSVが対応するVSSプロバイダは、2種類  システムプロバイダ (Windows標準)  ハードウェアプロバイダ (ストレージ製品に付属)  ※ サードパーティ製の...
VSSプロバイダによる違いシステム プロバイダの場合  バック   スナップ                      バック  アップ   ショット        バックアップ実行      アップ   開始    作成           ...
まとめHyper-V 2.0はフェールオーバークラスタとの連携がさらに強化されました新しく登場した"Live Migration"機能と、"クラスター共有ボリューム"を組み合わせると、ほとんどダウンタイム無しに、仮想マシンを別のHyper-Vノ...
関連セッションT1-307:    Hyper-V 2.0 設計と構築のポイント   8/27(木) 9:20 - 10:30T1-308:    仮想デスクトップ インフラストラクチャ           (VDI)のアーキテクチャと運用管理...
© 2009 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be...
TechEd2009_T1-402_EffectiveHyper-V
TechEd2009_T1-402_EffectiveHyper-V
Upcoming SlideShare
Loading in …5
×

TechEd2009_T1-402_EffectiveHyper-V

1,521 views

Published on

2009年のTechEd Yokohama T1-402セッションで使った資料です。R2の新機能Live Migrationとそれを支えるCSVのご紹介。

Published in: Technology
  • Be the first to comment

TechEd2009_T1-402_EffectiveHyper-V

  1. 1. マイクロソフト株式会社 コンサルティングサービス統括本部佐々木邦暢 <ksasaki@microsoft.com>
  2. 2. 本日のテーマ 2
  3. 3. 仮想化 とクラスタ化 3
  4. 4. 4
  5. 5. 仮想化とクラスタ化仮想化 一つのマシンを、複数に見せかけるクラスタ化 複数のマシンを、一つに見せかける 5
  6. 6. 一見、逆のテクノロジ 6
  7. 7. しかし両者に密接な関係 7
  8. 8. Hyper-Vとクラスタの関係 8
  9. 9. 簡単に 説明します 9
  10. 10. Hyper-V ホストのクラスタ化 Windows Server 2008 R2 Hyper-V クラスタ化 ホスト サーバー 10
  11. 11. Hyper-Vホスト サーバー 束ねると 11
  12. 12. 仮想マシンは物理マシン間を 往来可能に 12
  13. 13. そのメリット 13
  14. 14. 例えばホスト停止時の可用性 14
  15. 15. Hyper-V ホストの停止時 Windows Server 2008 R2 Hyper-V クラスタ化 ホスト サーバー 15
  16. 16. あるいは負荷に応じた 再配置 16
  17. 17. 負荷に応じた再配置 Windows Server 2008 R2 Hyper-V クラスタ化 ホスト サーバー 17
  18. 18. いやちょっとまった 18
  19. 19. この話去年も聞いた 19
  20. 20. Hyper-V 1.0 のクラスタ対応 クラスタ化はHyper-V 1.0で既に実現 Windows Server 2008のフェールオーバー ク ラスタは、仮想マシンを認識します 仮想マシンを別のノードに移行する 「Quick Migration」機能もありました 去年の スライド 20
  21. 21. 課題1 Quick Migrationの 停止時間仮想マシンのメモリ内容を共有ディスクへ書き込み、移行先ノードで読み込みます仮想マシンのメモリ容量に比例したダウンタイムが発生します 21
  22. 22. Quick Migrationの動き 移行元ノード Hyper-V 1.0では 移行先ノード これが限界でした 共有ディスク メモリ内容を ディスクの メモリ内容を ディスクへ 所有権を ディスクから 書き込む 切り替える 読み込む この間がダウンタイムQuick Migration 開始 Quick Migration 完了 22
  23. 23. 課題2 ストレージ管理の 複雑化単一のLUNに複数の仮想マシンを格納すると、それらの仮想マシンは個別に移行することができませんでした仮想マシン1台ごとに専用のLUNを割り当てることになり、LUN管理が複雑になりがちでした 23
  24. 24. 複数VM/LUNの問題点 いわゆる「一LUN托生」問題 単一のLUN VM2をVM2 構成する ファイルVM1 VM1を 構成する LUN所有権 ファイル 1号機 ストレージ 2号機 24
  25. 25. 結果として「LUN爆発」 LUN10 VM10VM9 LUN9 LUN8 VM8VM7 LUN7 LUN6 VM6VM5 LUN5 LUN4 VM4VM3 LUN3 LUN2 VM2VM1 LUN1 1号機 ストレージ 2号機 25
  26. 26. Hyper-V 2.0 の進化 Hyper-V 1.0 Hyper-V 2.0 Quick Migration時の Live Migrationで ダウンタイム ダウンタイム削減(メモリ容量に比例して増大) Cluster Shared Volumes 1LUN托生問題 複数VM/LUN配置 個別にVM移動可能 26
  27. 27. 百聞は一見に如かず 27
  28. 28. 本日はHyper-V R2 4ノードクラスタを 28
  29. 29. ここに持ってきました 29
  30. 30. 本セッションのデモ環境 Hyper-V Hyper-V Hyper-V Hyper-V 1号機 2号機 3号機 4号機 Hyper-V 4ノード クラスタ ドメイン コントローラ 1GB 80GB 80GB 32GB 32GB 監視ディスク CSV用LUN 通常のLUN Microsoft iSCSI Software TargetHyper-V 5号機 30
  31. 31. 狂熱のライヴ マイグレーション- The VM Remains the Same -
  32. 32. Tech Ed会場でのデモの内容今回のデモは、Live Migrationの一般的な紹介だけでなく、「実際の現場での利用例」がイメージできるように、以下の三本立てで実施しました。ライブ マイグレーション基本編 今回のデモ環境のシステム構成の紹介 クラスタ化仮想マシンの管理ツールの紹介(クラスタの管理ツール) ライブ マイグレーションの基本的な動きの紹介Dynamics CRM編 Dynamics CRMの使われ方の紹介 営業担当員の実際の入力業務のデモンストレーション そのデモ中に、入力業務端末(仮想マシン)をライブ マイグレーション!Windows HPC Server編 Windows HPC Serverの紹介 実際の並列計算ジョブのデモンストレーション そのデモ中に、HPC Server仮想マシンをライブ マイグレーション! 32
  33. 33. ライヴ マイグレーション 基本編
  34. 34. Dynamicsが止まらない コンサルティングサービス統括本部 並木 知己
  35. 35. 営業担当の1日8:50 10:00 13:00 17:00 18:00 客先 客先 客先 客先 朝会 外出 訪問 昼 訪問 訪問 訪問 報 訪問 準備 食 計画 資料準備 ① ② ③ ④ 告 営業担当者は、 朝チームでの打ち合わせの後、顧客折衝用 の資料を準備し、1日に3~4件のお客様を 訪問します 帰社後に、訪問結果を記録し、翌日または 翌週の訪問計画を立てます 35
  36. 36. 営業担当の1日 (実態) 客先 客先 客先 客先 外出 昼朝会 訪問 訪問 訪問 訪問 訪問資料準備 準備 ① 食 ② ③ ④ 報告 計画 19:00 お客様への訪問が終わって帰社するのはだ いたいいつも19時くらい 早く帰りたいのにここからが大変なんです (それなのに情シスは、システム止めるなんてい いっちゃってるし・・・ふざけんなよっ) 、と心の声 36
  37. 37. 報告・計画業務を効率的に! 客先 客先 客先 客先 外出 昼 報 訪問朝会 訪問 訪問 訪問 訪問 準備 食 告 計画資料準備 ① ② ③ ④ しかし 19:00 が導入されてから、効率的に業務 が行えるようになりました。 37
  38. 38. 報告・計画業務を効率的に!8:50 10:00 13:00 19:00 21:00 客先 客先 客先 客先 朝会 外出 訪問 昼 訪問 訪問 訪問 報 訪問 準備 食 計画 資料準備 ① ② ③ ④ 告 顧客情報の確認 日報作成 訪問計画策定 • 訪問予定である • 各訪問ごと会話 • 翌日・翌週の訪 顧客情報の確 内容・案件確度 問予定を登録 認・印刷 などを登録 • 新規顧客の登録 • 提案資料の準備 • 上司宛に結果を 報告 38
  39. 39. これから行う業務内容@19:00訪問結果を報告します 本日の訪問したお客様との折衝記録を登録新しいお客様を登録します 本日訪問したお客様から別のお客様(子会社) をご紹介いただいたので、新規顧客登録を実施次週の予定を登録します DynamicsCRMから次週の訪問予定を登録 Ourlook予定表にも更新されていることを確認 39
  40. 40. シミュレーションだって 止まらない システムテクノロジー統括本部 柴田直樹
  41. 41. 研究開発者の仕事(HPCな人のお仕事内容とは・・) 1分でも早く他社よりも新製品を出す為に サーバの性能を100%振り絞って計算計算 メモリもCPUもフル稼働!!(Disk I/Oも。) やっている計算はシミュレーション!! 構造解析、流体解析 (自動車設計でおなじみ) 金融派生製品の開発 (ハイリスクな金融商品) 気象予報 (1時間後の気象は1時間以下で計算) デジタルコンテンツクリエーション 41
  42. 42. Windows HPC Server 2008 主に並列計算用クラスタを構築するために 必要なものをパッケージ化した製品 OS (Windows Server 2008 HPC Edition) 並列計算向けメッセージ通信ミドルウェア (MS-MPI) 計算ノードのデプロイ機能(OSの自動配信) システムリソースのリアルタイム監視機能 (HeatMap) 42
  43. 43. Windows HPC Server 2008管理ツール- 数百台の計算用サーバを一括監視 - クラスタ構成ウィザード WDSで高速なOS配信 ヒートマップで視覚的な 状態管理 各種診断ツール レポーティング機能
  44. 44. HPCクラスタで行う「MPIによる並列計算」とはヘッドノード MyMPIapp.exe MyMPIapp.exe MyMPIapp.exe MyMPI.exe 44
  45. 45. 並列計算時に計算サーバが落ちたら・・・これが、10時間かかる計算で9時間目のおきたら。。。。 悪夢です。。ヘッドノード MyMPIapp.exe MyMPIapp.exe MyMPIapp.exe MyMPI.exe 45
  46. 46. 本セッションは もちろんHyper-Vが主題 47
  47. 47. しかしながら 48
  48. 48. Hyper-Vとフェールオーバ クラスタ 49
  49. 49. 非常に親密な 関係 50
  50. 50. そこでいまさらではありますが 51
  51. 51. クラスタの基本用語を 再確認 52
  52. 52. フェールオーバ クラスタWindows Server Enterprise以上に標準装備のクラスタミドルウェアいわゆる「MSCS」というやつです 最近は、MSFC (Microsoft Failover Clustering), WSFC (Windows Server Failover Clustering) などと呼ぶようですNT 4.0時代の1997年登場 コードネーム "Wolfpack" 既に10年以上の歴史があります 53
  53. 53. クラスタの構成要素リソース ホスト ホスト名を表す ネットワーク名 “r2cluster” 等 モニタ リソース RHS.exe リソースDLL 制御 IPアドレスを表す (clusres.dll) ・ IPアドレス “192.0.2.100” 等 監視 リソース 制御・監視 共有ディスクの LUを表す 物理ディスク “ドライブQ:” 等クラスタサービス リソース クラスタサービス clussvc.exe clussvc.exe リソースをまとめ リソースグループ フェールオーバのユーザーモード 単位となるカーネル クラスタネットワークドライバ クラスタモード 内部通信 netft.sys (netft.sys) クラスタ ディスク ドライバ clusdisk.sys (clusdisk.sys) 所有権 ノード (マシン) 調停 共有ディスク ノード (マシン) 54
  54. 54. クラスタと仮想マシン リソース 仮想マシンを表す ホスト モニタ 仮想マシン 仮想マシンが リソース RHS.exe リソースDLL 制御 物理マシン間を移動 仮想マシンの (clusres.dll) ・ 監視 するというのは、 構成情報を表す 仮想マシン リソースDLL クラスタ的には (vmclusres.dll) 仮想マシン構成 リソースグループの 1仮想マシン リソース /1リソース グループ 移動です リソースグループクラスタサービス 仮想マシン管理サービス clussvc.exe vmms.exe クラスタネットワークドライバ クラスタ 内部通信 netft.sys (netft.sys) クラスタ ディスク ドライバ clusdisk.sys (clusdisk.sys) 所有権 ノード (マシン) 調停 共有ディスク ノード (マシン) 55
  55. 55. クラスタのおさらい終了 56
  56. 56. では、あらためて 57
  57. 57. Live Migrationの動き(概略)移行元ノード 移行先ノード VM 移 後 状 行 片移行開始 VMメモリ転送 態 移行完了 準 付 転 備 け 送 ブラックアウト期間 59
  58. 58. Live Migrationの 各フェーズについて もう少し詳しく移行準備フェーズVMメモリ転送フェーズVM状態転送フェーズ後片付けフェーズ 60
  59. 59. 移行準備フェーズリソースモニタ リソースモニタresrcmon.exe resrcmon.exe 仮想マシン 仮想マシン リソースDLL リソースDLL (vmclusres.dll) (vmclusres.dll) 移行元VM 移行先VM 仮想マシン管理 仮想マシン管理 サービス (VMMS) サービス (VMMS) 仮想マシン 仮想マシン クラスタサービスクラスタサービス ワーカープロセス ワーカープロセス (ClusSvc) (ClusSvc) (vmwp.exe) (vmwp.exe) クラスタネットワーク クラスタネットワーク ドライバ (netft.sys) ドライバ (netft.sys) クラスタ ディスク クラスタ ディスク ドライバ (clusdisk.sys) 共有 ドライバ (clusdisk.sys) ディスク 移行元ノード 移行先ノード 61
  60. 60. ※ まめ知識この時、ライブマイグレーション用に使用されるネットワークは、仮想マシンリソースのプロパティで指定できます 62
  61. 61. VMメモリ転送フェーズ 仮想マシン 仮想マシン ワーカープロセス ワーカープロセス (vmwp.exe) (vmwp.exe)移行元VM ワーカープロセス間で 移行先VM 仮想マシンのメモリを転送 ダーティページは 再転送の必要あり ダーティページが十分 少なくなったところで、 次のフェーズへ進む 移行元ノード 移行先ノード 63
  62. 62. メモリ転送フェーズのポイントメモリ転送中もVMは稼働し続けます転送済みのページが再度変更された場合は、変更されたページのリストを管理しておき、メモリ転送が一巡した後、再度転送しますこのフェーズまでは、Live Migrationのキャンセルが可能です キャンセルした場合、VMは移行元ホストで ダウンタイムなしに稼働し続けます 64
  63. 63. VM状態転送フェーズ 仮想マシンを一時停止移行元VM 仮想マシンの状態情報 移行先VM 仮想マシンのVRAM CPUのレジスタ デバイスのキャッシュ等 これですべての 最後まで残った 情報が移行されました ダーティページ 移行元ノード 移行先ノード 65
  64. 64. 状態転送フェーズのポイントこのフェーズの間、移行元の仮想マシンは短時間ですが、停止しています 「ブラックアウト期間」と呼びますMicrosoft-Windows-Hyper-V-Worker/Adminログに結果が記録されます ちょっとブラックアウトが長くなっているの は、 100BASEのネットワークを使ったからです 66
  65. 65. 後片付けフェーズリソースモニタ リソースモニタresrcmon.exe resrcmon.exe 仮想マシン 仮想マシン リソースDLL リソースDLL (vmclusres.dll) (vmclusres.dll) 移行元VM 移行先VM 仮想マシン管理 仮想マシン管理 サービス (VMMS) サービス (VMMS) 仮想マシン 仮想マシン クラスタサービスクラスタサービス ワーカープロセス ワーカープロセス (ClusSvc) (ClusSvc) (vmwp.exe) (vmwp.exe) クラスタネットワーク クラスタネットワーク ドライバ (netft.sys) ドライバ (netft.sys) クラスタ ディスク クラスタ ディスク ドライバ (clusdisk.sys) 共有 ドライバ (clusdisk.sys) ディスク 移行元ノード 移行先ノード 67
  66. 66. Live Migrationに関する注意点 「所要時間」短縮の肝はネットワーク 「Live Migration専用」のギガビットネットワークが理想 「ダウンタイム(ブラックアウト期間)」削減のために 仮想マシンはCluster Shared Volume (CSV)に 配置することをお勧めします CSVは必ずしも必須ではありませんが、CSVではない通常の 共有ディスクにVMを配置した場合、Live Migration時の ブラックアウト期間は若干増大します Hyper-VおよびVMの設定 仮想ネットワークの名前は全ノードで一致させておく 名前がずれていると、Live Migrationに失敗します ISOイメージの場所に注意 ノードローカルなフォルダに置いてあるISOイメージを マウントしたままのVMは、Live Migrationに失敗します 68
  67. 67. 次にフェールオーバ クラスタの 新兵器 69
  68. 68. Codename: "Centipede"
  69. 69. そもそもなぜ必要? 71
  70. 70. これでなぜダメ? VM1 VM2 VM3 VM4Hyper-V Hyper-V Hyper-V Hyper-V 1号機 2号機 3号機 4号機 VHD VHD VHD VHD VM配置用ディスクボリューム SANストレージ (Fibre Channel or iSCSI) 72
  71. 71. 共有ディスクにつなぐだけ確かに、SANストレージに接続さえしてしまえば、ボリュームをクラスタに登録しなくとも、全てのノードでディスクが同時に認識されます例えば、本日のデモ機(4台)に、新しい共有ディスクボリューム「ディスク5」を接続すると、次ページのように見えます 73
  72. 72. 同じディスクが4台から見える1号機 2号機 ID:216F23E5 ID:216F23E53号機 4号機 ID:216F23E5 ID:216F23E5 74
  73. 73. NTFSはクラスタファイルシステム 75
  74. 74. か? 76
  75. 75. いいえ、NTFSはクラスタファイルシステム ではありません何の制御も無しに複数のノードから同時アクセスすると、壊れてしまいます何らかの形で、同時アクセスの調停を行う必要があります 77
  76. 76. 通常のクラスタディスク Hyper-V クラスタ VM1 VM2 VM3 VM4Hyper-V Hyper-V Hyper-V Hyper-V 1号機 2号機 3号機 4号機 予約 予約 予約 予約 VM1 VM2 VM3 VM4 LUN1 LUN2 LUN3 LUN4 G: H: I: J: SANストレージ (Fibre Channel or iSCSI) 78
  77. 77. VMの移動=LUN所有権の移動 Hyper-V クラスタ VM1 VM2 VM3 VM4Hyper-V Hyper-V Hyper-V Hyper-V 1号機 2号機 3号機 4号機 予約 予約 予約 予約 VM1 VM2 VM3 VM4 LUN1 LUN2 LUN3 LUN4 G: H: I: J: SANストレージ (Fibre Channel or iSCSI) 79
  78. 78. CSVの場合 VM1 VM2 VM3 VM4Hyper-V Hyper-V Hyper-V Hyper-V 1号機 2号機 3号機 4号機 全ノードから同時かつ直接にアクセス可能 VM1 VM2 VM3 VM4 LUN1 SANストレージ (Fibre Channel or iSCSI) 80
  79. 79. ノード間の移動も自由自在 VM1 VM2 VM3 VM4Hyper-V Hyper-V Hyper-V Hyper-V 1号機 2号機 3号機 4号機 全ノードから同時かつ直接にアクセス可能 VM1 VM2 VM3 VM4 LUN1 SANストレージ (Fibre Channel or iSCSI) 81
  80. 80. CSVはどうやって 同時アクセスを 実現しているのか新しいファイルシステムを作ったのか? NO!NTFSを大幅に機能拡張したのか? NO! 82
  81. 81. そんなタイヘンな ことはしていませんNTFSは10年以上の歴史を持つ、枯れた(安定した)ファイルシステムですファイルシステムとして必要な機能は揃っていますクラスタ対応のために全て作り直すなど、 83
  82. 82. 車輪の再発明 84
  83. 83. NTFSをそのまま 利用しつつ 同時アクセスを実現ファイルシステム ミニフィルタ ドライバ"CSVFilter.sys" 85
  84. 84. ミニフィルタ ドライバ ? 86
  85. 85. Windowsストレージスタックの概観 アプリケーション プログラム ユーザー モード カーネル モード I/Oマネージャ ミニフィルタ ドライバ 1フィルタマネージャ ミニフィルタ ドライバ 2 ファイルシステム ドライバ (ntfs.sys) ミニフィルタ ドライバ 3ストレージ ドライバ ディスク クラス ドライバ (disk.sys) ポート ミニポート ドライバ ドライバ ディスク装置 87
  86. 86. ミニフィルタ ドライバと「高度」 グループ: FSFilter Top 高 409999 I/O CSVFilter (404900)マネージャ 400000 グループ: FSFilter Anti-Virus 329999 eraser.sys (329010) 320000フィルタマネージャ グループ: FSFilter Encryption 149999 prvflder.sys (148000) 140000ファイルシステム グループ: FSFilter Bottom 49999ドライバ Superfetch (45000)(ntfs.sys) 40000 低 ※ グループはたくさんあるので、上の図ではかなり省略してあります 88
  87. 87. CSVFilter が 位置している 高度404900とは現存するほぼ全てのミニフィルタより上I/Oリクエストを真っ先に横取りします横取りして、何をどうしているのか?? 89
  88. 88. 話がややこしくなってきたので 90
  89. 89. CSVの構成 方法から 91
  90. 90. CSVの構成CSVを利用するためには、 「CSVの有効化」 「物理ディスクをCSVとして登録」 の2段階の手続きを踏みますCSVの有効化 「フェールオーバー クラスター マネージャー」を使ってGUIから Power Shellを使ってコマンドラインから 92
  91. 91. CSVの有効化 GUIで「フェールオーバークラスター マネージャー」から有効化 93
  92. 92. こんなのが出てきます 94
  93. 93. CSVの有効化 PowerShellで(Get-Cluster).EnableSharedVolumes=“enabled/noticeread”単に”enabled”ではなく、“noticeread”をつける必要があります。 95
  94. 94. CSVへのディスク追加 GUIで 96
  95. 95. CSVへの ディスク追加 PowerShellでAdd-ClusterSharedVolume “物理ディスクリソース名" 97
  96. 96. 利用可能になった CSV 98
  97. 97. CSVの特徴 その1 アクセスポイントCSVはドライブレターを持ちませんC:ClusterStorage配下にマウントされますドライブレターの枯渇問題や、ボリュームGUIDの扱いにくさから解放されます 99
  98. 98. CSVの特徴 その2 所有者CSVの実体は、普通の”物理ディスクリソース”です他のクラスタリソースと同様に、「所有者」となるノードがいます 100
  99. 99. 所有者? 101
  100. 100. 全ノードから同時アクセスできるのに 所有者? 102
  101. 101. 「コーディネータ」ノードHyper-V Hyper-V 1号機 2号機 VM1 VM2 ディスクの所有権を 持つノードが I/Oマネージャ I/Oマネージャ CSVボリュームの フィルタ フィルタ 「コーディネータ」 マネージャ CSVFilter CSVFilter マネージャ NTFS クラスタ クラスタ NTFS ディスク ディスク ドライバ ドライバ ストレージ ドライバ 予約 ストレージ ドライバ VM1 VM2 C:ClusterStorageVolume1 103
  102. 102. ボリュームをマウントしているのはコーディネータだけ他のノードは、ボリュームをマウントしていないので、通常の方式ではボリュームにアクセスできません 「ダイレクトモード I/O」(後述)という方式でアクセスしますコーディネータノードでは、「ダイレクトモード I/O」 に備え、VHDファイルを「移動不能ファイル」に設定します 104
  103. 103. コーディネータノードのI/OHyper-V 1号機 VM1 コーディネータノードでの I/Oは、通常通り コーディネータノードは I/Oマネージャ 普通にボリュームを マウントしているので、 フィルタ CSVFilter 特殊な処理は必要ない マネージャ NTFS クラスタ ディスク ドライバ ストレージ ドライバ 予約 VM1 VM2 C:ClusterStorageVolume1 105
  104. 104. 非コーディネータノードのI/O Hyper-V 2号機仮想マシンの動作に伴い、 VM2CSV上のVHDファイルなどへのI/O要求が発生 I/OマネージャCSVFilterはこのアクセスを全てキャッチ CSVFilter フィルタ マネージャI/O要求の種類によって、 NTFS次の動作が決まります ストレージ ドライバ1号機がコーディネータ 予約 VM1 VM2 C:ClusterStorageVolume1 106
  105. 105. I/O要求の種類とは?ファイルの実データへのアクセスか 要するに、ファイルの中身に対する読み書きあるいはNTFSメタデータへのアクセスか ファイルの新規作成 ファイル名の変更 などなど、ファイルシステムの属性情報に 対する変更が発生する操作これによってCSVFilterの振る舞いが変わってきます 107
  106. 106. 実データへのアクセスは「ダイレクト モード」CSVFilterによって、VHDファイルは移動不能と指定され、ディスク上のブロック位置が固定されますこれにより、ボリュームをマウントしていない非コーディネータノードからも、コーディネータノードに頼らない直接アクセスが実現できます 108
  107. 107. 実データへのアクセス Hyper-V 2号機 この場合、CSVFilterは VM2 自分より低いミニフィルタを スキップ NTFSのドライバすらスキップ! I/Oマネージャ 直接ストレージドライバへ I/O要求を送信 フィルタ CSVFilter これが「ダイレクト モード」 マネージャ コーディネータノードでの I/Oと同等の性能 NTFS ストレージ ドライバ1号機がコーディネータ VM1 VM2 予約 C:ClusterStorageVolume1 109
  108. 108. メタデータへのアクセスは「リダイレクト モード」メタデータの変更が競合するとファイルシステムの整合性が失われる可能性がありますそのため、コーディネータノードがこれを調停することになりますノード間の通信には、クラスタ用ネットワークが使用されます 110
  109. 109. メタデータへのアクセスHyper-V こちらで Hyper-V 1号機 メタデータ 2号機 VM1 I/Oが発生 VM2 CreateFile() I/Oマネージャ Serverサービス I/Oマネージャ フィルタ CSVFilter CSVFilter フィルタ マネージャ マネージャ SMBリダイレク タ NTFS NTFS netft.sys netft.sys ストレージ ドライバ ストレージ ドライバ1号機がコーディネータ VM2 VM1 予約 C:ClusterStorageVolume1 111
  110. 110. CSV共有コーディネーターノードには、リダイレクトモードのアクセスを受け付けるためのファイル共有が自動的に作成されます共有名は、CSVのボリュームIDです 112
  111. 111. CSVネットワーク要件CSV共有へのアクセスのため以下の機能を有効にしておく必要があります 「Microsoft ネットワーク用クライアント」 「Microsoft ネットワーク用ファイルとプリンター共有」 113
  112. 112. CSVの障害ポイント ネットワーク障害 Hyper-V Hyper-V Hyper-V Hyper-V 1号機 2号機 3号機 4号機コーディネータノード障害 ストレージ経路障害 VM1 VM2 VM3 VM4 予約 LUN1 SANストレージ (Fibre Channel or iSCSI) 114
  113. 113. ネットワーク障害ネットワーク1ネットワーク2 Hyper-V Hyper-V Hyper-V Hyper-V 1号機 2号機 3号機 4号機 複数のネットワークをクラスタに登録して おくことで、自動的に障害経路を迂回 優先度の高いネットワークが回復した時は、 自動復帰 115
  114. 114. コーディネータノード障害障害ノード上のVMも CSVのフェールオーバー中も、 フェールオーバー 他ノードのVMには無影響 Hyper-V Hyper-V Hyper-V Hyper-V 1号機 2号機 3号機 4号機 コーディネータ 予約 CSVのリソースグループが VM1 VM2 VM3 VM4 フェールオーバー 予約 LUN1 SANストレージ (Fibre Channel or iSCSI) 116
  115. 115. ストレージ経路障害 DATA Hyper-V Hyper-V Hyper-V Hyper-V 1号機 2号機 3号機 4号機コーディネータ VM1 VM2 VM3 VM4 予約 LUN1 SANストレージ (Fibre Channel or iSCSI) 117
  116. 116. CSVとディスクメンテナンスCSVの特性 CSVは複数のノードから同時並行的に 読み書きされます CSVFilterによってVHDファイルが 移動不可にされる → デフラグできませんchkdskやデフラグの考慮点 ボリュームを「メンテナンスモード」に切替え、 コーディネーターノードからメンテナンスを 実施する必要があります 118
  117. 117. PowerShellコマンドレットCSVのメンテナンス用のcmdletがあります "Repair-ClusterSharedVolume"-ChkDskオプションでchkdsk-Defragオプションでデフラグ 119
  118. 118. CSVとバックアップ (VSSとの関係)要注意!ポイントが二つあります バックアップ製品側の対応状況 VSSプロバイダの種類によるCSVの動作の違い 120
  119. 119. CSVとVSS 注意点 その1バックアップ製品の対応状況 CSVをVSSでバックアップするには、 リクエスタがCSVのAPI “ClusterPrepareSharedVolumeForBackup” を呼び出し て準備をする必要があります つまり、バックアップ製品側にCSV対応が必要です※ Windows Server Backupは未対応です 121
  120. 120. CSVとVSS 注意点 その2VSSプロバイダによるCSV動作の違い CSVが対応するVSSプロバイダは、2種類 システムプロバイダ (Windows標準) ハードウェアプロバイダ (ストレージ製品に付属) ※ サードパーティ製のソフトウェアプロバイダは未サポートプロバイダの種類によって、バックアップ時の動作に違いが出ます 122
  121. 121. VSSプロバイダによる違いシステム プロバイダの場合 バック スナップ バック アップ ショット バックアップ実行 アップ 開始 作成 完了 バックアップ実行中は メンテナンスモードハードウェア プロバイダの場合 バック スナップ バック アップ ショット バックアップ実行 アップ 開始 作成 完了 スナップショット作成時のみ メンテナンスモード 123
  122. 122. まとめHyper-V 2.0はフェールオーバークラスタとの連携がさらに強化されました新しく登場した"Live Migration"機能と、"クラスター共有ボリューム"を組み合わせると、ほとんどダウンタイム無しに、仮想マシンを別のHyper-Vノードに移行することができますまた、クラスター共有ボリューム(CSV)の登場により、単一のLUNに数多くの仮想マシンを格納することができるようになり、ストレージ管理が効率化されます 124
  123. 123. 関連セッションT1-307: Hyper-V 2.0 設計と構築のポイント 8/27(木) 9:20 - 10:30T1-308: 仮想デスクトップ インフラストラクチャ (VDI)のアーキテクチャと運用管理手法の解説 8/28 (金) 10:55 - 12:05T5-201: あらためて System Center Virtual Machine Manager 2008 R2 機能概要 8/27 (木) 15:15 - 16:25T6-202: Dynamic IT ~自社運用もクラウドも方向性は同じ~ 8/28 (金) 16:50 - 18:00 125
  124. 124. © 2009 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 126

×