More Related Content
What's hot
What's hot (20)
Similar to 20180706_VxRailCC_ワークショップ編_NW
Similar to 20180706_VxRailCC_ワークショップ編_NW (20)
More from VxRail ChampionClub
More from VxRail ChampionClub (15)
20180706_VxRailCC_ワークショップ編_NW
- 2. アジェンダ はじめに VxRail製品紹介 VxRailのサイジング方法 ワークショップ環境のご説明 基本設計 ➢ ネットワーク設計 詳細設計 ➢ パラメータの決定 初期設定 HCIbenchによるパフォーマンステスト 日常運用 ➢ コンポーネントステータス確認 ➢ リソース状況確認 スケールアップ（ディスクの追加） スケールアウト（ノードの追加） 障害テスト ➢ VxRailの耐障害性 ➢ キャパシティディスク障害 ➢ キャッシュディスク障害 ➢ ノード障害 システム停止と起動手順 VxRailソフトウェアのアップデート 2
- 6. VxRailはDell Technologiesの申し子！ 6 ハイパーコンバージド ソフトウェアベースストレージ（SDS) IA Server SIer/メーカーサポート SIer/メーカー設計 Hyper-Visor VMware vSAN IA Server VxRailサポート VMware Design VMware vSphere Dell Technologies
- 7. VxRailラインナップ 7 G シリーズ E シリーズ V シリーズ P シリーズ S シリーズ 高集約モデル エントリーモデル VDI搭載可能 モデル 高パフォーマンス モデル 大容量ストレージ モデル G410/F E540/F E560/F V570/F P570/F S570 旧モデル継続 Full platform refresh to SkyLake/Purley Dell 14G servers コア数の拡大, 高クロックモデルのリリース, 多メモリチャネル, メモリアクセスの高速化, 耐久性と冗長性を兼ね備えたブートデバイスの採用, 2 x 25G NICオプションの採用（一部モデルを予定） 2U4ノード高集約モデル オンボード10GbE×2 （SFP+のみ） シングルCPUサポート オンボード 10GbE×4 最大3つのGPUを 搭載可能 キャパシティディスクを 20個搭載（4DG構成） オンボード 10GbE×4 シングルCPUもサポート キャパシティディスクを 20個搭載（4DG構成） オンボード 10GbE×4 シングルCPUもサポー ト 4TB SATAサポート オンボード 10GbE×4
- 8. VxRail E560/560F エントリーモデル ユニットサイズ 1U ディスク構成 10x 12G SAS drive slots (2.5”) 1 or 2 disk groups with up to 4 capacity drives each CPU Single or dual socket, Up to 28 cores/CPU 最大ディスク構成 30.7TB SSD or 19.2TB HDD メモリ Up to 3,072 GB RAM (1,536 GB per processor) 電源ユニット 1100W 100-240V AC, 1100W 48V DC 追加オプション Up to 1 per processor 2x10GbE SFP+, 2x10GbE RJ45, 4x10GbE RJ45, 2x25GbE SFP28 起動メディア BOSS with 2 x 240GB SATA M.2
- 9. VxRail P570/570F パフォーマンスモデル ユニットサイズ ２U ディスク構成 24x 12G SAS drive slots (2.5”) Up to 4 disk groups with up to 5 capacity drives each CPU Single or dual socket, Up to 28 cores/CPU 最大ディスク構成 76.8TB SSD or 48TB HDD メモリ Up to 3,072 GB RAM (1,536 GB per processor) 電源ユニット 1100W 100-240V AC, 1600W 200-240V AC, 1100W 48V DC 追加オプション Up to 3 (single CPU) or 4 (dual CPU) 2x10GbE SFP+, 2x10GbE RJ45, 4x10GbE RJ45, 4x10GbE SFP+, 2x25GbE SFP28 起動メディア BOSS with 2 x 240GB SATA M.2
- 10. VxRail V570/570F vGPUモデル GPU Minimum 1 and up to 3 PCIe GPUs NVIDIA only (M10, M60, or P40) Note: Customers obtain and configure GPU SW and drivers vGPU requires vSphere Enterprise ユニットサイズ ２U ディスク構成 24x 12G SAS drive slots (2.5”) Up to 4 disk groups with up to 5 capacity drives each CPU Single or dual socket, Up to 28 cores/CPU 最大ディスク構成 76.8TB SSD or 48TB HDD メモリ Up to 3,072 GB RAM (1,536 GB per processor) 電源ユニット 1100W 100-240V AC, 1600W 200-240V AC, 1100W 48V DC 追加オプション Up to 3 (single CPU) or 4 (dual CPU) 2x10GbE SFP+, 2x10GbE RJ45, 4x10GbE RJ45, 4x10GbE SFP+, 2x25GbE SFP28 起動メディア BOSS with 2 x 240GB SATA M.2
- 11. VxRail S570 ストレージ容量特化モデル ユニットサイズ ２U ディスク構成 12x 3.5” + 2x 2.5” 12G SAS drive slots 1 or 2 disk groups with up to 6 capacity drives each CPU Single or dual socket, Up to 28 cores/CPU 最大ディスク構成 48TB HDD (hybrid only) メモリ Up to 3,072 GB RAM (1,536 GB per processor) 電源ユニット 1100W 100-240V AC, 1100W 48V DC 追加オプション Up to 3 (single CPU) or 4 (dual CPU) 2x10GbE SFP+, 2x10GbE RJ45, 4x10GbE RJ45, 4x10GbE SFP+, 2x25GbE SFP28 起動メディア BOSS with 2 x 240GB SATA M.2
- 14. VxRailの“ウリ” その① 迅速かつ確実な導入 導入に必要なパラメータは最小限 ✓ インストール作業は1時間程度で完了 設計済み構成 ✓ データセンタ, クラスタは構成済み ✓ ネットワークは標準NICは構成済み ✓ 追加NICは別の仮想スイッチとして構成 ✓ vSAN（ディスクグループ）は構成済み 14
- 15. VxRailの“ウリ” その① VxRailの初期設定に必要なパラメータ（v4.5.211） システムパラメータ • NTPサーバ • NIC構成 管理パラメータ • ESXiのホスト名 • ESXiのIPプールの開始アドレス, 終了アドレス • vCenterサーバのホスト名, IPアドレス • Platform Service Controllerのホスト名, IPアドレス • VxRail Managerのホスト名, IPアドレス • 管理セグメントのサブネットマスク, デフォルトゲー トウェイアドレス vMotionパラメータ • IPプールの開始アドレス, 終了アドレス • サブネットマスク, VLAN ID Virtual SANパラメータ • IPプールの開始アドレス, 終了アドレス • サブネットマスク, VLAN ID 仮想マシンネットワークパラメータ • 仮想マシンネットワーク名, VLAN ID ソリューションパラメータ • ログを選択 • ログサーバのホスト名, IPアドレス アカウント • vCenter Adminアカウント名, パスワード • ESXi rootアカウント名, パスワード • ESXi VxRail管理アカウント名, パスワード 15
- 17. VxRailの“ウリ” その② 運用はスマート＆スムーズ シームレス且つ要件に合わせた拡張 ✓ スケールアップ ➢ CPU ➢ メモリ ➢ ストレージ ✓ スケールアウト アップデートシンプル！ ✓ １パッケージ＆数クリック １ストップサポート＆リモートサポート 17
- 18. ストレージ 10TB メモリ 512GB CPU 80コア VxRailの“ウリ” その② 要件にあわせてスケールアップ 他の競合HCI製品では・・・ • VDIのように同じ要件のゲストOS が増える場合は問題無し • 但し・・・ ✓思ったよりCPU負荷が高かった ✓アプリが変更されてメモリが足りなく なった ✓ファイルサーバのストレージが足りな くなった ✓ネットワーク負荷を低減 18 ストレージ 20TB メモリ 1024GB CPU 160コア ストレージ 30TB メモリ 1536GB CPU 240コア ゲストOS 200台 VMware ESX vCenter Server インフラ 統合管理 1st アプライアンス VMware ESX 2nd アプライアンス VMware ESX 3rd アプライアンス ゲストOS 500台ゲストOS 800台 いずれのリソースが不足しても 拡張＝ノード追加コスト
- 19. ストレージ 10TB メモリ 512GB CPU 80コア VxRailの“ウリ” その② VxRailでは必要に応じてアップグレード可能！ 要件にあわせてスケールアップ 19 ゲストOS 200台 VMware ESX vCenter Server インフラ 統合管理 1st アプライアンス CPU 80コア CPU 160コア メモリ 512GB CPUパワーだけが足りないなら メモリリソースだけが足りないなら ストレージ 10TB ストレージ 20TB ストレージ容量だけが足りないなら CPUは1ソケットの場合で2ソケットへのアップグレードを想定 メモリはスロットに空きがある場合を想定 ストレージはディスクスロットに空きがある場合を想定 拡張コストは 必要に応じて最小限！！ メモリ 1024GB
- 22. 特徴③シナジーサポート 22 • Dell Technologiesグループとしてサポート！ ユーザー様 EMCカスタマーサポート窓口 ハード/ソフト（EMC） EMC対応部門 ソフト（VMware） VMware対応部門 ESRS or メール or Web or 電話 （ハード/ソフト不問） リモートサポート （ESRS/WebEX） 連携 内部エスカレーション リモートサポート （WebEX）
- 23. VxRail以外は・・・ VxRailなら！ 特徴③シナジーサポートて？？ 24 vCenterへWeb Clientで 接続できなくなった！？ （ゲストOSは動いてる） Can’t connection to vCenter （But keep the customer system service） Check the network and get detail log （How to get the detail log command…） ネットワーク状況を確認して下さい また、以下の手順で詳細ログを採取下さい Ping応答は返しています。 ログ採取したのでファイルを送ります。 vCSA can response by ping and Uploaded detail log. Checked the logs, vCSA reached log capacity. Delete the logs or extended capacity, check the VMKB. vCSAのログ領域が溢れているようです。 以下のKBを参照してログを削除するか ログ領域を拡張して下さい KB見ましたが、 英語なので意味が分かりません！ 詳細な手順を教えてください！！ お客様ごとの詳細手順を作成することは サポートの範囲ではありません。 ドキュメント作成をご要望されるのであれば 担当営業へご相談下さい。 お客様 某サポート窓口 上位エンジニア vCenterへWeb Clientで 接続できなくなった！？ （ゲストOSは動いてる） VMware側で 何か問題が起きているようです お客様 VxRailサポート窓口 上位エンジニア WebExで調査してみましょう VMwareエンジニアが直接調査致します WebExの対応可能スケジュールを ご指示下さい では、明日の午後でお願いします！ WebEx 調査の結果、vCenterのログが飽和したため、 ハングアップしてしまったようです。 ログを削除して、クリーンナップを試みて宜しいでしょうか？ WebEx はい、お願いします！ WebEx 対処を完了しました。 お客様側での動作確認をお願い致します。 お客様の対応工数が増えてしまうケース・・・ 万が一のトラブル時にスムーズに対応が可能！
- 25. 特徴④多彩なエコシステム VMwareネイティブだからこそできること 27 仮想デスクトップ（VDI）なら Horizon 7 Dell EMCならではの 様々な仮想アプライアンス システム運用で必要な データ保護 Dell Technologiesグループを跨った ソリューションを展開中！
- 26. VxRailの価値は「シンプル＆スムーズ」 • スムーズ＆シンプルな導入 • シームレス＆最適コストでの 多彩な拡張 • VMware＋Dell EMCが “一体”となってサポート 28
- 28. VxRailのサイジング方法 • 必要な要素は普通のvSphere環境と同じ • vCPUの個数（及び集約率, vCPU/pCPU） • メモリ容量 • ストレージ容量 必要な物理容量＝要件ストレージ容量 ÷ 0.315 実効容量＝合計物理容量 × 0.315（キャッシュディスク容量は除く） 係数0.315＝FTT値 × 使用率閾値 × オーバーヘッド考慮後容量 FTT値 ＝冗長度１（FTT1）での実利用容量＝ 50% 使用率閾値 ＝ 70%（NW推奨値, メーカ値は80%） 諸オーバーヘッド考慮考慮容量 ＝ 90%（1K=1024変換, メタ情報等） 30
- 29. VxRailのサイジング方法 • VxRailが標準的に利用するリソース 31 管理VM Version vCPU Memory Disk vCenter Server 6.5.0-7515524 4vCPU 16GB 269.75GB PSC 6.5.0-7515524 2vCPU 4GB 53.81GB VxRail Manager 4.5.150-7653787 2vCPU 8GB 32.00GB Log Insight 4.3.0-5084751 4vCPU 8GB 530.50GB ESRS 3.24 3.24 1vCPU 4GB 64.00GB 計 13vCPU 40GB 950.06GB VxRail v4.5.150の実機で確認 管理系VMのvCPUの集約率は1:1がVmware社の推奨 全てThick（オブジェクトスペースの予約100%）で作成されます。
- 30. VxRailのサイジング方法 • Xpress Sizer • 誰でも使える簡単サイジングツール https://mainstayadvisor.com/go/emc/vxrail/index.html 32
- 31. VxRailのサイジング方法 • Advanced Sizing Tool • Dell EMCパートナー向けExcel製ツール 33
- 33. ワークショップ環境のご説明 • 構成図（各グループごとに１セット） VxRail E560F（オールフラッシュ）×4ノード CPU：Silver 4108 8コア 1.8GHz メモリ：192GB NIC：10Gb SFP+×2ポート ※今回は1Gb×2ポートは利用しません キャッシュディスク：800GB×1個 キャパシティディスク：1.92TB×2個 Cisco Nexus 3524x（構成済み） NIC#1 NIC#2 35 VxRail E560（ハイブリッド）×4ノード CPU：Silver 4110 8コア 2.1GHz×2個 メモリ：256GB NIC：10Gb SFP+×2ポート ※今回は1Gb×2ポートは利用しません キャッシュディスク：400GB×1個 キャパシティディスク：1.2TB×3個
- 34. ワークショップ環境のご説明 • 設定はリモートデスクトップ上で行って下さい リモートデスクトップ （mstsc.exe） ブラウザ や vSphere Web Client （場合によりvSphere C# Client） PCからの直接作業は 行いません 作業用PC VxRailアプライアンスクラスタ 36
- 36. 構成済み設計の把握とセットアップの留意事項 VxRailのセットアップとは？ 38 ハイパーコンバージド ソフトウェアベースストレージ（SDS) IA Server SIer/メーカーサポート SIer/メーカー設計 Hyper-Visor VMware vSAN IA Server EMCサポート VMware Design VMware vSphere この部分
- 40. 10GbEポート x 2ポート利用時の構成(全モデル) 種類 ポートグループ名 NIC#1 NIC#2 備考 管理 Marvin Management-xxx… Active Standby デフォルトuntag Tagありに変更可 Management Network-xxx… vCenter Server Network-xxx… ユーザVM用 ＜任意＞ Active Standby 自由に作成可能 vSAN Virtual SAN-xxx… Standby Active Closed VLAN vMotion vSphere vMotion-xxx… Active Standby Closed VLAN ※ ネットワーク設定は、初期構築後は変更はできません。 ※ 未使用10GBase-Tポートは標準では構成されません。デフォルトｖDSは利用せず、新規vDSまたはvSSを作成してください。 ※ 上記、未使用10GBネットワークを利用する場合、NIC冗長設定としてはActive/Standby、LACP等サポートされます。 42
- 41. 10GbEポート x 4ポート利用時の構成(14Gのみ) 種類 ポートグループ名 NIC#1 NIC#2 NIC#3 NIC#4 備考 管理 Marvin Management-xxx… Active Standby - - デフォルトuntag Tagありに変更可 Management Network-xxx… vCenter Server Network-xxx… ユーザVM用 ＜任意＞ Standby Active - - 自由に作成可能 vSAN Virtual SAN-xxx… - - Active Standby Closed VLAN vMotion vSphere vMotion-xxx… - - Standby Active Closed VLAN ※ ネットワーク設定は、初期構築後は変更はできません。 ※ NIC増設された機器を利用する場合は、デフォルトvDSでは変更せず、新規vDSまたはvSSを作成してください。 ※ 上記、増設ネットワークを利用する場合のNIC冗長設定としてはActive/Standby、LACP等サポートされます。 43
- 42. 1GbEポートの使用 種類 ポートグループ名 NIC#1 NIC#2 NIC#3 NIC#4 備考 管理 Marvin Management-xxx… Active Standby - - デフォルトuntag Tagありに変更可 Management Network-xxx… vCenter Server Network-xxx… ユーザVM用 ＜任意＞ Standby Active - - 自由に作成可能 vSAN Virtual SAN-xxx… - - Active Standby Closed VLAN vMotion vSphere vMotion-xxx… - - Standby Active Closed VLAN モデルにより使用ポートの位置が違う場合があります。 44
- 43. ネットワーク論理構成 VxRailノード1 ESXi VxRailノード2 ESXi VxRailノード3 ESXi VxRailノード4 ESXi iDRAC・BMC iDRAC・BMC iDRAC・BMC iDRAC・BMC BMC/iDRAC Network(BMCは100Mbps、iDRACは1G対応) 10G Port x2 or x4 vSAN VLAN vMotion VLAN 内部通信のみ 10G Port x2 or x4 10G Port x2 or x4 10G Port x2 or x4 Management VLAN VM Network VLAN VxRail Manager vCenter PSC Log Insight ESRS 操作端末 ユーザ仮想マシン お客様ネットワークへ 管理ネットワークへ 45
- 44. 構成済み設計の把握とセットアップの留意事項 構成済み設計：仮想スイッチの構成 46 Uplink1 Uplink2 Management Network-xxxx ESXi管理アドレス用 VLAN ID ① MARVIN Management-xxxx 内部管理アドレス用（169.254.x.x/16） VLAN ID ① vCenter Server Network-xxxx vCSA, PSC, VxRail Manager, Log Insight用 VLAN ID ① Virtual SAN-xxxx ESXi vSANアドレス用 VLAN ID ③ vSphere vMotion-xxxx ESXi vMotionアドレス用 VLAN ID ② 仮想マシンネットワーク ユーザが作成するゲストOS用, 1つ以上作成 VLAN ID N 分散仮想スイッチ （vDS） ポートグループ （Active/Standby構成） 物理NIC （10Gbの場合） このほかに各ノードに 標準仮想スイッチが１つ構成され、 ハードウェアステータス確認用 ネットワークとして構成されます PTAgent：192.168.0.2（固定）
- 45. 構成済み設計の把握とセットアップの留意事項 構成済みではないけど：サーバ管理ネットワーク トラブル時のハードウェアステータス確認には各ノードに搭載されている iDRACでの接続を必要とします ✓ 各ノードにRJ45での接続、各ノード毎にIPアドレスの割り当てが必要です ✓ セットアップにはBIOSでの構成（再起動を要する）が必要になるため、初期導入時の設 定を強く推奨します 47 10GポートiDRACポート 1Gポート
- 46. 構成済み設計の把握とセットアップの留意事項 ➢VxRailアプライアンス全体で１つのvSAN データストアを構成 ➢vSANはゲストOS単位に冗長性を設定可能 （デフォルト＝RAID1） ➢実効容量の計算式 実効容量＝Capcity Tierの総容量×0.315 ※0.315に含まれる要素 vSANオーバーヘッド 10% ミラー係数 50% 実利用閾値 70%（メーカー閾値は80%） VxRailの基本設計：データストアの構成 48 Cache Tier ディスクグループ Capacity Tier Cache Tier ディスクグループ Capacity Tier Cache Tier ディスクグループ Capacity Tier MARVIN-Virtual-SN-Datastore-xxx （Virtual SAN データストア）
- 47. 導入に必要な“もの” 49 • VxRailアプライアンス ✓3ノード～, 4ノード以上がお勧め ✓3ノードの場合は障害時のリビルドが実行されません • vSphere CPUライセンス ✓アプライアンスに搭載されているCPU数分のライセンス • Enterprise Plus（運用を楽にする場合はこちらがお勧め） • Standard ✓現在お持ちのライセンスも利用可能です（OEM除く） • 後述の一元サポート窓口で対応可能です ✓vCenter, vSANのライセンスはアプライアンスに標準的に含まれるので購入不要 です • 但しExternal vCenter場合は別途ライセンスが必要です • 10Gbネットワーク ✓DNSによる名前解決が必須です ✓実運用上NTPサーバも極めて強く推奨です • インストールサービス
- 48. 構成済み設計の把握とセットアップの留意事項 VxRailの基本設計：セットアップの必須要件 NTPサーバ ✓ LinuxOSから同期可能なものが必要 DNSサーバ ✓ 管理ゲストOS群及びESXiの正引き/逆引きの両方の名前解決 デフォルトゲートウェイ 10Gbスイッチ ✓ 10Gb構成の場合は必ず10Gbリンクアップが必要 ✓ RJ45モデルの1Gb構成の場合は1Gbリンクアップが必要 ✓ 各セグメント（VLAN）に後述の構成済みであること 10Gbケーブル ✓ 必ず全数必要, 片ポートのみでのセットアップはできません 電源ポート, ケーブル ✓ 必ず全数必要, 片電源のみでのセットアップはできません セットアップ用のPC ✓ 次ページのツールインストールが必要です 作業用のモニタ（VGA）及びキーボード（USB） ✓ 各ノードの作業前確認などで必要です 50
- 49. 構成済み設計の把握とセットアップの留意事項 VxRailの基本設計：セットアップ用のPC インターネットブラウザ ✓ Internet Explorer 11以降 ✓ Chrome 43以降 ✓ Firefox 38以降 Adobe Flash Player ✓ vSphere Web Client対応バージョン あると便利ツール ✓ SSHクライアント ✓ Pythonツール（Gシリーズリセットスクリプト） ✓ Bootable USBディスク（16GB以上, RASRアップデート用） 51
- 50. 構成済み設計の把握とセットアップの留意事項 VxRailの基本設計：HCIインフラスイッチの要件 VxRail接続ポートはTrunkポートにする ✓ vmnic1,2の接続されるポートは同じ構成にする • 1Gb構成のときはvmnic1,2,3,4全て同じ構成にすることが推奨 ✓ LACPは不可 管理セグメント ✓ IPv4及びIPv6の両方の通信が可能であること ✓ VxRailの内部管理にマルチキャストを利用しています • IGMP Snooping, IGMP Snooping querierの有効化 • IPv6 MLD Snooping, IPv6 MLD Snooping querierの有効化 vSANセグメント ✓ IPv4通信 • IGMP Snooping, IGMP Snooping querierの有効化 52
- 51. 構成済み設計の把握とセットアップの留意事項 VxRailの基本設計：VDX6740の構成例 53 # show running-config ! no vlan dot1q tag native ! interface Vlan 1 name Management ip igmp snooping enable ip igmp snooping querier enable ipv6 mld snooping enable ipv6 mld snooping querier enable ! interface Vlan 20 name vMotion ! interface Vlan 30 name vSAN ip igmp snooping enable ip igmp snooping querier enable ! VDX6740の設定例（Tag VLAN設定） # show running-config interface TenGigabitEthernet 1/0/1 interface TenGigabitEthernet 1/0/1 description Connect to VxRail switchport switchport mode trunk switchport trunk allowed vlan add 1,20,30,110,120 switchport trunk tag native-vlan spanning-tree shutdown fabric isl enable fabric trunk enable no shutdown VDX6740の設定例（Interface設定）
- 52. 構成済み設計の把握とセットアップの留意事項 VxRailの基本設計：電源の注意事項 Gシリーズの2CPUモデルは200Vが必須です 54 Gシリーズ（Gen.3） Eシリーズ（Gen.5） Vシリーズ（Gen.5） Pシリーズ（Gen.5） Sシリーズ（Gen.5） 消費電力(W) 1560 1100 2000 1100 1600 1100 電圧(V) 100 – 240 AC 200 – 240 AC 100 – 240 AC 200 – 240 AC 100 – 240 AC 200 – 240 AC 100 – 240 AC 寸法 高さ (cm) 8.73 4.28cm 8.68cm 8.68cm 8.68cm 奥行 (cm) 77.5 73.382cm 67.88cm 67.88cm 67.88cm 幅 (cm) 44.7 43.4cm 43.4cm 43.4cm 43.4cm 重量（kg） 41.4 21.9 28.1 28.1 33.1 温度（°C） 5 – 35 10 – 30 10 – 30 10 – 30 10 - 25 湿度（％） 20 – 85 10 – 80 10 – 80 10 – 80 10 – 80 発熱量 (BTU/hr) 5,071 4,100 7,500 6,000 4,416 ユニット数 2 U 1 U 2 U 2 U 2 U
- 54. 詳細設計（パラメータの決定） VxRailの初期設定に必要なパラメータ（v4.5.211） 56 システムパラメータ • NTPサーバ • NIC構成 管理パラメータ • ESXiのホスト名 • ESXiのIPプールの開始アドレス, 終了アドレス • vCenterサーバのホスト名, IPアドレス • Platform Service Controllerのホスト名, IPアドレス • VxRail Managerのホスト名, IPアドレス • 管理セグメントのサブネットマスク, デフォルトゲー トウェイアドレス vMotionパラメータ • IPプールの開始アドレス, 終了アドレス • サブネットマスク, VLAN ID Virtual SANパラメータ • IPプールの開始アドレス, 終了アドレス • サブネットマスク, VLAN ID 仮想マシンネットワークパラメータ • 仮想マシンネットワーク名, VLAN ID ソリューションパラメータ • ログを選択 • ログサーバのホスト名, IPアドレス アカウントパラメータ • vCenter Adminアカウント名, パスワード • ESXi rootアカウント名, パスワード • ESXi VxRail管理アカウント名, パスワード
- 55. 詳細設計（パラメータの決定） システムパラメータ NTPサーバ ✓ IPアドレスもしくはホスト名を入力 • NTPサーバが無いと万が一の障害時の調査が困難になったり、SSOログインに失敗してしまうなどの問題を 引き起こす可能性があるので、実運用時は準備することを極めて強く推奨します NIC構成 ✓ 10Gb構成（10Gb×2 or 10Gb×4）もしくは1Gb構成（1Gb×4）を選択 • 10Gb構成の場合は10Gbでのリンクアップが必須 • 1Gb構成は10Gb RJ45モデルのみサポート • 4ポート構成の場合はオンボードの4ポート全てが適切なスピードでリンクアップして いることが必須 57
- 56. 詳細設計（パラメータの決定） 管理パラメータ ESXiのホスト名 ✓ ホスト名は以下の組み合わせによる連番での命名 • プリフィックス • セパレータ：あり/なし • 連番：0x, x, a • ドメイン：DNSドメイン名 ESXiのIPプールの開始アドレス, 終了アドレス ✓ ESXiの管理用 IPアドレスのパラメータ ✓ 構成するノード数分のIPアドレスを連続したレンジで指定する vCenterサーバのホスト名, IPアドレス ✓ 標準では組み込み型（Embedded）のvCenter Server Appliance（以下 vCSA）が初期設定ウィ ザード中に自動的に構成されます Platform Service Controllerのホスト名, IPアドレス ✓ 標準の組み込み型vCSAはSingle Sign Onのためのモジュールを分離し、Platform Service Controllerを別途Virtual Applianceとして構成します 58
- 57. 詳細設計（パラメータの決定） 管理パラメータ VxRail Managerのホスト名, IPアドレス • VxRailアプライアンス全体を統合管理するためのGUIを提供するVirtual Appliance 管理セグメントのサブネットマスク, デフォルトゲートウェイ ✓ この管理パラメータは同一サブネット内での構成が必須です ✓ デフォルトゲートウェイも外部接続の有無に関わらず、最低でもping応答可能なアドレスを必ず指 定して下さい 59
- 58. 詳細設計（パラメータの決定） vMotionパラメータ IPプールの開始アドレス, 終了アドレス ✓ ESXiのvMotion用 IPアドレスのパラメータ ✓ 構成するノード数分のIPアドレスを連続したレンジで指定する ✓ 管理セグメントやvSANとフラットなネットワークにする場合はサブネット レベルで管理セグメントやvSANセグメントのIPアドレスとは異なるアドレ スを指定すること サブネットマスク, VLAN ID ✓ vMotionセグメントのサブネットマスクおよびVLAN ID ✓ VLAN IDはそのほかに構成するセグメントとは異なるVLAN IDを指定すること 60
- 59. 詳細設計（パラメータの決定） Virtual SANパラメータ IPプールの開始アドレス, 終了アドレス ✓ ESXiのvSAN用 IPアドレスのパラメータ ✓ 構成するノード数分のIPアドレスを連続したレンジで指定する ✓ 管理セグメントやvSANとフラットなネットワークにする場合はサブネット レベルで管理セグメントやvSANセグメントのIPアドレスとは異なるアドレ スを指定すること サブネットマスク, VLAN ID ✓ vSANセグメントのサブネットマスクおよびVLAN ID ✓ VLAN IDはそのほかに構成するセグメントとは異なるVLAN IDを指定すること 61
- 60. 詳細設計（パラメータの決定） 仮想マシンネットワークパラメータ 仮想マシンネットワーク名, VLAN ID ✓ 自身で作成するゲストOS用のセグメント名とVLAN ID ✓ VLAN IDはそのほかに構成するセグメントとは異なるVLANを指定するこ と 62
- 61. 詳細設計（パラメータの決定） ソリューションパラメータ ログを選択 ✓ ログ収集方法を以下の方法から選択 • vRealize Log Insight 標準構成 VxRailアプライアンス最大構成までをサポートするライセンスがバンドルされています VxRailアプライアンス以外のログ収集はサポートされていません • Syslog 予め構成されたSyslogサーバにログを保存します • なし 特にログを収集しない場合, 非推奨 ホスト名, IPアドレス ✓ Log InsightおよびSyslogサーバを選択した場合にはそのホスト名とIPアド レス 63
- 62. 詳細設計（パラメータの決定） アカウントパラメータ vCenter Server管理アカウントユーザ名 ✓ Administratorアカウント名 ✓ パスワード ESXi アカウント ✓ 各ESXiのローカルアカウント（root）のパスワード ✓ 管理ユーザ名 • 増設やメンテナンスなどのときに利用する各ノードローカルの管理ユーザ ✓ 管理ユーザパスワード パスワードの共通ルール ✓ 8文字以上20文字以下 ✓ 1つ以上の大文字及び小文字を含む ✓ 1つ以上の特殊文字を含む 特殊文字 !@*%^ ✓ 1つ以上の数字を含む ✓ 3文字以上を繰り返さない ✓ 使用できない文字 <>&‘”`;=/¥$#|?.,スペース ✓ ある程度の複雑性が必要 • P@ssw0rd等はNG • 辞書に載っているキーフレーズを含むことは基本的にNG • 辞書に載っているキーフレーズに含まれる3文字以上の類似フレーズもNG（adminのmin部分など） 64
- 64. 手順表記のご説明 • テキスト • 画面上のメニューやメッセージ • テキスト • 入力するパラメータ • テキスト • パラメータシート参照先 66
- 65. 初期設定 1. パラメータシートを参照して、リモートデスクトップへ接続して下さい 2. Internet Explolerを起動して、各グループのノード#1、２，３のiDRAC IPアドレス（192.168.10.111 ～113）へ接続して下さい 3. vxrailuser0X ユーザでログインして下さい 4. ダッシュボード の システムの電源を入れる をクリックしてください 上記をノード#1, #2, #3に対して行ってください。（このステップではノード#4は起動しません。） 5. リモートデスクトップ上から工場出荷時のIPアドレス（192.168.10.200）へpingを実行して応答がある まで待ってください • 約15分程度掛かります 初回起動手動 67 4
- 66. 初期設定 6. デスクトップ上にあるGoogle Chromeを起動して工場出荷アドレス（https://192.168.10.200）へ接 続して下さい ※セキュリティ警告が出た場合には以下の手順で例外サイトへ登録します a. 詳細設定 をクリックします b. 続いて 192.168.10.200にアクセスする（安全ではありません） をクリックします 工場出荷IPアドレスへブラウザで接続 68 a b
- 67. 初期設定 1/15 7. Welcomeページが表示されたら 開始する ボタンをクリックして初期設定ウィザードを開始して下さい 8. 続いてエンドユーザ仕様許諾契約書が表示されるので 承諾 ボタンをクリックして下さい 初期設定ウィザードの開始と許諾書への同意 69 7 8
- 68. 初期設定 2/15 ノードの検出 9. ノードの検出が行われます • 電源を起動した3ノード全てがリストアップされるまで待ってください 10. 3ノード検出されたら リストされたノードを構成することを確認します チェックボックスを有効化して 下さい 11. 次へ ボタンをクリックして下さい 3ノードの検出を確認 70 9 10 11
- 69. 初期設定 3/15 12. 2つの構成方法がありますが、本ワークショップでは ステップバイステップ をクリックして先に進みます 13. 次へ ボタンをクリックして下さい 構成方法の選択 71 12 13
- 70. 初期設定 4/15 14. パラメータシートの システムパラメータ を参考にパラメータを入力して下さい 15. 左ペインの システム が緑色のチェックマークになっていることを確認して 次 ボタンをクリックして下さ い • 赤いバツマークの場合は入力に誤りがあるのでパラメータシートと見比べて下さい システムパラメータの指定 72 システム が緑色のチェック マークになってることを確認 15
- 71. 初期設定 5/15 16. パラメータシートの ネットワークパラメータ を参考にパラメータを入力して下さい 17. 左ペインの 管理 が緑色のチェックマークになっていることを確認して 次 ボタンをクリックして下さい • 赤いバツマークの場合は入力に誤りがあるのでパラメータシートと見比べて下さい ネットワークパラメータの指定 73 ネットワーク が緑色のチェック マークになってることを確認 17
- 72. 初期設定 6/15 18. パラメータシートの vMotionパラメータ を参考にパラメータを入力して下さい 19. 左ペインの vSphere vMotion が緑色のチェックマークになっていることを確認して 次 ボタンをクリック して下さい • 赤いバツマークの場合は入力に誤りがあるのでパラメータシートと見比べて下さい vMotionパラメータの指定 74 vSphere vMotion が緑色のチェック マークになってることを確認 19
- 73. 初期設定 7/15 20. パラメータシートの Virtual SANパラメータ を参考にパラメータを入力して下さい 21. 左ペインの Virtual SAN が緑色のチェックマークになっていることを確認して 次 ボタンをクリックして下 さい • 赤いバツマークの場合は入力に誤りがあるのでパラメータシートと見比べて下さい vSANパラメータの指定 vSAN が緑色のチェック マークになってることを確認 75 21
- 74. 初期設定 8/15 22. パラメータシートの 仮想マシンネットワークパラメータ を参考にパラメータを入力して下さい 23. 左ペインの 仮想マシンネットワーク が緑色のチェックマークになっていることを確認して 次 ボタンをク リックして下さい • 赤いバツマークの場合は入力に誤りがあるのでパラメータシートと見比べて下さい 仮想マシンネットワークパラメータの指定 仮想マシンネットワーク が緑色の チェックマークになってることを確認 76 23
- 75. 初期設定 9/15 24. パラメータシートの ソリューションパラメータ を参考にパラメータを入力して下さい 25. 左ペインの ソリューション が緑色のチェックマークになっていることを確認して 次 ボタンをクリックして 下さい • 赤いバツマークの場合は入力に誤りがあるのでパラメータシートと見比べて下さい ソリューションパラメータの指定 ソリューションが 緑色のチェックマークに なってることを確認 77 25
- 76. 初期設定 10/15 78 26. パラメータシートの アカウントパラメータ を参考にパラメータを入力して下さい 27. 左ペインの ソリューションアカウント が緑色のチェックマークになっていることを確認して 次 ボタンをク リックして下さい • 赤いバツマークの場合は入力に誤りがあるのでパラメータシートと見比べて下さい アカウントパラメータの指定 アカウント が緑色の チェックマークになってることを確認 27
- 77. 初期設定 11/15 28. ここまでの全てのステップが緑色のチェックマークになっていることを確認して 検証 ボタンをクリックし て下さい • 検証には15分程度掛かります • 実際に仮想NICを設定したりIPアドレスを付与して疎通確認を行います • 疎通テストでエラーになるとこの先に進めませんので、エラー内容を確認のうえ、パラメータの確認やスイッチの構成 を確認します（ワークショップ環境でのスイッチ構成確認は不要です） 確認と検証 全てのステップが 緑色のチェックマークに なってることを確認 79 28
- 78. 初期設定 12/15 29. 検証が無事完了できると構成に進めます 30. 最後に VXRAILの構成 ボタンをクリックして構成に進んで下さい 確認と検証 検証が成功したことを確認 80 30
- 79. 初期設定 13/15 31. 構成が開始されるとまず VxRail Manager のIPアドレスが変更されます 32. 続いて 構成を開始 ボタンをクリックして構成ページへ進んで下さい • セキュリティ警告が表示されたら前述と同じように例外登録を行って下さい a. 詳細設定 をクリックします b. 続いて 192.168.10.200にアクセスする（安全ではありません） をクリックします 構成の開始 ここから先は VxRail Manager に指定した IPアドレスへリダイレクトされます 81 32
- 81. 初期設定 15/15 33. 表示が切り替わって 完了しました が出れば無事完成です 34. セットアップが完了したら VxRAILの管理 ボタンをクリックして初期設定ウィザードを完了して下さい VxRail Managerのログイン画面へ進みます 完成 83 34
- 83. 初期設定後の追加作業 初期設定直後は必ずvCenter Web Client上に以下の２つのエラーが生じます • Hardware Compatibility Listの情報が古い • パフォーマンスオブジェクトが有効になっていない 初期設定ウィザード直後のエラーについて クラスターのアラームが必ず生じています vSANの健全性でも必ずハードウェア互 換性で失敗と警告が生じています 85
- 84. 初期設定後の追加作業 vSANのHardware Compatibilityのデータベースを更新する必要があります • オフラインアップデートの方法 • 予めVMware社のサイトからダウンロードしておきます • https://partnerweb.vmware.com/service/vsan/all.json 1. Cluster → 管理 タブ→ 設定 → Virtual SAN → 健全性とパフォーマンス 2. ファイルから更新 ボタンをクリックしてダウンロードしておいた all.json ファイルを指定します • 最新バージョンをオンラインで取得 ボタンをクリックしてインターネット経由でもアップデートできます HCL DBファイルのアップデート 86 2
- 85. 初期設定後の追加作業 vSANのパフォーマンス履歴を保存機能を有効化します 1. Cluster → 管理 タブ→ 設定 → Virtual SAN → 健全性とパフォーマンス 2. 編集 ボタンをクリックします 3. Virutal SANパフォーマンスサービスをオンにする が有効になっていることを確認します 4. ストレージポリシーを任意のものに設定します • デフォルトの Virtual SAN Default Storage Policy が基本になります 5. OK ボタンをクリックします 6. パフォーマンスサービスはオンの状態 になっていること確認します パフォーマンスオブジェクトの有効化 87 2 5
- 86. 初期設定後の追加作業 対処後にvSANの健全性を再テストして下さい 1. Cluster → 監視 タブ→ 健全性 → vSAN → 再テスト ボタン 2. 全てのステータスが パス になることを確認して下さい 3. インターネト接続ができていない場合は、VMware Update Mangerに関する警告が生じます。必要に 応じてVMKB2151813を参照して対処下さい。 エラーが解消されます 88
- 88. ステータス確認 • ここでは日々のステータス確認でも利用するVxRail Managerによ る確認と、vCenter Web Clientによる確認の方法をご説明します • アプライアンス全体のステータス確認やイベント確認などの概要 確認、物理的なコンポーネント確認はVxRail Managerでの確認が お勧めです • 詳細なイベント情報や、詳細なステータス確認はvCenter Web Client（Flash版）での確認になります • HTML5版のWeb Client や Host Web ClientはvSANのステータスが確認 できないので、通常時は利用しません 90
- 89. ステータス確認 1. ユーザー名に administrator@vsphere.local を入力して下さい 2. パスワードにはvCenterなど管理ゲストOSのパスワードとして設定したSSOパスワードを入力し て下さい（VX@dm1n!） • パラメータシートの 管理パラメータ にある vCenter Server, PSC, および VxRail Manager パスワード を参照して下さい 3. 続いて認証 ボタンをクリックしてログインして下さい VxRail Manager：ログイン 91 3
- 90. ステータス確認 VxRail Managerによる全体的なステータスを確認するページです • 全体の稼働状態 • VxRailコミュニティ • インターネット経由でDell EMC Community NetworkのVxRailページのトピックを参照します • インターネット接続がないと表示されません • サポート • リモートサポートシステム（ESRS）のステータス確認やサポートリクエストができます • イベント履歴 • VxRail Managerでピックアップした最新のイベントが表示されます VxRail Manager：ダッシュボード 92
- 91. ステータス確認 ノードごとの物理ステータスを確認するページ です • 任意のノードのシリアル番号 をクリックして 詳細なステータスを確認します • ノード全体 • ディスク（キャッシュ用, キャパシティ用） • 電源 • NIC VxRail Manager：稼働状態（物理） 93
- 92. ステータス確認 クラスター全体、ノードごとの論理ステータス を確認するページです • ストレージIOPS • CPU使用率 • メモリ使用率 • ストレージ情報 • 全体容量、使用済み容量、空き • ESXiノード • ノードごとのコンポーネント確認ができますが、 次ページの物理タブの方がお勧めです VxRail Manager：稼働状態（論理） 94
- 93. ステータス確認 クラスター全体のステータス確認ができます • vCenterでピックアップされているアラームの チェックに相当します • 構成 ページ → 一般 タブ → 診断 ボタン • 日常的なステータス確認のほか、設定変更やアップ デート、電源断などシステム全体に影響する作業前 に実施することがお勧めです VxRail Manager：構成 → 一般 → システム診断 95
- 94. ステータス確認 VxRailアプライアンスはvSANが実装されていますので、vCenter Web Client（Flash版）での管理が 基本になります • vSphere C# Client は VxRail v4.5 から接続できなくなっています • HTML5版のWeb Clientでは未だvSANを管理できません vSANのステータスは以下の場所で確認できます 1. Cluster → 監視 タブ → vSAN → 健全性 2. 再テスト ボタンをクリックすることで最新のステータスを確認できます vCenter Web Client：vSphereとしての確認 96
- 96. HCIbenchを利用したパフォーマンス検証 HCIbenchとは？ VMware社がリリースしたVdbenchを利用したパフォーマンス検証ツール PhotonOSを利用した多ゲストOSの自動デプロイ、細かなアクセスプロファイルの 設定が可能 検証結果をCSVで保存, vSANレポート（vSAN Observer）も取得可能 HCIbenchの準備 HCIbenchのダウンロード ✓ https://labs.vmware.com/flings/hcibench?download_url=https%3A%2F%2Fdownload 3.vmware.com%2Fsoftware%2Fvmw-tools%2Fhcibench%2FHCIBench_1.6.6.ova Vdbenchのダウンロード ✓ Oracleアカウントへの登録が必要 ✓ http://www.oracle.com/technetwork/server-storage/vdbench-downloads- 1901681.html? 98
- 97. HCIbenchを利用したパフォーマンス検証 なぜHCIbenchを使うのか？ 通常のIOツールでは不十分だからです！ Cache Tier ディスクグループ 外部ストレージ ＜外部ストレージの場合＞ • コントローラに対する1対1の検証は可能 • ツールによってはシリアル処理しかしていない • パラレル処理検証してもAct/Actストレージの場合は1台のゲ ストOSでは検証としては不十分なことが多い • そもそも実際の環境は複数ゲストからのアクセスでは・・・ ＜ＳＤＳの場合＞ • SDSのパフォーマンス＝キャッシュSSDのパフォーマンス • SDSはクラスタ全体で処理するアーキテクチャなので1ホスト だけの処理ではあまり意味が無い・・・ Cache Tier ディスクグループ ほぼ暇している状態 99
- 98. HCIbenchを利用したパフォーマンス検証 HCIbenchの必要リソース コントローラVM ✓ CPU: 8 vCPU ✓ メモリ: 4GB ✓ OS VMDK: 16GB ✓ OS: Photon OS 1.0 ✓ インストールされるソフトウェア • Ruby 2.3.0, Rubygem 2.5.1, Rbvmomi 1.8.2, RVC 1.8.0, sshpass 1.05, Apache 2.4.18, Tomcat 8.54, JDK 1.8u102 VdbenchVM ✓ CPU: 4 vCPU ✓ メモリ: 4GB ✓ OS VMDK: 16GB ✓ OS: Photon OS 1.0 ✓ インストールされるソフトウェア: JDK 1.8u102, fio 2.13 ✓ SCSI Controller Type: VMware Paravirtual ✓ Data VMDK: 指定された容量, 個数を作成 100
- 99. HCIbenchを利用したパフォーマンス検証 1. vCenter Web Client（Flash版）にホスト名 （https://vxrail-vcenter.hci.local）で接続 して下さい 2. ノード#1（vxrail-esx01.hci.local）を選択 し、右クリックから OVF テンプレートのデ プロイ を実行して下さい 3. OVF テンプレートのデプロイ ウィザードが 表示されます 4. パラメータシートの HCIBench OVA デプロ イ パラメータ を参照して適切なパラメータ を入力してください 5. 完了 ボタンをクリックしてデプロイを開始 して下さい 6. デプロイが完了したら HCIBench_1.6.6 ゲ ストOSを起動して下さい HCIbenchコントローラVMのデプロイ 101 5
- 100. HCIbenchを利用したパフォーマンス検証 1. Webブラウザを起動してHCIbenchの IPアドレスへHTTP:8080 （http://192.168.10.5:8080）で接 続して下さい 2. ログインウィンドウが表示されたら root / VX@dm1n! でログインして下 さい 3. パラメータシートの HCIBench Configuration パラメータ を参照して、 適切なパラメータを Vdbench Guest VM Specification まで入力して下さい HCIbenchの設定 102
- 101. HCIbenchを利用したパフォーマンス検証 4. Vdbench Testing Configuration で Test Name を入力したら Generate ボ タンをクリックして下さい 5. Vdbench Parameter File Generate Page が表示されるので、パラメータ シートの Vdbench Parameter File Generate Page を参照して適切なパラ メータを入力して下さい 6. Vdbench Parameter File Generate Page に入力が終わったら Submit ボ タンをクリックして保存し、 Close ボ タンをクリックしてこのページを閉じ て下さい HCIbenchの設定 103 4 6
- 102. HCIbenchを利用したパフォーマンス検証 7. 元の Vdbench Testing Configuratoin に戻るので Refresh ボタンをクリック して Select a Vdbench parameter file に作成したパラメータが表示される ことを確認して下さい 8. Upload the Vdbench File にある ファイルを選択 ボタンをクリックして 下さい 9. デスクトップ上にある HCIbench Deploy Packages の中にある vdbench5007.zip を選択して下さい 10. Upload Vdbench ボタンをクリックし てvdbenchファイルをコントローラVM にアップロードして下さい HCIbenchの設定 104 8 10 7
- 103. HCIbenchを利用したパフォーマンス検証 11. Save Configuration ボタンをクリッ クしてここまでの設定を保存して下さ い 12. 設定の検証を確認するため、 Validate ボタンをクリックして下さい 13. 検証が終わると Information ウィドウ が開きます 最終メッセージが please go ahead to kick off testing になっていることを確 認して下さい HCIbenchの設定 105 11 12 13
- 105. HCIbenchによる検証 1. HCIbenchのWebページで Test ボタン をクリックしてパフォーマンス検証を 実行して下さい 2. VdbenchVMが自動的にデプロイされ、 設定されたIOテストを開始します 3. VxRail Managerへアクセスし、稼働状 態 の 論理 タブを確認して下さい 4. ストレージIOPS のグラフが変化する ことが分かります 5. 指定された検証時間が過ぎると Progress ウィンドウに Test is finished が表示されるので、クローズ ボタンをウィンドウを閉じて下さい パフォーマンス検証の実行 107 1 4 5
- 106. HCIbenchによる検証 1. HCIbenchのWebページで Result ボタンを クリックして下さい 2. 結果が保存されているウィンドウが新たに開 きます 3. 結果ファイルがいくつか保存されますが、代 表的なものは以下のようなものがあります テスト名Excelファイル テスト全体の統計情報 IOパラメータ名テキストファイル 各IOパターンごとのテスト結果サマリ performance_diag_result.html vSAN RVCレポート パフォーマンス検証結果の確認 108
- 108. スケールアウトによる拡張とは？ ストレージリソースの拡張 容量 パフォーマンス ✓ いずれもスケールアウトでシームレス に拡張可能 • オンラインでの拡張が前提 • 拡張後にリバランスが必要になることが あるので要調整 ✓ ノード追加は既存環境を最新バージョ ンにしていることなど、前提条件があ ります Cache Tire ディスクグループ 4TB 10,000 IOPS Cache Tire ディスクグループ 4TB 10,000 IOPS スケール アウト 8TB 20,000 IOPS 110
- 109. スケールアウト：ノードの追加 • クラスターが健全（エラーなどが無い）に稼働していること • 最新のVxRailソフトウェアにバージョンアップされていること • 同バージョンのアップデートパッケージをダウンロードしておくこと • 既存システムと同じタイプ（ハイブリッド/オールフラッシュ）であること • 既存システムの全セグメントと疎通可能なネットワークに接続できること • 既存システムの管理アカウント（vCSA、PSCのroot及びSSOユーザ）情報を把握しておくこと • 追加ノードに付与するホスト名（既存ノードの連番）、各種IPアドレス、管理アカウント情報を準 備しておくこと • 追加ノードに付与したホスト名と管理IPアドレスがDNSによる名前解決が可能であること • 既存のディスク利用率が30%以上の場合はディスク追加後にリバランスすることが強い推奨 前提条件 111
- 110. スケールアウト：ノードの追加 VxRail Manager及びvCenter Web ClientでvSANの 容量情報を確認して下さい • VxRail Manager • 稼働状態 → 論理 タブ →ストレージ情報 • 容量 と 空き を確認して記録して下さい • vCenter Web Client • クラスター → サマリ タブ → ストレージ • キャパシティ と 空き容量 を確認して記録して下さい ノードを追加する前に現状の確認 112
- 111. スケールアウト：ノードの追加 1. Internet Explolerを起動して、のノード#4のiDRAC IPアドレス（https://192.168.10.114）へ接続し て下さい 2. vxrailuser / VX@dm1n! でログインして下さい 3. ダッシュボード の システムの電源を入れる をクリックしてください 4. 仮想コンソール上でvSphereが起動完了するまで（DCIUが表示されるまで）待ってください 約15分程度掛かります ノードの追加手順 1/4 113 3
- 112. スケールアウト：ノードの追加 5. 追加ノードが正常に起動して、VxRail Managerが検出すると、ダッシュボードに 追加するノード が表示 されるのでチェックボックスを有効化して下さい 6. ノードを追加する ボタンをクリックして追加ウィザードを実行します 7. vSphereユーザー資格情報 が表示されるので、vCenterの管理者アカウント （administrator@vsphere.local）の情報を入力し、 次へ ボタンをクリックして下さい 8. クラスタに新しいIPアドレスを割り当てます では不足しているIPアドレス情報を入力し、次へ ボタンをク リックして下さい • ハンズオンでは最初に4ノード分のIPアドレスレンジを入力しているのでIPアドレスは入力する必要はありません ノードの追加手順 2/4 114 5 6
- 113. スケールアウト：ノードの追加 9. 追加するノードのローカルrootアカウントのパスワードと、管理アカウント（本環境では handsonadminアカウント）とパスワードを入力して下さい 10. 名前解決を事前に解決して起き、 DNSルックアップレコードに新しいホスト名とIPアドレスを 追加されました。 チェックボックスを有効化して下さい 11. 検証 ボタンをクリックして下さい ノードの追加手順 3/4 115 10 11
- 114. スケールアウト：ノードの追加 12. 検証に成功しました メッセージが表示されたことを確認して クラスタを拡張する ボタンをク リックして下さい 13. クラスタの拡張が終わるまで待ちます • おおよそ10分程度で拡張は完了します ノードの追加手順 4/4 116 12
- 115. スケールアウト：ノードの追加 VxRail Manager及びvCenter Web ClientでvSANの 容量情報を確認して下さい • VxRail Manager • 稼働状態 → 論理 タブ →ストレージ情報 • 容量 と 空き を確認して記録して下さい • vCenter Web Client • クラスター → サマリ タブ → ストレージ • キャパシティ と 空き容量 を確認して記録して下さい ノード追加後の確認 117
- 116. スケールアウト後のパフォーマンス検証 1. HCIbenchのWebページでTest Name を 4nodetest に変更してSave Configuration ボタンをクリックして 下さい 2. Test ボタンをクリックしてパフォーマ ンス検証を実行して下さい 3. VdbenchVMが自動的にデプロイされ、 設定されたIOテストを開始します 4. VxRail Managerへアクセスし、稼働状 態 の 論理 タブを確認して下さい 5. ストレージIOPS のグラフが変化する ことが分かります 6. 指定された検証時間が過ぎると Progress ウィンドウに Test is finished が表示されるので、クローズ ボタンをウィンドウを閉じて下さい 4ノード構成でのパフォーマンス検証の実行 118 1 4 5
- 118. スケールアップ：ディスクの追加 • クラスターが健全（エラーなどが無い）に稼働していること • 最新のVxRailソフトウェアにバージョンアップされていること • キャパシティディスクもしくはキャッシュディスクを追加するスロットがあること • キャパシティディスクを追加する場合は、既存ディスクグループのスロットに空きがあること • 既存のディスク利用率が30%以上の場合はディスク追加後にリバランスすることが強い推奨 前提条件 120
- 119. スケールアップ：ディスクの追加 • Eシリーズのディスクグループ • 最大２ディスクグループ • キャッシュ×1個 • キャパシティ×4個 • P, Vシリーズのディスクグループ • 最大4ディスクグループ • キャッシュ×1個 • キャパシティ× 5個 • Sシリーズのディスクグループ • 最大2ディスクグループ • キャッシュ×1個 • キャパシティ×6個 ディスク搭載位置 キャパシティ キャッシュ キャパシティ キャパシティ キャパシティ キャパシティ キャパシティ キャパシティ キャパシティ キャッシュ キャパシティ キャパシティ キャパシティ Ｅシリーズ Ｐ，Ｖシリーズ Ｓシリーズ ※Sシリーズのキャッシュディスクは背面に2つ搭載 121 キ ャ ッ シ ュ キ ャ ッ シ ュ キ ャ ッ シ ュ キ ャ ッ シ ュ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キ ャ パ シ テ ィ キャパシティ キャパシティ キャパシティ キャパシティ キャパシティ キャパシティ キャパシティ キャパシティ キャパシティ
- 120. スケールアップ：ディスクの追加 VxRail Manager及びvCenter Web ClientでvSANの容量情報を確認して下さい • VxRail Manager • 稼働状態 → 物理 タブ → 各ノード → ディスク • 空きスロット（N/A） の状態を確認して記録して下さい • 稼働状態 → 論理 タブ → ストレージ情報 • 容量 と 空き を確認して記録して下さい ディスクを追加する前に現状の確認 1/2 122
- 121. スケールアップ：ディスクの追加 vCenter Web ClientでvSANの容量情報を確 認して下さい • vCenter Web Client • クラスター → サマリ タブ → ストレージ • キャパシティ と 空き容量 を確認して記録し て下さい • クラスター → 設定 タブ → 設定 → ディス ク管理 • ディスクグループの数と使用中のディスク数 を確認して記録して下さい ディスクを追加する前に現状の確認 2/2 123
- 122. スケールアップ：ディスクの追加 1. 稼働状態 → 物理 タブ へ移動します 2. 任意のノードのシリアル番号 をクリックして下さい 3. 前面図の ディスク をクリックして下さい 4. ディスクを追加 をクリックして下さい ディスクの追加手順 1/6 124 2 3 4
- 123. スケールアップ：ディスクの追加 5. 新しいディスクがどのように追加できるか事前検出します 6. 追加するディスクタイプを選択します • 本ワークショップではキャパシティ×1個を追加するので、容量 を選択し、ディスク番号に 1 を入力し て下さい 7. 続行 ボタンをクリックします ディスクの追加手順 2/6 125 6
- 124. スケールアップ：ディスクの追加 8. 追加する推奨スロットが表示されるので追加するディスクを物理的に組み込みます • 本ワークショップではトレーナーが組み込みますので、準備ができたチームからリクエストして下さい • ビューに表示をクリックすると物理的な位置を指示してくれます 9. 続行 ボタンをクリックします ディスクの追加手順 3/6 126 8
- 125. スケールアップ：ディスクの追加 10. 追加されたディスクを検出します 11. 適切なディスクが検出されたことを確認して下さい 12. 続行 ボタンをクリックします ディスクの追加手順 4/6 127 10
- 126. スケールアップ：ディスクの追加 13. 追加作業の事前チェックを行います • 正常稼働していない場合、メンテナンスモードになっているなどの場合に失敗します 14. 続行 ボタンをクリックします 15. 追加処理が完了するまで待ちます • 3分程度で完了します ディスクの追加手順 5/6 128 13
- 127. スケールアップ：ディスクの追加 16. 正常に追加されたことを確認します 17. 閉じる ボタンをクリックして追加作業は完了です 以上の作業を全ノードで実行して下さい ディスクの追加手順 6/6 129 16
- 128. スケールアップ：ディスクの追加 VxRail Manager及びvCenter Web ClientでvSANの容量情報を確認して下さい • VxRail Manager • 稼働状態 → 物理 タブ → 各ノード → ディスク • 空きスロット（N/A） の状態を確認して記録して下さい • 稼働状態 → 論理 タブ → ストレージ情報 • 容量 と 空き を確認して記録して下さい ディスクを追加後の確認 1/2 130
- 129. スケールアップ：ディスクの追加 vCenter Web ClientでvSANの容量情報を確 認して下さい • vCenter Web Client • クラスター → サマリ タブ → ストレージ • キャパシティ と 空き容量 を確認して記録し て下さい • クラスター → 設定 タブ → 設定 → ディス ク管理 • ディスクグループの数と使用中のディスク数 を確認して記録して下さい ディスクを追加後の確認 2/2 131
- 131. VxRailクラスタ • vSANのデータ保護はFailures to tolerate(FTT）と言う「障害要素に対して何要素まで許容するのか」を ゲストOS単位に管理します。（ポリシー） • デフォルトではFTT=1であり、障害要素１つまでを許容します。 • FTT=1の実相としては異なるノードに対してデータをコピーして配置（ミラー状態, RAID1相当）します。 • オールフラッシュモデルにはさらにRAID5/6のような分散配置するイレージャーコーディングオプションがあります • また、そのデータの死活監視役になるメタデータ（Witness）もさらに別のノードに配置されます。 VxRailの耐障害性 vSANの仮想マシンのデータ保護について 133 VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailノード ディスクグループ データ① Witness①データ① データ② データ② Witness② ① ②
- 132. VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailノード ディスクグループ データ① Witness①データ① データ② データ② Witness② VxRailの耐障害性 ① キャパシティディスク ② キャッシュディスク ③ ノード障害（通信障害含む） vSANが想定している障害 134 ② キャッシュディスク ① ② ① キャパシティディスク ③ ノード
- 133. VxRailの耐障害性 • 影響小 • ゲストOSの停止は無し。キャパシティディスク上のデータのみリビルド（再同期） • リビルド先はデータ及びWitnessが存在しないノード上へ行う • 故に3ノードではリビルドが実行できない（データもしくはWitnessが先に存在しているため） ① キャパシティディスク障害 135 VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailノード ディスクグループ データ① Witness①データ① データ② データ② Witness② データ② ① ②
- 134. VxRailの耐障害性 • 影響中 • ゲストOSの停止は無し。ディスクグループ上のデータすべてがリビルド（再同期） • リビルド先はデータ及びWitnessが存在しないノード上へ行う • これも3ノードではリビルドが実行できない（データもしくはWitnessが先に存在しているため） キャッシュティディスク障害 136 VxRailクラスタ VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailノード ディスクグループ データ① Witness①データ① データ② データ② Witness② ① ② データ②
- 135. • 影響大 • HAによるフェイルオーバ発動（ゲストOSの停止あり） • ノード内の全てのディスクグループ上に配置されていた全データがリビルド（再同期）される • リビルド先はデータ及びWitnessが存在しないノード上へ行う • 最大で1ノード分のリビルドが生じるため、この障害を想定して＋１ノード分の容量余剰が必要 • これも3ノードではリビルドが実行できない（データもしくはWitnessが先に存在しているため） VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailノード ディスクグループ VxRailの耐障害性 ノード障害 137 データ① データ① データ② データ② Witness② ① ② ② データ② Witness①Witness①
- 136. 障害テスト ディスクの論理障害はコマンドで実行可能 よくある障害テストの誤解 ➢ ディスクを物理的に取り外してもリビルドされない ✓Removeステータスは60分の待ち時間が設定されています ➢ ノードをシャットダウンしてもリビルドされない ✓ノード障害も60分の待ち時間が設定されています ➢ 待ち時間の変更方法（本ワークショップでは不要です） ✓SSH/DCUIから以下を全ノードで実行 # esxcfg-advcfg --set 待ち時間（分） /VSAN/ClomRepairDelay # /etc/init.d/clomd restart 138
- 137. 障害テスト vCenter Web ClientでvSANの容量情報を確認して下さい • vCenter Web Client • クラスター → 監視 タブ → ストレージvSAN → 物理ディスク • このディスク上に存在するオブジェクトを確認して下さい • 当該キャパシティディスクを選択して コピー を使い、naa.で始まるオブジェクト名 を採取して下さい キャパシティディスク障害の事前確認 139
- 138. 障害テスト：キャパシティディスク 1. vCenter Web Clientへログインします 2. esx04ノード → 設定 タブ → セキュリティプロファイル へ移動します 3. サービス セクションで 編集 ボタンをクリックして、SSH サービスを 開始 して下さい ディスク障害の実行手順 1/3 140
- 139. 障害テスト：キャパシティディスク 4. デスクトップにある Tera Tarm を起動してして vxrail-esx04.hci.local へ SSH で接続して下 さい 5. root / VX@dm1n! でログインしてください ✓ パスフレーズは キーボードインタラクティブ認証を使う を利用下さい 6. 以下のコマンドを実行してください # cd△/usr/lib/vmware/vsan/bin # python △./vsanDiskFaultInjection.pyc△-p△-d△naaオブジェクト名 ディスク障害の実行手順 3/3 141 [root@vxrail-esx04:/usr/lib/vmware/vsan/bin] python ./vsanDiskFaultInjection.pyc -p -d naaオブジェクト名 Injecting permanent error on device vmhba0:C0:T2:L0 vsish -e set /reliability/vmkstress/ScsiPathInjectError 0x1 vsish -e set /storage/scsifw/paths/vmhba0:C0:T2:L0/injectError 0x03110300000002
- 140. 障害テスト：キャパシティディスク 7. vCenter Web Clientでデバイスのス テータスを確認して下さい クラスター → 監視 タブ → 物理ディ スク → vxrail-esx04 8. vCenter Web Clientでオブジェクト の再同期を確認して下さい クラスター → 監視 タブ → vSAN → コンポーネントの再同期 （更新 ボタンを押してステータスを アップデートして下さい） 9. 障害を発生させたキャパシティディ スク上に存在したゲストOSが稼働し 続けていることを確認して下さい ディスク障害の実行手順 3/3 142
- 141. 障害テスト：キャッシュディスク vCenter Web Clientで存在するオブジェクトを確認します • vCenter Web Client • クラスター → vSAN タブ → 物理ディスク → esx01の全てのLocal ATA Disk • 管理ゲストOSのオブジェクトが含まれていることを確認して下さい • クラスター → vSAN タブ → 物理ディスク → esx01のLocal TOSHIBA Disk • 当該キャッシュディスクを選択して コピー を使い、naa.で始まるオブジェクト名を採取して下さい ディスク障害を発生させる前の確認 143
- 142. 障害テスト：キャッシュディスク 1. vCenter Web Clientへログインします 2. vxrail-esx01ノード → 設定 タブ → セキュリティプロファイル へ移動します 3. サービス セクションで 編集 ボタンをクリックして、SSH サービスを 開始 して下さい ディスク障害の実行手順 1/3 144
- 143. 障害テスト：キャッシュディスク 4. デスクトップにある Tera Tarm を起動して vxrail-esx01 へ SSH で接続して下さい 5. root / VX@dm1n! でログインしてください ✓ パスフレーズは キーボードインタラクティブ認証を使う を利用下さい 6. 以下のコマンドを実行してください # cd /usr/lib/vmware/vsan/bin # python ./vsanDiskFaultInjection.pyc -p -d naaオブジェクト名 ディスク障害の実行手順 3/3 145 [root@vxrail-esx01:/usr/lib/vmware/vsan/bin] python ./vsanDiskFaultInjection.pyc -p -d naaオブジェクト名 Injecting permanent error on device vmhba0:C0:T2:L0 vsish -e set /reliability/vmkstress/ScsiPathInjectError 0x1 vsish -e set /storage/scsifw/paths/vmhba0:C0:T2:L0/injectError 0x03110300000002
- 144. 障害テスト：キャッシュディスク 7. vCenter Web Clientでデバイスのス テータスを確認して下さい クラスター → 監視 タブ → 物理ディ スク → vxrail-esx01 8. vCenter Web Clientでオブジェクト の再同期を確認して下さい クラスター → 監視 タブ → vSAN → コンポーネントの再同期 （更新 ボタンを押してステータスを アップデートして下さい） 9. 障害を発生させたキャパシティディ スク上に存在したゲストOSが稼働し 続けていることを確認して下さい ディスク障害の実行手順 3/3 146
- 146. システム停止について アプライアンス全体のシステム停止は基本的にVxRail Managerからボタン１つで実行できます • 全ノードが正常に稼働していることが実行条件になります • 事前に自身で作成したゲストOSのシャットダウンが必要です • 管理ゲストOS（vCSA, PSC, Loginsight, VxRail Manager）は起動し たままにしておいて下さい • UPS連動シャットダウン用のスクリプトも準備されています 起動時はノード#1を最後に起動して下さい • ノード#1に管理ゲストOSが配置されています • シャットダウンの処理のなかでvMotionされます • 起動時にキャッシュディスクの初期化が伴いますので、ノード#1以外 の起動を確認してからノード#1の電源を入れて頂くことを推奨します 148
- 147. システム停止と起動手順 1. VxRail Manager へログインして下さい 2. 構成 ページ → 一般 タブへ移動して下さい 3. シャットダウン ボタンをクリックして下さい 4. シャットダウンの実行を確認されるので 確認 ボタンをクリックして下さい システム停止の手順 1/2 149 2 3
- 148. システム停止と起動手順 6. シャットダウンの事前チェックが行われるので、 全ての項目が Success になっていることを確 認して下さい • 失敗の場合はその対処を先に行うか、手動シャッ トダウンを必要とします 7. シャットダウン ボタンをクリックして下さい 8. シャットダウンが開始されます 9. 15分程度で全ノードが停止されます システム停止の手順 2/2 150 7
- 149. システム停止と起動手順 1. Internet Explolerを起動して、各グループのノード#2、3，4のiDRAC IPアドレス（192.168.10.112～ 114）へ接続して下さい 2. vxrailuser0X ユーザでログインして下さい 3. ダッシュボード の システムの電源を入れる をクリックしてください 上記をノード#2, #3, #4に対して行ってください。（このステップではノード#1は起動しません。） 4. ノード#2, #3, #4 全てのノードの仮想コンソールでDCUIが起動していることを確認できるまで待機します 5. 上記手順同様にノード#1を起動して下さい システム起動について 151 3 4
- 151. VxRailソフトウェアのアップデート アップデートを強く推奨する理由 ✓ 世代を重ねるごとにパフォーマンスが向上し、運用に優しいシステムに進化しています ✓ 拡張時に工場出荷バージョンよりも新しいバージョンが求められます ✓ 標準化されているため、多くの環境と既知情報（Knowledge）を共有できます • 新しいバージョンではそれまでに発生した予期せぬ不具合が対策されているので、「環境問題」＝どの環境でも発 生する問題を回避することができます ✓ 万が一のトラブルになった場合でも、新しいバージョンにはその対応を単純化/スムーズ化するプロセスが 組み込まれています ✓ メンテナンスの時間や前提条件が緩和されることが多いです VxRailソフトウェアは定期的なアップデートを強く推奨 153
- 152. VxRailソフトウェアのアップデート ✓クラスターが健全（エラーなどが無い）に稼働していること ✓4ノード以上の構成であること • 3ノード構成はユーザ自身でのアップデートは許されていません ✓Enterprise Plusライセンスで運用していること • Standardライセンスはサポートでのアップデート作業が必要です ✓アップデートパスが設定されていることがあるので確認すること ✓事前にサポートサイトからアップデートパッケージをダウンロードしておくこと • 約4GB程度になっているので余裕をもってダウンロードして下さい ✓Gen.5ハードウェアの場合、１ノードあたりで約１時間程度掛かります • BIOSや各種Firmwareまで全て含まれているため、短縮化はできません • 余裕をもったスケジュールを計画して下さい 前提条件 154
- 153. VxRailソフトウェアのアップデート VxRail Managerで現在のVxRailソフトウェアのバージョンと、それに含まれるコンポ―ネントの バージョンを確認します 1. 構成 → システム タブへ移動して下さい 2. このクラスタのシステムソフトウェア を確認して下さい • これがVxRailソフトウェアのバージョンです 3. インストールされているバージョン をクリックし、このバージョンのコンポーネント を確認して下 さい アップデートの前の確認 155 2 3
- 154. VxRailソフトウェアのアップデート VxRail Managerから実行します 1. 構成 → システム タブ へ移動して下さい 2. ローカルアップグレード をクリックして下さい 3. 予めダウンロードしておいたアップデートファイルを指定します （ファイル名：VXRAIL_COMPOSITE-x.y.zzz-buildnumber.zip） 4. アップロードが開始されます 5. VxRail Manager上で解凍処理やバイナリチェックが行われます （15分程度掛かります） アップデート手順 1/3 156 2
- 155. VxRailソフトウェアのアップデート 6. バイナリチェックが終わるとアップデート パッケージに含まれるコンポーネントがリス トアップされます 7. 確認をして 続行 ボタンをクリックして下さい 8. 必要となる管理アカウント情報を入力します 9. アカウント情報が入力できたら 送信 ボタンを クリックして下さい 10. アップデートが実行されます 11. 詳細 をクリックするとタスクの状況が確認で きます アップデート手順 2/3 157 11
- 156. VxRailソフトウェアのアップデート 12. VxRail ManagerのVirtual Appliance がアップデートされるとGUIのセッ ションが解除されますが、再度接続し なおしてログインして下さい • ダッシュボードの その他 をクリックする とアップデート状況を確認することがで きます 13. アップデートが完了するまで待ちます 14. 全てのアップデートが完了したことを 確認し、 更新 ボタンをクリックして 下さい アップデート手順 3/3 158 11
- 157. VxRailソフトウェアのアップデート • ノードが停止することにより、イベントに重大ステータスが記録されることがあります • 前述のvCenter Web ClientによるvSANの健全性を確認し、VxRail Manager上のイベントを既 読としてマークして下さい • イベント → 任意のイベントをクリック • 全て既読としてマークする をクリックすることで一度ですべて解除することもできます エラーが記録される場合 159
- 158. VxRailソフトウェアのアップデート VxRail Managerで現在のVxRailソフトウェアのバージョンと、それに含まれるコンポ―ネントの バージョンを確認します 1. 構成 → システム タブへ移動して下さい 2. このクラスタのシステムソフトウェア を確認して下さい • これがVxRailソフトウェアのバージョンです 3. インストールされているバージョン をクリックし、このバージョンのコンポーネント を確認して下 さい アップデートの後の確認 160 2 3
- 160. ご清聴 有難うございました