More Related Content
Similar to 20180222_VxRailccトラブルシューティングセミナー_VxRailサポートチームが語るVxRail Troubleshooting_DellEMC上村様
20180222_VxRailccトラブルシューティングセミナー_VxRailサポートチームが語るVxRail Troubleshooting_DellEMC上村様
- 1.
- 2.
- 3. © Copyright 2017Dell Inc.3 Agenda ・テクニカルサポートから見たVxRail ・ Troubleshoot の心得 ・ Troubleshoot 事例紹介1 VxRail Manager 編 ・ Troubleshoot 事例紹介2 Initial Configuration 編 ・ Troubleshoot 事例紹介3 Upgrade 編 ・ Troubleshoot 事例紹介4 RASR編 ・テクニカルサポートとして管理者様に御伝えしたいこと ・Q & A
- 4. © Copyright 2017Dell Inc.4 注意事項 今回ご紹介する情報は2018/02/22時点のものです。 今後のupdateで変更される可能性があります。 また、deep architectureに関するお問い合わせについては 開示情報制限の都合上、サポートにお問い合わせ頂いても 回答できないものも御座いますので予めご了承下さい。
- 5. © Copyright 2017Dell Inc.5 Self Introduction ~ 2017 DELL PSP(Pro Support Plus) 所属 Server, Low-Mid Storage, Network, OS,HCI(vSAN, Nutanix) 2017 ~ VxRail Japan Team 立ち上げに伴い、EMCへ異動
- 6.
- 7. © Copyright 2017Dell Inc.7
- 8. © Copyright 2017Dell Inc.8 その1.窓口の一元化 Server Network Storage Storage Server Network
- 9. © Copyright 2017Dell Inc.9 その1.窓口の一元化 VxRail VxRail
- 10. © Copyright 2017Dell Inc.10 その2.安定した運用,更新
- 11. © Copyright 2017Dell Inc.11 その2.安定した運用,更新 Version Release Date ESXi 6.5 Patch 02 2017/12/19 ESXi 6.5 U1 Express Patch 4 2017/10/05 ESXi 6.5 U1 2017/07/27 ESXi 6.5.0d 2017/04/18 ESXi 6.5. Express Patch 1a 2017/03/28 ESXi 6.5. Patch 01 2017/03/09 ESXi 6.5.0a 2017/02/02 ESXi 6.5 GA 2016/11/15 ESXi 6.0 Patch 6 2017/11/09 ESXi 6.0 Patch 5 2017/07/11 ESXi 6.0 Express Patch 7c 2017/03/28 ESXi 6.0 Express Patch 7a 2017/03/28 ESXi 6.0 Update 3 2017/02/24 ESXi 6.0 Patch 4 2016/11/22 ESXi 6.0 Express Patch 7 2016/10/17 ESXi 6.0 Patch 3 2016/08/04 ESXi 6.0 Express Patch 6 2016/05/12 ESXi 6.0 Update 2 2016/03/16 VxRail 3.5 2016/07/10 Release VxRail 4.0 2016/12/03 Release VxRail 4.0.1 2017/01/20 Release VxRail 4.0.200 2017/04/26 Release VxRail 4.5.0 2017/09/29 Release VxRail 4.0.132 2017/03/08 Release VxRail 4.0.400 2017/11/29 Release VxRail 4.0.301 2017/07/19 Release VxRail 4.5.150 2018/01/29 Release
- 12. © Copyright 2017Dell Inc.12 その3.DELL x EMC x VMware ～2017年6月 お客様/パートナー様 Dell EMC 上海 VxRail Issue vSAN Issue VMware グローバル VxRail エンジニア 2017年7月～ お客様/パートナー様 新設 Dell EMC ジャパン VxRail エンジニア VMware ジャパン （常駐） vSAN Issue Dell EMC LLS Dell EMC LLS 新設
- 13. © Copyright 2017Dell Inc.13 その1.窓口の一元化 その2.安定した運用,更新 その3.DELL x EMC x VMware
- 14.
- 15. © Copyright 2017Dell Inc.15 業務影響 + “事実“ と “予想“
- 16. Troubleshoot 事例紹介 1 VxRailManager編
- 17. © Copyright 2017Dell Inc.17
- 18. © Copyright 2017Dell Inc.18 SUSE JAVA ESXi iDRAC(BMC) iSMPT AgentVMware SDK & API VxRail Manager VxRail manager View DB DB 169.254.0.1
- 19. © Copyright 2017Dell Inc.19 VxRail manager上の表示に問題が発生したら： ✅ どこの表示に問題があるか
- 20. © Copyright 2017Dell Inc.20 ✅ ソース元に問題が無いか VxRail manager上の表示に問題が発生したら：
- 21. © Copyright 2017Dell Inc.21 ✅ ソース元に問題が無いか VxRail manager上の表示に問題が発生したら：
- 22. © Copyright 2017Dell Inc.22 ✅ ソース元に問題が無いか VxRail manager上の表示に問題が発生したら：
- 23. © Copyright 2017Dell Inc.23 ✅ ログチェック VxRail Manager /var/log/mystic/connectors-cluster.log Exception ERROR WARN 対象ノードのhost名 ESXi(PTAgent) /var/run/log/PowerTools.log VxRail manager上の表示に問題が発生したら：
- 24. © Copyright 2017Dell Inc.24 ✅サポートへ支援を仰ぐ VxRail manager上の表示に問題が発生したら： https://support.emc.com/
- 25.
- 26. © Copyright 2017Dell Inc.26 Initial Configuration VxRail Manager ESXi ESXi ESXi ESXi VxRail Manager VxRail Manager VxRail Manager vCSA Log InsightPSC vSAN DataStore
- 27. © Copyright 2017Dell Inc.27 初期構築に失敗しないために：事例紹介 ✅ Initial Requirement が正しくクリアされているか - Switch Configure - iDRAC - DNS ✅ iDRAC(BMC)が正しく動作しているか --- 簡易放電の実施 1.システムをシャットダウンします。 2.システム本体から電源ケーブル抜きます。 3.電源ボタンを10秒以上長押しします。 4.数分程空けてから,電源ケーブルを再接続し起動します。
- 28. © Copyright 2017Dell Inc.28 初期構築に失敗したら：Troubleshoot Step ✅ エラーメッセージを確認する
- 29. © Copyright 2017Dell Inc.29 初期構築に失敗したら：Troubleshoot Step ✅エラーメッセージに関連するコンポーネントチェック VxRail Manager ESXi ESXi ESXi ESXi vCSA Log InsightPSC vSAN DataStore
- 30. © Copyright 2017Dell Inc.30 初期構築に失敗したら：Troubleshoot Step ✅Retryする
- 31. © Copyright 2017Dell Inc.31 初期構築に失敗したら：Troubleshoot Step ✅ログ チェック /var/log/vmware/marvin/tomcat/logs/marvin.log --------------- ERROR WARN Exception Fail ---------------
- 32. © Copyright 2017Dell Inc.32 初期構築に失敗したら：Troubleshoot Step ✅サポートへ支援を仰ぐ - エラーのキャプチャ(English かつ 時刻が分かればなお◎) - Initial Requirement はクリアしたか - retryしてエラーに変化はあるか - 簡易放電は実施済みか - VxRail Log Bundleの採取
- 33.
- 34. © Copyright 2017Dell Inc.34 Local Upgrade Process vCSA Log InsightPSC VxRail Manager ESXi ESXi ESXi ESXi vSAN DataStore
- 35. © Copyright 2017Dell Inc.35 アップグレードに失敗しないために： ✅ vCSA, PSC パスワードのexpire がないか確認 ✅容量に空きがあるか確認 ✅お客様で特別に構築した環境があれば,事前にサポートへ伝えていただく Expire date(Default) Proc vCSA root pass 365日 VAMI(:5480) or chage Command PSC root pass 365日 VAMI(:5480) or chage Command SSO pass 90日 WEB Client Check Command Reason VxRail Manager df –h /tmp : VxRail Log Bundle via CLI vCSA df –h /storage : Old vc-support , Core Dump ESXi vdf -h /var : Old vm-support , Core Dump
- 36.
- 37. © Copyright 2017Dell Inc.37 VxRail ver 4.0.401 ESXi vCSA Log InsightPSC VxRail Manager VxRail ver 4.5.150 RASR(Rapid_Appliance_Self_Recovery)とは ESXi vCSA Log InsightPSC VxRail Manager IDSDM (Internal Dual SD Module) Factory Image VxRail ver 4.0.401 RASR USB VxRail ver 4.5.150 Re-image Factory Image VxRail ver 4.5.150 ESXi vCSA Log InsightPSC VxRail Manager VxRail ver 4.0.401
- 38. © Copyright 2017Dell Inc.38 RASRにおける注意点 ✅13G/14G Modelで適用できるRASRファイルが異なる ✅1ノード 1USB：4ノード初期化が必要ならUSBは4つ必要 ✅UpgradeしてもIDSDM内のFactory Imageは工場出荷時version ✅VIBやpatchを追加適用していた場合はお客様で対応が必要 ✅ /scratch/fist.log
- 39.
- 40.
- 41.
- 42. © Copyright 2017Dell Inc.42 VxRailエキスパート 新しいVxRail Xpert Crewに参加する 認定VxRail Xpert用の 新しい専用コミュニティ 会員特典： 他のXpertやBU チームとの対話 情報を早期入手 特別イベント カスタムXpert SWAG 3ステップでXpert 1. スタッフを把握 2. 試験に合格 3. Xpert Crewに 参加 VxRail Xpertsに なると... • コラボレーション • 参加 • 最新の知識 • 有言実行pert
- 43. © Copyright 2017Dell Inc.43 VxRail Xpert の試験方法 1.以下リンク先にある"Become a VxRail Xpert (open to partners!)"へアクセスします。 - VxRail Xpert Community のお知らせ https://community.emc.com/docs/DOC-61736 2. kj.bedard@dell.com 宛てに以下情報を送ります。 ------------------------ official company name, your party ID,Affinity, or UCID, complete corporate address. ------------------------ 3. Validation完了後、mailでassesment linkが送られてきます。
Editor's Notes
- #2 今回は事例紹介を行うにあたり、各セクションで取り扱う技術的な動きも含め、ご紹介します。 Troubleshootは現場の皆様ですべて行う必要はありませんが、 管理者さま、SIerさまで技術的な動きを知っておくことで 一次切り分け の実施、調査工数の削減 など多大なメリットがありますので、 是非今回ご紹介させていただく内容を覚えて帰って頂けると幸いです。
- #6 不要であれば削除。 ただ VxRail Xpertの資格を受けよう案内したいため自己紹介はしたい。
- #8 これは、実際にVxRailを導入頂いた企業のIT担当者さまへ実施したアンケートの結果です。 HCIであるVxRailを導入する事で言えることが 「多くの事がシンプルになる」という点にあります。 では、これらの調査であげられた10の要因をもっとTS視点でかみ砕いてみてみましょう。
- #9 こちらは Server Storage Network それぞれ物理で環境を用意した仮想基盤を現したものです。 何か問題が発生すると、エンドユーザーさまはSIerさまへお問い合わが来るかと思いますが、 このような環境でそれぞれの保守ベンダーが異なる場合、それぞれの製品レイヤごとにお問い合わせ先が枝分かれしてしまっていました。 単純な障害でよければよいですが、どのレイヤの問題がはっきりとせず、横断的な調査が必要である場合。。 Sier様自身で各ベンダの回答を考慮し、解決に向けたハンドリングを担っていただく必要がありました。
- #11 OSには更新がつきものですが、みなさん、このようなご経験は無いでしょうか。 重大なBUGが見つかり、OSのupgradeが必要になりました。適用しなければいけないファイルを提供されたものの、 どのような手順でUpgradeをするか。。影響があるコンポーネントの確認。。 VxRailでは、vSAN,ESXi,vCSA,PSC,BIOS,FWなどのコンポーネント群を一元的にまとめ、VxRail パッケージ としてrelease/バージョン管理を行っています。 これはDellEMC、VMwareのエンジニアが常に連携して選定を行うことで、安定性を維持しています。 お客さまでSD(Software Define)環境を構築する場合、HW,OS,driver… 等々 多岐にわたってコンパチビリティを事前調査する必要があります。 また、それぞれで最新versionがreleaseされれば、都度修正事項を確認した上で適用が必要となります。 締結された保守によっては、HW/OS それぞれに跨った対応となり、保守ベンダからは うちで回答は出来ないのでベンダーにお問い合わせください といったようなたらいまわしにされてしまった というような経験をされた方もいらっしゃるかと思います。 VxRailに関しては、Vxrailとしてバンドルされるコンポーネントに対して一元管理されているため、そのような心配がありません。 その1、でもあげたとおり、窓口が一元化することでさらに工数が削減されます。 なお、一般的には最新releaseされたものからおおよそ半年遅れでVxrailでは機能を実装します。
- #12 ESXiリリース日と、VxRail のアップグレードバンドルリリース日を比較した図がこちらです。
- #14 3つ挙げた通り、VxRailにはサポート視点からでもIT管理者/SIer 様にとって、非常に大きなメリットがあります。 しかし… IT管理者が不要になる ・・・・・ ということでは御座いません。 管理がよりシンプルになるからこそ、私たちテクニカルサポート と IT管理者/Sier さまがより密接に連携することが肝要になります。 今回のセミナーの本題として、実際にVxRail環境で発生したトラブルシュートの事例をご紹介しつつ、 管理・運用における注意点のご紹介。併せて 今後障害が発生した際、テクニカルサポート + エンドユーザーさまへの調整において 活かせるTipsをご紹介させて頂きます。
- #16 今起こっている問題 と 業務影響。まずはこの2点の確認が必須です。 併せて、確認できた “事実“ と “予想“ がどのような状況か が整理することで、トラブルシュートの質は各段に向上します。 もちろん、お客さま困ったときのサポートなので、いつでも頼って頂いてもちろん問題ございませんが、 これよりご紹介させていただく基本的な動作を理解しておけば、問題のトリアージが容易となり、 結果としてSierさま EUさまの負担を軽減することが可能になります。
- #17 本セクションでは、事例ごとにVxRailはどのように動いているのか？をご紹介しつつ、 実際の対応事例をご紹介します。 すべてを知らずとも、基本的な動きをしることで、トラブルシュートの質は向上します。 なお、ここでご紹介する内容は、2018/02/22現在にreleaseされているversion情報です。 今後のreleaseで仕様は変更されることがあり、また 内部動作の詳細などはテクニカルサポートへお問い合わせ頂いても、 開示できない内容を含む場合はお答えできかねる場合がありますことをあらかじめご了承下さい。
- #18 VxM GUIを実際に開いた方はお分かりかと思いますが、VxMの主な仕事は ・ HW/OS レベルでのシステムヘルスの監視 ・ 1click アップグレードの実施 ・ 初期Buildの実施 が主に挙げられます。 今回、本スライドでは、HW/OS レベルでのシステムヘルスの監視 に焦点を当てて、動きの概要を見ていきます。 まず、VxRail Managerの「稼働状態」というタイルを選択すると このように物理タブ と 論理タブ それぞれが閲覧できるページが表示されます。 物理ページでは、このように各アプライアンスのシリアル情報から、さらに 物理ディスクや各種コンポーネントのバージョン情報が閲覧できます。 Disk交換とかもここから実施ができます。 また、論理タブでは、CPU,storage、Memoryパフォーマンスの稼働状態が閲覧できます。 それでは、これらの 物理 論理 情報をどのようにVxMへ反映しているか、解説します。
- #19 まずVxMの実態は、仮想マシンです。 OSはSUSE – Linuxベースで動作しています。 Javaをベースとして内部処理を行い、２つのpostgres DBを持っています。 VxMでは、このDBに各種情報をtableとして保持し、VxM GUIへ情報を反映させます。 ■■Physical View ■■ Dell Model のVxRail ベースとなるサーバー ,,,,PowerEdgeでは、 OS領域としてESXi HW監視を行うBMC領域 として iDRAC 、2つがそれぞれ独立したレイヤとして存在します。 ■ページ17 ： VxM トラブルシュートアーキテクチャ iDRACの補足。Integrated = PLN 組み込みHW監視チップ。 ------------------------------------------ DELL : iDRAC >> Integrated Dell Remote Access Controller HP : iLO >> Integrated Light Out IBM : IMM >> Integrated Management Module ------------------------------------------ このiDRACが、HW監視チップとして、HWのインベントリ情報を収集します。 コチラで収集された情報は、通常iDRAC GUIで閲覧ができます。 ではどのようにしてVxMまで連携しているか。 これは、iDRACの機能拡張を実現するiSM(iDRAC Service Module)が持つOSパススルー機能によって実現されます。 iSMはESXi VIBとして、提供されますが、OSパススルー機能によりiDRACを仮想USB NIC として疑似的に見せ、 各ESXI毎に 標準スイッチをもちます。そうすることで、独立したレイヤで動作するOS領域とiDRACが内部的に連携されるようになります。 その後、PTAgent と呼ばれるコンポーネント(VIB)が連携して、VxMに情報を連携することができるようになっています。 ■■ Logical View ■■ MOB = Managed Object Browser MoRef = Managed Object Reference VxRailは、Moref と MOBから参照できる一意のUUIDをDBに保存しており、そこから各種情報をDBテーブルへ保持するようにしている。 marvin=# select * from virtual_machine; id | uuid | system_vm_type | morefid | vm_name ----+--------------------------------------+----------------+---------+---------------------------------------------------- 50 | 564dad85-9f20-ad9e-9e9d-93292de7af2d | VXRAIL_MANAGER | vm-14 | VxRail Manager 52 | 564d07de-f8d5-dc76-224f-d7c9f81cc695 | VCSA | vm-15 | VMware vCenter Server Appliance 51 | 564d6921-c330-a495-b84a-afe60f1d5036 | PSC | vm-17 | VMware vCenter Server Platform Services Controller 53 | 564d4666-c71b-aea2-e07a-a9fccfa150f9 | LOGINSIGHT | vm-16 | VMware vRealize Log Insight (4 rows)
- #20 VxMにおいて、どの箇所でステータスが拾えていないのか、チェックします。 以下、時間あればKB紹介 ※level30のみ紹介 VxRail: Unable to view the Logical view in the VxRail Manager GUI Level 30 = Customers Article Number 000501459 https://support.emc.com/kb/501459
- #21 １３G
- #22 １４G
- #24 あと１つ、iDRACの設定はdefaultから変えないようにお願いする。 VxRail: iDRAC settings that can not be changed Article Number 000498837 https://support.emc.com/kb/498837
- #26 本セクションでは、事例ごとにVxRailはどのように動いているのか？をご紹介しつつ、実際の対応事例をご紹介します。 すべてを知らずとも、基本的な動きをしることで、トラブルシュートの質は向上します。 なお、ここでご紹介する内容は、2018/02/22現在にreleaseされているversion情報です。 今後のreleaseで仕様は変更されることがあり、また 内部動作の詳細などはテクニカルサポートへお問い合わせ頂いても、 開示できない内容を含む場合はお答えできかねる場合がありますことをあらかじめご了承下さい。
- #27 初期構築について、実際の動作に基づきアニメーションによる説明。
- #28 事例として、 1.Switch Port Config の影響でBMCがリンクアップしなかった話 2.DRAC SSHが無効化されていて ESXi操作不可[can’t fork]となった話 - VxRail: iDRAC settings that can not be changed //level=30// https://support.emc.com/kb/498837 3.VxRail4.5(ESXi6.5)からは、外部DNS必須なため、DNS on VxRailの環境は注意を促す solveを見る機会はあまりないかと思うが、DNS serverの参照を変える手順はsolveに提供されている。 具体的には /etc/dnsmasq.conf を編集する。 事例として、 簡易放電を実施しないことで、ただしいHW情報がVxMが読み取れなかった事例を紹介
- #34 本セクションでは、事例ごとにVxRailはどのように動いているのか？をご紹介しつつ、 実際の対応事例をご紹介します。 すべてを知らずとも、基本的な動きをしることで、トラブルシュートの質は向上します。 なお、ここでご紹介する内容は、2018/02/22現在にreleaseされているversion情報です。 今後のreleaseで仕様は変更されることがあり、また 内部動作の詳細などはテクニカルサポートへお問い合わせ頂いても、 開示できない内容を含む場合はお答えできかねる場合がありますことをあらかじめご了承下さい。
- #35 今回はLocal Upgradeを基にご紹介します。 VxRailでは Online/Local と 2通り upgrade方法がありますが、 セキュリティ要件や、Onlineだと常に最新のVxRail VersionにしかUpgradeできない といった 環境によっては実施できないケースがありますため、Local絞ったご紹介となります。 動きの大枠はonline/localで共通ですのでご安心下さい。 ■■ Upgradeの流れ ■■ 1.EMCサポートサイトより、Upgradeファイル (VxRail <version> Composite Upgrade Package for 4.x.x)をダウンロードする。 2.VxRail ManagerのGUIから、Composite FileをVxM上にアップロードする。 3.解凍したファイルをvSAN DataStore上にアップロードする。 4.各種のUpgradeが開始される。upgradeの順番は以下(4.0.400参考) ------------------------------------------- VxRail Manager VMware vCenter Server Platform Services Controller VMware vCenter Server Appliance VxRail VIB(vmware-marvin) VMware ESXi -------------------------------------------
- #36 root password expire dateはVMware vSphere 6.0 defaultの値となっております。rootアカウント password有効期限を無限延長する場合、各アプライアンスにrootでログインし以下コマンドを入力致します。---------chage -M -1 -E -1 root---------参考資料：- root ユーザーのパスワードの変更 https://docs.vmware.com/jp/VMware-vSphere/6.0/com.vmware.vsphere.vcsa.doc/GUID-48BAF973-4FD3-4FF3-B1B6-5F7286C9B59A.html ・同じパスワードは5回以上 別のものに変更してからでないと設定できない。 なお、VxRail Managerのバージョン4.0.1xx以前において、VCSA/PSCのrootユーザのパスワードの変更はサポート外。 このルールを知らず、名前を変更した場合。upgradeをするときに失敗するため、古いVxRail Versionではrenameはやめましょう。 あとは、以下補足。 ★★ISOマウントしっぱな★★ ★★iSCSI storageマウント and リカバリポイントがonだと upgradeに失敗する問題 >> 4.0.200で修正された★★ 加えて、万が一 台数の多いクラスタの場合。状況に応じて、resync 時間を60分以上にすることを提案する場合があること補足。 VSAN におけるホスト障害時の修復遅延時間の変更 (2147736) | VMware ... https://kb.vmware.com/kb/2147736 ■VxRail: Pre-Upgrade Checklist - VxRail Manager - Pre-Upgrade Checklist - VxRail Manager 3.5 - 4.0 - 4.0001 - 4.0.1 Level 30 = Customers https://support.emc.com/kb/501006 1. Cluster Name should be default 2. Datastore Name should be default 3. VM Network Ports Name should be default 4. All Management VM Names should be default 5. Customer ESXi Hosts should have Enterprise Plus License (Upgrade can be done with vSphere Standard license.it is recommended but not required) 6. DRS should be enabled - In vSphere Web Client 7. There should be no iSCSI Datastore‘s mounted on any ESXi Host (Unmount and detach it before upgrade) ★★★★ 8. There should be no ISO mounted to any of the VM’s ★★ISOマウントしっぱな★★ 9. The vCenter Log Storage should not be full 10. VxRail Manager Status should be "Healthy" (VxRail Manager GUI -> Configuration -> General -> System Diagnostics) 11. The vCenter Status should be "Healthy" 12. Customers to open a SR if they have any concerns
- #37 本セクションでは、事例ごとにVxRailはどのように動いているのか？をご紹介しつつ、 実際の対応事例をご紹介します。 すべてを知らずとも、基本的な動きをしることで、トラブルシュートの質は向上します。 なお、ここでご紹介する内容は、2018/02/22現在にreleaseされているversion情報です。 今後のreleaseで仕様は変更されることがあり、また 内部動作の詳細などはテクニカルサポートへお問い合わせ頂いても、 開示できない内容を含む場合はお答えできかねる場合がありますことをあらかじめご了承下さい。
- #38 RASRとは何か、動作のロジック、使いどころについて紹介します。
- #40 EU x Sier x Supportが一体となって対応して初めて問題は解決する。
- #42 仮想技術に関する自身のBlog宣伝 は後日。 - 仮想かな http://kcana.hatenablog.jp/