SlideShare a Scribd company logo
1 of 25
VMware ESXi トラブルシューティング
フランちゃんウフフなシステムエンジニア
おおかわ かずひと
IIJ Global Solutions Inc.
アジェンダ
• はじめに
• 自己紹介
• IaaSにおける自社の立ち位置
• ESXiのトラブルシューティング話
• まとめ
はじめに
Casual Talkという事で軽めです。
といわけでトークメインで。
(後からスライド見る皆さんごめんなさい キャハ♪)
時間がなくてネタの仕込みはございません。
よろしくお願いします。
自己紹介
• おおかわかずひと@SatchanP (相変わらず意識低い系)
• IIJ GlobalでSE初めて半年ちょっと
• 以前はウェブ系のインフラエンジニア (前職はKauli 株式会社)
• VOYAGE GROUPに買収されたため緊急脱出
• プライベートラリースト
• 二次属性
アイマス : やよい 真美
東方 : フランちゃん 咲夜さん
艦これ : Верный 響
IaaSにおける自社の立ち位置
ストレージ
SAN/NW
サーバ
HV
OS
SAP/ERP
VM
IIJGIO利用時の
担当範囲
オンプレ構築
担当範囲
VMware ESXi によるERP基盤提供が主
要件定義、個別設計(WAN/NW/Server)、構築、運用など
エンドユーザ/アプリベンダー範囲
ESXiトラブルシューティングの必要性
• OSS当たり前で生きてきて初めてまともな商用にのった
• 金で解決できるバラ色の世界が待っているはずだった
• 現実は甘くなく…
• サポートに確実な問題個所を伝えないと調査に時間がかかる、真面目
に調べてくれない、的外れな回答が返ってくる
• サポートからの回答がだけではエンドユーザに説明がつかない場合も
• 結局高いお金払ってるのに、自前で納得いくまで調査するしかない
• 調査結果のエビデンスを得るためにサポートを追いつめる
• ProxyしているだけではSEの意味がない
トラブルの切り分け方 (NW)
各レイヤーごとに分けて切り分けが必要
Virtual Switch
OS/Kernel
vmnic
vDS/vSS
アプリケーション
物理NIC
物理スイッチ
イーサネット
トラブルの切り分け方 (Storage I/O)
vHBA
(vSCSI)
FC, Ethernet Adapter
SAN
Storage
SCSI Host
SCSI
便利なツール群
• ESXi ssh
• vSphere Client / Web Client
• IDA Debugger
• 各種SNMPツール
社内の制度上Zabbix
(中の人的は cacti + GrowthForecast + nagios が好き)
便利なツール群(CLI編 よく使う人たち)
• vmdumper
• memstats
• tcpdump-uw
pktcap-uw
• strace
• ethtool
• dmesg
• vProbe
• vsish
• esxcfg-*
• esxtop
• vscsiStats
• vmkping
• vmkbacktrace
vsishが便利!
• Linuxのprocfs/sysctrlのようなもの
• Linux使いには親和性が高い
• Vmkernelのパラメータやカウンタの参照、変更が可能
• 軽い 使いやすい わかりやすい
• ノンインタラクティブモードで、シェルから実行して
出力だけ得ることも可能 (-e : option)
vsishでNWトラブルの調査 (vDS)
esx-top -> n で調査対象のポートを特定する
vsishでNWトラブルの調査 (vDS)
仮想スイッチポートのカウンターを確認する
vsishでNWトラブルの調査 (VM Ring Buffer)
vmnicの種類を確認する
vsishでNWトラブルの調査 (VM Ring Buffer)
エラーカウンターを確認する
vsishでNWトラブルの調査 (TCPスタック)
vmkernel の TCPスタックカウンターを見てみる
vsishでNWトラブルの調査 (TCPスタック)
ブラックホールの形跡がないか確認
物理NICはethtool or vsish でも可
esxtop (memory)でNUMAの確認
NUMA Remote | NUMA Local (MB)
esxtop (memory)でNUMAの確認
アカンやつ
フリーズしたVMの情報収集
NMIを発生させてクラッシュダンプから解析
(ダンプさせる設定がゲストOS側に必要)
ダンプ解析は気合で!
(時間がなかったから省略…)
その他アプライアンス
• vCenter, RM, SRM等、ほぼJava + DB(PG, MSSQL)
• Log4Jのアレ、ログの量が多く冗長
• 上記以外のログがひっそりある場合も
• 何かあったらとにかくログの回収を光速で行う
(2,3日でlotateされてしまうログもある)
• アプライアンスは調子にのって増やさない
問題の原因が増えるし、切り分けが面倒
ご利用はご計画的に!
まとめ
• みんなVMwareを使ってサービスしているので、サ
ポートまかせでは差別化できるはずがない
• 商用でもOSSでも手間がかかるのは一緒(だった…)
• 日本の中途半端なSI/SE屋は淘汰されていきそう
• 見せ方は綺麗だけど、ESXi自体レガシーの塊になりつ
つある印象
• そんなわけでSE大変だけど楽しい!
ありがとうございました!

More Related Content

What's hot

クラウドオーケストレーション「OpenStack Heat」に迫る!
クラウドオーケストレーション「OpenStack Heat」に迫る!クラウドオーケストレーション「OpenStack Heat」に迫る!
クラウドオーケストレーション「OpenStack Heat」に迫る!
Etsuji Nakai
 
そんなトランザクションマネージャで大丈夫か?
そんなトランザクションマネージャで大丈夫か?そんなトランザクションマネージャで大丈夫か?
そんなトランザクションマネージャで大丈夫か?
takezoe
 

What's hot (20)

コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門
 
NVIDIA 入門
NVIDIA 入門NVIDIA 入門
NVIDIA 入門
 
BuildKitの概要と最近の機能
BuildKitの概要と最近の機能BuildKitの概要と最近の機能
BuildKitの概要と最近の機能
 
クラウドオーケストレーション「OpenStack Heat」に迫る!
クラウドオーケストレーション「OpenStack Heat」に迫る!クラウドオーケストレーション「OpenStack Heat」に迫る!
クラウドオーケストレーション「OpenStack Heat」に迫る!
 
マイクロサービスバックエンドAPIのためのRESTとgRPC
マイクロサービスバックエンドAPIのためのRESTとgRPCマイクロサービスバックエンドAPIのためのRESTとgRPC
マイクロサービスバックエンドAPIのためのRESTとgRPC
 
Vyatta 改造入門
Vyatta 改造入門Vyatta 改造入門
Vyatta 改造入門
 
リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜
リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜 リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜
リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜
 
DNSキャッシュサーバ チューニングの勘所
DNSキャッシュサーバ チューニングの勘所DNSキャッシュサーバ チューニングの勘所
DNSキャッシュサーバ チューニングの勘所
 
AnsibleによるInfrastructure as code入門
AnsibleによるInfrastructure as code入門AnsibleによるInfrastructure as code入門
AnsibleによるInfrastructure as code入門
 
【CNDT2022】SIerで実践!クラウドネイティブを普及させる取り組み
【CNDT2022】SIerで実践!クラウドネイティブを普及させる取り組み【CNDT2022】SIerで実践!クラウドネイティブを普及させる取り組み
【CNDT2022】SIerで実践!クラウドネイティブを普及させる取り組み
 
Airflowで真面目にjob管理
Airflowで真面目にjob管理Airflowで真面目にjob管理
Airflowで真面目にjob管理
 
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
 
DoS and DDoS mitigations with eBPF, XDP and DPDK
DoS and DDoS mitigations with eBPF, XDP and DPDKDoS and DDoS mitigations with eBPF, XDP and DPDK
DoS and DDoS mitigations with eBPF, XDP and DPDK
 
WebAssemblyのWeb以外のことぜんぶ話す
WebAssemblyのWeb以外のことぜんぶ話すWebAssemblyのWeb以外のことぜんぶ話す
WebAssemblyのWeb以外のことぜんぶ話す
 
そんなトランザクションマネージャで大丈夫か?
そんなトランザクションマネージャで大丈夫か?そんなトランザクションマネージャで大丈夫か?
そんなトランザクションマネージャで大丈夫か?
 
余ったPCをルータに変える、ソフトウェアルータ「SEIL/x86」
余ったPCをルータに変える、ソフトウェアルータ「SEIL/x86」余ったPCをルータに変える、ソフトウェアルータ「SEIL/x86」
余ったPCをルータに変える、ソフトウェアルータ「SEIL/x86」
 
新卒3年目のぼくが、でぶおぷす???なインフラおじさん方にAnsibleを導入してみた
新卒3年目のぼくが、でぶおぷす???なインフラおじさん方にAnsibleを導入してみた新卒3年目のぼくが、でぶおぷす???なインフラおじさん方にAnsibleを導入してみた
新卒3年目のぼくが、でぶおぷす???なインフラおじさん方にAnsibleを導入してみた
 
5分で分かるgitのrefspec
5分で分かるgitのrefspec5分で分かるgitのrefspec
5分で分かるgitのrefspec
 
Dockerセキュリティ: 今すぐ役に立つテクニックから,次世代技術まで
 Dockerセキュリティ: 今すぐ役に立つテクニックから,次世代技術まで Dockerセキュリティ: 今すぐ役に立つテクニックから,次世代技術まで
Dockerセキュリティ: 今すぐ役に立つテクニックから,次世代技術まで
 
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
実運用して分かったRabbit MQの良いところ・気をつけること #jjug実運用して分かったRabbit MQの良いところ・気をつけること #jjug
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
 

Viewers also liked

Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例
Kazuhito Ohkawa
 

Viewers also liked (11)

Nutanixを導入してみて思ったこと(仮)
Nutanixを導入してみて思ったこと(仮)Nutanixを導入してみて思ったこと(仮)
Nutanixを導入してみて思ったこと(仮)
 
Nutanix 概要紹介
Nutanix 概要紹介Nutanix 概要紹介
Nutanix 概要紹介
 
Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例
 
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
 
Nutanixってナニ?
Nutanixってナニ?Nutanixってナニ?
Nutanixってナニ?
 
モバイルネットワークと広告配信
モバイルネットワークと広告配信モバイルネットワークと広告配信
モバイルネットワークと広告配信
 
Nutanix Community Meetup #1 - Nutanix入門編
Nutanix Community Meetup #1 - Nutanix入門編Nutanix Community Meetup #1 - Nutanix入門編
Nutanix Community Meetup #1 - Nutanix入門編
 
AHVでみるCVM Autopathの仕組み
AHVでみるCVM Autopathの仕組みAHVでみるCVM Autopathの仕組み
AHVでみるCVM Autopathの仕組み
 
密かに話題のBufferbloat
密かに話題のBufferbloat密かに話題のBufferbloat
密かに話題のBufferbloat
 
Nutanix@Open Source Conference 2015 Tokyo/Fall
Nutanix@Open Source Conference 2015 Tokyo/FallNutanix@Open Source Conference 2015 Tokyo/Fall
Nutanix@Open Source Conference 2015 Tokyo/Fall
 
netfilterを利用したDSP監視
netfilterを利用したDSP監視netfilterを利用したDSP監視
netfilterを利用したDSP監視
 

VMware ESXi トラブルシューティング