1. ECCの遊び方
2011/06/11 #sfstudy
@imksoo
1

2. About Me
@imksoo / Kirino Minato
とある基盤の技術者(エンジニア)
時々基盤構築、時々基盤運用、時々運用設計
とりあえずMicrosoft/EMC/HPサーバと声優好きなおたく
最近、おうちでOracle Solaris 11 Expressでストレージサーバ作ってます。
2

3. こんなことありませんか...
最近、ネットワークが遅いんじゃない？
つながりにくいんだけど...？
そもそもこれ、
NWの問題じゃないです (T-T)
@sygetch http://twitpic.com/1wd1rt より
3

4. ストレージ性能問題も....
最近、検索処理に時間がかかるようになったんだよね…
データベースとかストレージがネックになってるんじゃない？
検索ワードがおかしくないか……
4

5. まずは上位層から攻めましょう。
 ストレージはシステムの中ではネットワークに次いで遅いコン
ポーネントの一つ。
 だからといって、初めから疑ってかかるのは無駄に終わること
が多いです。
 初めにやること
– アプリケーションロジックの確認
 結構、ビジネスロジックって力業が多いです(泣
 そもそもその情報抽出って時間がかかるの前提だよね？
ユーザーさんにちゃんと伝わってる？
– プレゼンテーション層の確認
 再描画の間、画面が真っ白…？ UI設計おかしくない？
– サーバおよびデータベース(SQL)の確認
 まずはPerformance MonitorやsarでCPU/Memory/IO waitなどを確認。
 え…なんでここでTable full scanなの…indexは？partitioningは？
 あ…。待機イベントでストレージ待ちが頻発してる…
5

6. ご参考: Symmetrix/VMAXとは。
 詳しくはEMCご担当営業様まで。
6

7. EMC Control Centerのアーキテクチャ。
https://community.emc.com/docs/DOC-1942
7

8. わかりにくいので書き直した。
EMC Control Centerの
リポジトリサーバ
(メトリック情報の蓄積)
各種サーバ
FCスイッチ
(Brocade/Cisco等) メトリック情報の収集
EMCストレージ
(一部メトリックはHPや
IBMストレージでも取得可)
あんまり変わらないっすね。
8

9. ECCでとれる情報(の一部)
ECCのインストールフォルダ直下にあるmetrics.defにトリックが並んでる。
<METRIC: SymDeviceStats,1.0.001,Symmetrix, Devices>
Metric Name Type
device name string Key ArchiveLast
ios per sec long ConvertToRate ArchiveStats sortDescending
reads per sec long ConvertToRate ArchiveStats
writes per sec long ConvertToRate ArchiveStats
hits per sec long ConvertToRate ArchiveStats
read hits per sec long ConvertToRate ArchiveStats
write hits per sec long ConvertToRate ArchiveStats
seq reads per sec long ConvertToRate ArchiveStats
seq read hits per sec long ConvertToRate ArchiveStats
seq writes per sec long ConvertToRate ArchiveStats
Kbytes read per sec longlong ConvertToRate ArchiveStats
Kbytes written per sec longlong ConvertToRate ArchiveStats
DA read requests per sec long ConvertToRate ArchiveStats
DA write requests per sec long ConvertToRate ArchiveStats
DA prefetched tracks per sec long ConvertToRate ArchiveStats
DA prefetched tracks used per sec long ConvertToRate ArchiveStats
DA Kbytes read per sec long ConvertToRate ArchiveStats
DA Kbytes written per sec long ConvertToRate ArchiveStats
write pending count long ArchiveLast
max write pending threshold long ArchiveLast
total reads per sec float ArchiveStats Derived reads per sec + seq reads per sec
total read hits per sec float ArchiveStats Derived read hits per sec + seq read hits per sec
total read misses per sec float ArchiveStats Derived total reads per sec - total read hits per sec
total ios per sec float ArchiveStats Derived total reads per sec + writes per sec
total hits per sec float ArchiveStats Derived total read hits per sec + write hits per sec
total misses per sec float ArchiveStats Derived total ios per sec - total hits per sec
write misses per sec float ArchiveStats Derived writes per sec - write hits per sec
read misses per sec float ArchiveStats Derived reads per sec - read hits per sec
seq ios per sec float ArchiveStats Derived seq reads per sec + seq writes per sec
9

10. ECCでとれる情報(の一部の続き)
<METRIC: SymDeviceStats,1.0.001,Symmetrix, Devices>
Metric Name Type
% random read hit float ArchiveStats Derived 100 * (read hits per sec / total ios per sec)
% random read miss float ArchiveStats Derived 100 * (read misses per sec / total ios per sec)
% sequential read float ArchiveStats Derived 100 * (seq reads per sec / total ios per sec)
% write float ArchiveStats Derived 100 * (writes per sec/total ios per sec)
% read float ArchiveStats Derived 100 * (total reads per sec/total ios per sec)
% hit float ArchiveStats Derived 100 * (total hits per sec/total ios per sec)
% miss long ArchiveStats Derived 100 - % hit
% read hit float ArchiveStats Derived 100 * (total read hits per sec/total reads per sec)
% write hit float ArchiveStats Derived 100 * (write hits per sec/writes per sec)
100 * (total read misses per sec/total reads per
% read miss float ArchiveStats Derived
sec)
% write miss float ArchiveStats Derived 100 * (write misses per sec/writes per sec)
% sequential io float ArchiveStats Derived 100 * (seq ios per sec / total ios per sec)
% sequential writes float ArchiveStats Derived 100*(seq writes per sec/total ios per sec)
HA Kbytes transferred per sec float ArchiveStats Derived Kbytes read per sec + Kbytes written per sec
average read size in Kbytes float ArchiveStats Derived Kbytes read per sec /total reads per sec
average write size in Kbytes float ArchiveStats Derived Kbytes written per sec/writes per sec
average io size in Kbytes float ArchiveStats Derived HA Kbytes transferred per sec/total ios per sec
DA Kbytes transferred per sec float ArchiveStats Derived DA Kbytes read per sec + DA Kbytes written per sec
HA Kbytes transferred per sec + DA Kbytes
System bus Kbytes per sec float ArchiveStats Derived
transferred per sec
10

11. やりたいのはGUI操作じゃないんだよｗ
 (これが本題)
実はcsvをはいてくれるコマンド、あります。
– pmcli.exe
オプション：
 -export
 -local
 -type {interval/daily/monthly}
 -class [クラス名]
 -id [ID]
 -date [YYYYMMDD]
 -out [出力先ファイル名]
 -rtable … Excelで解析するなら行列をひっくりかえしておいた方が良い。
 -c [カテゴリ名] …カテゴリ名はSymmetrixストレージの場合は、Devices,Dir-DA,Dir-
Fibre,Dir-Port,Disks,Systemのいずれか。metrics.defにも書いてある。
 -o [対象オブジェクト] …オブジェクト名はGUIか設計書かsymコマンドで確認
 -m [メトリック名] …メトリック名はmetrics.defを見るか、GUIで確認
– 実行例:
C:¥> pmcli.exe -export -local -type interval -class [クラス名] -id [ID] -date
[YYYYMMDD] -out [出力先ファイル名] -rtable -c disks -o "DF-1A CA" -m
"total SCSI command per sec,read commands per sec,write commands per
sec,verify commands per sec,% util,seeks per sec,seek distance per sec"
11

12. カテゴリとオブジェクト
Disks
FC Switch FC Switch
Dir-Fibre
FA-01 FA-02 FA-03 FA-04
Matrix (DMX,VMX)
DA-01 DA-02 DA-03 Dir-DA DA-04
Dir-Port
DF-01 A0 DF-01 B0
Disks = 物理的なディスク (FC-AL/SAS)
DF-01 A1 DF-01 B1
DF-01 A2 DF-01 B2
Devices = サーバから見たLUN (symdev)
DF-01 A3 DF-01 B3
System
赤文字 = カテゴリ
12 黒字 = オブジェクト

13. CSVを加工しよう
 とったデータはこんな感じ
13

14. Physical Disk の Utilization(%)の確認
素直に2次元折れ線グラフじゃわかりにくい…
⇒ Excelで株価チャート(最低値・最高値・パーセンタイル(最小値/最大値))を
使うと良い場合あり。ついでに系列2として中間値をつけるといい。
14

15. たくさんのディスクを俯瞰したい。
等高線グラフを使うと同時間帯できれいにストライピングがかかっているか
どうかがわかりやすい。
また、IO転送量などは積み上げグラフがわかりやすい。
15

16. fin.
16