Your SlideShare is downloading. ×
0
Solaris 11 11/11でFCターゲットを作ってみるオープンソースカンファレンス2012 Tokyo/Fall自宅SAN友の会(#jitakusan)Noriyuki Yamaguchi(@n_yamaguti)
自己紹介富士通関西中部ネットテックという会社に勤務して ます基本ネットワークSEです。CCIE R&S持ってますISPのネットワークが得意なんですが。。仮想化 方面も少々。。基本愛知県在住ですが。。最近関東に召喚されぎみ です。。。...
FCターゲットとはファイバーチャネル(FC)で繋がるDISKアレイ装置 のこと有名どころですと富士通とか、EMCとかNetA ppとかから専用装置がでてますが、高価です。   今回は、廉価にFCストレージを   PCサーバで作ってしまうお話...
ORACLE Solaris 11 11/112011年11月11日にリリース?ORACLEになっちゃいました最新ストレージシステムZFSv33搭載(ファイルシステ ムバージョン5、ストレージプールバージョン33)。 ZFS暗号化、重複排...
ZFS (Zetta byte File System)世界初の128bitファイルシステム  ファイルシステムの上限 25京6000兆ZB !!ストレージプールにより物理的なデバイス構成から 完全に独立  物理ディスク、ディスクパーテ...
Hybrid Storage PoolSSD(Solid State Drive)をファイルシステムの キャッシュとして扱う 「Hybrid Storage Pool」を構 成することが可能    • ARC(Adaptive Replace...
ZFSでサポートされるディスクの冗長構成ストレージプールにディスクを登録するときに冗長 構成を指定                       非冗長                       •   ストライピング(RAID-0)    ...
COMSTER(Common Multiprotocol SCSI TARget)Oracle Solaris 11 ホストを SCSI ターゲットデバイス に変換可能なソフトウェアフレームワークサポートされるストレージプロトコルは、iSC...
QLogic 4G HBAを用意するQlogicの4G HBA が必要です(8GもOKでした)2GはだめですEmulexでも行けるらしいですがうまくいったという 実績がないです(うまくいったら教えてください)FC SWがなければ直結も可...
OSのインストールORACLEのホームページからダウンロード可能 (試用版?)OSのインストールから説明すると大変なので省略し ます1本目のHDDの最初のパーティション42GBくらいを 作ってOSをインストールします
DISKの計画 SATA 2TB HDD×4本 ZFS ZIL用に20G SSD×1本 ZILとL2ARCどちらかを選ぶとすればZILを優先させたほうが  いい OS用のDISKとかもったいないので、頭にちょっとだけ切り分  けてみる。...
DISKの計画  1本目と2本目の頭のパーティションをmirrorで構築  1本目と2本目の残りと3本目、4本目で今回はraid-z1を構成  SSDはZILに使用  41.9GB     c3t0d0s0                ...
DISKの計画 ストレージプール(tank)の中にzvol(fc_esx01)を作成 作成したzvolにLUを作成 Host Groupにtagetへ接続できるイニシエータのwwnを登録  ストレージプール                ...
作業の流れrpoolのmirror化zpoolの作成ZILの追加COMSTERのインストールFCドライバーの入れ替えzvolの作成LUの作成Host Groupの作成Viewの作成
rpoolのmirror化rpoolとはOSのインストールされたストレージプールOSをインストールした(c3t0d0)側のパーティショ ン情報を確認する(シリンダー表示)        # parted /dev/dsk/c3t0d0p0 ...
rpoolのmirror化さきほどメモしたシリンダー情報をもとにpartedで新 しいHDDにパーティションを作成(c3t1d0s0)        # parted /dev/dsk/c3t1d0p0        GNU Parted 2...
rpoolのmirror化さきほどメモしたシリンダー情報をもとに新しい HDDにパーティションを作成(c3t1d0p2)        (parted) mkpart        mkpart        Partition type? ...
rpoolのmirror化boot flagを設定する        (parted) set        set        Partition number? 1        1        Flag to Invert? boo...
rpoolのmirror化作成したパーテション情報を確認する         (parted) p         p         Model: Generic Ide (ide)         Disk /dev/dsk/c3t1d0...
rpoolのmirror化rpoolにc3t0d0s0とc3t1d0s0をmirrorで追加         # zpool attach -f rpool c3t0d0s0 c3t1d0s0         Make sure to wai...
zpoolの作成raid-z1でストレージプール(tank)を作成       # zpool create -f tank raidz c3t0d0p2 c3t1d0p2 c3t2d0       c3t3d0       # zpool ...
ZILの追加tankにZILを追加する         # zpool add tank log c3t5d0         # zpool status tank          pool: tank          state: O...
パッケージの追加COMSTERのインストール      # pkg install storage-server        インストールするパッケージ:               22                  ブート環境の作成...
FCドライバーの入れ替えQLOGICドライバの確認      # mdb -k      Loading modules: [ unix genunix specfs dtrace mac cpu.generic uppc      pcpl...
FCドライバーの入れ替えqlcドラバからqltドライバに変更      # update_drv -d -i pciex1077,2432 qlc      Cannot unload module: qlc      Will be unl...
FCドライバーの入れ替えリブートする     # init 6     updating //platform/i86pc/boot_archive     updating //platform/i86pc/amd64/boot_archi...
FCドライバーの入れ替えQLOGICドライバの確認      # mdb -k      Loading modules: [ unix genunix specfs dtrace mac cpu.generic uppc      pcpl...
FCドライバーの入れ替えターゲットモードフレームワークが HBA ポートにア クセスできることを確認します     # stmfadm list-target -v     Target: wwn.2101001B3237C668      ...
zvolの作成ストレージプール(tank)に1Tの容量でfc_esx01と いう名前でzvolを作成      # zfs create -V 1T tank/fc_esx01
LUの作成作成したzvolを指定してLUを作成        # stmfadm create-lu /dev/zvol/rdsk/tank/fc_esx01        Logical unit created:        60014...
ESXiのWWNの調査構成→ストレージアダプタ→FCカード選択                    右側の値で:をす                    べて削除して頭                    にwwn.をつける
Host Groupの作成Host Group fc-esxを作成しESXiのwwnを登録         # stmfadm create-hg fc-esx         #stmfadm add-hg-member -g fc-esx...
Viewの作成これまでに作成した Host Group, LUを紐づけるView を作成します。       # stmfadm add-view -h fc-esx 600144F0AEAE0F0000004ECD1BA10001     ...
ESXiから接続再スキャンしてデバイス表示されればOK
HDD故障時の対応zpoolの確認 (rpool)    # zpool status rpool      pool: rpool     state: DEGRADED    status: One or more devices are...
HDD故障時の対応zpoolの確認 (tank)   # zpool status tank    pool: tank    state: DEGRADED   status: One or more devices are faulted...
HDD故障時の対応SATAの状態確認      # cfgadm      Ap_Id                 Type      Receptacle Occupant Condition      Slot128         ...
HDD故障時の対応故障HDDをホットスワップで交換し、認識させる    # cfgadm -f -c configure sata6/0    # cfgadm    Ap_Id                  Type      Rece...
HDD故障時の対応MirrorしているHDDの正常なHDD(c3t1d0)側の パーティション情報を確認する(シリンダー表示)      # parted /dev/dsk/c3t1d0p0 u s p      Model: Generic...
HDD故障時の対応さきほどメモしたシリンダー情報をもとにpartedで新 しいHDDにパーティションを作成(c3t0d0s0)   # parted /dev/dsk/c3t0d0p0   GNU Parted 2.3.0   Using /...
HDD故障時の対応さきほどメモしたシリンダー情報をもとに新しい HDDにパーティションを作成(c3t0d0p2)     (parted) mkpart     mkpart     Partition type? primary/exten...
HDD故障時の対応boot flagを設定する        (parted) set        set        Partition number? 1        1        Flag to Invert? boot   ...
HDD故障時の対応作成したパーテション情報を確認する     (parted) p     p     Model: Generic Ide (ide)     Disk /dev/dsk/c3t0d0p0: 3907029168s     ...
HDD故障時の対応zpool(tank)の修復を行います    # zpool replace tank c3t0d0p2    # zpool status tank     pool: tank     state: DEGRADED  ...
HDD故障時の対応zpool(rpool)の修復を行います   # zpool replace -f rpool c3t0d0s0   # zpool status rpool   pool: rpool    state: DEGRADED...
HDD故障時の対応 grubの修復を行います    # installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c3t0d 0s0    Solaris fdisk partitio...
まとめSolaris11は商用OSですが、とりあえず使う分には 無料ですZFSを作ったのはSunだということを忘れないで ね。。根性無しのHDDを使っててもZFSなら安心ですCOMSTERは安定してますよ~QLOGICの4Gはヤフオク...
うちの環境実はこれMiniITXのマザーで作ってあります マザー ZOTAC H55ITX-A-E SATAが6port INTEL NICなのがgood CPU INTEL corei3 540 安売りしてた メモリ 4G * 2 =...
Upcoming SlideShare
Loading in...5
×

Osc2012 tokyo fall_home_san_nayamaguti

1,228

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,228
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
18
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "Osc2012 tokyo fall_home_san_nayamaguti"

  1. 1. Solaris 11 11/11でFCターゲットを作ってみるオープンソースカンファレンス2012 Tokyo/Fall自宅SAN友の会(#jitakusan)Noriyuki Yamaguchi(@n_yamaguti)
  2. 2. 自己紹介富士通関西中部ネットテックという会社に勤務して ます基本ネットワークSEです。CCIE R&S持ってますISPのネットワークが得意なんですが。。仮想化 方面も少々。。基本愛知県在住ですが。。最近関東に召喚されぎみ です。。。セキュリティ方面も少々。。このへんに出没してます ISACA名古屋支部 (www.isaca-nagoya.org) 産学連携IPv6実験地域ネットワーク研究会(v6tokai)
  3. 3. FCターゲットとはファイバーチャネル(FC)で繋がるDISKアレイ装置 のこと有名どころですと富士通とか、EMCとかNetA ppとかから専用装置がでてますが、高価です。 今回は、廉価にFCストレージを PCサーバで作ってしまうお話で す。
  4. 4. ORACLE Solaris 11 11/112011年11月11日にリリース?ORACLEになっちゃいました最新ストレージシステムZFSv33搭載(ファイルシステ ムバージョン5、ストレージプールバージョン33)。 ZFS暗号化、重複排除機能、仮想化対応、フラッシュ ストレージ対応。COMSTERでiSCSI,FCなどのターゲットになれ るけっこう昔のSolarisと使い勝手が違います。。。OTNっていうライセンスで配布されてます。。残 念ながら商用ライセンスです。個人で遊びで使う分 には無償でいいはず。。です(自己の判断でお願い します)
  5. 5. ZFS (Zetta byte File System)世界初の128bitファイルシステム  ファイルシステムの上限 25京6000兆ZB !!ストレージプールにより物理的なデバイス構成から 完全に独立  物理ディスク、ディスクパーティション、実ファイルなどをまとめて、 1つの仮想的なストレージデバイスである「ストレージプール」を構成CPUパワー必要メモリーいっぱいあったほうが幸せ
  6. 6. Hybrid Storage PoolSSD(Solid State Drive)をファイルシステムの キャッシュとして扱う 「Hybrid Storage Pool」を構 成することが可能 • ARC(Adaptive Replacement Cache)は、サーバのDRAM上にあるZFSのメモリ キャッシュで、1次キャッシュとして動作 • L2ARC(Level 2 Adaptive Replacement Cache)は、ARCのRead用拡張2次キャッ シュであり、SSDを適用することでRead速度の向上を促します。 • ZIL(ZFS Intent Log)は、ZFSのWriteログ領域であり、SSDを適用することでWrite 速度の向上を促します。 • Disk Storage Poolは、HDD群で構成
  7. 7. ZFSでサポートされるディスクの冗長構成ストレージプールにディスクを登録するときに冗長 構成を指定 非冗長 • ストライピング(RAID-0) ミラー ストレージプール • 複数麺ミラーも可能(RAID-1) RAID-Z 物理 物理 物理 • シングルパリティ(RAID-5に類似) DISK DISK DISK RAID-Z2 • ダブルパリティ(RAID-6に類似) RAID-Z3 • トリプルパリティ
  8. 8. COMSTER(Common Multiprotocol SCSI TARget)Oracle Solaris 11 ホストを SCSI ターゲットデバイス に変換可能なソフトウェアフレームワークサポートされるストレージプロトコルは、iSCSI、 FC、iSER、および SRPカーネルで処理するので早い これで、FCターゲットが作れま す!!
  9. 9. QLogic 4G HBAを用意するQlogicの4G HBA が必要です(8GもOKでした)2GはだめですEmulexでも行けるらしいですがうまくいったという 実績がないです(うまくいったら教えてください)FC SWがなければ直結も可能 QLogic QLE2462 4G PCI-e Dual Port HBA Adapter
  10. 10. OSのインストールORACLEのホームページからダウンロード可能 (試用版?)OSのインストールから説明すると大変なので省略し ます1本目のHDDの最初のパーティション42GBくらいを 作ってOSをインストールします
  11. 11. DISKの計画 SATA 2TB HDD×4本 ZFS ZIL用に20G SSD×1本 ZILとL2ARCどちらかを選ぶとすればZILを優先させたほうが いい OS用のDISKとかもったいないので、頭にちょっとだけ切り分 けてみる。。 OS吹っ飛ぶと大変なのでミラーする 実はマニュアルにp* 識別子は使用しないでくださいと書いて あったことは見なかったことにする41.9GB c3t0d0s0 c3t1d0s01958GB c3t0d0p2 c3t1d0p2 c3t2d0 c3t3d0 c3t5d0 Seagate 2T Seagate 2T Seagate 2T Seagate 2T INTEL 20G SSD HDD HDD HDD HDD Intel SSD 311 ST2000DL003 ST2000DL003 ST2000DL003 ST2000DL003
  12. 12. DISKの計画  1本目と2本目の頭のパーティションをmirrorで構築  1本目と2本目の残りと3本目、4本目で今回はraid-z1を構成  SSDはZILに使用 41.9GB c3t0d0s0 OS用rpool mirror c3t1d0s0 tank raid-z11958GB c3t0d0p2 c3t1d0p2 c3t2d0 c3t3d0 ZIL c3t5d0 Seagate 2T Seagate 2T Seagate 2T Seagate 2T INTEL 20G SSD HDD HDD HDD HDD Intel SSD 311 ST2000DL003 ST2000DL003 ST2000DL003 ST2000DL003
  13. 13. DISKの計画 ストレージプール(tank)の中にzvol(fc_esx01)を作成 作成したzvolにLUを作成 Host Groupにtagetへ接続できるイニシエータのwwnを登録 ストレージプール wwn.10000000C96976D7 tank 6TB LU: zvol 600144F0AEAE0F0000004ECD1BA10001 fc_esx01 Host Group: fc-esx HBA 1TB Member: wwn.5001438000C2DE0E FC SW Member: wwn.10000000C96976D7 Member: wwn.10000000C95FBC3E wwn.5001438000C2DE0E wwn.10000000C95FBC3E
  14. 14. 作業の流れrpoolのmirror化zpoolの作成ZILの追加COMSTERのインストールFCドライバーの入れ替えzvolの作成LUの作成Host Groupの作成Viewの作成
  15. 15. rpoolのmirror化rpoolとはOSのインストールされたストレージプールOSをインストールした(c3t0d0)側のパーティショ ン情報を確認する(シリンダー表示) # parted /dev/dsk/c3t0d0p0 u s p Model: Generic Ide (ide) Disk /dev/dsk/c3t0d0p0: 3907029168s Sector size (logical/physical): 512B/512B Partition Table: msdos Number Start End Size Type File system Flags 1 64260s 81867239s 81802980s primary solaris boot 2 81867240s 3907024064s 3825156825s primary ・c3t0d0p0は正常に動作中。 ・mirrorにするHDDはパーティションが切れていない ため、OSをインストールしたHDDから情報をメモる
  16. 16. rpoolのmirror化さきほどメモしたシリンダー情報をもとにpartedで新 しいHDDにパーティションを作成(c3t1d0s0) # parted /dev/dsk/c3t1d0p0 GNU Parted 2.3.0 Using /dev/dsk/c3t1d0p0 Welcome to GNU Parted! Type help to view a list of commands. (parted) u s us (parted) mkpart mkpart Partition type? primary/extended? primary primary File system type? [ext2]? solaris solaris Start? 64260s 64260s End? 81867239s 81867239s Warning: The resulting partition is not properly aligned for best performance. Ignore/Cancel? I ・シリンダーで合わせておかないと、正常にmirrorが構成でき ない?
  17. 17. rpoolのmirror化さきほどメモしたシリンダー情報をもとに新しい HDDにパーティションを作成(c3t1d0p2) (parted) mkpart mkpart Partition type? primary/extended? primary primary File system type? [ext2]? Start? 81867240s 81867240s End? 3907024064s 3907024064s Warning: The resulting partition is not properly aligned for best performance. Ignore/Cancel? i I
  18. 18. rpoolのmirror化boot flagを設定する (parted) set set Partition number? 1 1 Flag to Invert? boot boot New state? [on]/off?
  19. 19. rpoolのmirror化作成したパーテション情報を確認する (parted) p p Model: Generic Ide (ide) Disk /dev/dsk/c3t1d0p0: 3907029168s Sector size (logical/physical): 512B/512B Partition Table: msdos Number Start End Size Type File system Flags 1 64260s 81867239s 81802980s primary boot 2 81867240s 3907024064s 3825156825s primary (parted) quit ・c3t0d0と同じになっていればOK
  20. 20. rpoolのmirror化rpoolにc3t0d0s0とc3t1d0s0をmirrorで追加 # zpool attach -f rpool c3t0d0s0 c3t1d0s0 Make sure to wait until resilver is done before rebooting. # zpool status pool: rpool state: ONLINE status: One or more devices is currently being resilvered. The pool will continue to function, possibly in a degraded state. action: Wait for the resilver to complete. scan: resilver in progress since Thu Nov 24 01:16:34 2011 513M scanned out of 9.50G at 8.56M/s, 0h17m to go 513M resilvered, 5.28% done config: NAME STATE READ WRITE CKSUM rpool ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 c3t0d0s0 ONLINE 0 0 0 c3t1d0s0 ONLINE 0 0 0 (resilvering) errors: No known data errors Solaris 11は標準でzfsでファイルシステムが作成される
  21. 21. zpoolの作成raid-z1でストレージプール(tank)を作成 # zpool create -f tank raidz c3t0d0p2 c3t1d0p2 c3t2d0 c3t3d0 # zpool status tank pool: tank state: ONLINE scan: none requested config: NAME STATE READ WRITE CKSUM tank ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 c3t0d0p2 ONLINE 0 0 0 c3t1d0p2 ONLINE 0 0 0 c3t2d0 ONLINE 0 0 0 c3t3d0 ONLINE 0 0 0 errors: No known data errors
  22. 22. ZILの追加tankにZILを追加する # zpool add tank log c3t5d0 # zpool status tank pool: tank state: ONLINE scan: resilvered 864G in 31h39m with 0 errors on Fri Feb 24 10:21:44 2012 config: NAME STATE READ WRITE CKSUM tank ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 c3t0d0p2 ONLINE 0 0 0 c3t1d0p2 ONLINE 0 0 0 c3t2d0 ONLINE 0 0 0 c3t3d0 ONLINE 0 0 0 logs c3t5d0 ONLINE 0 0 0
  23. 23. パッケージの追加COMSTERのインストール # pkg install storage-server インストールするパッケージ: 22 ブート環境の作成: いいえ バックアップブート環境の作成: はい 変更するサービス: 1 ダウンロード パッケージ ファイル 転送 (MB) Completed 22/22 1037/1037 60.6/60.6 フェーズ アクション インストールフェーズ 1903/1903 フェーズ 項目 パッケージ状態の更新フェーズ 22/22 イメージ状態の更新フェーズ 2/2
  24. 24. FCドライバーの入れ替えQLOGICドライバの確認 # mdb -k Loading modules: [ unix genunix specfs dtrace mac cpu.generic uppc pcplusmp scsi_vhci zfs sata sd ip hook neti arp usba uhci kssl qlc fctl sockfs lofs random idm nfs sppp fcp crypto cpc fcip nsmb logindmux ptm ufs ipc md stmf nsctl sdbc rdc sv stmf_sbd smbsrv ii ] > ::devbindings -q qlc ffffff02bdcc7968 pciex1077,2432, instance #0 (driver name: qlc) ffffff02bdcc7698 pciex1077,2432, instance #1 (driver name: qlc) > $q デフォルトはqlc(イニシエータモード)ドライバーを使用
  25. 25. FCドライバーの入れ替えqlcドラバからqltドライバに変更 # update_drv -d -i pciex1077,2432 qlc Cannot unload module: qlc Will be unloaded upon reboot. # update_drv -a -i pciex1077,2432 qlt devfsadm: driver failed to attach: qlt Warning: Driver (qlt) successfully added to system but failed to attach qlt(ターゲットモード)ドライバーを使用するとFC tar getで使用可能
  26. 26. FCドライバーの入れ替えリブートする # init 6 updating //platform/i86pc/boot_archive updating //platform/i86pc/amd64/boot_archive リブート後qlt(ターゲットモード)ドライバーが使用可能
  27. 27. FCドライバーの入れ替えQLOGICドライバの確認 # mdb -k Loading modules: [ unix genunix specfs dtrace mac cpu.generic uppc pcplusmp scsi_vhci zfs sata sd ip hook neti arp usba uhci kssl fctl stmf stmf_sbd sockfs md random idm crypto cpc fcip nfs lofs logindmux ptm ufs sppp ipc ] > ::devbindings -q qlc > ::devbindings -q qlt ffffff02bdcc7968 pciex1077,2432, instance #0 (driver name: qlt) ffffff02bdcc7698 pciex1077,2432, instance #1 (driver name: qlt) > qlt(ターゲットモード)ドライバーに変更されていることを 確認する
  28. 28. FCドライバーの入れ替えターゲットモードフレームワークが HBA ポートにア クセスできることを確認します # stmfadm list-target -v Target: wwn.2101001B3237C668 Operational Status: Online Provider Name : qlt Alias : qlt1,0 Protocol : Fibre Channel Sessions :1 Initiator: wwn.10000000C95FBC3E Alias: - Logged in since: Mon Feb 20 03:10:04 2012 Target: wwn.2100001B3217C668 Operational Status: Online Provider Name : qlt Alias : qlt0,0 Protocol : Fibre Channel Sessions :1 Initiator: wwn.10000000C96976D7 Alias: - Logged in since: Mon Feb 20 03:09:56 2012
  29. 29. zvolの作成ストレージプール(tank)に1Tの容量でfc_esx01と いう名前でzvolを作成 # zfs create -V 1T tank/fc_esx01
  30. 30. LUの作成作成したzvolを指定してLUを作成 # stmfadm create-lu /dev/zvol/rdsk/tank/fc_esx01 Logical unit created: 600144F0AEAE0F0000004ECD1BA10001 # stmfadm list-lu -v LU Name: 600144F0AEAE0F0000004ECD1BA10001 Operational Status: Online Provider Name : sbd Alias : /dev/zvol/rdsk/tank/fc_esx01 View Entry Count : 0 Data File : /dev/zvol/rdsk/tank/fc_esx01 Meta File : not set Size : 1099511627776 Block Size : 512 Management URL : not set Vendor ID : SUN Product ID : COMSTAR Serial Num : not set Write Protect : Disabled Writeback Cache : Enabled Access State : Active
  31. 31. ESXiのWWNの調査構成→ストレージアダプタ→FCカード選択 右側の値で:をす べて削除して頭 にwwn.をつける
  32. 32. Host Groupの作成Host Group fc-esxを作成しESXiのwwnを登録 # stmfadm create-hg fc-esx #stmfadm add-hg-member -g fc-esx wwn.5001438000C2DE0E #stmfadm add-hg-member -g fc-esx wwn.10000000C96976D7 #stmfadm add-hg-member -g fc-esx wwn.10000000C95FBC3E # stmfadm list-hg –v Host Group: fc-esx Member: wwn.5001438000C2DE0E Member: wwn.10000000C96976D7 Member: wwn.10000000C95FBC3E ESXiの画面で調べたwwnを変換して指定する 10:00:00:00:c9:69:76:d7 → wwn.10000000C96976D7
  33. 33. Viewの作成これまでに作成した Host Group, LUを紐づけるView を作成します。 # stmfadm add-view -h fc-esx 600144F0AEAE0F0000004ECD1BA10001 # stmfadm list-view --lu-name 600144F0AEAE0F0000004ECD1BA10001 View Entry: 0 Host group : fc-esx Target group : All LUN :0 Host Groupで指定したwwnのESXiからだけ接続できる指定
  34. 34. ESXiから接続再スキャンしてデバイス表示されればOK
  35. 35. HDD故障時の対応zpoolの確認 (rpool) # zpool status rpool pool: rpool state: DEGRADED status: One or more devices are faulted in response to persistent errors. Sufficient replicas exist for the pool to continue functioning in a degraded state. action: Replace the faulted device, or use zpool clear to mark the device repaired. scan: resilvered 10.7G in 0h11m with 0 errors on Thu Feb 2 00:37:41 2012 config: NAME STATE READ WRITE CKSUM statusが rpool DEGRADED 0 0 0 DEGRADEDとなり、 mirror-0 DEGRADED 0 0 0 c3t0d0s0 FAULTED 4 63 0 too many errors c3t0d0s0が故障!! c3t1d0s0 ONLINE 0 0 0 errors: No known data errors Seagate根性なさすぎなのか壊れまし
  36. 36. HDD故障時の対応zpoolの確認 (tank) # zpool status tank pool: tank state: DEGRADED status: One or more devices are faulted in response to persistent errors. Sufficient replicas exist for the pool to continue functioning in a degraded state. action: Replace the faulted device, or use zpool clear to mark the device repaired. scan: resilvered 851G in 25h40m with 0 errors on Fri Feb 3 02:29:42 2012 config: statusが NAME STATE READ WRITE CKSUM DEGRADEDとなり、 tank DEGRADED 0 0 0 c3t0d0p0が故障!! raidz1-0 DEGRADED 0 0 0 c3t0d0p2 FAULTED 6 10 0 too many errors c3t1d0p2 ONLINE 0 0 0 c3t2d0 ONLINE 0 0 0 c3t3d0 ONLINE 0 0 0 logs c3t5d0 ONLINE 0 0 0 errors: No known data errors どうぜん、こっちも故障しますよ
  37. 37. HDD故障時の対応SATAの状態確認 # cfgadm Ap_Id Type Receptacle Occupant Condition Slot128 unknown empty unconfigured unknown Slot129 unknown connected configured ok sata6/0 sata-port disconnected unconfigured failed sata6/1::dsk/c3t1d0 disk connected configured ok sata6/2::dsk/c3t2d0 disk connected configured ok sata6/3::dsk/c3t3d0 disk connected configured ok sata6/4 sata-port empty unconfigured ok sata6/5::dsk/c3t5d0 disk connected configured ok sata6/0がdisconnectedとなりHDDが見えなくなっ ている
  38. 38. HDD故障時の対応故障HDDをホットスワップで交換し、認識させる # cfgadm -f -c configure sata6/0 # cfgadm Ap_Id Type Receptacle Occupant Condition Slot128 unknown empty unconfigured unknown Slot129 unknown connected configured ok sata6/0::dsk/c3t0d0 disk connected configured ok sata6/1::dsk/c3t1d0 disk connected configured ok sata6/2::dsk/c3t2d0 disk connected configured ok sata6/3::dsk/c3t3d0 disk connected configured ok sata6/4 sata-port empty unconfigured ok sata6/5::dsk/c3t5d0 disk connected configured ok sata6/0がconnectedとなり新しいHDDが 認識
  39. 39. HDD故障時の対応MirrorしているHDDの正常なHDD(c3t1d0)側の パーティション情報を確認する(シリンダー表示) # parted /dev/dsk/c3t1d0p0 u s p Model: Generic Ide (ide) Disk /dev/dsk/c3t1d0p0: 3907029168s Sector size (logical/physical): 512B/512B Partition Table: msdos Number Start End Size Type File system Flags 1 64260s 81867239s 81802980s primary solaris boot 2 81867240s 3907024064s 3825156825s primary ・c3t1d0p0は正常に動作中。 ・交換したHDDはパーティションが切れていないた め、正常に動作してるHDDから情報をメモる
  40. 40. HDD故障時の対応さきほどメモしたシリンダー情報をもとにpartedで新 しいHDDにパーティションを作成(c3t0d0s0) # parted /dev/dsk/c3t0d0p0 GNU Parted 2.3.0 Using /dev/dsk/c3t0d0p0 Welcome to GNU Parted! Type help to view a list of commands. (parted) u s us (parted) mkpart mkpart Partition type? primary/extended? primary primary File system type? [ext2]? solaris solaris Start? 64260s 64260s End? 81867239s 81867239s Warning: The resulting partition is not properly aligned for best performance. Ignore/Cancel? I ・シリンダーで合わせておかないと、正常に mirrorが構成できない?
  41. 41. HDD故障時の対応さきほどメモしたシリンダー情報をもとに新しい HDDにパーティションを作成(c3t0d0p2) (parted) mkpart mkpart Partition type? primary/extended? primary primary File system type? [ext2]? Start? 81867240s 81867240s End? 3907024064s 3907024064s Warning: The resulting partition is not properly aligned for best performance. Ignore/Cancel? i I
  42. 42. HDD故障時の対応boot flagを設定する (parted) set set Partition number? 1 1 Flag to Invert? boot boot New state? [on]/off?
  43. 43. HDD故障時の対応作成したパーテション情報を確認する (parted) p p Model: Generic Ide (ide) Disk /dev/dsk/c3t0d0p0: 3907029168s Sector size (logical/physical): 512B/512B Partition Table: msdos Number Start End Size Type File system Flags 1 64260s 81867239s 81802980s primary boot 2 81867240s 3907024064s 3825156825s primary (parted) quit ・c3t1d0と同じになっていればOK
  44. 44. HDD故障時の対応zpool(tank)の修復を行います # zpool replace tank c3t0d0p2 # zpool status tank pool: tank state: DEGRADED status: One or more devices is currently being resilvered. The pool will continue to function, possibly in a degraded state. action: Wait for the resilver to complete. scan: resilver in progress since Thu Feb 23 02:42:40 2012 773G scanned out of 3.38T at 10.2M/s, 74h52m to go 193G resilvered, 22.37% done 100%になれば修復完 config: 了 NAME STATE READ WRITE CKSUM tank DEGRADED 0 0 0 raidz1-0 DEGRADED 0 0 0 replacing-0 DEGRADED 0 0 0 c3t0d0p2/old FAULTED 6 10 0 too many errors c3t0d0p2 ONLINE 0 0 0 (resilvering) c3t1d0p2 ONLINE 0 0 0 c3t2d0 ONLINE 0 0 0 c3t3d0 ONLINE 0 0 0 logs c3t5d0 ONLINE 0 0 0 errors: No known data errors
  45. 45. HDD故障時の対応zpool(rpool)の修復を行います # zpool replace -f rpool c3t0d0s0 # zpool status rpool pool: rpool state: DEGRADED status: One or more devices is currently being resilvered. The pool will continue to function, possibly in a degraded state. action: Wait for the resilver to complete. scan: resilver in progress since Fri Feb 24 23:51:16 2012 189M scanned out of 12.9G at 8.20M/s, 0h26m to go 188M resilvered, 1.43% done 100%になれば修復完 config: 了 NAME STATE READ WRITE CKSUM rpool DEGRADED 0 0 0 mirror-0 DEGRADED 0 0 0 replacing-0 DEGRADED 0 0 0 c3t0d0s0/old FAULTED 4 63 0 too many errors c3t0d0s0 ONLINE 0 0 0 (resilvering) c3t1d0s0 ONLINE 0 0 0 errors: No known data errors・mirrorの場合-fで強制的に実行しないと修復できない場合がある
  46. 46. HDD故障時の対応 grubの修復を行います # installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c3t0d 0s0 Solaris fdisk partition is inactive. stage2 written to partition 0, 282 sectors starting at 50 (abs 64310) stage1 written to partition 0 sector 0 (abs 64260)
  47. 47. まとめSolaris11は商用OSですが、とりあえず使う分には 無料ですZFSを作ったのはSunだということを忘れないで ね。。根性無しのHDDを使っててもZFSなら安心ですCOMSTERは安定してますよ~QLOGICの4Gはヤフオク相場もそこそこ安いで すよ意外と簡単で商用スペックのストレージが作れ ますので皆さん試してみてください
  48. 48. うちの環境実はこれMiniITXのマザーで作ってあります マザー ZOTAC H55ITX-A-E SATAが6port INTEL NICなのがgood CPU INTEL corei3 540 安売りしてた メモリ 4G * 2 = 8G 本当はもっとほしいとこだが。。。これ以上のらん? HDD 海門 2T 5900RPM ST2000DL003 * 4 安いうちに買ったんだが。。1本壊 れて追加で1本購入高かった SSD INTEL SSD 311 20G SLCタイプ ZIL用 容量少なくてもSLCがいいはず FCカード QLogic QLE2462 4G 2port 2portあるんで直結で2台のESXiから使え るよ
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×