0
1
<Insert Picture Here>Oracle Solaris 10 の新インストール技術iSCSI Boot SupportKazuyuki Sato
Disclaimer以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供の唯一とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント (...
Agenda• iSCSI とは?• iSCSI Boot とは?• iSCSI Boot の検証 (x86)• iSCSI Boot における Initiator の冗長化構成について• iSCSI Boot 構成の注意点          ...
iSCSI とは?そのまえに、 SCSI について• Small Computer System Interface (SCSI)   – コンピュータと機器を接続し、利用するための標準規格• Sun Common SCSI Architect...
iSCSI とは?  iSCSI は通信プロトコルです  • Internet Small Computer System Interface (iSCSI)     – IETF IP Storage ワーキンググループにて策定 (RFC 3...
iSCSI とは?iSCSI のメリット• メリット  – 導入コストの抑制    • 低価格な Ethernet アダプタを利用することが可能    • 既存のネットワーク資産を利用可能         – IP ネットワークとの統合    ...
Agenda• iSCSI とは?• iSCSI Boot とは?• iSCSI Boot の検証 (x86)• iSCSI Boot における Initiator の冗長化構成について• iSCSI Boot 構成の注意点          ...
iSCSI Boot とは?           iSCSI における重要なもの          • iSCSI を利用するために押さえておくべき事柄             – iSCSI Initiator                ...
iSCSI Boot とは?• ズバリ! iSCSI を利用したブート方法  – iSCSI Initiator が受けることが可能なサービス  – iSCSI を利用することで      • Target から提供されるストレージデバイスをロ...
iSCSI Boot とは?• iSCSI Boot で重要になるのは・・・   – iSCSI Initiator と OS の対応可否      • Initiator 機能サポート = iSCSI Boot サポート        ではな...
iSCSI Boot とは?    Oracle Solaris における iSCSI Initiator 機能の実装iSCSI Initiator 機能OracleSolaris 10 1/06                   Solar...
iSCSI Boot とは? • Oracle Solaris 10 9/10 は iSCSI boot をサポート • なんか便利そうだけど・・・ちょっとまって?!   – OS が起動していないのにどうやって target を見つけるの? ...
iSCSI Boot とは? iSCS Boot に必要となる特別なもの• iSCSI Initiator 機能を持つ特別なハードウェアが必要に!   – iSCSI プロトコルスタックを持つ Ethernet アダプタ      • iSCS...
iSCSI Boot とは?こんなものが iSCSI HBA に• Oracle Solaris 10 における iSCSI boot の要件を満たして いるものは・・・ – Intel Gigabit Server Adapter ( さらに...
iSCSI Boot とは?やってみました• 量販店で購入可能な低価格 NIC を iSCSI HBA に  – 狙うは、 Intel Gigabit CT Desktop Adapter    •   http://www.intel.com...
iSCSI Boot とは?Intel iSCSI Remote Boot 情報• Intel Gigabit Ethernet Adapter の iSCSI HBA 化   – Intel® iSCSI Remote Boot     • ...
Agenda• iSCSI とは?• iSCSI Boot とは?• iSCSI Boot の検証 (x86)• iSCSI Boot における Initiator の冗長化構成について• iSCSI Boot 構成の注意点          ...
iSCSI Boot の検証                                            iSCSI Name: iqn.2010-11.com.oracle:s10u9検証の構成情報• 1 つの Target と 1...
iSCSI Boot の検証      iSCS Boot に必要な情報iSCSI Target 情報                                                例iSCSI Target Name     ...
iSCSI Boot の検証iSCSI HBA の設定について• Intel iSCSI Remote Boot(firmware) の設定   – システム起動時に「 Ctrl + D 」にて firmware 設定画面に   – 利用する ...
iSCSI Boot の検証iSCSI HBA の設定について• Target と Initiator の構成情報を入力   – 今回の検証では静的に値を設定                                           ...
iSCSI Boot の検証   iSCSI HBA の動作確認Target 情報                                                              Initiator 情報ディスク情報 ...
iSCSI Boot の検証iSCSI Boot 環境を構築するためのインストールの流れ• インストール時は、インストールメディアを利用した 起動およびインストール方法 – PXE boot によるネットワークインストールでも可    • iS...
iSCSI Boot の検証インストールにおける注意事項• iSCSI HBA はネットワークインターフェースとして構成   – iSCSI HBA が NIC として認識され、さらに自動構成される      • Firmware に設定した ...
iSCSI Boot の検証インストールにおける注意事項• このディスクデバイスに OS がインストールされる• 再起動後、 iSCSI 経由で OS が起動 (iSCSI Boot)           Copyright© 2010, Or...
iSCSI Boot の検証       起動       • iSCSI Initiator 上での情報確認          – iscsiadm コマンド # iscsiadm list target ­vS               ...
iSCSI Boot の検証起動• demo           Copyright© 2010, Oracle. All rights reserved.   28
iSCSI Boot とは?iSCSI Boot のメリット• 内蔵ディスクが不要に   – 管理コスト、消費電力を削減   – 起動ディスクの自由度ある設計が可能に• OS プロビジョニングの多様化   – 仮想環境におけるゲスト OS の起...
Agenda• iSCSI とは?• iSCSI Boot とは?• iSCSI Boot の検証 (x86)• iSCSI Boot における Initiator の冗長化構成について• iSCSI Boot 構成の注意点          ...
iSCSI Boot における Initiator の冗長化構成について冗長化の必要性• iSCSI は、 TCP/IP を利用するプロトコル   – ネットワークで起こる問題は、 iSCSI の障害要因に     • NIC やスイッチの故障...
iSCSI Boot における Initiator の冗長化構成について簡単な冗長化構成の例• Initiator 側は 2 つの NIC を持ち                                         Initiato...
iSCSI Boot における Initiator の冗長化構成について冗長化が必要な部分• IP Layer と SCSI Layer の failover 機構が必要に   – ネットワークの冗長化      • IP Layer の冗長化...
iSCSI Boot における Initiator の冗長化構成について   IPMP による IP Layer の冗長化   • IPMP を利用した IP Layer の冗長化      – iSCSI HBA とは異なる NIC を追加で...
iSCSI Boot における Initiator の冗長化構成についてIPMP による IP Layer の冗長化• NIC の疑似障害によるインターフェースの failover   – IPMP の機能により、追加 NIC(e1000g1)...
iSCSI Boot における Initiator の冗長化構成について   iSCSI MS/T を利用した SCSI Layer の冗長化   • iSCSI MS/T を利用した scsi device layer の冗長化      –...
iSCSI Boot における Initiator の冗長化構成についてiSCSI MS/T を利用した SCSI Layer の冗長化• iSCSI MS/T 無効時   – Path Count の変化に注目   # mpathadm li...
iSCSI Boot における Initiator の冗長化構成について  MS/T によるセッションの確認# iscsiadm list target ­S (­v を追加することで、詳細を出力 )Target: iqn.1986­03.co...
iSCSI Boot における Initiator の冗長化構成について                                                                                MS/T• ...
Agenda• iSCSI とは?• iSCSI Boot とは?• iSCSI Boot の検証 (x86)• iSCSI Boot における Initiator の冗長化構成について• iSCSI Boot 構成の注意点          ...
iSCSI Boot 構成の注意点• iSCSI MC/S(Multi Connection per session) は未実装   – 複数の iSCSI HBA からのコネクションを一つのセッションと     して扱うことができる機能   ...
参考情報• Storage Administration Information    http://wikis.sun.com/display/OpenSolarisInfo/Storage+Administration+Informatio...
<Insert Picture Here>Appendix
おまけOracle Solaris における iSCSI の実装• iSCSI Target 機能   – ソフトウェアによるターゲット機能を提供      • Oracle Solaris 10 8/07 にてサポート         – S...
おまけx86 と SPARC サーバの iSCSI Boot 実装について• platform による実装の違い   – x86      • NIC が持つ firmware 機能に依存         – iBFT(iSCSI Boot F...
Copyright© 2010, Oracle. All rights reserved.   46
47
Upcoming SlideShare
Loading in...5
×

Oracle solaris 10 u9 iSCSI Boot

2,721

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,721
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
11
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "Oracle solaris 10 u9 iSCSI Boot"

  1. 1. 1
  2. 2. <Insert Picture Here>Oracle Solaris 10 の新インストール技術iSCSI Boot SupportKazuyuki Sato
  3. 3. Disclaimer以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供の唯一とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント ( 確約 ) するものではないため、購買決定を行う際の判断材料にはなさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。 Copyright© 2010, Oracle. All rights reserved. 3
  4. 4. Agenda• iSCSI とは?• iSCSI Boot とは?• iSCSI Boot の検証 (x86)• iSCSI Boot における Initiator の冗長化構成について• iSCSI Boot 構成の注意点 Copyright© 2010, Oracle. All rights reserved. 4
  5. 5. iSCSI とは?そのまえに、 SCSI について• Small Computer System Interface (SCSI) – コンピュータと機器を接続し、利用するための標準規格• Sun Common SCSI Architecture (SCSA) – Solaris に実装される SCSI を扱うための共通アーキテクチャ• ディスクを扱うために普通に利用している機能 – sd/ssd driver が SCSI プロトコルを使ってデバイスと会話 • Fibre Channel, iSCSI, Parallel SCSI, SAS, etc...• Solaris は、このような機能をあらかじめ持っています – 特に気にする必要はありません Copyright© 2010, Oracle. All rights reserved. 5
  6. 6. iSCSI とは? iSCSI は通信プロトコルです • Internet Small Computer System Interface (iSCSI) – IETF IP Storage ワーキンググループにて策定 (RFC 3720) • TCP/IP ネットワーク経由にて SCSI コマンドを送信する通信プロトコル – SCSI コマンドを TCP/IP パケットでカプセル化しデータ通信を実現 • ネットワーク上のストレージをローカルデバイスとして扱うことが可能に SCSI SCSIサーバ コマンド / データ レスポンス / データ ストレージ SCSI SCSI プロトコル SCSI iSCSI iSCSI プロトコル iSCSI TCP TCP TCP/IP プロトコル IP IP Link Link IP PHY network PHY Copyright© 2010, Oracle. All rights reserved. 6
  7. 7. iSCSI とは?iSCSI のメリット• メリット – 導入コストの抑制 • 低価格な Ethernet アダプタを利用することが可能 • 既存のネットワーク資産を利用可能 – IP ネットワークとの統合 – ネットワーク監視 / 管理ツールを利用可能 • ストレージの問題解決にも利用できる – IP によるルーティングによる通信距離制限の緩和• 懸念点 – TCP/IP のオーバーヘッドによるパフォーマンスの不安 • ハードウェア処理による負荷の軽減が可能 (TCP Offload Engine) – ストレージ障害に加え、ネットワークの障害がつきまとう • パス冗長化などにて対策可能 Copyright© 2010, Oracle. All rights reserved. 7
  8. 8. Agenda• iSCSI とは?• iSCSI Boot とは?• iSCSI Boot の検証 (x86)• iSCSI Boot における Initiator の冗長化構成について• iSCSI Boot 構成の注意点 Copyright© 2010, Oracle. All rights reserved. 8
  9. 9. iSCSI Boot とは? iSCSI における重要なもの • iSCSI を利用するために押さえておくべき事柄 – iSCSI Initiator • SCSI コマンドを発行する役割を持つ – iSCS Target • Initiator から発行されたコマンドを処理する役割持つ – iSCSI Name (RFC 3721) • ノード識別や管理の為に利用される名前。 – iSCSI Qualified Name や iqn と呼ばれる – iSCSI Initiator/Target に割り当てられる名前 • 全世界で唯一であることが求められる iSCSI Name: iSCSI Name: iqn.1986-03.com.intel:s10u9 iqn.1986-03.com.sun:02:760428f9-f1fc-ed2f-9102-bf0e4e27eeb9 SCSI IP SCSIiSCSI Initiator コマンド / データ network レスポンス / データ iSCSI target Copyright© 2010, Oracle. All rights reserved. 9
  10. 10. iSCSI Boot とは?• ズバリ! iSCSI を利用したブート方法 – iSCSI Initiator が受けることが可能なサービス – iSCSI を利用することで • Target から提供されるストレージデバイスをローカルデバイス とすることが可能 • さらに、 boot device として利用するための技術 – ネットワークブートに似ているけど・・・ • 専用ブートサーバなどは必要なし – Oracle Solaris 10 9/10 にてサポート実態は iSCSI Target から提供される LUN LUN 0 IP LUN LUN LUN 0 1 2 iSCSI boot device network iSCSI target Initiator Copyright© 2010, Oracle. All rights reserved. 10
  11. 11. iSCSI Boot とは?• iSCSI Boot で重要になるのは・・・ – iSCSI Initiator と OS の対応可否 • Initiator 機能サポート = iSCSI Boot サポート ではないことに注意• iSCSI Target としては、特に要件はなし• 念の為、 Oracle Solaris の iSCSI Initiator 機能につい て確認してみる Copyright© 2010, Oracle. All rights reserved. 11
  12. 12. iSCSI Boot とは? Oracle Solaris における iSCSI Initiator 機能の実装iSCSI Initiator 機能OracleSolaris 10 1/06 Solaris 10 1/06 にて提供OracleSolaris 10 6/06 2TB 以上のディスクをサポート iSCSI logout support ● 再起動を必要としないターゲットの切り離し iSCSI Multiple session target (MS/T) ● マルチパス機能を利用するために必須 Internet Storage Name Service (iSNS) クライアントOracleSolaris 10 10/09 initiator 機能を SMF サービス化Oracle Initiator のチューナブルパラメータを実装Solaris 10 9/10 iSCSI Extensions for RDMA (iSER) のサポート ●Infiniband を利用した iSCSI 接続をサポート iSCSI boot をサポート Copyright© 2010, Oracle. All rights reserved. 12
  13. 13. iSCSI Boot とは? • Oracle Solaris 10 9/10 は iSCSI boot をサポート • なんか便利そうだけど・・・ちょっとまって?! – OS が起動していないのにどうやって target を見つけるの? – iSCSI Target に接続するにはどうするの? – Initiator の出番はどこから? – あれ?もしかして・・・ – もしかして・・・他に何か必要だったりします?ここからは、 x86 プラットフォームに特化した内容となります。 Copyright© 2010, Oracle. All rights reserved. 13
  14. 14. iSCSI Boot とは? iSCS Boot に必要となる特別なもの• iSCSI Initiator 機能を持つ特別なハードウェアが必要に! – iSCSI プロトコルスタックを持つ Ethernet アダプタ • iSCSI ホストバスアダプタ (iSCSI HBA) と呼ばれる – HBA が持つ firmware に initiator 機能が搭載されているもの • firmware に Target 情報を設定可能 – firmware は、 iSCSI Boot Firmware Table (iBFT) と呼ばれるブ ロックに情報を格納する – OS が起動する前に iSCSI Target を認識することが可能 – 面倒な部分は firmware が解決してくれる • iBFT に対応した OS であれば、起動時に iBFT の情報を受け取り 自動的に構成する – ちょっと高価そうなデバイスですね・・・ Copyright© 2010, Oracle. All rights reserved. 14
  15. 15. iSCSI Boot とは?こんなものが iSCSI HBA に• Oracle Solaris 10 における iSCSI boot の要件を満たして いるものは・・・ – Intel Gigabit Server Adapter ( さらに PCI-Express モノに限る ) • しかし、ほとんどの場合 firmware の書き換えが必要 • そのため、 Oracle 製品で iSCSI boot に対応しているものは、 Intel 製 10GbE NIC のみです・・・• そこで・・・ Copyright© 2010, Oracle. All rights reserved. 15
  16. 16. iSCSI Boot とは?やってみました• 量販店で購入可能な低価格 NIC を iSCSI HBA に – 狙うは、 Intel Gigabit CT Desktop Adapter • http://www.intel.com/products/desktop/adapters/gigabit-ct/gigabit-ct-overview.htm – Intel® 82574L Gigabit Ethernet Controller • 3,500 円 ( 実売価格 ) の投資で iSCSI HBA を入手可能に • Oracle Solaris 10 の要件を満たした iBFT 対応 HBA に – Intel iSCSI Remote Boot 機能にて実現 • Intel CT Desktop Adapter の iSCSI HBA 化は、 Intel としてはサポート• 自己責任でお願いします! Copyright© 2010, Oracle. All rights reserved. 16
  17. 17. iSCSI Boot とは?Intel iSCSI Remote Boot 情報• Intel Gigabit Ethernet Adapter の iSCSI HBA 化 – Intel® iSCSI Remote Boot • http://www.intel.com/p/en_US/support/highlights/network/iscsi • Intel(R) Ethernet Connections Boot Utility,​ Preboot images,​ and EFI Drivers 15.6 をダウンロード • マニュアルに詳細な説明あり – Intel iSCSI Remote Boot Utility Users Guide http://downloadcenter.intel.com/Detail_Desc.aspx?agr=Y&DwnldID=11848&ProdId=2840&lang=jpn – インテル ® iSCSI Remote Boot ユーザガイド http://supportapj.dell.com/support/edocs/network/IntelPRO/R231521/ja/iscsi/index.htm• 次世代の Intel Gigabit NIC は、 iSCSI Remote Boot を標準でサポート – Intel® Gigabit ET/ET2/EF Server Adapter など Copyright© 2010, Oracle. All rights reserved. 17
  18. 18. Agenda• iSCSI とは?• iSCSI Boot とは?• iSCSI Boot の検証 (x86)• iSCSI Boot における Initiator の冗長化構成について• iSCSI Boot 構成の注意点 Copyright© 2010, Oracle. All rights reserved. 18
  19. 19. iSCSI Boot の検証 iSCSI Name: iqn.2010-11.com.oracle:s10u9検証の構成情報• 1 つの Target と 1 つの Initiatro diskless Initiator Node による 1:1 のシンプルな構成 Oracle Solaris 10 – Initiator は Target の LUN 0 を iSCSI Initiator 利用する iSCSI HBA iBFT – 冗長化構成などは考慮しない 192.168.200.100 Intel CT Desktop Adapter• iSCSI Target – OpenSolaris の Switch COMSTAR iSCSI Target を用意 192.168.200.10 – 30 G の容量を持つ LUN を LUN 0 として提供する LUN iSCSI Target 0 Storage Node iSCSI Name: iqn.1986-03.com.sun:02:760428f9-f1fc-ed2f-9102-bf0e4e27eeb9 Copyright© 2010, Oracle. All rights reserved. 19
  20. 20. iSCSI Boot の検証 iSCS Boot に必要な情報iSCSI Target 情報 例iSCSI Target Name iqn.1986-03.com.sun:02:760428f9-f1fc-ed2f-9102-bf0e4e27eeb9 ※iSCSI Target 機器上にて確認してくださいIP address/netmask 192.168.200.10/255.255.255.0gateway iSCSI Target へアクセスするために利用する gateway の IPLUN Target が提供する LUN 番号 : 0 ※iSCSI Target 機器上にて確認してくださいPort iSCSI プロトコルに利用するポート番号。通常は 3260iSCSI Initiator 情報 例iSCSI Initiator Name iqn.2010-11.com.oracle:s10u9 ( 手動にて生成 ) ※Initiator 用 iqn 自動生成機能がないため、手動で設定する必要あり ※ Target によっては、 iqn 識別子の命名規則に従った値でなければ ※接続が拒否される場合がある (COMSTAR Target など )IP address/netmask 192.168.200.100/255.255.255.0 ※OS 起動後は、この情報を元に NIC として構成される Copyright© 2010, Oracle. All rights reserved. 20
  21. 21. iSCSI Boot の検証iSCSI HBA の設定について• Intel iSCSI Remote Boot(firmware) の設定 – システム起動時に「 Ctrl + D 」にて firmware 設定画面に – 利用する Port を選択 • BOOT:DISABLED になっている場合 – 「 P 」キー押下により BOOT:PRIMARY に変更 Copyright© 2010, Oracle. All rights reserved. 21
  22. 22. iSCSI Boot の検証iSCSI HBA の設定について• Target と Initiator の構成情報を入力 – 今回の検証では静的に値を設定 Initiator の設定 iqn.2010-11.com.oracl. 192.168.200.100______ 255.255.255.0_______ ___________________ iqn.1986-03.com.sun.. 192.168.200.10______ 3260______________ 0_________________ Target の設定 Copyright© 2010, Oracle. All rights reserved. 22
  23. 23. iSCSI Boot の検証 iSCSI HBA の動作確認Target 情報 Initiator 情報ディスク情報 設定に間違いがなければこのようにディスクとして認識する Copyright© 2010, Oracle. All rights reserved. 23
  24. 24. iSCSI Boot の検証iSCSI Boot 環境を構築するためのインストールの流れ• インストール時は、インストールメディアを利用した 起動およびインストール方法 – PXE boot によるネットワークインストールでも可 • iSCSI HBA は PXE boot device として利用できない – Firmware 書き換えにより PXE boot 機能を持たない為• iSCSI Boot を考慮した特別なインストール手順などは 必要なく、通常のインストールプロセスと同様 – 若干の注意事項あり• iSCSI HBA が提供する iBFT により、ほぼハードウェ アレベルでの準備をしてくれる Copyright© 2010, Oracle. All rights reserved. 24
  25. 25. iSCSI Boot の検証インストールにおける注意事項• iSCSI HBA はネットワークインターフェースとして構成 – iSCSI HBA が NIC として認識され、さらに自動構成される • Firmware に設定した Initiator 設定値が利用され構成される • この設定は変更しない – IP アドレスなどを変更する場合は、 OS および Firmware の値を一致させるようにする• インストール先となるディスク名が長い – cXtXdX の t (Target) 部分に GUID が利用されるため – c0t600144F05A8C0E0000004CC284780001d0s2 • GUID は iSCSI Target が提供する• 上記以外は、特に大きな変更はなし Copyright© 2010, Oracle. All rights reserved. 25
  26. 26. iSCSI Boot の検証インストールにおける注意事項• このディスクデバイスに OS がインストールされる• 再起動後、 iSCSI 経由で OS が起動 (iSCSI Boot) Copyright© 2010, Oracle. All rights reserved. 26
  27. 27. iSCSI Boot の検証 起動 • iSCSI Initiator 上での情報確認 – iscsiadm コマンド # iscsiadm list target ­vS                        Target: iqn.1986­03.com.sun:02:760428f9­f1fc­ed2f­9102­bf0e4e27eeb9         Alias: ­ • target の管理         TPGT: 1         ISID: 4000002a0001         Connections: 1 • target の情報採取                CID: 0                   IP address (Local): 192.168.200.111:32841                   IP address (Peer): 192.168.200.10:3260 • パラメータの変更                   Discovery Method: Static                    Login Parameters (Negotiated):                         Data Sequence In Order: yes# iscsiadm list initiator­node                                            Data PDU In Order: yesInitiator node name: iqn.2010­11.com.oracle:s10u9                         Default Time To Retain: 20Initiator node alias: ­                         Default Time To Wait: 2        Login Parameters (Default/Configured):                         Error Recovery Level: 0                Header Digest: NONE/­                         First Burst Length: 65536                Data Digest: NONE/­                         Immediate Data: yes        Authentication Type: NONE                         Initial Ready To Transfer (R2T): yes        RADIUS Server: NONE                         Max Burst Length: 262144        RADIUS access: unknown                         Max Outstanding R2T: 1                         Max Receive Data Segment Length: 32768        Tunable Parameters (Default/Configured):                         Max Connections: 1                Session Login Response Time: 60/­                         Header Digest: NONE                Maximum Connection Retry Time: 180/­                         Data Digest: NONE                Login Retry Time Interval: 60/­        Configured Sessions: 2         LUN: 0              Vendor:  SUN                   Product: COMSTAR                       OS Device Name: /dev/rdsk/c0t600144F05A8C0E0000004CC284780001d0s2 Copyright© 2010, Oracle. All rights reserved. 27
  28. 28. iSCSI Boot の検証起動• demo Copyright© 2010, Oracle. All rights reserved. 28
  29. 29. iSCSI Boot とは?iSCSI Boot のメリット• 内蔵ディスクが不要に – 管理コスト、消費電力を削減 – 起動ディスクの自由度ある設計が可能に• OS プロビジョニングの多様化 – 仮想環境におけるゲスト OS の起動ディスクに • ネットワークに接続しているだけで• ストレージベースが提供する機能が使用可能に – RAID 機能で、性能、および可用性の向上 • スナップショット機能で、ブートディスクのバックアップ が容易かつ高速に • 複製機能で、複数台のインストール作業を短縮 • 筐体間コピー機能等で、災害対策環境の構築• iSCSI のメリットを存分に引き出す Copyright© 2010, Oracle. All rights reserved. 29
  30. 30. Agenda• iSCSI とは?• iSCSI Boot とは?• iSCSI Boot の検証 (x86)• iSCSI Boot における Initiator の冗長化構成について• iSCSI Boot 構成の注意点 Copyright© 2010, Oracle. All rights reserved. 30
  31. 31. iSCSI Boot における Initiator の冗長化構成について冗長化の必要性• iSCSI は、 TCP/IP を利用するプロトコル – ネットワークで起こる問題は、 iSCSI の障害要因に • NIC やスイッチの故障、断線などいろいろ• さらに iSCSI は SCSI デバイスを扱っているのと同等 – iSCSI Target から提供される LUN への冗長化も考慮する必 要がある• ネットワークと SCSI デバイスの冗長化が必要に Copyright© 2010, Oracle. All rights reserved. 31
  32. 32. iSCSI Boot における Initiator の冗長化構成について簡単な冗長化構成の例• Initiator 側は 2 つの NIC を持ち Initiator Node 1 つの iSCSI Target へのネット Oracle Solaris 10 ワークと LUN へのパスを 冗長化構成にする iSCSI Initiator iSCSI HBA iBFT NIC この部分の冗長化を 考えてみる IP Network• iSCSI Target は Active/Standby 192.168.200.10 によるパスの冗長化を提供して LUN iSCSI Target いるストレージと仮定 0 Storage Node Copyright© 2010, Oracle. All rights reserved. 32
  33. 33. iSCSI Boot における Initiator の冗長化構成について冗長化が必要な部分• IP Layer と SCSI Layer の failover 機構が必要に – ネットワークの冗長化 • IP Layer の冗長化 – IPMP 機能によるネットワーク・パスの冗長化 – LUN へのパス冗長化 • SCSI Layer の冗長化 – iSCSI MS/T に SCSI Layer の冗長化 • iSCSI Multi Session Per Target• IPMP+iSCSI MS/T で冗長化を構成することが可能 Copyright© 2010, Oracle. All rights reserved. 33
  34. 34. iSCSI Boot における Initiator の冗長化構成について IPMP による IP Layer の冗長化 • IPMP を利用した IP Layer の冗長化 – iSCSI HBA とは異なる NIC を追加で用意 – /etc/hostname.e1000g0 (iSCSI HBA) • 192.168.200.100 netmask + broadcast + group ipmp0 up – /etc/hostname.e1000g1 ( 追加 NIC) • group ipmp0 up – 再起動で IPMP リンクベース障害検出機能が有効になる# ifconfig ­ae1000g0: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 1        inet 192.168.200.100 netmask ffffff00 broadcast 192.168.200.255        groupname ipmp0        ether 0:1b:21:76:f:a1 e1000g1: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 3        inet 0.0.0.0 netmask ff000000 broadcast 0.255.255.255        groupname ipmp0        ether 0:1b:21:77:81:32  Copyright© 2010, Oracle. All rights reserved. 34
  35. 35. iSCSI Boot における Initiator の冗長化構成についてIPMP による IP Layer の冗長化• NIC の疑似障害によるインターフェースの failover – IPMP の機能により、追加 NIC(e1000g1) の論理インター フェースが作成され failover が完了する• e1000g0 (iSCSI HBA) に疑似障害を発生# if_mpadm ­d e1000g0# ifconfig ­ae1000g0: flags=89000842<BROADCAST,RUNNING,MULTICAST,IPv4,NOFAILOVER,OFFLINE> mtu 0 index 1        inet 0.0.0.0 netmask 0         groupname ipmp0        ether 0:1b:21:76:f:a1 e1000g1: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 3        inet 0.0.0.0 netmask ff000000 broadcast 0.255.255.255        groupname ipmp0        ether 0:1b:21:77:81:32 e1000g1:1: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 3        inet 192.168.200.100 netmask ffffff00 broadcast 192.168.200.255 Copyright© 2010, Oracle. All rights reserved. 35
  36. 36. iSCSI Boot における Initiator の冗長化構成について iSCSI MS/T を利用した SCSI Layer の冗長化 • iSCSI MS/T を利用した scsi device layer の冗長化 – initiator から複数のセッションを 1 つの Target(group) に張る • 内部的に multipath 機能が有効に # iscsiadm modify initiator­node ­c 2 設定可能なセッション数 : 1 - 4iscsi: [ID 240218 kern.notice] NOTICE: iscsi session(13)  iqn.1986­03.com.sun:02:760428f9­f1fc­ed2f­9102­bf0e4e27eeb9 onlinegenunix: [ID 834635 kern.info] /scsi_vhci/disk@g600144f05a8c0e0000004cc284780001  (sd0) multipath status: optimal, path /iscsi (iscsi0) to target address:  0004iqn.1986­03.com.sun:02:760428f9­f1fc­ed2f­9102­bf0e4e27eeb90001,0  is online Load balancing: round­robingenunix: [ID 834635 kern.info] /scsi_vhci/disk@g600144f05a8c0e0000004cc284780001  (sd0) multipath status: degraded, path /iscsi (iscsi0) to target address:  0000iqn.1986­03.com.sun:02:760428f9­f1fc­ed2f­9102­bf0e4e27eeb90001,0  is offline Load balancing: round­robiniscsi: [ID 328943 kern.notice] NOTICE: iscsi session(10)  iqn.1986­03.com.sun:02:760428f9­f1fc­ed2f­9102­bf0e4e27eeb9 offline Copyright© 2010, Oracle. All rights reserved. 36
  37. 37. iSCSI Boot における Initiator の冗長化構成についてiSCSI MS/T を利用した SCSI Layer の冗長化• iSCSI MS/T 無効時 – Path Count の変化に注目 # mpathadm list lu                                        /dev/rdsk/c0t600144F05A8C0E0000004CC284780001d0s2                 Total Path Count: 2                 Operational Path Count: 1 この状態では、ネットワーク側の冗長化は機能しているが iSCSI Target へのセッションが 1 つであるため failover に失敗する• iSCSI MS/T 有効時 – Path Count の変化に注目 # mpathadm list lu                                        /dev/rdsk/c0t600144F05A8C0E0000004CC284780001d0s2                 Total Path Count: 3                 Operational Path Count: 2 Path Count が増え、 iSCSI Target へのセッションが 2 つになる この状態になることで、 failover が可能になる Copyright© 2010, Oracle. All rights reserved. 37
  38. 38. iSCSI Boot における Initiator の冗長化構成について MS/T によるセッションの確認# iscsiadm list target ­S (­v を追加することで、詳細を出力 )Target: iqn.1986­03.com.sun:02:760428f9­f1fc­ed2f­9102­bf0e4e27eeb9        Alias: ­        TPGT: 1 セッションが1つ増えたことにより        ISID: 4000002a0001        Connections: 1 新たなセッション ID が生成される        LUN: 0             Vendor:  SUN                  Product: COMSTAR          ※ 追加されたセッション情報             OS Device Name: /dev/rdsk/c0t600144F05A8C0E0000004CC284780001d0s2Target: iqn.1986­03.com.sun:02:760428f9­f1fc­ed2f­9102­bf0e4e27eeb9        Alias: ­        TPGT: 1        ISID: 4000002a0000        Connections: 1 ISID = Initiator Session ID        LUN: 0             Vendor:  SUN                  Product: COMSTAR          ※ 既存のセッション情報             OS Device Name: /dev/rdsk/c0t600144F05A8C0E0000004CC284780001d0s2 Copyright© 2010, Oracle. All rights reserved. 38
  39. 39. iSCSI Boot における Initiator の冗長化構成について MS/T• iSCSI Initiator 側の Initiator Node Oracle Solaris 10 冗長構成は、 scsi_vhci – 2 つの Layer を考慮する iSCSI Initiator 必要がある iSCSI IPMP iBFT NIC• iSCSI Target (Storage HBA Node 側 ) の構成により 冗長化構成の設計 IPMP IP を考慮する必要あり Network 192.168.200.10 LUN iSCSI Target 0 Storage Node Copyright© 2010, Oracle. All rights reserved. 39
  40. 40. Agenda• iSCSI とは?• iSCSI Boot とは?• iSCSI Boot の検証 (x86)• iSCSI Boot における Initiator の冗長化構成について• iSCSI Boot 構成の注意点 Copyright© 2010, Oracle. All rights reserved. 40
  41. 41. iSCSI Boot 構成の注意点• iSCSI MC/S(Multi Connection per session) は未実装 – 複数の iSCSI HBA からのコネクションを一つのセッションと して扱うことができる機能 – iSCSI Target/Initiator に実装する必要がある • COMSTAR Target は実装済み • 残すは、 Initiator の対応のみ!• dladm (Link Aggregation) を利用することはできない – iSCSI boot 用のインターフェースとして使われているため aggregation interface として登録できない • 登録するには使われていない状態 (unplumb) 必須• dump device として利用できない – panic 時のネットワーク疎通が確保できないため Copyright© 2010, Oracle. All rights reserved. 41
  42. 42. 参考情報• Storage Administration Information http://wikis.sun.com/display/OpenSolarisInfo/Storage+Administration+Information• OpenSolaris Project: e1000g driver source code http://cvs.opensolaris.org/source/xref/onnv/onnv-gate/usr/src/uts/common/io/e1000g/• iSCSI Boot in Solaris with iBFT/OBP http://arc.opensolaris.org/caselog/PSARC/2008/427/• iSCSI Boot in Solaris with iBFT/OBP (new) http://arc.opensolaris.org/caselog/PSARC/2010/011/• ターゲットの複数の iSCSI セッションを有効にする方法 http://docs.sun.com/app/docs/doc/819-0386/gcawf?a=view• solaris tip of the week: iscsi failover with COMSTAR http://blogs.sun.com/jayd/entry/iscsi_failover_with_comstar• Solaris のシステム管理 (IP サービス ) - 第 30 章 IPMP の紹介 ( 概要 ) http://docs.sun.com/app/docs/doc/819-0380/ipmptm-1?l=ja&a=view• Solaris のシステム管理 ( デバイスとファイルシステム ) 第 14 章 Oracle Solaris iSCSI ターゲットおよびイニシエータの構成 ( 手順 ) http://docs.sun.com/app/docs/doc/819-0386/fmvcd?l=ja&a=view• Copyright© 2010, Oracle. All rights reserved. 42
  43. 43. <Insert Picture Here>Appendix
  44. 44. おまけOracle Solaris における iSCSI の実装• iSCSI Target 機能 – ソフトウェアによるターゲット機能を提供 • Oracle Solaris 10 8/07 にてサポート – Solaris 10 5/09 で 100 以上の問題を修正 – ZFS との連携 (shareiscsi プロパティ ) – Solaris 以外の initiator との接続もサポート • Linux, VMWare, Windows, Mac OS X など – Oracle Solaris 11 では大規模改修を予定 – 新しい実装として提供予定 • COMSTAR Framework を用いた kernel レベルでの実装に • パフォーマンスが向上 – お楽しみに! Copyright© 2010, Oracle. All rights reserved. 44
  45. 45. おまけx86 と SPARC サーバの iSCSI Boot 実装について• platform による実装の違い – x86 • NIC が持つ firmware 機能に依存 – iBFT(iSCSI Boot Firmware Table) を利用し、 OS 側に 情報を引き渡す仕組みを利用 – OS および NIC Hardware 双方の対応が必要 – SPARC • OBP (OpenBootPROM) への iSCSI initiator stack の実装 – iBFT のような NIC Hardware の機能は利用しない – UltraSPARC-T2 以降の sun4v システムをサポート予定 – 実装された OBP は現時点では提供されていない Copyright© 2010, Oracle. All rights reserved. 45
  46. 46. Copyright© 2010, Oracle. All rights reserved. 46
  47. 47. 47
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×