© 2016 IIJ Global Solutions Inc. 1
株式会社IIJグローバルソリューションズ
フランちゃんウフフなシステムエンジニア
おおかわ かずひと
Nutanixを導入してみて思ったこと(仮)
Nutanix Community Meetup #10
© 2016 IIJ Global Solutions Inc. 2
本日の内容
1.自己紹介 / 会社紹介
2.はじめに
3.導入前に考えておくこと
4.導入作業をしてみて
5.導入その後
6.まとめ
7.会場限定笑い話
© 2016 IIJ Global Solutions Inc. 3
1. 自己紹介
© 2016 IIJ Global Solutions Inc. 4
おおかわ かずひと 0x21歳
• @SatchanP (意識低い系)
• IIJグローバルソリューションズ アカウントSE
• プリ & ポストセールス 設計 構築 運用 障害対応
なんでも屋
• ウェブ系インフラエンジニア(Kauli株式会社)からSEへ転向
• 得意言語 : C Perl Python
• 苦手言語 : Java Ruby
• 二次属性 : アイマス (やよい 真美)
: 東方 (フランちゃん 咲夜さん)
: 艦これ (Верный 響)
• 趣味 : 自動車ラリー 参考画像 →
: 自転車
: ダム巡り ダムカード集め
• レイヤー0からどこまでも上までなんでもござれ
自己(事故)紹介
© 2016 IIJ Global Solutions Inc. 5
• 株式会社 IIJグローバルソリューションズ
• インターネットイニシアティブ 100%持ち株子会社
• もともとIBMのNW部門
• 法人向けネットワークインテグレーションが強み
• 新たな事業の柱として基盤まるごとやることに
• 手を動かせるサーバ得意なエンジニアがまだ数名
• 現場では2年目新人とがんばってコンビで日々奮闘中
軽く会社紹介
© 2016 IIJ Global Solutions Inc. 6
2. はじめに
© 2016 IIJ Global Solutions Inc. 7
• 国内のNutanix導入事例だけは増えてきた
• みんな笑顔でロクロを回してる写真に絶賛するテキスト付き
• 現場の本音的にどうなの?って情報がない
(笑顔の人たちは自分らで設置、設定していない?)
• 実際導入作業をしてみて、Nutanixは楽だし早かった
• けども苦労したこともあったし、元々のスキルセットがあっ
て助かったことも
• Nutanixは素晴らしい製品なのでミスマッチをなくしたい
• 現場の意見として今日は話します
Nutanix 流行ってますね
© 2016 IIJ Global Solutions Inc. 8
• 導入前各種検証
• キッティング、ラッキング、ケーブリング
• CVM初期設定変更(設定が間に合わなかったIPの変更)
• VMware vCenter / ESXi設定、クラスタ構築
• 仮想化基盤構築(VDI)
• 各種テスト
• ドキュメント作成
担当した作業
© 2016 IIJ Global Solutions Inc. 9
• Foundation
• ESXi初期設定
• CVM初期設定
• 上記テスト
ベンダーさんにやってもらったこと
© 2016 IIJ Global Solutions Inc. 10
3. 導入前に考えておくこと
© 2016 IIJ Global Solutions Inc. 11
• NutanixはSoftware実装の分散仮想ストレージ
• OSはLinuxでCassandraと管理ツール群で構成されている
• 研修ちょっと行ってPrismこねくり回せる程度では不十分
何かあったらviが使えないとなにもできない
マニュアルに書いてあるコマンドの挙動の予測、把握
想定外の事態でのリカバリーの知識と経験
• 必ずリモートサポートが受けられる環境とは限らない
• Node交換等、高度な作業はPrismだけでは不可能
• UIや箱の見た目に騙されない、本体はあくまでLinuxとDAS
のIAサーバ
Linux をしっかり使える人がいたほうが断然有利
© 2016 IIJ Global Solutions Inc. 12
• 各社まだ扱い始めたばかり
• Nutanixに対するやる気、練度、ナレッジ、各社バラバラ
• 出荷前の動作テストもまちまち
• 製品として仕上げる品質はセットアップするベンダー次第
• 高くてもちゃんとしたエンジニアが社内にいるところから買
いましょう
ベンダー選定は慎重に
© 2016 IIJ Global Solutions Inc. 13
• 「VMwareは高い」という要望からHyper-Vの検証を実施
結果 : CVMがちゃんと動かず残念な結果に
• Hyper-VのSCSIアダプタがCVMカーネルのSCSIコマンド
を正常に解釈できないバグを踏んだっぽい
(https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1445195)
-> 最近のLinuxカーネルで対策済み
検証当時のNOSではバグ内臓バージョンのカーネルのみ
バックポート or パッチの捜索中にさくっと断念
(高いのに↑こんなことまでして使うものではない…)
(あとServer Coreしか正式サポートしてないとか…)
ハイパーバイザ選びも大事
© 2016 IIJ Global Solutions Inc. 14
• Nutanixは他社ストレージに比べると割安
とはいっても割高…、しかし最低限検証環境は用意したい
-> 本番でいきなりクリティカルな作業をしたくない
-> サポート資料を作るのに実際に動くPrismが欲しい
-> Nutanix人気の高まりですぐに検証機がでてこない
• Nutanix CEで検証環境を自宅に構築
転がってたパソコンをかき集めて、4台クラスタを構築
• IntelVT/AMD-Vが乗ってればどんな環境でも大体動作
でもメモリは多め、SSDもあるといいです…
-> メモリ16Gっすよね!(@smzksts)
検証環境を用意する
© 2016 IIJ Global Solutions Inc. 15
• 運用面を考えると、不具合対応の手間など最新版は怖い
• ストレージだしパフォーマンスと機能より安定性を重視した
い
• 遊ぶならNutanix CEで
• 高いストレージアプライアンスでもファームがバグだらけな
んだから、余計にバクだらけや! ←多少偏見
-> 一個前くらいのほうが安定してていいよ(@shmza)
• Cassandraで過去に苦い経験
NOSは最新より安定版で
© 2016 IIJ Global Solutions Inc. 16
4. 導入作業をしてみて
© 2016 IIJ Global Solutions Inc. 17
• 短納期だったため仮IPでNutanixのセットアップを依頼
• 現場で変更しようとしたところ、マニュアルにあったウェブ
ツールでの変更手順が意図した通りに動作せず
• 設定ファイルを手で書き換える手動手順で変更してうまく
いった
• ウェブツールの手順にこだわりハマること半日、手動で30分
で完了
-> 普通はそんなことしない(@shmza)
CVMのIP変更に手間取った
© 2016 IIJ Global Solutions Inc. 18
• 2U4Nodeの高集積サーバ、I/Oポートは非統合
• ケーブルの種類、本数が多い
例) 10G-SR x2, 1GBase-T x2, IPMI, VGA, USB, 電源
↑がノード分
• ケーブリングが多少手間
• 仮想基盤触っててここだけブレードが優秀だと思う
ケーブリングが面倒
© 2016 IIJ Global Solutions Inc. 19
• 作業中に隣でスイッチの再起動をいきなりされても問題な
かった
• 「あっ」と思ってもそのあとふわっともどってくる
• Datastore が増えてくるとNutanixクラスタの再構成に30
分くらい必要
-> RAIDの再構築考えれば十分早い(@shmza)
Nutanixクラスターは割と頑丈
© 2016 IIJ Global Solutions Inc. 20
• 3日で現地作業完了
キッティング、ラッキング、ケーブリング(1日目)
CVM、IPMI、ESXi IP変更、ESXi設定(2日目)
vCenterインストールと設定、簡易的な単体テスト(3日目)
• IPの変更がなければNutanixは電源入れるだけで使える状態
• 納期は手元に来るまで3週間ちょっと
-> 今はもうちょっとかかる(@shmza)
かかった日数
© 2016 IIJ Global Solutions Inc. 21
5. 導入その後
© 2016 IIJ Global Solutions Inc. 22
• 物理共有ストレージとは異なり、各ノードにデータが分散し
ているため、手軽に交換できない
(vMotion -> 物理ホスト交換とか)
• ノードを交換した場合MACアドレスが変わるため、クラスタ
から削除、追加という手順に
-> NICが壊れないかぎりパーツごとの交換が可能
(@shmza)
• オペレーションミスや正常に復旧しないリスクは物理共有ス
トレージより高め(慣れればなんくるない)
• 一部停止メンテナンスの際はデータ保護の耐障害性が下がる
リスク
-> 30分通信できないとクラスタが死んだとみなされるよ
(@shmza)
ノード、ブロック障害に備える
© 2016 IIJ Global Solutions Inc. 23
• いくらNutanixの拡張性が高いからといって、なにも考えず
にNWを水平拡張していくと必ず破綻する
• 仮想ネットワークやSDNを利用した効率的で柔軟性のある設
計をはじめから考慮して作っておく
• -> 公式にネットワーク構築ガイドがあるよ(@shmza)
拡張性を考慮したネットワーク設計
© 2016 IIJ Global Solutions Inc. 24
6. まとめ
© 2016 IIJ Global Solutions Inc. 25
• ストレージを1から勉強するのに比べたら学習コストは激安
• リアルに届いて配線すればすぐ使える
• 手になじんだSupermicroのサーバが中身
• ハードウェアでの冗長性はあまりアテにするものではない
• ちょっと値段が高い…
• コストは激減
• 拡張性、HWリソースの選択肢の多さ
• 変なところに買収されないか心配
Nutanix大好き
© 2016 IIJ Global Solutions Inc. 26
7. 会場限定の話
© 2016 IIJ Global Solutions Inc. 27
ご清聴ありがとうございました
お問い合わせ先 株式会社IIJグローバルソリューションズ
TEL: 03-6777-5700
info@iijglobal.co.jp
http://www.iijglobal.co.jp/

Nutanixを導入してみて思ったこと(仮)

  • 1.
    © 2016 IIJGlobal Solutions Inc. 1 株式会社IIJグローバルソリューションズ フランちゃんウフフなシステムエンジニア おおかわ かずひと Nutanixを導入してみて思ったこと(仮) Nutanix Community Meetup #10
  • 2.
    © 2016 IIJGlobal Solutions Inc. 2 本日の内容 1.自己紹介 / 会社紹介 2.はじめに 3.導入前に考えておくこと 4.導入作業をしてみて 5.導入その後 6.まとめ 7.会場限定笑い話
  • 3.
    © 2016 IIJGlobal Solutions Inc. 3 1. 自己紹介
  • 4.
    © 2016 IIJGlobal Solutions Inc. 4 おおかわ かずひと 0x21歳 • @SatchanP (意識低い系) • IIJグローバルソリューションズ アカウントSE • プリ & ポストセールス 設計 構築 運用 障害対応 なんでも屋 • ウェブ系インフラエンジニア(Kauli株式会社)からSEへ転向 • 得意言語 : C Perl Python • 苦手言語 : Java Ruby • 二次属性 : アイマス (やよい 真美) : 東方 (フランちゃん 咲夜さん) : 艦これ (Верный 響) • 趣味 : 自動車ラリー 参考画像 → : 自転車 : ダム巡り ダムカード集め • レイヤー0からどこまでも上までなんでもござれ 自己(事故)紹介
  • 5.
    © 2016 IIJGlobal Solutions Inc. 5 • 株式会社 IIJグローバルソリューションズ • インターネットイニシアティブ 100%持ち株子会社 • もともとIBMのNW部門 • 法人向けネットワークインテグレーションが強み • 新たな事業の柱として基盤まるごとやることに • 手を動かせるサーバ得意なエンジニアがまだ数名 • 現場では2年目新人とがんばってコンビで日々奮闘中 軽く会社紹介
  • 6.
    © 2016 IIJGlobal Solutions Inc. 6 2. はじめに
  • 7.
    © 2016 IIJGlobal Solutions Inc. 7 • 国内のNutanix導入事例だけは増えてきた • みんな笑顔でロクロを回してる写真に絶賛するテキスト付き • 現場の本音的にどうなの?って情報がない (笑顔の人たちは自分らで設置、設定していない?) • 実際導入作業をしてみて、Nutanixは楽だし早かった • けども苦労したこともあったし、元々のスキルセットがあっ て助かったことも • Nutanixは素晴らしい製品なのでミスマッチをなくしたい • 現場の意見として今日は話します Nutanix 流行ってますね
  • 8.
    © 2016 IIJGlobal Solutions Inc. 8 • 導入前各種検証 • キッティング、ラッキング、ケーブリング • CVM初期設定変更(設定が間に合わなかったIPの変更) • VMware vCenter / ESXi設定、クラスタ構築 • 仮想化基盤構築(VDI) • 各種テスト • ドキュメント作成 担当した作業
  • 9.
    © 2016 IIJGlobal Solutions Inc. 9 • Foundation • ESXi初期設定 • CVM初期設定 • 上記テスト ベンダーさんにやってもらったこと
  • 10.
    © 2016 IIJGlobal Solutions Inc. 10 3. 導入前に考えておくこと
  • 11.
    © 2016 IIJGlobal Solutions Inc. 11 • NutanixはSoftware実装の分散仮想ストレージ • OSはLinuxでCassandraと管理ツール群で構成されている • 研修ちょっと行ってPrismこねくり回せる程度では不十分 何かあったらviが使えないとなにもできない マニュアルに書いてあるコマンドの挙動の予測、把握 想定外の事態でのリカバリーの知識と経験 • 必ずリモートサポートが受けられる環境とは限らない • Node交換等、高度な作業はPrismだけでは不可能 • UIや箱の見た目に騙されない、本体はあくまでLinuxとDAS のIAサーバ Linux をしっかり使える人がいたほうが断然有利
  • 12.
    © 2016 IIJGlobal Solutions Inc. 12 • 各社まだ扱い始めたばかり • Nutanixに対するやる気、練度、ナレッジ、各社バラバラ • 出荷前の動作テストもまちまち • 製品として仕上げる品質はセットアップするベンダー次第 • 高くてもちゃんとしたエンジニアが社内にいるところから買 いましょう ベンダー選定は慎重に
  • 13.
    © 2016 IIJGlobal Solutions Inc. 13 • 「VMwareは高い」という要望からHyper-Vの検証を実施 結果 : CVMがちゃんと動かず残念な結果に • Hyper-VのSCSIアダプタがCVMカーネルのSCSIコマンド を正常に解釈できないバグを踏んだっぽい (https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1445195) -> 最近のLinuxカーネルで対策済み 検証当時のNOSではバグ内臓バージョンのカーネルのみ バックポート or パッチの捜索中にさくっと断念 (高いのに↑こんなことまでして使うものではない…) (あとServer Coreしか正式サポートしてないとか…) ハイパーバイザ選びも大事
  • 14.
    © 2016 IIJGlobal Solutions Inc. 14 • Nutanixは他社ストレージに比べると割安 とはいっても割高…、しかし最低限検証環境は用意したい -> 本番でいきなりクリティカルな作業をしたくない -> サポート資料を作るのに実際に動くPrismが欲しい -> Nutanix人気の高まりですぐに検証機がでてこない • Nutanix CEで検証環境を自宅に構築 転がってたパソコンをかき集めて、4台クラスタを構築 • IntelVT/AMD-Vが乗ってればどんな環境でも大体動作 でもメモリは多め、SSDもあるといいです… -> メモリ16Gっすよね!(@smzksts) 検証環境を用意する
  • 15.
    © 2016 IIJGlobal Solutions Inc. 15 • 運用面を考えると、不具合対応の手間など最新版は怖い • ストレージだしパフォーマンスと機能より安定性を重視した い • 遊ぶならNutanix CEで • 高いストレージアプライアンスでもファームがバグだらけな んだから、余計にバクだらけや! ←多少偏見 -> 一個前くらいのほうが安定してていいよ(@shmza) • Cassandraで過去に苦い経験 NOSは最新より安定版で
  • 16.
    © 2016 IIJGlobal Solutions Inc. 16 4. 導入作業をしてみて
  • 17.
    © 2016 IIJGlobal Solutions Inc. 17 • 短納期だったため仮IPでNutanixのセットアップを依頼 • 現場で変更しようとしたところ、マニュアルにあったウェブ ツールでの変更手順が意図した通りに動作せず • 設定ファイルを手で書き換える手動手順で変更してうまく いった • ウェブツールの手順にこだわりハマること半日、手動で30分 で完了 -> 普通はそんなことしない(@shmza) CVMのIP変更に手間取った
  • 18.
    © 2016 IIJGlobal Solutions Inc. 18 • 2U4Nodeの高集積サーバ、I/Oポートは非統合 • ケーブルの種類、本数が多い 例) 10G-SR x2, 1GBase-T x2, IPMI, VGA, USB, 電源 ↑がノード分 • ケーブリングが多少手間 • 仮想基盤触っててここだけブレードが優秀だと思う ケーブリングが面倒
  • 19.
    © 2016 IIJGlobal Solutions Inc. 19 • 作業中に隣でスイッチの再起動をいきなりされても問題な かった • 「あっ」と思ってもそのあとふわっともどってくる • Datastore が増えてくるとNutanixクラスタの再構成に30 分くらい必要 -> RAIDの再構築考えれば十分早い(@shmza) Nutanixクラスターは割と頑丈
  • 20.
    © 2016 IIJGlobal Solutions Inc. 20 • 3日で現地作業完了 キッティング、ラッキング、ケーブリング(1日目) CVM、IPMI、ESXi IP変更、ESXi設定(2日目) vCenterインストールと設定、簡易的な単体テスト(3日目) • IPの変更がなければNutanixは電源入れるだけで使える状態 • 納期は手元に来るまで3週間ちょっと -> 今はもうちょっとかかる(@shmza) かかった日数
  • 21.
    © 2016 IIJGlobal Solutions Inc. 21 5. 導入その後
  • 22.
    © 2016 IIJGlobal Solutions Inc. 22 • 物理共有ストレージとは異なり、各ノードにデータが分散し ているため、手軽に交換できない (vMotion -> 物理ホスト交換とか) • ノードを交換した場合MACアドレスが変わるため、クラスタ から削除、追加という手順に -> NICが壊れないかぎりパーツごとの交換が可能 (@shmza) • オペレーションミスや正常に復旧しないリスクは物理共有ス トレージより高め(慣れればなんくるない) • 一部停止メンテナンスの際はデータ保護の耐障害性が下がる リスク -> 30分通信できないとクラスタが死んだとみなされるよ (@shmza) ノード、ブロック障害に備える
  • 23.
    © 2016 IIJGlobal Solutions Inc. 23 • いくらNutanixの拡張性が高いからといって、なにも考えず にNWを水平拡張していくと必ず破綻する • 仮想ネットワークやSDNを利用した効率的で柔軟性のある設 計をはじめから考慮して作っておく • -> 公式にネットワーク構築ガイドがあるよ(@shmza) 拡張性を考慮したネットワーク設計
  • 24.
    © 2016 IIJGlobal Solutions Inc. 24 6. まとめ
  • 25.
    © 2016 IIJGlobal Solutions Inc. 25 • ストレージを1から勉強するのに比べたら学習コストは激安 • リアルに届いて配線すればすぐ使える • 手になじんだSupermicroのサーバが中身 • ハードウェアでの冗長性はあまりアテにするものではない • ちょっと値段が高い… • コストは激減 • 拡張性、HWリソースの選択肢の多さ • 変なところに買収されないか心配 Nutanix大好き
  • 26.
    © 2016 IIJGlobal Solutions Inc. 26 7. 会場限定の話
  • 27.
    © 2016 IIJGlobal Solutions Inc. 27 ご清聴ありがとうございました お問い合わせ先 株式会社IIJグローバルソリューションズ TEL: 03-6777-5700 info@iijglobal.co.jp http://www.iijglobal.co.jp/