3章「インストールと環境構築」を Nested KVMでやってみた。Cloudstack 読書会1 LT株式会社 クレヴァシステムズ松浦 直樹
自己紹介株式会社 クレヴァシステムズ・都内のSierです。SAP、ECサイト構築Web系開発、、、インフラ周りの構築/運用をやっています。(当然、、cloudstackも頑張っています。)松浦 直樹基本、Windows系サーバエンジニアです。X...
今回は、以下の環境でやってみました。超低価格で頑張った自作クラウド。
Cloud stack検証環境Nested KVMでやってみる。(本題)幾つか勉強用とか検証用に環境を作りたい。3つ、、4っ、、、作りたいです。
普通に作ると・・・baremetal-Server& PrimarySecondaryStorageServerManagementServer& DBManagementServer& DBManagementServer& DBComput...
baremetal-Server& PrimarySecondaryStorageServerManagementServer& DBManagementServer& DBManagementServer& DBManagementServe...
baremetal-Server Hostname:cloud-infra1.edi.local SecondaryStorageServer baremetal-Server Hostname:cloud-infra2.edi.local P...
ManagementServer& DBcloudstack徹底入門のインストールなら、、1台でできる。物理サーバー1台のみKVM物理 H/WConsole Proxy(SystemVM)仮想インスタンスHost用NodeBIOS Intel-...
とは言ってみたものの、、、カーネル 2.6xでは未対応な機能なので、CentOS・・・ハードル高し。Ubuntu。。。出来るらしい。Fedoraも大丈夫。Intel系は、3.x(3.2?)以降で利用可能。AMD系は、2.6以降で利用可能?
やっぱりココは、、、CentOSでやってみたい。カーネルをUPしてまでCentOSでやる意味があるのかは、、わからない。のですが、、諸事情もあり、、、
ということで、CentOS 6.3ベースでやってみました。環境構築(Nested)で参考にさせていただいたサイトhttp://oss.fulltrust.co.jp/?p=501iOSSオープンソースをもっと身近なものにCentOS6.3でKV...
KVMモジュールのNested対応化手順(大まかな流れ)●KVMのインストール(入っていればスキップ)● qemu-kvmの最新化→ qemu-kvm-1.2.0を利用●カーネルのバージョンアップ→カーネルバージョン3.6を利用● Nested...
KVMモジュールのNested対応化手順(ざっくりバージョン)1.(KVMのインストール)→OSセットアップ時に組み込んでいれば不要2.qemu-kvmの最新化→ qemu-kvm-1.2.0を利用→ curl -L -o qemu-kvm-1...
4.カーネルのバージョンアップ→# yum install ncurses-devel -y→# curl -O http://www.kernel.org/pub/linux/kernel/v3.0/linux-3.6.tar.xz5. 新し...
7.Nested KVMモジュールのインストール→カーネルバージョンに合わせたモジュール(今回は3.6)を使います。→ curl -L -o kvm-kmod-3.6.tar.bz2http://sourceforge.net/projects...
10.kvm.confの編集→vi /etc/modprobe.d/kvm.conf→options kvm_intel nested=1詳細は、http://oss.fulltrust.co.jp/?p=501 さんのサイトの内容で。。。。ば...
clodstackは、、動いたの?実際にCloudStack徹底入門の3章インストールと環境構築をやってみました。。。本当に書籍をトレースしてみました。特にはまることなく、、、作業もでき、、、ゾーンの作成までできました。。NFSをインストールし...
特にはまることなく、、、ゾーンの作成まで、できました・・・・ゾーンの作成まで、、できました・・・
特に問題なくインストールが、、終わった、、、と思っていたら、、、、SystemVMがStartingの状態。。。。お約束すぎる。ある意味よくできた感じもします。。。
ということで、、7.3.3章トラブルの例システムVMが起動しない。につづく。。。。NW (インターネット接続ルーター)の設定を間違えてました。(Templateが落ちてこない。)これは関係ありませんでした。というところで時間切れでした。。。。残...
いじょうです。ありがとうございました。後日資料アップします。
その後、、、Cloudstack動いてます。ただし、何点か修正しています。
修正箇所(システムVMがrunningにならない件)1. Hostノード上で、PrymaryStorageがマウントされていない。。。⇒iptablesを無効化したところ、mountするようになりました。本当はもう少し丁寧に確認したいところです...
おまけ772、、、、773・・・・・
おまけ2 (仮想のhost用マシンの設定)twitterで、カーネル 3.7.1で、OKという情報をいただきましたので、、、、、、試してみようかと。。。
本資料について• 本資料は、cloudstack徹底入門初版(翔泳社) の内容を参考にしています。• 設定について、書籍に記載されている内容を設定しているつもりですが、誤読による設定ミス等あるかもしれません。内容については、無保証です。• 本資...
Upcoming SlideShare
Loading in …5
×

Cloudstack nested kvm検証環境

3,021 views

Published on

Cloudstack nested kvm検証環境

  1. 1. 3章「インストールと環境構築」を Nested KVMでやってみた。Cloudstack 読書会1 LT株式会社 クレヴァシステムズ松浦 直樹
  2. 2. 自己紹介株式会社 クレヴァシステムズ・都内のSierです。SAP、ECサイト構築Web系開発、、、インフラ周りの構築/運用をやっています。(当然、、cloudstackも頑張っています。)松浦 直樹基本、Windows系サーバエンジニアです。XenAppを利用したSaaSサイトの運用やっています。http://kumozaru.com というサイトやっています。現状まったく更新できず。。良いCMSがあったら教えてください。HWレイヤからcloudstack構築までのチュートリアルを公開したい。。。と思っています。自作プライベートクラウドとか、、やっています。
  3. 3. 今回は、以下の環境でやってみました。超低価格で頑張った自作クラウド。
  4. 4. Cloud stack検証環境Nested KVMでやってみる。(本題)幾つか勉強用とか検証用に環境を作りたい。3つ、、4っ、、、作りたいです。
  5. 5. 普通に作ると・・・baremetal-Server& PrimarySecondaryStorageServerManagementServer& DBManagementServer& DBManagementServer& DBCompute-Node1 Compute-Node2 Compute-Node3ManagementServer& DBCompute-Node4物理サーバー5台も必要、、、金かかる割に大して面白い環境つくれない。。。。。。
  6. 6. baremetal-Server& PrimarySecondaryStorageServerManagementServer& DBManagementServer& DBManagementServer& DBManagementServer& DBこんなの出来たらよいですね・・・物理サーバー仮想インスタンスVM2HostNode仮想インスタンスVM1HostNode仮想インスタンスVM3HostNodeKVM物理 H/WConsole Proxy(SystemVM)仮想インスタンスVM1HostNodeBIOS Intel-VT仮想支援User-Instance SecondaryStorageVM(SystemVM)VirtualRouter(SystemVM)仮想支援 vmx。。。ココいらへんがNestedCUsSeV C)UsSeV CUsSeV CUsSeV2台でできる。これってeco?2層目1層目
  7. 7. baremetal-Server Hostname:cloud-infra1.edi.local SecondaryStorageServer baremetal-Server Hostname:cloud-infra2.edi.local PrimaryStorageServerInternetManagement/DB/storagemgmt1.edi.locDB Serverdb1.edi.localRouter(Vyatta)192.168.11.0/24User-InstanceConsoleProxy(SystemVM)SecondaryStorageVM(SystemVM)VirtualRouter(SystemVM)192.168.1.0/24 192.168.2.0/2410.0.0.0/24X.X.X.XUser-Instance実際構成2物理サーバーで、3セットストレージは、物理サーバー自作クラウドの全8台中2台で検証環境として構築Hsotname:ssh.edi.localSSH xxx22 (ポート変更)Managementmgmt1.edi.locComputeNodenode1.edi.localComputeNodenode1.edi.localDB Serverdb1.edi.localManagementmgmt1.edi.localComputeNodenode1.edi.localConsoleProxy(SystemVM)SecondaryStorageVM(SystemVM)VirtualRouter(SystemVM)ConsoleProxy(SystemVM)SecondaryStorageVM(SystemVM)VirtualRouter(SystemVM)User-Instance User-Instance User-Instance User-Instance10.0.0.0/2410.0.0.0/24
  8. 8. ManagementServer& DBcloudstack徹底入門のインストールなら、、1台でできる。物理サーバー1台のみKVM物理 H/WConsole Proxy(SystemVM)仮想インスタンスHost用NodeBIOS Intel-VT仮想支援User-Instance SecondaryStorageVM(SystemVM)VirtualRouter(SystemVM)仮想支援 vmx。。。ココいらへんがNestedCUsSeVManagement Server& DB& PrimaryStorage& SecondaryStorage1層目2層目物理層
  9. 9. とは言ってみたものの、、、カーネル 2.6xでは未対応な機能なので、CentOS・・・ハードル高し。Ubuntu。。。出来るらしい。Fedoraも大丈夫。Intel系は、3.x(3.2?)以降で利用可能。AMD系は、2.6以降で利用可能?
  10. 10. やっぱりココは、、、CentOSでやってみたい。カーネルをUPしてまでCentOSでやる意味があるのかは、、わからない。のですが、、諸事情もあり、、、
  11. 11. ということで、CentOS 6.3ベースでやってみました。環境構築(Nested)で参考にさせていただいたサイトhttp://oss.fulltrust.co.jp/?p=501iOSSオープンソースをもっと身近なものにCentOS6.3でKVMのネストを出来るようにするとても参考になりました。というか、Nested KVMについては、ほとんどこちらのサイトの内容のままです。
  12. 12. KVMモジュールのNested対応化手順(大まかな流れ)●KVMのインストール(入っていればスキップ)● qemu-kvmの最新化→ qemu-kvm-1.2.0を利用●カーネルのバージョンアップ→カーネルバージョン3.6を利用● Nested用 KVMモジュール入れ替え→ kvm-intel 、 kvm●ネストの設定→kvm.confの編集
  13. 13. KVMモジュールのNested対応化手順(ざっくりバージョン)1.(KVMのインストール)→OSセットアップ時に組み込んでいれば不要2.qemu-kvmの最新化→ qemu-kvm-1.2.0を利用→ curl -L -o qemu-kvm-1.2.0.tar.gzhttp://sourceforge.net/projects/kvm/files/qemu-kvm/1.2.0/qemu-kvm-1.2.0.tar.gz/download3.qemu-kvmを入れ替え→2.で入れた最新版のqemu-kvmの有効化をするのですが参考にさせてもらったページの内容から、若干書き換え(パスの書き換え)がありました。(後日資料をUpdateします。)
  14. 14. 4.カーネルのバージョンアップ→# yum install ncurses-devel -y→# curl -O http://www.kernel.org/pub/linux/kernel/v3.0/linux-3.6.tar.xz5. 新しいカーネルを利用するための準備(既存の設定を利用)→# cp /usr/src/kernels/`uname -r`/.config .→# make menuconfig (変更なしなので、esc*2、yesで完了)→# echo "CONFIG_SYSFS_DEPRECATED=y" >> .config→# echo "CONFIG_SYSFS_DEPRECATED_V2=y" >> .config→# make bzImage && make modules && make modules_install && makeinstal6.OSの起動設定を確認とgrub.confの設定。→ # vi /etc/grub.conf
  15. 15. 7.Nested KVMモジュールのインストール→カーネルバージョンに合わせたモジュール(今回は3.6)を使います。→ curl -L -o kvm-kmod-3.6.tar.bz2http://sourceforge.net/projects/kvm/files/kvm-kmod/3.6/kvm-kmod-3.6.tar.bz2/download8.元のモジュールの停止→ # modprobe -r kvm-intel→# modprobe -r kvm9.新モジュールの読み込み→新しいモジュールをコピーし、modprobeで読み込みます。→# modprobe kvm→# modprobe kvm-intel nested=1 (nested=1を忘れない。)→# modinfo kvm-intel
  16. 16. 10.kvm.confの編集→vi /etc/modprobe.d/kvm.conf→options kvm_intel nested=1詳細は、http://oss.fulltrust.co.jp/?p=501 さんのサイトの内容で。。。。ばっちりです。(2か所ほど私の環境では編集箇所があったので、後日、修正箇所のみ補足して、資料をUPしておきます。)再確認したところ、、修正箇所なしでOKでした。。。NestedKVMの動作としては、KVM on KVM 状態で動作することを確認できています。わりと動います。
  17. 17. clodstackは、、動いたの?実際にCloudStack徹底入門の3章インストールと環境構築をやってみました。。。本当に書籍をトレースしてみました。特にはまることなく、、、作業もでき、、、ゾーンの作成までできました。。NFSをインストールした後、、、(/etc/idmapd.conf の Domain = ドメイン名 の編集)chkconfig nfs onchkconfig rpcbind onrebootはやっておいたほうが良いかも。p100の、、9ブリッジの作成は、、IPADDRや、DNSの設定は、パラメータ一覧を追う。。図中の内容は、読み替えが必要かも?
  18. 18. 特にはまることなく、、、ゾーンの作成まで、できました・・・・ゾーンの作成まで、、できました・・・
  19. 19. 特に問題なくインストールが、、終わった、、、と思っていたら、、、、SystemVMがStartingの状態。。。。お約束すぎる。ある意味よくできた感じもします。。。
  20. 20. ということで、、7.3.3章トラブルの例システムVMが起動しない。につづく。。。。NW (インターネット接続ルーター)の設定を間違えてました。(Templateが落ちてこない。)これは関係ありませんでした。というところで時間切れでした。。。。残念。。
  21. 21. いじょうです。ありがとうございました。後日資料アップします。
  22. 22. その後、、、Cloudstack動いてます。ただし、何点か修正しています。
  23. 23. 修正箇所(システムVMがrunningにならない件)1. Hostノード上で、PrymaryStorageがマウントされていない。。。⇒iptablesを無効化したところ、mountするようになりました。本当はもう少し丁寧に確認したいところですが、、、時間もなく。。2.Nestedした、hostへのCPU割り当て数を変更⇒システムVMの起動がNG(HostノードでPrimayStorageがマウントされているのに、やっぱりシステムVMが起動してこない。)⇒単純に仮想CPUの割り当てを増やしてあげたところ、すんなり起動するようになりました。最初は割り当て数=1でした。
  24. 24. おまけ772、、、、773・・・・・
  25. 25. おまけ2 (仮想のhost用マシンの設定)twitterで、カーネル 3.7.1で、OKという情報をいただきましたので、、、、、、試してみようかと。。。
  26. 26. 本資料について• 本資料は、cloudstack徹底入門初版(翔泳社) の内容を参考にしています。• 設定について、書籍に記載されている内容を設定しているつもりですが、誤読による設定ミス等あるかもしれません。内容については、無保証です。• 本資料を利用したことによるあらゆる損害に対して、筆者は一切保障をいたしません。参考資料程度でご利用ください。

×