• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Cloudstack nested kvm検証環境
 

Cloudstack nested kvm検証環境

on

  • 2,402 views

 

Statistics

Views

Total Views
2,402
Views on SlideShare
2,402
Embed Views
0

Actions

Likes
4
Downloads
31
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Cloudstack nested kvm検証環境 Cloudstack nested kvm検証環境 Presentation Transcript

    • 3章「インストールと環境構築」を Nested KVMでやってみた。Cloudstack 読書会1 LT株式会社 クレヴァシステムズ松浦 直樹
    • 自己紹介株式会社 クレヴァシステムズ・都内のSierです。SAP、ECサイト構築Web系開発、、、インフラ周りの構築/運用をやっています。(当然、、cloudstackも頑張っています。)松浦 直樹基本、Windows系サーバエンジニアです。XenAppを利用したSaaSサイトの運用やっています。http://kumozaru.com というサイトやっています。現状まったく更新できず。。良いCMSがあったら教えてください。HWレイヤからcloudstack構築までのチュートリアルを公開したい。。。と思っています。自作プライベートクラウドとか、、やっています。
    • 今回は、以下の環境でやってみました。超低価格で頑張った自作クラウド。
    • Cloud stack検証環境Nested KVMでやってみる。(本題)幾つか勉強用とか検証用に環境を作りたい。3つ、、4っ、、、作りたいです。
    • 普通に作ると・・・baremetal-Server& PrimarySecondaryStorageServerManagementServer& DBManagementServer& DBManagementServer& DBCompute-Node1 Compute-Node2 Compute-Node3ManagementServer& DBCompute-Node4物理サーバー5台も必要、、、金かかる割に大して面白い環境つくれない。。。。。。
    • baremetal-Server& PrimarySecondaryStorageServerManagementServer& DBManagementServer& DBManagementServer& DBManagementServer& DBこんなの出来たらよいですね・・・物理サーバー仮想インスタンスVM2HostNode仮想インスタンスVM1HostNode仮想インスタンスVM3HostNodeKVM物理 H/WConsole Proxy(SystemVM)仮想インスタンスVM1HostNodeBIOS Intel-VT仮想支援User-Instance SecondaryStorageVM(SystemVM)VirtualRouter(SystemVM)仮想支援 vmx。。。ココいらへんがNestedCUsSeV C)UsSeV CUsSeV CUsSeV2台でできる。これってeco?2層目1層目
    • baremetal-Server Hostname:cloud-infra1.edi.local SecondaryStorageServer baremetal-Server Hostname:cloud-infra2.edi.local PrimaryStorageServerInternetManagement/DB/storagemgmt1.edi.locDB Serverdb1.edi.localRouter(Vyatta)192.168.11.0/24User-InstanceConsoleProxy(SystemVM)SecondaryStorageVM(SystemVM)VirtualRouter(SystemVM)192.168.1.0/24 192.168.2.0/2410.0.0.0/24X.X.X.XUser-Instance実際構成2物理サーバーで、3セットストレージは、物理サーバー自作クラウドの全8台中2台で検証環境として構築Hsotname:ssh.edi.localSSH xxx22 (ポート変更)Managementmgmt1.edi.locComputeNodenode1.edi.localComputeNodenode1.edi.localDB Serverdb1.edi.localManagementmgmt1.edi.localComputeNodenode1.edi.localConsoleProxy(SystemVM)SecondaryStorageVM(SystemVM)VirtualRouter(SystemVM)ConsoleProxy(SystemVM)SecondaryStorageVM(SystemVM)VirtualRouter(SystemVM)User-Instance User-Instance User-Instance User-Instance10.0.0.0/2410.0.0.0/24
    • ManagementServer& DBcloudstack徹底入門のインストールなら、、1台でできる。物理サーバー1台のみKVM物理 H/WConsole Proxy(SystemVM)仮想インスタンスHost用NodeBIOS Intel-VT仮想支援User-Instance SecondaryStorageVM(SystemVM)VirtualRouter(SystemVM)仮想支援 vmx。。。ココいらへんがNestedCUsSeVManagement Server& DB& PrimaryStorage& SecondaryStorage1層目2層目物理層
    • とは言ってみたものの、、、カーネル 2.6xでは未対応な機能なので、CentOS・・・ハードル高し。Ubuntu。。。出来るらしい。Fedoraも大丈夫。Intel系は、3.x(3.2?)以降で利用可能。AMD系は、2.6以降で利用可能?
    • やっぱりココは、、、CentOSでやってみたい。カーネルをUPしてまでCentOSでやる意味があるのかは、、わからない。のですが、、諸事情もあり、、、
    • ということで、CentOS 6.3ベースでやってみました。環境構築(Nested)で参考にさせていただいたサイトhttp://oss.fulltrust.co.jp/?p=501iOSSオープンソースをもっと身近なものにCentOS6.3でKVMのネストを出来るようにするとても参考になりました。というか、Nested KVMについては、ほとんどこちらのサイトの内容のままです。
    • KVMモジュールのNested対応化手順(大まかな流れ)●KVMのインストール(入っていればスキップ)● qemu-kvmの最新化→ qemu-kvm-1.2.0を利用●カーネルのバージョンアップ→カーネルバージョン3.6を利用● Nested用 KVMモジュール入れ替え→ kvm-intel 、 kvm●ネストの設定→kvm.confの編集
    • KVMモジュールのNested対応化手順(ざっくりバージョン)1.(KVMのインストール)→OSセットアップ時に組み込んでいれば不要2.qemu-kvmの最新化→ qemu-kvm-1.2.0を利用→ curl -L -o qemu-kvm-1.2.0.tar.gzhttp://sourceforge.net/projects/kvm/files/qemu-kvm/1.2.0/qemu-kvm-1.2.0.tar.gz/download3.qemu-kvmを入れ替え→2.で入れた最新版のqemu-kvmの有効化をするのですが参考にさせてもらったページの内容から、若干書き換え(パスの書き換え)がありました。(後日資料をUpdateします。)
    • 4.カーネルのバージョンアップ→# yum install ncurses-devel -y→# curl -O http://www.kernel.org/pub/linux/kernel/v3.0/linux-3.6.tar.xz5. 新しいカーネルを利用するための準備(既存の設定を利用)→# cp /usr/src/kernels/`uname -r`/.config .→# make menuconfig (変更なしなので、esc*2、yesで完了)→# echo "CONFIG_SYSFS_DEPRECATED=y" >> .config→# echo "CONFIG_SYSFS_DEPRECATED_V2=y" >> .config→# make bzImage && make modules && make modules_install && makeinstal6.OSの起動設定を確認とgrub.confの設定。→ # vi /etc/grub.conf
    • 7.Nested KVMモジュールのインストール→カーネルバージョンに合わせたモジュール(今回は3.6)を使います。→ curl -L -o kvm-kmod-3.6.tar.bz2http://sourceforge.net/projects/kvm/files/kvm-kmod/3.6/kvm-kmod-3.6.tar.bz2/download8.元のモジュールの停止→ # modprobe -r kvm-intel→# modprobe -r kvm9.新モジュールの読み込み→新しいモジュールをコピーし、modprobeで読み込みます。→# modprobe kvm→# modprobe kvm-intel nested=1 (nested=1を忘れない。)→# modinfo kvm-intel
    • 10.kvm.confの編集→vi /etc/modprobe.d/kvm.conf→options kvm_intel nested=1詳細は、http://oss.fulltrust.co.jp/?p=501 さんのサイトの内容で。。。。ばっちりです。(2か所ほど私の環境では編集箇所があったので、後日、修正箇所のみ補足して、資料をUPしておきます。)再確認したところ、、修正箇所なしでOKでした。。。NestedKVMの動作としては、KVM on KVM 状態で動作することを確認できています。わりと動います。
    • clodstackは、、動いたの?実際にCloudStack徹底入門の3章インストールと環境構築をやってみました。。。本当に書籍をトレースしてみました。特にはまることなく、、、作業もでき、、、ゾーンの作成までできました。。NFSをインストールした後、、、(/etc/idmapd.conf の Domain = ドメイン名 の編集)chkconfig nfs onchkconfig rpcbind onrebootはやっておいたほうが良いかも。p100の、、9ブリッジの作成は、、IPADDRや、DNSの設定は、パラメータ一覧を追う。。図中の内容は、読み替えが必要かも?
    • 特にはまることなく、、、ゾーンの作成まで、できました・・・・ゾーンの作成まで、、できました・・・
    • 特に問題なくインストールが、、終わった、、、と思っていたら、、、、SystemVMがStartingの状態。。。。お約束すぎる。ある意味よくできた感じもします。。。
    • ということで、、7.3.3章トラブルの例システムVMが起動しない。につづく。。。。NW (インターネット接続ルーター)の設定を間違えてました。(Templateが落ちてこない。)これは関係ありませんでした。というところで時間切れでした。。。。残念。。
    • いじょうです。ありがとうございました。後日資料アップします。
    • その後、、、Cloudstack動いてます。ただし、何点か修正しています。
    • 修正箇所(システムVMがrunningにならない件)1. Hostノード上で、PrymaryStorageがマウントされていない。。。⇒iptablesを無効化したところ、mountするようになりました。本当はもう少し丁寧に確認したいところですが、、、時間もなく。。2.Nestedした、hostへのCPU割り当て数を変更⇒システムVMの起動がNG(HostノードでPrimayStorageがマウントされているのに、やっぱりシステムVMが起動してこない。)⇒単純に仮想CPUの割り当てを増やしてあげたところ、すんなり起動するようになりました。最初は割り当て数=1でした。
    • おまけ772、、、、773・・・・・
    • おまけ2 (仮想のhost用マシンの設定)twitterで、カーネル 3.7.1で、OKという情報をいただきましたので、、、、、、試してみようかと。。。
    • 本資料について• 本資料は、cloudstack徹底入門初版(翔泳社) の内容を参考にしています。• 設定について、書籍に記載されている内容を設定しているつもりですが、誤読による設定ミス等あるかもしれません。内容については、無保証です。• 本資料を利用したことによるあらゆる損害に対して、筆者は一切保障をいたしません。参考資料程度でご利用ください。