RHEL6 KVMによる仮想化

この資料の位置づけと宣伝 この資料はRHEL6に同梱されるKVMによる仮想化について解説しています。KVMを活用するために必要な知識をまとめて提供しています。 ● 基本的な利用方法 ● 設定ファイルやログファイルなどの配置 ● 設定可能な項目の紹介 ● 適切な設定項目を選択するために必要な背景知識 ● KVMの実装の簡単な紹介 レッドハットでは過去に「KVMスタートアップ」という定期/一社研修を開催していました。本資料はそのアップデート版です この資料を利用した一社研修サービスを提供していますご興味のある方はお問いあわせください ● 問い合わせ先は本資料末尾にてご案内しております Red Hat K.K. All rights reserved. 2

アジェンダ KVMって何？ RHELでのKVM利用 仮想マシンのインストール 仮想マシン構成変更 KVMのモデルとバックエンド ● CPU ● ディスク ● ネットワーク ● メモリ ● その他 ● virtio メモリ管理の仮想化のしくみ KVMによるCPUの仮想化のしくみ セキュリティの改善 KVMユーザ事例 Red Hat K.K. All rights reserved. 3

KVMって何？ KVM は何の略？ ● Kernel-based Virtual Machine Kernel? ● Linuxカーネル ● Linuxカーネルに仮想マシン管理機能を追加 ● Linuxのスケジューラ、メモリ管理、ドライバ、省電力対応などをそのまま利用する CPUの仮想化支援機構を利用する I/Oのエミュレートにユーザランドのプログラム(QEMU)を利用する Red Hat K.K. All rights reserved. 5

Xen/KVM historical chart 2003 2004 2005 2006 2007 2008 2009 2010 2011 ケンブリッジ xensource citrix FedoraへXen取り込み linuxマージまで統合見送りXen登場 Xen開発活発化 RHEL5.0 w/ Xen Xen linuxへのXenマージ活動 intel, AMD qumra red hat net 仮想化支援機能開発 KVM登場＆マージ FedoraへのKVM取り込み KVM RHEL5.4 w/ KVM & Xen Red Hat K.K. All rights reserved. 8

KVMとXenの比較 Q domU E dom0 Front M Back V U M Driver KVM Hypervisor KVM Xenスケジューラ linuxを転用 Xen hypervisor独自実装資源管理 linuxのcgroupsで対応予定 CPUはXenスケジューラで対応pvSCSI なしありdump ありありlive migration ありあり実装の特徴 HWの仮想化対応を活用 HWが対応しない時にSWで工夫旧CPU活用仮想化対応機能が必須 PVであれば古いCPUでも対応新ハード対応 linuxの対応をそのまま利用新機能への追従は遅れがち Red Hat K.K. All rights reserved. 9

RHEL KVM動作環境 RHEL 5.4以降 x86_64アーキテクチャでハードウェア仮想化技術が有効な CPU (AMD-V/Intel VT-x) ● BIOSで仮想化支援技術が有効になっていること ● VTが有効なAtom Zは64bitモードをサポートしないので注意 ● EPT/NPTが有効なものが望ましい ●Xeon 5500番台(Nehalem)以降 ●Opteron 2360/8360/1356(Shanghai)以降 メモリ量 ● 最低 2GB ● 推奨 2GB+VMに割り当てるメモリ総計 サーバ上のトータルVCPU数 ● 推奨実CPUのスレッド数-1 ● 最大実CPUのスレット数*10 Red Hat K.K. All rights reserved. 10

RHEL KVM VMリソース上限 VCPU ● 最大 64 ● 実際に同時実行できるスレッド数以上の割りあては無駄 メモリ ● 最大 256GB 仮想IDEデバイス ● 最大 4 仮想NIC ● 無制限(ただし下記のPCIデバイス数の制限あり) virtio ブロックデバイス, 仮想NICなど、仮想PCIバス経由で接続するデバイス ● 合計して最大28 ● 仮想マシン上で利用できるPCIデバイス数の上限が32、ただし4つは利用済みで利用できないため28最新状況は http://www.jp.redhat.com/rhel/compare/ Red Hat K.K. All rights reserved. 11

RHEL6.0でサポートされるゲストOS Operating system virtioドライバ Red Hat Enterprise Linux 3 x86 あり Red Hat Enterprise Linux 4 x86, x86_64 あり Red Hat Enterprise Linux 5 x86, x86_64 あり Red Hat Enterprise Linux 6 x86, x86_64 あり Windows Server 2003 R2 32-Bit あり Windows Server 2003 R2 64-Bit あり Windows Server 2003 Service Pack 2 32-Bit あり Windows Server 2003 Service Pack 2 64-Bit あり Windows XP 32-Bit あり Windows Vista 32-Bit なし Windows Vista 64-Bit なし Windows Server 2008 32-Bit あり Windows Server 2008 (and R2) 64-Bit あり Windows 7 32-Bit あり Windows 7 64-Bit あり最新状況はhttp://www.redhat.com/rhel/server/virtualization_support.html#virt_matrix Red Hat K.K. All rights reserved. 12

ドキュメント Virtualization Guide(6.1 英語版, 最新日本語訳は5.4) KVMの設定やゲストのインストールを詳細に記述 http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/6/html /Virtualization/index.html http://www.redhat.com/docs/manuals/enterprise/ Red Hat Reference Architecture Series 仮想化に限らず各種設定例、ベンチマーク結果などを公開 http://www.redhat.com/rhel/resource_center/reference_architecture.html Red Hat K.K. All rights reserved. 13

関連パッケージ(1/2) qemu-kvm ● qemu-kvmを提供 ●KVMのユーザスペース(QEMU) ●管理インタフェース兼 I/Oエミュレーション kernel ● kvm.ko、kvm-intel.ko、kvm-amd.koを含む ●KVMの中心 ●kvm.koはハードウェア非依存部分 ●kvm-intel.ko、kvm-amd.koはCPU特有の部分 qemu-img ● ディスクイメージ作成・変換ツール libvirt ● 抽象化ライブラリ、他のハイパーバイザーもサポート qemu-kvm-tools ● KVMの資源使用量表示など Red Hat K.K. All rights reserved. 16

関連コマンド virsh ● CUIでのインタフェース ● 起動/終了/構成変更/VNCコンソール接続先確認 virt-install ● CUIでのインストール ● PXE boot + kickstart を併用して自動インストール qemu-img ● ディスクイメージの作成/変換/スナップショット管理 virt-manager ● GUIによる管理ツール ● インストール/起動/構成変更/VNC接続 etc. virt-viewer ● 仮想マシンのコンソールにVNC接続する単機能のビューア Red Hat K.K. All rights reserved. 18

virsh コマンド コマンド一覧 ● virsh help 動作していないものも含めた仮想マシン一覧 ● virsh list --all 仮想マシンの起動 ● virsh start rhel6 仮想マシンの情報 ● virsh dominfo rhel6 仮想マシンのシリアルコンソールへ接続 ● virsh console rhel6 仮想マシンのダンプを取得 ● virsh dump rhel6 リモートホスト上のlibvirtdへssh経由で接続 ● virsh --connect qemu+ssh://root@example.com/system Red Hat K.K. All rights reserved. 19

libvirt 複数の仮想化環境に対応した管理用ライブラリ RHELの仮想化環境ではこのライブラリを利用してXenとKVM の両方に対応しています libvirtを利用するソフト ● virsh ● virt-manager virsh virt-manager virt-install ● virt-install ● virt-viewer libvirt 詳しくは ● http://www.libvirt.org/ ● http://wiki.libvirt.org/page/FAQ QEMU VM Linux kernel KVM Red Hat K.K. All rights reserved. 20

libvirt の “URI”driver[+transport]://[username@][hostname][:port]/[path][?extraparameters] 例リモートKVM: qemu+ssh://root@example.com/system ローカルKVM: qemu:///system ローカルXen: xen:/// driver ● KVMであれば qemu 参考情報: http://libvirt.org/uri.html● ● Xenであれば xen Virtualization Guide: Chapter 19. ● transport Remote management of virtualized guests ● ローカルホスト: なし ● libvirtdに直接接続: tcpまたはtls ● ssh経由で接続： ssh path ● qemuであればsystem, xenであればなし Red Hat K.K. All rights reserved. 21

qemu-imgによるディスクイメージ管理 仮想ディスクイメージ作成 ● qemu-img create -f <フォーマット> <ファイル名> <サイズ> ● qemu-img create -f qcow2 myimagefile.img 10G 差分イメージ作成(qcow2のみ) ● qemu-img create -F <ベースイメージのフォーマット> -b <ベースイメージファイル名> -f qcow2 <ファイル名> ● qemu-img create -F raw -b mybase.img -f qcow2 mydiff.img フォーマットの変換(または再作成) ● qemu-img convert -f <元フォーマット> -O <出力フォーマット> <元ファイル名> <出力ファイル名> ● qemu-img convert -f raw -O qcow2 orig.img out.img ● qemu-img convert -f qcow2 -O qcow2 orig.img out.img イメージファイルの情報取得 ● qemu-img info -f <フォーマット名> <イメージファイル名> Red Hat K.K. All rights reserved. 22

仮想ディスクイメージ操作ツール(RHEL6.0〜) guestfish ● シェル風のインタフェースで仮想ディスクイメージを操作 ● --ro, --rw のオプションにより書き込みの有無を指定 ● /usr/share/doc/guestfish-1.2.7/recipes に利用例 virt-v2v ● RHEL5のXen, KVMやVMware ESXの仮想マシンをKVM環境へ移行 ● 対象ゲストOSはRHEL4/5/6, Windows XP/Vista/7, Windows Server 2003/2008 ● ドキュメント「V2V Guide」を参照 ！操作対象の仮想マシンは停止しておく！ ● 同時に書き換えをおこなうとファイルシステムが壊れます http://virt-tools.org/ http://libguestfs.org/ Red Hat K.K. All rights reserved. 24

libguestfs-tools(RHEL6.0〜) libguestfsによるファイルシステム等の操作の内、典型的なものをコマンドとして提供 読み込みのみ(対象VM動作中でも利用可能) ● virt-cat, virt-df, virt-inspector, virt-list-filesystems, virt-list-partitions, virt-ls オプションにより書き込みあり ● virt-tar, virt-win-reg 書き込みあり ● virt-edit, virt-rescue, virt-resize Red Hat K.K. All rights reserved. 25

ファイル・ディレクトリ libvirt関連ディレクトリ ● /var/lib/libvirt/ ●ゲストのイメージなどが格納される ● /etc/libvirt/ ●設定ファイルなどが格納される ● /var/log/libvirt/ ●VMごとのログが格納される kvm関連ファイル ● /usr/libexec/qemu-kvm ● bin、sbinの下ではなくlibexecなのは、直接実行せずに libvirt経由で操作することを意図しています（直接実行はサポート対象外） ● Fedoraなど他のKVM+libvirt環境から移行する場合には設定ファイル中のemulator指定でこのファイルを指定する Red Hat K.K. All rights reserved. 26

ログファイル /var/log/messages ● libvirtdのログが格納される /var/log/libvirt/ ● 仮想マシン毎のログが格納される ● qemu/KVMであれば、/var/log/libvirt/qemu/<VM名>.log ● qemu-kvmの標準出力、標準エラー出力が記録される /var/log/dmesg ● カーネルのログが格納される ● kvmのカーネルモジュールはほとんどログを出さないが、初期化時にCPUの仮想化支援機能が利用できない場合などはここに記録される (ユーザのhomeディレクトリ)/.virt-manager/virt-manager.log ● virt-managerのログが出力される ● libvirtdと対応するがDEBUGモードで出力されているので詳細 Red Hat K.K. All rights reserved. 27

virt-install によるゲストOSインストール virt-installは仮想マシンの作成とゲストOSのインストールを行うコマンドラインツール ● 典型的なケースについてはコマンドラインが短くなるよう工夫されている ● 複雑な構成もオプションで指定可能 ウィンドウで仮想画面を表示してGUIインストールする場合 virt-install -n <仮想マシン名> -r <メモリ量(MB)> --file=<ファイル名> --file-size=<ディスク量(GB)> -c <ISOイメージ名> 例 virt-install -n newvm -r 1024 --file=/var/lib/libvirt/images/newvm.img --file-size=10 -c /path/to/rhel-server-5.5-x86_64-dvd.iso Red Hat K.K. All rights reserved. 31

対話的なテキストベースのインストール virt-installで仮想マシンのシリアルコンソールを利用したインストール ● virt-install -n <仮想マシン名> -r <メモリ量(MB)> --disk=path=<ファイル名>,size=<ディスク量(GB)> --location <インストール元> --nographics --extra-args=<カーネルに追加する引数> --disk=path=<isoファイル名>,device=cdrom ● --extra-args利用には--locationによるインストール元指定が必要 ● シリアルコンソールを利用するので console=ttyS0 を指定 ● --cdromは使えないので--diskを利用 ● --nographicsでVNCを設定せずシリアルコンソールへ接続する 例 ● あらかじめ /mnt/RHEL5DVD にRHEL5のDVDをマウント ● virt-install -n hoge -r 1024 --disk=path=/path/to/hoge.img,size=10 --location /mnt/RHEL5DVD --nographics --extra-args=”console=tty0 console=ttyS0,115200n8” --disk=path=/path/to/rhel-dvd.iso,device=cdrom Red Hat K.K. All rights reserved. 32

kickstartによる非対話的インストール 非対話的なインストール ● 利用するvirt-installのコマンドラインオプションはテキストの対話的インストールと同じ ● --extra-argsで ●ks= を指定してkickstart設定を行う ●kickstartの詳細についてはInstallation Guideを参照 ●ネットワーク経由の場合「ゲストOSから見たIPアドレス」を入力することに注意 例 ● あらかじめ /mnt/RHEL5DVD にRHEL5のDVDをマウント ● virt-install -n newvm -r 1024 --file=newvm.img --file- size=10 --location /mnt/RHEL5DVD --nographics --extra-args=”ks=http://192.168.122.1/anaconda-ks.cfg ip=dhcp console=tty0 console=ttyS0,115200n8” Red Hat K.K. All rights reserved. 33

virshによる仮想ハードウェア構成変更 virsh edit <仮想マシン名> ● 仮想マシン定義ファイルを読みこんだエディタが起動 ● 内容変更 ● 保存終了 ● 確認後問題がなければlibvirtdが読み込み 設定ファイルを直接変更しても自動的に反映されない点に注意 ● 変更後に virsh define による定義読み込みで反映可能 Red Hat K.K. All rights reserved. 36

libvirtの設定管理 libvirtdが実際に参照する設定はメモリ上にあるもの libvirtd /etc/libvirt以下の設定は起動 define 時に読み込み、変更時に書き xml メモリ中の出される設定自動 dumpxml 「仮想マシンの起動」「設定の読 /edit 書換えみ込み」など一部の操作により libvirtdは設定の一部を自動生起動時に変更時に成し、設定に反映する読み込み書き出し ● addressタグ, uuidタグ, consoleタグなど /etc/libvirt/ Red Hat K.K. All rights reserved. 37

仮想マシン定義ファイル例 KVMを使うドメイン全体仮想マシン名<domain type=kvm> <name>newvm</name> uuid <uuid>a040090d-79fe-3bca-7e2f-65c32a6f0318</uuid> <memory>1048576</memory> VMで扱えるメモリ(kB) <currentMemory>1048576</currentMemory> <vcpu>2</vcpu> balloonをひいたメモリ <os> <type arch=x86_64 machine=rhel6.1.0>hvm</type> <boot dev=hd/> </os> <features> 完全仮想化 <acpi/> <apic/> VCPUアーキテクチャと <pae/> マシンタイプ </features> <clock offset=utc/> <on_poweroff>destroy</on_poweroff> <on_reboot>restart</on_reboot> RTCはUTCかlocalか? <on_crash>restart</on_crash> Red Hat K.K. All rights reserved. 39

周辺装置(1/2) ディスクデバイス<devices> ファイル or デバイス <emulator>/usr/libexec/qemu-kvm</emulator> 元ファイルのパス <disk type=file device=disk> 何デバイスに見えるか <driver name=qemu type=raw cache=none io=threads/> <source file=/var/lib/libvirt/images/newvm.img/> <target dev=vda bus=virtio/> <address type=pci domain=0x0000 bus=0x00 slot=0x05 function=0x0/> </disk> <disk type=block device=cdrom> <driver name=qemu type=raw/> <target dev=hdc bus=ide/> PCIバスのスロット番号等 <readonly/> VM内で割り当てられた <address type=drive controller=0 bus=1 unit=0/> アドレスを維持する </disk> <controller type=ide index=0> <address type=pci domain=0x0000 bus=0x00 slot=0x01 function=0x1/> </controller> 仮想NIC <interface type=network> MACアドレス <mac address=52:54:00:92:d9:4f/> 接続先ブリッジ <source network=default/> 何デバイスに見えるか <model type=virtio/> <address type=pci domain=0x0000 bus=0x00 slot=0x03 function=0x0/> </interface> Red Hat K.K. All rights reserved. 40

周辺装置(2/2) シリアルポート <serial type=pty> <target port=0/> </serial> <console type=pty> <target type=serial port=0/> </console> VNCによる <input type=tablet bus=usb/> グラフィカル <input type=mouse bus=ps2/> コンソール <graphics type=vnc port=-1 autoport=yes/> <video> <model type=cirrus vram=9216 heads=1/> <address type=pci domain=0x0000 bus=0x00 slot=0x02 function=0x0/> </video> <memballoon model=virtio> <address type=pci domain=0x0000 bus=0x00 slot=0x06 function=0x0/> </memballoon> </devices></domain> Red Hat K.K. All rights reserved. 41

qemu-kvmのコマンドラインオプション例(1/2) /usr/libexec/qemu-kvm -S -M rhel6.1.0 → マシンタイプ -enable-kvm → KVMを利用する -m 1024 → メモリ 1024MB -smp 2,sockets=2,cores=1,threads=1 → 2VCPU、2ソケット1コア1スレッド -name newvm → VMの名前 -uuid a040090d-79fe-3bca-7e2f-65c32a6f0318 → VMのuuid -nodefconfig -nodefaults → QEMUのデフォルトは使わない管理用モニタの設定。libvirtがQEMUと通信するためのソケットを定義している。 -chardev socket,id=charmonitor,path=/var/lib/libvirt/qemu/newvm.monitor,server,nowait -mon chardev=charmonitor,id=monitor,mode=control -rtc base=utc → 時計はUTCベース。 -no-reboot → 再起動禁止、 -boot dc → 起動デバイス順フロッピー(a), HDD(c), CD-ROM(d), network(n) Red Hat K.K. All rights reserved. 42

qemu-kvmのコマンドラインオプション例(2/2)HDDの設定。-driveではホスト側でのデバイス定義、-deviceではVM側でのデバイス定義をおこない、driveのidを指定して対応関係を定義する。-drive file=/var/lib/libvirt/images/newvm.img,if=none,id=drive-virtio-disk0,format=raw,cache=none,aio=threads-device virtio-blk-pci,bus=pci.0,addr=0x5,drive=drive-virtio-disk0,id=virtio-disk0 このデバイスはどう接続するか元になるdriveはどれか? 何か?CD-ROMドライブの設定。HDDとほぼ同じ。-drive file=/var/lib/libvirt/images/rhel-server-6.0-x86_64-dvd.iso,if=none,media=cdrom,id=drive-ide0-1-0,readonly=on,format=raw,aio=threads-device ide-drive,bus=ide.1,unit=0,drive=drive-ide0-1-0,id=ide0-1-0NICの設定。ホスト側が-driveではなく-netdevになっている。-netdev tap,fd=30,id=hostnet0,vhost=on,vhostfd=31-device virtio-net-pci,netdev=hostnet0,id=net0,mac=52:54:00:92:d9:4f,bus=pci.0,addr=0x3シリアルデバイスの設定-chardev pty,id=charserial0-device isa-serial,chardev=charserial0,id=serial0-usb -device usb-tablet,id=input0 → USBタブレットの設定-vnc 127.0.0.1:2 → VNCによるグラフィカルコンソール、listenするIPとディスプレイ番号-vga cirrus → ビデオカードの設定-device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x6 → バルーンデバイスの設定 Red Hat K.K. All rights reserved. 43

デバイスのhot add/remove(RHEL6〜) VM実行中にPCIバスへのデバイスの追加・削除が可能です virshのコマンド ● ディスク: attach-disk, detach-disk ● NIC: attach-interface, detach-interface ● その他: attach-device, detach-device コマンド例: virsh attach-disk <VM名> <ファイル名> <ターゲット名> virsh attach-disk rhel6_64 /var/lib/libvirt/images/foo.img vdb 注意: ● IDEデバイスは追加・削除できません ● ゲストOSがデバイスの追加・削除に対応している必要があります Red Hat K.K. All rights reserved. 44

Virtual Machineと物理サーバ 仮想マシン上のゲストOSは物理サーバのリソースをいきなり扱えません 仮想マシン上の「仮想ハードウェア」に見せかせる必要がありますゲストOS いくつか手法がありますが一長一短 ● PCIデバイスをゲストOSへ割り当て KVM ● デバイスの全機能を高速に利用 QEMU ● デバイスが占有され、migrationもで仮想ハードウェア(モデル) きないバックエンド処理 ● 実際のデバイスをエミュレート ● ゲストOSの対応が期待できる Linux ● エミュレートは高負荷バックエンド ● 仮想化専用のインタフェース ● オーバーヘッドが低い ● 未対応OSでは利用不可ハードウェア Red Hat K.K. All rights reserved. 47

マシンタイプ 互換性維持のためにマシンタイプの指定が可能 ● 現在提供されているマシンタイプ一覧 ● rhel6.1.0 RHEL 6.1.0 PC (default) ● rhel6.0.0 RHEL 6.0.0 PC ● rhel5.7.0 RHEL 5.7.0 PC ● rhel5.6.0 RHEL 5.6.0 PC ● rhel5.5.0 RHEL 5.5.0 PC ● rhel5.4.4 RHEL 5.4.4 PC ● rhel5.4.0 RHEL 5.4.0 PC 設定ファイル中の domain/os/type/@machine に自動保存 ● ホストをアップデートしてもVMのマシンタイプは維持される マシンタイプによる動作の違い ● 現状ではCPUモデル以外はほとんど大きな違いはない ● 修正による細かな動作の違いを補正 Red Hat K.K. All rights reserved. 48

CPUのモデル CPUモデルの選択(RHEL6.1から) ● 486, Conroe, Nehalem, Opteron_G1,Opteron_G2, Opteron_G3, Penryn, Westmere, athlon, core2duo, coreduo, n270, pentium, pentium2, pentium3, pentiumpro, phenom, qemu32, qemu64 ● 実際のCPUの機能フラグに対応させている 実際のCPUでない"qemu32", "qemu64"モデル ● qemu32, qemu64は特に指定しない場合のデフォルト ●qemu32は32bit、qemu64は64bit ● 実際のCPUに一対一で対応していない ● “QEMU Virtual CPU version (cpu64-rhel6)” のような名前になります ● マシンタイプがrhel5.* の場合は“QEMU Virtual CPU version (cpu64-rhel5)” のようになります。 Red Hat K.K. All rights reserved. 50

CPUの機能セット(CPUIDの機能フラグ) 物理的なCPUの機能がそのまま利用できるとは限らない ● QEMUでの対応が必要 仮想CPUの機能セット←QEMUで対応 and 物理CPUが機能提供 サポート機能セットをオプションで指定可能 機能セットを再現できることがマイグレーションの必要条件 ● Intel/AMD間のマイグレーションはサポート対象外 QEMUの指定実ハードのCPUID VCPUのCPUID fpu fpu fpu vme vme vme 486 pse pse pse de de de ＆＝ tsc tsc tsc msr msr msr mce mce mce cx8 cx8 cx8 pentium mmx mmx mmx pae pae sep sep pentium2 mtrr mtrr ... Red Hat K.K. ... All rights reserved. 51

cgroups(RHEL6.0〜) linuxに新しく登場したリソース管理の仕組み タスクのグループごとに資源を与える グループに参加するタスクは任意に指定可能 サブプロセスもデフォルトで同一グループ 利用方法: ● /cgroup/* をマウント(libcgroupによる) ● blkio, cpu, cpuacct, cpuset, devices, freezer, memory, net_cls ● この下にディレクトリを作成するとグループを作成 Red Hat K.K. All rights reserved. 52

libvirtとcgroups libvirtが仮想マシン毎にタスクグループを作成 ● /cgroup/*/libvirt/qemu/<domain名>/* ● cpu, cpuacct, cpuset, devices, freezer, memory ● blkioとnet_cls以下への作成は未実装 libvirtと統合済みなのはcpuとdevice ● CPUは使用量の割合を指定可 ● deviceは指定されたデバイスの利用を許可 memoryはlxc(Tech Preview)でのみ利用 Red Hat K.K. All rights reserved. 53

cgroups - CPU virsh schedinfoコマンドでCPUの比率を取得virsh # schedinfo rhel6_64Scheduler : posixcpu_shares : 1024 schedinfo --set で比率変更virsh # schedinfo rhel6_64 --set cpu_shares=100 1Scheduler : posixcpu_shares : 100 VM-1 1024(デフォルト) : rhel6_64 100 : その他 1024(デフォルト) Red Hat K.K. All rights reserved. 54

VCPUのpinning VCPUがどの実CPU上で動作できるかを固定する 実サーバの規模が大きく、NUMA構成である場合には同一ノードで動作するようにpinningすると性能に好影響 ● 最近の2ソケット以上のサーバはNUMA構成 ● NUMAノードとcpuの番号の対応を確認するにはnumactl --hardware コマンドが便利ノード0 ノード1 メモリメモリ cpu0 cpu2 cpu1 cpu3 同じノード内だけで cpu4 cpu6 cpu5 cpu7 動作するように pinningする cpu8 cpu10 cpu9 cpu11 Red Hat K.K. All rights reserved. 55

VCPUのトポロジ(RHEL6.0〜) VCPUを、どのような構成としてVMに見せるかを設定する ● Sockets: ソケット数 ● Cores: ソケットあたりのコア数 ● Threads: コアあたりのスレッド数 Sockets * Cores * Threads = VCPU数となるよう設定する デフォルトではソケットあたり1コア、1コアあたり1スレッドの CPUがVCPU数分ならんでいるように見える 一部アプリケーションソフトウェアのライセンス費用はSocket 数に影響されるため有用 Red Hat K.K. All rights reserved. 56

仮想ディスクのモデルゲストからどう見えるかを選択可能 ide ● IDE接続のディスク最大4台まで(CD/DVDが有効だと3台まで) ● I/O速度は遅くないがCPU消費が多い virtio ゲストOS ● virtioで通信する。 QEMU ● ゼロコピー実装のためCPU消費が IDE or virtio 少ないフォーマット処理 Linux バックエンド Red Hat K.K. All rights reserved. 58

仮想ディスクのバックエンドホスト側で対応するバックエンドを選択可能 デバイス（LUN、パーティション、LVMのLV）を割り当てる raw形式のファイル ● ファイルをデバイスとして見せる ● sparceファイルにするとフラグメントが多発する ● 最初に全部確保するとフラグメント発生率が減る qcow2形式のファイル ● スナップショット機能、差分機能を提供 ●差分ファイルの作成はvirt-mangerで未対応 ●qemu-imgで作成する ● ディスクサイズ＜ファイルサイズになりうる ●qemu-imgによる作り直しで無駄な領域を捨てる 速度の目安 ● sparceなraw < qcow2 < sparceでないraw << デバイス Red Hat K.K. All rights reserved. 59

バックエンドをファイルにする場合の注意 ● linuxのファイルシステムは事実上4kB単位でファイルを読み書きします ●読み書きをする論理的なブロックと実際のアクセスをおこなうブロックがずれるとI/Oの効率が落ちます ● セクタサイズが4kBのHDDを利用する場合と同様の条件になりますが、仮想マシン上ではセクタサイズが512バイトに見えます ● パーティションの開始位置に注意が必要ですゲストOSのFS ← 4kB →ホストOSのFS ← 4kB → Red Hat K.K. All rights reserved. 60

1ディスクへの並列した負荷の問題 VM1 1ディスク上に複数の仮想ディスクを作成する場合に発生するパ VM2 フォーマンス問題の例 VM1とVM2を同一ディスク上にパーティションで切り分けて利用以下のケースを考える VM1だけでシーケンシャルread → ほぼnativeと同じ速度 VM2だけでシーケンシャルread ディスクの内周と外周の → VM1の1/2〜1/3の速度 I/Oスループットの違いによる VM1とVM2で同時にシーケンディスク上で離れた2系統のシャルread → 非常に遅い readが混在するためシーク動作が多く発生し、待ち時間が長くなる Red Hat K.K. All rights reserved. 61

ブロックデバイスのcache設定 RHEL6のlibvirtではキャッシュ指定ができます none ● ホストではキャッシュしない ● RHEL5と同等。デフォルト設定。サポート対象 writethrough ● ホスト側とゲスト側で重複してキャッシュする ●メモリが逼迫するとキャッシュしない方が速い ● サポート対象 writeback ● サポート対象外 ● ホストのキャッシュへ書きだして書き込み完了とする ● 高速だがディスク上の整合性を保証できない Red Hat K.K. All rights reserved. 62

qcow2パフォーマンス改善 RHEL5からRHEL6で以下のような改善が行われています 最大クラスタサイズ拡大 ● 64kB→ 2MBに ● オプション cluster_size=2M メタデータの事前確保 ● オプション preallocation=metadata 作成コマンド例: qemu-img create -f qcow2 -o cluster_size=2M,preallocation=metadata foobar.img 10G Red Hat K.K. All rights reserved. 65

仮想ディスクの注意点 IDEモデルを利用する場合のタイムアウト ● linuxでIDEドライブにタイムアウト(10sec)が発生するとPIO モードになり、非常に遅くなります ● バックエンドのマルチパスフェイルオーバなどで発生します I/Oスケジューラ ● 負荷によりますがホスト側ゲスト側ともにdeadlineとすることでベンチマーク結果が改善することが知られています qcow2の既知の問題 ● RHEL5.5のqcow2の実装には既知のデータ破壊問題があります ● RHEL5.6以降またはRHEL6.0以降を利用 Red Hat K.K. All rights reserved. 66

パフォーマンス：仮想化ストレージ SAS multi-stream workload in KVM guest Intel Nahelem 8core, 48GB, 2FC SAS-systime Guest (8x44GB virtio, nocache) TOTAL-SAStime (HOSTS: red=R5 blue=R6)RHEL5 VM on RHEL5RHEL5 VM on RHEL6 EXT3 File SystemRHEL6 VM on RHEL6RHEL5 VM on RHEL5RHEL5 VM on RHEL6 XFS File SystemRHEL6 VM on RHEL6 0 5000 10000 15000 20000 25000 30000 35000 40000 time in seconds (lower is better) Red Hat K.K. All rights reserved. 67

仮想ネットワーク モデル ● 実際にあるNICのエミュレーション ●e1000 -- virtioドライバがない場合e1000が最も軽い ●ne2k_pci ●pcnet ●rtl8139 -- デフォルトのNICはRTL8139 ● 仮想的なネットワークデバイス ●virtio -- virtio-net ドライバが必要、最も軽い モデルは実際のNICの正確な反映ではないので、帯域制御などには利用できません Red Hat K.K. All rights reserved. 72

仮想ネットワークのバックエンド TAPデバイス ● VLANやbondingデバイスのような論理的なNIC ● 対応するファイルへのwrite/readをEthernet frameの送受信に変換 libvirtが仮想マシン設定に従って作成し、qemu-kvmに接続する QEMU linux kernel Network←→Filesystem vnet0 /dev/net/tap0 Red Hat K.K. All rights reserved. 73

前提知識: linuxのソフトウェアブリッジ linuxカーネルにはブリッジ(802.1d)実装が含まれています ● ポート学習、STPといった基本的な機能を実装 ブリッジの直接的な管理はbrctl コマンドで行います ● brctl show ● brctl showmacs ● brctl delif <bridge> <interface>; brcrl addif <bridge> <interface> ● brctl addbr <bridge> ; brctl delbr <bridge> eth0 br0 vnet0 vnet20 vnet10 http://www.linuxfoundation.org/collaborate/workgroups/networking/bridge Red Hat K.K. All rights reserved. 74

仮想ネットワークと物理ネットワークの接続 仮想マシンに割り当てた仮想NICはQEMUが作成する仮想インタフェース(vnet0 のような名前)に対応づけられる 「仮想インタフェースをどの仮想ブリッジに接続するか？」を libvirtで設定 仮想ブリッジの設定次第で様々な利用が可能 vnet0 eth0 eth0 br0 vnet1 eth1 virbr0 iptables vnet2 eth2 br1 ホストLinux 仮想マシン Red Hat K.K. All rights reserved. 75

外から仮想NICが見える設定 - bridge /etc/sysconfig/network-scripts/ifcfg-eth0、 /etc/sysconfig/network-scripts/ifcfg-br0による設定 使用例: ● 仮想マシンによるサーバ構築 ● 共有テスト環境 etc.BRIDGE=br0 を ifcfg-eth0に追加 <interface type=bridge> <mac address=52:54:00:37:7c:16/>DEVICE=br0 <source bridge=br0/>TYPE=Bridge </interface>BOOTPROTO=dhcp を ifcfg-br0 に設定ONBOOT=yes を VM設定ファイルに追加DELAY=0 vnet0 eth0 eth0 br0 ホストLinux 仮想マシン Red Hat K.K. All rights reserved. 76

NATの中に仮想マシンを閉じこめる設定 - NAT libvirtによる自動設定 デフォルトで提供： /etc/libvirt/qemu/networks/default.xml iptablesのNAT+ dnsmasqのDHCP <network> <name>default</name> 使用例: <uuid>48d17f30-1d19-4957-8a3b-0af70d3cd5a3</uuid> <forward mode=nat/> マシンローカルの <bridge name=virbr0 stp=on forwardDelay=0 /> <ip address=192.168.122.1 netmask=255.255.255.0> 実験環境 etc. <dhcp> <range start=192.168.122.2 end=192.168.122.128 /> </dhcp> </ip> </network> eth0 vnet1 eth1 virbr0 iptables ホストLinux 仮想マシン Red Hat K.K. All rights reserved. 77

仮想マシン間だけでの通信を行う設定 - local /etc/sysconfig/network-scripts/ifcfg-br1 等で仮想ブリッジを作成するだけ 使用例: 同一マシン上で仮想マシン同士を接続する ● 仮想サーバと仮想クライアントの接続→一台で検証環境 ● クラスタの検証環境 ●ハートビート <source bridge=br1> ●クラスタ間通信etc. を VM設定ファイルに追加 vnet2 eth2 br1 ホストLinux 仮想マシン Red Hat K.K. All rights reserved. 78

ネットワーク設定が反映されるタイミング ホスト起動時: sysconfigの設定によりeth0, br0を作成して接続 eth0 br0 仮想マシン作成時、libvirtがトンネルデバイスvnet0作成、接続 vnet0 eth0 br0 QEMUがlibvirtから実行されて仮想インタフェース作成 eth0 br0 vnet0 eth0 ホストLinux 仮想マシン Red Hat K.K. All rights reserved. 79

ちょっと未来のネットワーク接続 ソフトウェアブリッジの弱点 ● ソフトウェアブリッジは帯域制御やACLなどの管理機能が使えない ● CPU消費も無視できない ●特に接続インタフェースが多い時 ソフトウェアブリッジではなくスイッチで管理する手法 ● VN-Link(Cisco) ● VEPA(Virtual Ethernet Port Aggregator, IEEE802.1Qbg) ●どちらもスイッチに仮想的なポートを作成する技術 ●VMの仮想NICは非常に多くなりうる(実サーバ1台に100 ポートなど)のでこのような技術が必要 ●スイッチがこれらの規格に対応している必要があるためまだどこでも利用できる状態ではない Red Hat K.K. All rights reserved. 80

VEPAによる論理的なポート拡張 ether frameにVLANタグとポート識別用のタグを付与 一旦全てのフレームを実NICから外部へ送り出す スイッチはACL, QoS制御などの処理をした上で送信先ポートを判定 スイッチは同じポートに対応している場合、そのポートへパケットを送り返す（ヘアピンモード) VM VM VM VEPAによる VEPA 論理的なポート拡張 switch Red Hat K.K. All rights reserved. 81

macvtapによる接続 実NICに対応づけられたtapデバイス ● macvtapの動作モードにVEPAモードを選択することで VEPAを実装する 作成例: # ip link add link eth0 name macvtap0 type macvtap VM VM VM libvirtでの設定例: <devices>macvtap macvtap macvtap ... <interface type=direct> <source dev=eth0 mode=vepa/> 実NIC </interface> ... </devices> switch Red Hat K.K. All rights reserved. 82

macvtapのモード VEPA(Virtual Ethernet Port Aggrigator) ● 外部スイッチのポートを論理的に増やす技術 ● VEPA対応スイッチが必要(多くのスイッチは非対応) ● 全てのフレームを一旦外部のスイッチへ転送してスイッチに処理させる ● ネットワーク機器の管理機能利用、ホストCPU負荷削減 Private ● VEPAと同じだが同一ポートに必ず戻ってくる Bridge ● 同一マシン上のMACであればソフトウェアで転送 ● ブリッジはVEPAに対応していなくてもよい ● 通常のソフトウェアブリッジによる実装と同等 Red Hat K.K. All rights reserved. 83

nwfilter 仮想マシンのネットワーク送受信について、L2, L3でのフィルタを行うlibvirtの機能 汎用のフィルタ定義とパラメータの組み合わせで利用 ● パラメータ「IP」と「MAC」が予約されている MAC, ARP, IPv4, IPv6, TCP, ICMPなどのプロトコルに対応 典型的なフィルタについてはデフォルトで定義あり ● 例: 仮想NICに割り当てたMACアドレス以外をsrcとする外向きのフレームをdropする 詳しい仕様は http://libvirt.org/formatnwfilter.html <devices> <interface type=bridge> <mac address=00:16:3e:5d:c7:9e/> <filterref filter=clean-traffic> フィルタ名 <parameter name=IP value=10.0.0.1/> フィルタのパラメータ </filterref> </interface> </devices> Red Hat K.K. All rights reserved. 84

基本のシンプルな構成 vnet0 - eth0 仮想マシンA サービス用 eth0 ネットワーク br0 vnet1 - eth0 仮想マシンB 管理ソフトや vnet2 - eth0 仮想マシンC他の仮想化ホスト eth1 live migration ホスト vnet3 - eth0 仮想マシンD 環境 eth2 block block block devices devices devices iSCSI target Red Hat K.K. All rights reserved. 86

基本のシンプルな構成 w/VLAN 仮想マシンからVLANタグつきのパケットを送信すると、VLANのネスト(QinQ)が起きるので注意サービス用ネットワーク vnet0 - eth0 仮想マシンA eth0 eth0.10 br0.10 vnet1 - eth0 仮想マシンB 管理ソフトや他の仮想化ホスト eth1 eth0.20 br0.20 live migration vnet2 - eth0 仮想マシンC ホスト環境 vnet3 - eth0 仮想マシンD eth2 block block block devices devices devices iSCSI target Red Hat K.K. All rights reserved. 87

1台で3層(web, app, db)サーバ  実ハードウェア1台の場合 internet  ブリッジをネットワークに1対1 対応させる eth0  各層のVMを2つに分ける意 br1 味があまりないような……?? ● 可用性?→△ ● アプリケーションの不具 web web 合には対応可 ● パフォーマンス?→× br2 ● アプリがあまり並列度 app app を活かせない場合には速くなる可能性あり br3 db db Red Hat K.K. All rights reserved. 89

2台で3層(web, app, db)サーバ internet  実ハードウェア2台の場合  各ホスト中でネットワークをブリッジに一対一対応させる br1 eth0 eth0 br1  同一ネットワークを実NICで接続 web web  サーバが全ノードで動作していなくても、ネットワーク br2 eth1 eth0 eth1 br2 的に対称に構築しておく ● live migrationなどでVMを app app 移動するときに便利なのでお勧めです br3 eth2 eth2 br3 db db Red Hat K.K. All rights reserved. 90

2台で3層(web, app, db)サーバ w/VLAN VLANを使いネットワークを分割 実NICのVLANエイリアスを作成してブリッジを接続 internet eth0.2001 eth0.2001 2001 web br0 web br0 eth0 2002 eth0 eth0.2002 eth0.2002 br1 SW br1 app app 2003 eth0.2003 eth0.2003 db br2 br2 db Red Hat K.K. All rights reserved. 91

2台で3層(web, app, db)サーバ w/普通のスイッチ internet  ブリッジを利用せずネットワークをスイッチで管理したい場合  VLAN設定はスイッチ内のみ eth0 eth0web 2001 web  仮想マシンそれぞれから eth1 eth1 ネットワークへの接続分だ 2002 けポートが必要 eth2 SW eth2app app eth3 eth3 2003 eth4 eth4 db db Red Hat K.K. All rights reserved. 92

2台で3層(web, app, db)サーバ w/VEPAスイッチ internet  スイッチでVLANを使いネットワークを分割  VEPAを利用し、NICを経由してスイッチのポートを拡張 vnic 2001 vnic ● 物理的なポート数をweb web vnic vnic 削減 2002 eth0 eth0 vnic SW vnicapp app vnic vnic 2003 vnic vnicdb db Red Hat K.K. All rights reserved. 93

その他仮想ネットワークの注意点 ブリッジを共有している仮想マシンにはパケットが到達します ● tcpdumpすると他VMの通信が見えます 1つのブリッジに多数のインタフェースを接続するとCPU使用量が増えます ブリッジにIPアドレスを設定するとIPを使ったホスト-ゲスト間通信が可能です 仮想インタフェースのMACアドレスは任意に設定できますが 01 ではじまるMACアドレスについてはbridgeが転送しません ● マルチキャストアドレスと見做されます ● デフォルトでは 52:54:00:（以下ランダム）というMACアドレスが生成されます NAT構成のネットワークと、nwfilterの設定はiptables, ip6tables, ebtablesにより実装されています。サーバ全体の設定との競合に注意が必要です。 Red Hat K.K. All rights reserved. 94

bondingの利用と注意点 vnet0 - eth0 VM SW ？ eth0 br0target bond0 SW eth1 ホスト環境  bondingを利用する場合 bonding deviceをBridgeへ接続します ● Active-backup(mode=1)のbonding時、Standby側のスイッチがゲスト OSのMACへの経路が変更されたことを学習するチャンスがないためにフェイルオーバ時に通信が途切れることがあります  対策 ● ゲストOSからゲートウェイへ継続的にpingを投げて学習させる ● br0に直接eth0, eth1を接続してSTPを利用する ● bondingをbroadcast（mode=3）で行う(同一パケットが複数流れます) Red Hat K.K. All rights reserved. 95

ブリッジとSTPによるactive-backup SW vnet0 - eth0 VM eth0 target br0 SW eth1 ホスト環境  eth0とeth1の両方をブリッジに接続する  STPを無効にしているとループが発生してしまいます ● br0と関係するスイッチでSTPが有効になっていることを確認する  STPによりどちらか片方の経路だけが有効になります Red Hat K.K. All rights reserved. 96

メモリの有効活用 通常のlinuxプロセスと同じ技術 ● over commit ●実際に割りあてるメモリをあらかじめ確定していなくても割り当てる仕組み ●実際にページが逼迫するとキャッシュの破棄や暇なページのswap outにより対応 ●過剰なover commitはOOM-Killerが発生するため危険 ● swap ●KVMに割り当てたページであってもswap outできる KVMに特有または仮想化にマッチする技術 ● Kernel Samepage Merging (KSM) ●同一内容のページを1つの物理ページに集約 ● memory ballooning ●balloon driverによりゲストOSからメモリを開放 Red Hat K.K. All rights reserved. 99

Kernel Samepage Merging 複数VMをまたいで同一内容のページを1物理ページに集約 asdlkajsdf sdflkajsdf aflnkajsdf asdfkajsdf asdfjflkaj falksflkaj asdfjflkaj asdfallkaj ハ asdlkjsdfa aalkjswdfa akjsfffdfa asdfakjdfa ード lakpsjdfla lajghbdfla laksjdfgela laksjdfhla ウ asdkjasdlf asdflasdlf flakjasdlfq asdfjasdlf ェ asdfkajsdf asdlfkjsdf mmmmasdfee asdfkajsdf ア adspfadfwe agggdsfawe dsfadvbfwe adfadfbbwe の asdfffasdf asdfffasdf asdfffasdf bbasdfbbcc 物 asdfffasdf asdfasdfdd asdfffasdf bbasdffbbc 理 asdfffasdf asdfasdddf asdfffasdf asdfffasdf メ mmmmasdfee mmmmasdfee asdfeeeeee mmmmasdfee モリ fffffggfff ffffffffff fffffaafff ffbbffffff VM1 VM2 VM3 VM4 Red Hat K.K. All rights reserved. 100

memory ballooning RHEL5.5より対応 ホストOSが効率良く管理できるようにゲストOSからヒントを出す balloon driverによりゲストOS内でメモリの一部を確保 サイズの自動調整は未実装 ● 手動で明示的にサイズを指示する必要がある balloon balloon balloon balloon balloon VM1 VM2 K.K. Red Hat VM3 All rights reserved. VM4 101

HugePageとは？ 4kBのページ512個を2MBのページ1個で代替 DB, Java VM, KVMなど多量のメモリを消費する場合に有効なチューニング。RHEL5でも利用可能 何が起きるの？ ● TLBの消費量減少 ● TLBのミスヒット率減少 何が嬉しいの？ ● ミスヒットが減ることでメモリアクセスの性能が向上 何故常に使われていないの？ ● 起動時にあらかじめメモリを確保する必要がある ● HugePageでない通常の4kBメモリとして利用できない Red Hat K.K. All rights reserved. 102

Transparent Huge Page 利点: 事前の準備なしにHugePage を利用できる VMごとの個別設定は不要 ● デフォルトで有効 ● /sys/kernel/mm/redhat_transparent_hugepage以下で設定可能 ● /proc/meminfo 内の AnonHugePages の欄で現在の利用量を確認可# grep AnonHugePages /proc/meminfoAnonHugePages: 632832 kB  欠点 ● 2MB連続のページを確保するためにページ移動が行われる ● CPU時間のオーバヘッド ● 全てHugePageを利用する保証はない Red Hat K.K. All rights reserved. 103

Performance – RHEL6 B2 Linux Intel EXSpecjbb Java – Huge/Transparent Huge Pages RHEL5.5 /6 SPECjbb Scaling Intel EX 350 120.0% 300 115.0% 250 RHEL5.4 RHEL6 B2 RHEL5 Huge 200 RHEL6 Huge bops (k) 110.0% R6 vs R5 150 100 105.0% 50 0 100.0% 4cpu 8cpu 16cpu Red Hat K.K. All rights reserved. 104

ライブマイグレーション 仮想マシンを物理的なマシン間で移動するには？ ● メモリ状態、I/O状態、VCPU状態を転送する ● メモリが一番大きいため、メモリコピー時間が支配的 サービス停止時間を短くするための工夫 1. メモリをコピー中に変更されたメモリを追跡 2. 変更された差分だけをまたコピーする 3. 1, 2 を予想転送時間が十分短くなるまで繰り返す移動元移動先 QEMU QEMU VM コピー VM Linux Linux Red Hat K.K. All rights reserved. 105

ライブマイグレーションのしくみ1: 移動先でQEMU起動、メモリ確保 2: メモリをコピー(予想転送時間≦30msまで) QEMU QEMU QEMU QEMU VM VM VM VM Linux Linux Linux Linux3: 移動元を止めてメモリとI/O状態をコピー 4: 移動先で動作開始、移動元を破棄 QEMU QEMU QEMU QEMU VM VM VM VM Linux Linux Linux Linux Red Hat K.K. All rights reserved. 106

ライブマイグレーションの注意点 メモリ転送がいつまでも終了しない可能性があります ● メモリへの書き込みが多い作業 ●古典的なCGI ●データ更新 ● ワークアラウンド ●許容される転送時間を長く設定する ●キャンセルして「ライブでない」マイグレーションを行う メモリの書き換え状況によるため振る舞いの予測が困難です ● 必要な時間は負荷や転送速度により変わります ● トータルの転送量がダイナミックに決まります ● いつ終了するかの予想はおこなえません Red Hat K.K. All rights reserved. 107

時計 ゲストOSとしてRHEL5.4以降を使うとpvclockを利用できる ● 設定は不要（TSCを利用しているように見える) ● ホスト側のTSCとオフセットを利用して安定した時計を提供 pvclockの制限 ● ホストのTSCが安定していることに依存している ホストTSC安定の確認 ● /proc/cpuinfo内で constant_tsc フラグを確認 pvclock使用不可時のワークアラウンド ● ”notsc” のようなカーネルオプションをつける ●Virtualization Guide内にバージョン毎のオプションあり ● “lpj=n” というオプションはnにホストのdmesg中に出力される値を設定する ● 例: "Calibrating delay loop (skipped), value calculated using timer frequency.. 3191.60 BogoMIPS (lpj=1595803)" Red Hat K.K. All rights reserved. 110

virtio 仮想化環境でゼロ・コピーI/Oを実装するためのフレームワーク ● KVMだけでなくlguest, VirtualBoxなどでも利用される 共有メモリを利用 ● オペレーションの共有 ●I/O命令によるトラップをなくすことで高速化 ● 実際のデータの共有 ●オペレーションに対応するデータも共有 ● データ本体のコピーが発生しない Red Hat K.K. All rights reserved. 112

vhost-net virtio-netをホストLinuxカーネル内で実装 ● qemu-kvmのスレッドではなくカーネルスレッドが処理 ● I/O毎にシステムコール呼出を削減 ●レイテンシの低下 ●CPU消費の低下 RHEL6.1から有効 /etc/sysconfig/modules/kvm.modules で起動時にvhost_net カーネルモジュール読み込み ● →/dev/vhost-net デバイス作成 libvirtdが起動時に/dev/vhost-net の存在を検出 ● ゲストのNICモデルがvirtioの場合は自動的に利用 Red Hat K.K. All rights reserved. 114

virtio-serial シリアルデバイスもvirtio対応になっています 最悪でバイト毎にio命令が発行されるので仮想化環境では高負荷になりうる ● 例: 115200bpsのシリアルポート →14400バイト/s →1バイト〜16バイト毎に割り込みが入るので →毎秒900+回の割り込み処理 virtio-serialでは共有メモリ上のリングバッファを利用 Red Hat K.K. All rights reserved. 117

メモリ管理の仮想化対応 「仮想アドレス」とは？ ● プロセスごとに持つ固有のアドレス空間 ●プロセス同士が同じアドレスを使っても競合しない ●実際のハードウェアで搭載されるメモリ量に制約されない 「OSのメモリ管理」は何をやっているか？ ● プロセスに見せるアドレス(仮想アドレス）から物理的なメモリのアドレス(物理アドレス)への変換 OSは何を管理するか？ ● 「仮想アドレス→物理アドレス」の変換表を管理している ●プロセス作成・終了時の変換表作成・削除 ●メモリ割り当て・解放時の変換表書き換え ● CPUが変換表を自動的に参照してアドレス変換をおこなう 仮想化環境ではゲストOSは真の物理アドレスがわからない ● ハイパーバイザでの対応が必要 Red Hat K.K. All rights reserved. 120

EPT以前（shadow page table）  ゲストOSが管理するページテーブルをそのまま利用できない ● ゲストOSは「仮想物理アドレス」しか把握していない  KVMがゲストOSのページテーブルを元にシャドウページテーブルを作成 ● シャドウページテーブルは「仮想アドレス→物理アドレス」の表 CR3 （OSが仮想化で騙されているので）仮想アドレス Page Table 仮想物理アドレスVMhypervisor CR3 KVMがページテーブルの更新を監視・変換・反映してメンテナンス shadow 物理アドレス Page Table Red Hat K.K. All rights reserved. 122

EPT/NPTを利用したアドレス変換  仮想物理アドレスを物理アドレスに変換するページテーブル (EPT/NPT)を導入 ● ハイパーバイザが管理 ● 仮想マシン1台に1セットあればよいのでshadow PTより省メモリ  ゲストOSが管理するページテーブルをそのまま利用 CR3 仮想アドレス Page Table （OSが仮想化で騙されているので）VM 仮想物理アドレスhypervisor EPT base pointer EPT 物理アドレス Page Table Red Hat K.K. All rights reserved. 123

QEMU PCをはじめとした各種ハードウェアのエミュレータ 2003年から開発 多種のOS、ハードウェアで動作 各種H/Wのエミュレーションを実行 ● 命令を動的に変換することで他CPUの動作をエミュレーション仮想マシン ● x86、x86_64、IA64、ARM、 SPARC、PPC、MIPS QEMU ● CPU, PCIコントローラ, NIC, IDEコントローラ, シリアル, USB, Linux / *BSD / Mac / Win etc. ビデオカード etc. ハードウェア 通常のユーザプロセスとして動作 仮想マシンは基本的に1命令ごとに処理 Red Hat K.K. All rights reserved. 125

センシティブ命令 実行したり前後の状況を調べると「普通のハードと違う！」と気付けてしまう命令 ● 仮想マシン内でのセンシティブ命令の実行をうまくごまかすことで仮想化環境を実装する x86系CPUではセンシティブ命令が特権命令のサブセットではない命令全体命令全体特権命令特権命令センシティブ命令センシティブ命令こうだと簡単なのに…… x86アーキテクチャは特権保護だけでは不足 センシティブ命令をフックするためのCPUの拡張機能 ● Intel VT-x, AMD AMD-V Red Hat K.K. All rights reserved. 126

VT-x / AMD-Vとリングプロテクション 従来のリングプロテクションとVMXによる保護は直交する VMX rootオペレーションモード VMX non-rootオペレーションモードリング3 リング3 プロセスプロセスプロセスプロセスプロセスプロセスリング2 リング2 リング1 リング1 システム・コールシステム・コールリング0 リング0 センシティブ命令の実行 Linuxカーネル LinuxカーネルゲストOS Red Hat K.K. All rights reserved. 127

高速なQEMUとしてのKVM環境 ゲストの制限 ● CPUが直接実行できるアーキテクチャだけに対応 実行を管理するのはLinuxカーネル 事前の命令スキャンは不要 ● 通常の命令は直接実行仮想マシン ● 特殊な命令はQEMU/KVMへ割り当て用 制御はQEMUから行うメモリ仮想マシン QEMU KVM Linux ハードウェア Red Hat K.K. All rights reserved. 129

/dev/kvm KVMへのインタフェースになる特殊デバイス ● ioctl()で様々な機能提供 →KVMのためだけの新しいシステムコールは不要 →マージされやすい ● 新しい仮想マシンの作成 ● 仮想マシンへのメモリ割り当てのリクエスト ● 仮想CPUのレジスタの読み書き ● 仮想CPUへの割り込み挿入仮想マシン割り当て用 ● 仮想CPU実行開始メモリ仮想マシン ● I/Oハンドラの登録 QEMU KVM QEMUがKVMを呼ぶ時にはこのファイルを利用 Linux ハードウェア Red Hat K.K. All rights reserved. 130

kvmのVM実行はuser時間として計算される  仮想マシンで計算負荷を発生させる ● yes > /dev/null 等  ホスト上のtopで実行時間を見ると → user時間が大きい  VM実行時間はホスト側ではどう見えるか? ● RHEL5ではsystem時間としてカウント ● RHEL6ではuser時間としてカウント ioctlでvcpu実行を依頼QEMU user時間 user時間 sys syskernel KVMがVMのコンテキストに切り替え user時間 VM VM実行中時間 Red Hat K.K. All rights reserved. 131

Linuxの動作モード ユーザ・モード ● 特権命令は実行不可能 ● 特権命令を実行した場合 ●CPUがトラップしてカーネルへジャンプ ● 使用例 ●不正な命令を実行 ●システム・コール呼び出し ●割り込み処理プロセス user カーネル・モード jump ● あらゆる命令を実行可能 kernel Linux kernel Red Hat K.K. All rights reserved. 132

KVMが追加する動作モード ゲスト・モード ● センシティブ命令は実行不可能 ● センシティブ命令を実行した場合 ●CPUがトラップしてカーネルへジャンプ ●CPUのIntel VT-x、AMD AMD- V機能を利用してトラップ ● 使用例 ●ゲストOSがセンシティブ命令を VM 実行しようとした場合 guest ●I/O、特権命令等 jump ●割り込み処理 kernel ●VM実行中に他のVMやプロ Linux kernel セスへの割り込みがくるかもしれない Red Hat K.K. All rights reserved. 133

KVMの動作（続き） QEMUと仮想マシンの間の切り替えをKVMが行っています「何も知らない」ゲストOSの I/O終了後、世界ゲストに制御を戻すセンシティブ命令の実行や QEMUによる割り込み（I/O実行終了）などデバイス・エミュレーション出典：『kvm: the Linux Virtual Machine Monitor』 Red Hat K.K. All rights reserved. 135

sVirt qemu-kvmはqemuユーザで実行されている ● 全てのVMで同じユーザ ● QEMU/KVMに脆弱性がある場合VM間の分離がない sVirt: VM同士をSELinuxで分離 ● qemu-kvm(qemuユーザ)の権限で任意コマンド実行可能になっても他VMへの影響を防ぐ ● libvirtが自動設定するので追加設定は最小限 実装: libvirtがVM起動時にSELinuxのラベルを自動設定 ● qemu-kvm プロセス ● 仮想ディスクイメージのバックエンド 設定方法: SELinuxをenforcingで有効にしておくだけ Red Hat K.K. All rights reserved. 137

NTTコミュニケーションズ様クラウドコンピューティングサービス Bizホスティングベーシッククラウド型サービスとして、お客さまはロケーションを意識することなく、サーバーリソースをネットワーク経由で利用可能■オンデマンド ■複数ロケーションによるクラウド型サービス提供　・必要な時に必要な量の・NWバックボーンに直結したクラウド基盤　　サーバーリソースを利用可　・柔軟なリソース変更も可能 Internet Internet VPN VPN KVM KVM KVM社内LAN リソース補完収容変更 Red Hat K.K. All rights reserved. 140

KVM 利用事例パブリッククラウド基盤 ● NTTコミュニケーションズ　Bizホスティングベーシック ● 大手テレコムベンダ ● IBM　Smart Business Cloudプライベートクラウド基盤 ● US Defense Information System Agency（国防総省の後方支援組織） ● DreamWorks ● 自治体クラウド実証環境 ● 大手警備保障会社 ● 大手精密機器メーカ ● 大手通信機器メーカ ● 大手ソーシャルネットワークプロバイダ ● 大手携帯コンテンツプロバイダ Red Hat K.K. All rights reserved. 142

Red Hat Training KVM Workshop ● Red Hat Enterprise Linux上での基本的な仮想化に対する理解を深めます。 ● Red Hat Enterprise Linux上で各種ツールを使用して仮想マシンの作成・管理・マイグレーションの方法を学習します。 RH318 RedHat Enterprise Virtualization ● KVMを利用した統合仮想化管理ソフトであるRedHat Enterprise Virtualizationの技術を導入、管理するために必要な知識とスキルを身につけます。 Red Hat K.K. All rights reserved. 144

http://tksystem.wordpress.com	42
http://www.techgig.com	17
http://www.twylah.com	16
http://mtakiuch.blogspot.jp	12
https://twitter.com	11
https://si0.twimg.com	10
http://us-w1.rockmelt.com	9
http://s.deeeki.com	7
https://twimg0-a.akamaihd.net	4
http://a0.twimg.com	3
http://mtakiuch.blogspot.com	1
http://twitter.com	1
http://webcache.googleusercontent.com	1

RHEL6 KVMによる仮想化

by Kazuo Moriwaka

Accessibility

Categories

Upload Details

Usage Rights

13 Embeds 134

Statistics

RHEL6 KVMによる仮想化 Presentation Transcript