エンジニアなら知っておきたい「仮想マシン」のしくみ v1.1 (hbstudy 17)

hbstudy #17 (2010/11/26 ハロー会議室＠新宿)エンジニアなら知っておきたい「仮想マシン」のしくみ v1.1（事前配布バージョン）ネットワークシステムサービス本部ネットワーク運用・構築部長谷川猛 (hasegaw at sra.co.jp)Twitter : @hasegaw ※本資料中の解説内容は、弊社としてのCopyright(C) Software Research Associates, Inc. All Rights Reserved. 統一的な見解を示すものではありません。

自己紹介長谷川猛 (HASEGAWA Takeshi)氏名氏名 Twitter: @hasegaw 株式会社SRA所属所属ネットワークシステムサービス本部ネットワーク運用・構築部現在は提案支援業務に携わる特にLinux や仮想化技術を得意とする、興味分野興味分野雑食系システムエンジニア『Xen 徹底入門』初版、第二版（2007、2009年翔泳社）共著主な著書主な著書『LDAP Super Expert』（2006年技術評論社）寄稿『萌え萌えうにっくす！ネットワーク管理ガイド』（2003年 MYCOM） 2

想定される参加者• 想定される参加者 – 仮想化技術に興味を持っている方 – Linux用仮想化技術『KVM』の仕組みを知りたい方 – KVMの内部構造を調査する”とっかかり”を掴みたい方• 本セッションへのキャッチアップに必要なスキル ※”参加条件”ではありません – IAシステムの基本知識 – C言語の読解能力 – オペレーティングシステム(OS)のしくみ 4

Agenda• 現在のx86における仮想マシンの方向性 – x86 仮想マシンの概要 – x86 仮想マシンにおけるon-goingなトピック• いまさら聞けない仮想マシンのしくみ – 仮想CPU – 仮想マシンのメモリ管理 – 仮想ハードウェア – virtio 仮想デバイス • FreeBSD virtio 5

そもそも「仮想マシン」とは何か(1/2) ソフトウェアによって仮想的に構築されたコンピュータ。仮想化技術における仮想マシンは、OSが動作する実際のコンピュータをソフトウェアによって仮想的に構築したものである。 1台のコンピュータを複数の仮想マシンに分割することで、複数の利用者が同時に利用したり、異なるOSを並列に実行させたりすることができる。 http://e-words.jp/w/E4BBAEE683B3E3839EE382B7E383B3.html （IT用語辞典, 仮想マシン）より引用 7

そもそも「仮想マシン」とは何か(2/2)• 今日、対象とする「仮想マシン」 (System Virtual Machine) – x86ハードウェアの上で動くソフトウェア（ソリューション？） – x86ハードウェアを再現する – x86ハードウェア用のソフトウェア、OSが「そのまま」動く – VMware, Hyper-V, Linux KVM, Xen各種, VirtualBox, QEMU, Parallels, …• とりあえず思いつく「その他の仮想マシン」 – 言語VM (Process Virtual Machine) • Java, .NET Framework, YARV(Yet Another Ruby VM), … – おもちゃのエミュレータ、古いコンピュータのエミュレータ • MAME, NES, ANEX86/T98, PC98E, … 8

仮想化技術から見たx86の歴史年 x86ハードウェアの仮想化対応 x86仮想化ソフトウェア1975 SRA創立(1967) 仮想マシンの幕開け Robert P. Goldberg - Survey of Virtual Machine Research1978 Intel 8086 SRA, VAX-11導入(1980)1985 Intel 80386 |1998 VMware設立2003 Xen 1.0, XenSource設立2004 Xen 2.02005 Intel VT(VT-x, VT-i) Microsoft Virtual Server R22006 VMware Server, Xen 3.0, KVM開発開始2007 IOMMU仮想化支援(VT-d) RHEL5 (Xen)2008 メモリ仮想化支援(EPT/NPT) Hyper-V 1.02009 オーバーヘッド削減の努力 vSphere 4.0, Hyper-V 2.0, EL5(KVM)/RHEV2010 デバイスSR-IOV対応製品 vSphere 4.1, RHEV 2.2, EL6 9

ハイパーバイザー、仮想マシンモニタとは• コンピュータで複数のオペレーティングシステム(OS)を実行する際に、調停するためのソフトウェア• 仮想マシンモニタ(Virtual Machine Monitor, VMM)等とも呼ばれるゲスト上のプロセスゲスト上のプロセスゲスト上のプロセスゲスト上のプロセス –ゲスト –仮想マシン, VM ゲストＯＳゲストＯＳゲストＯＳゲストＯＳ –ハイパーバイザハイパーバイザ –仮想マシンモニタハイパーバイザ (VMM) ハードウェアハードウェア 10

活性化してきたx86の仮想マシン技術• Xen Hypervisorがもたらしたもの  「Windowsが動く」オープンソースのハイパーバイザーのひとつ  Intel VT, AMD-Vを使った代表的な仮想マシン実装  専用カーネルを使う「準仮想化」による高いパフォーマンス  Hyper-Vのアーキテクチャのベースにもなっている• ハードウェアによる仮想化支援機能の充実  VT-x, VT-I, AMD-V … CPUの仮想化• さらなる仮想化支援機能の強化  VT-x, VT-I, AMD-V … さらなるパフォーマンス向上  VT-d, AMD IOMMU… 仮想マシンからのPCIデバイスアクセス  EPT/NPT … 仮想マシンのメモリアクセス高速化 「カーネルはX86用OSを使用し、I/O部分のみを準仮想化」する方向へ 11

準仮想化 vs 完全仮想化 Xen KVM, VMware, … x86 H/W用 x86 H/W用仮想化専用仮想化専用 x86 H/W用 x86 H/W用 kernel kernel kernel kernel kernel kernel ハイパーバイザ(VMM) ハイパーバイザ(VMM) ハイパーバイザ(VMM) ハイパーバイザ(VMM) （ハードウェア支援なし）（ハードウェア支援なし）（ハードウェア支援あり）（ハードウェア支援あり）ハードウェアレベル仮想化支援機能ハードウェアレベル仮想化支援機能ハードウェアハードウェア 12

クラウドに求められる仮想マシンの特性• クラウドコンピュータ – “規模”が実現するシステム運用  ファシリティ →ラック、データセンタ、コンテナ単位での導入  インシデント駆けつけ型保守 → 計画的保守へ システム全体としての可用性、各ノードの柔軟な構成・運用が必要• 物理マシンと比べ魅力的な“仮想マシン”の特性  導入後からの構成変更、レプリカの作成が容易  手元でなくとも“完全な管理” ← 管理対象の増化（OSインスタンス、物理数）  サービス提供用OSの起動・停止が容易（ソフトウェアで実現でき、専用ハードウェアなどが不要）  仮想化によるパフォーマンス低下 • 少なからずオーバヘッドが発生 → 運用と性能のどちらを取るか？ 13

On-going なトピック• “ゲストOS”としての各OSの仮想化サポート – 仮想環境むけデバイスドライバの標準装備化 – 仮想環境における時間管理（Dynamic Tick、PV Timer）• よりシームレスな統合管理 – ノード管理ツールの強化 – クラウドとしてのリソース管理ツール VMwareを買うエンドユーザ、内製するサービスベンダ• 性能が求められる環境に対応するハードウェア – Device Passthrough – SR-IOV• より安価・高速・高信頼なストレージシステム – 実は仮想マシンにとって一番大事 14

そもそもKVMとは何かLinuxのカーネルモジュールとして qemu-kvm qemu-kvm実装された仮想マシン技術 Virtual Machineおもに下記２コンポーネントにて構成される Image Kernel-based Virtual Machine Device Emulator (KVM) – カーネルモジュールとして実装 – 仮想マシンのVirtual CPU実行 K ernel-based ernel-based System calls System calls qemu-kvm V irtual irtual – ユーザモードプロセスとして実装 M achine Device Drivers achine Device Drivers – VMのメモリイメージを保持 – IA-32システム周辺ハードウェアの Linux Kernel Linux Kernel エミュレーション Hardware Hardware – I/O機能 (ディスク、ネットワーク等) 16

QEMUとqemu-kvm• QEMU … オープンソースのPCエミュレータ – ソフトウェアによるCPUおよび関連チップを再現 • ソフトウェアCPU: x86 32bit/64bit, IA64, ARM, SPARC, PowerPC, MIPS – Bochs由来のBIOSを搭載 – ユーザモードで動作するプログラム• QEMU由来の仮想マシンソフトウェア群 – qemu-kvm (KVMを用いてCPUの仮想化支援技術を利用するQEMU) – Xenに含まれるqemu-dm (Xen HVMドメイン用ハードウェアエミュレータ) – VirtualBox (Sunによる仮想マシンソフトウェア) – kqemu (カーネルモードを使用する、より高速なQEMU) 17

(参考) QEMUを使ったVMM Xen 2 .x (1 ) B ochs (2 ) PC/AT互換機を再現できる、ほぼ最初の PC/ATを再現するのではなく、OS側を BIOSコード流用 CPUエミュレータ+デバイスエミュレータ VMMにあわせる「準仮想化」を採用した VM 各種CPUエミュレータ+デバイスエミュレータ。Bochsと比べ高速なのがウリ。デスクトップ用、開発者用ともいえる QEM U (2 ) fork fork→merge→ q em u-dm Xen 3 .0 (1 ) discon fork→merge Xen用にforkされ改造 Xenの上でPC/ATをされたもの再現できるように H/W emuコードなった最初のバー大量流用ジョン kQEM U q em u-kvm KV M (1 ) fork × fork fork QEMUのCPUエミュ Linux上でIntel 一部処理(CPU処理) XenS erver (1 ) レータを使わずに VT(AMD-V)を利用 V i rt ua l B ox (2 ) xV M をkernel modeに持っ KVMを使う。KVMがするためのカーネル Hyp ervis or (1 ) Ora cle V M 一部merge ていって高速化した版 QEMU。KVM登場によ H/Wアクセスを検出した際にqemu-kvm モジュール。CPU仮想化、メモリ仮想化 Sunが開発した VMM+QEMUのハー × コンフリクト S erver (1 ) Xen開発者達がXen をベースに開発。独りdiscon SunがOpenSolaris用がH/Wエミュレーショの機能を提供。ドウェアエミュレータ Oracleがオープン自のWindows用ドラにパッケージしたンする仕組み部分による仮想化ソソース版Xenをベーイバ、管理ツール、オープンソース版フトウェア。とはいえスに開発。 Citrix製品との親和 Xen。Oracle VM H/Wエミュ部分に随独自のWindows用ド性などの特徴を持つ Serverとコンフリクト分Sunのコードが入っするためdiscon. ライバ、管理ツール、ているのが特徴的？ Oracle製品サポートデスクトップ用などの特徴を持つ Su n xVM ( ブランド名) VM VM 現Oracle VM( ブランド名)VM VM VM Hypervisor Xen 4 .0 (1 )Hypervisor OShardware hardwareType-1 Type-2 18

KVMが必要とするハードウェアスペック• 最低要求事項 – CPU • x86_64 or IA64 (64bit ほぼ必須) • 仮想化支援技術必須 (Intel VT or AMD-V) – マザーボード、チップセット • BIOSレベルで仮想化支援技術が有効であること – メモリ • ホストOS使用分: 512MB以上 • ゲストOS使用分: 512MB以上 – その他Linuxカーネルの動作要件を満たすこと• 推奨スペック – Intel EPT (Extended Page Tables)/AMD NPT(Nested Page Tables) 19

Red HatのKVMによりサポートされるゲストOS• virtioドライバ（ゲストOS用ドライバ）が提供されており、パフォーマンスが期待できるもの – EL3.9 (32bit, 64bit), EL4.7(32bit, 64bit), EL5.3 (32bit, 64bit) – Windows Server 2003 (32bit, 64bit), 2008 (32bit, 64bit) – Windows XP (32bit) – Network driver only – Windows 2000=NG Windows Vista, 7=?• RHEL5により公式サポートされるもの – EL3(32bit), EL4(32bit or 64bit), EL5(32bit or 64bit) – Windows Server 2003 (32bit, 64bit), 2008 (32bit, 64bit) – Windows XP (32bit)※公式なサポート状況はRed Hatにご確認ください 20

XenとKVMのざっくりした比較• ハイパーバイザー(VMM)の機能 – Xen: Hypervisorと管理OSの独立性が高い • 管理OSへの攻撃が難しい? • XSM (Xen Security Modules) – LSM (Linux Security Module) のXenバージョン – 標準XSMモジュール： dummy, ACM, FLASK（どれか一つを排他利用） – Linux: Hypervisorと管理OSが融合している • 比較的コンテキストスイッチが少なく高速 • SELinuxを利用したMAC• ゲストのサポート状況、サポート方法 – Xen: Linux, NetBSD/FreeBSD, OpenSolaris, Windows • Xen用カーネルを作成するアプローチ、PVドライバのみ移植するアプローチ – KVM: Linux, Windows • virtioドライバを移植するアプローチ • その他、virtioドライバが存在するOSの例: MonaOS(!), NetBSD 21

コンピュータを構成する３大コンポーネント物理マシン、仮想マシンともに基本的な構成は同じ CPU CPU 中央演算装置プログラムを実行するための System System 電子回路。演算処理の中心 Memory Memory 入出力装置コンピュータに接続された周辺回路。キーボード／マウス、ビデオ、外部記憶、その他I/F 主記憶装置 I/O I/O 実行するプログラムや演算の Devices 結果を一時保存する為の領域 Devices 22

x86のプロテクトモード基礎知識• リアルモード(16bit) • 16ビットまでのデータ操作・メモリ操作、セグメント単位のメモリ管理• プロテクトモード(32/64bit) • 32/64ビットの操作 x86 Protection Rings • ページ単位のメモリ管理モード Apache • プロテクションリング – X86 CPUに実装された権限機能 – Ring 0: 特権モード NTOSKRNL – Ring 1～2: 使わないのが通例 linux-kernel – Ring 3: ユーザモード Operating System – Ring 0 Operating System Services – Ring 1, 2 Applications – Ring 3 calc.exe 24

QEMUによるVMの動作原理• QEMU の基本動作 – VM上のコードを実行する前に、コードを確認する • CPU上で直接実行できない命令（例：仮想メモリの設定、権限管理） 対応するルーチンを実行 • 通常の命令（例：仮想メモリに対する操作、演算など） 直接実行 – VM上のコードが実行された時にCPUで例外を捕捉する • VMの権限で直接実行できない命令（例：I/Oポート操作） デバイスエミュレータで原因を解析、エミュレーションしVM実行を継続 • ゲストに未割り当てのページアクセス メモリを割り当て、VM実行を継続 25

Intel VT, AMD-Vの基礎知識• 仮想マシン実行用モードの追加  メモリ上の仮想マシン情報を基に、VMを実行する  必要に応じて制御をゲストから奪い、VMM(仮想マシンモニタ)へ戻す仮想マシンへの突入 Apache qemu-kvm VMLAUNCH/VMRESUME (Intel) VMRUN (AMD) linux-kernel VMCS VMCS VMCS VMCB(AMD) Guest kernel kvm VMCB(AMD) VMCB(AMD) 仮想マシンからの復帰 calc.exe 特権命令、I/O操作等→VMEXIT VMX root VMX nonroot 26

qemu-kvmによるVMの動作原理• qemu-kvmの基本動作 (KVM使用時） KVMを使用してVMを実行 (VMRESUME/VMRUN) 通常の命令であれば直接実行される VM内で特殊命令にあたると制御が戻る(VMEXIT) qemu-kvm内のハンドラが必要な処理を行う – I/Oポートの読み書き、MMIOなどハードウェアアクセス – 一定時間オーバー（タイムスライスを使い切った） – VM内からのVMM呼び出し – VMの実行失敗、ほかエラーなど 27

qemu-kvmにおける制限事項• 仮想化支援技術が必須 – Intel VT(VT-x) もしくは AMD-V 従来x86 CPUの特権モードに加え「VMX root」「VMX nonroot」を提供 VM専用空間(VMX nonroot)でVM上の命令を実行 未実装命令・VMMによる処理が必要な命令にあたったら、 VMM側(VMX root)に制御を戻す• 仮想化支援技術にともなうゲストの制限 – qemu-kvmは、基本的に実CPU上でVMを直接実行する – 実CPUが実行可能なコード（OS, アプリケーション）のみ実行可能 – 実際に搭載したCPUができない事はVM内でも「できない」 • 非対応命令を例外などとしてトラップし、エミュレーションできる“場合”もある 28

KVM カーネルが提供するインターフェイス• /dev/kvm … 特殊なデバイス – ioctl()で操作する – 主な機能 • 新しいVMの作成 • VMへのメモリ割り当てリクエスト • vCPUのレジスタの読み書き • vCPUへの割り込み挿入 • vCPUの実行開始 • I/Oハンドラの登録• qemu-kvmが/dev/kvmを通してVMを制御する 29

qemu-kvmからのKVMモジュール操作599 int kvm_run(CPUState *env)600 {601 int r;602 kvm_context_t kvm = &env->kvm_state->kvm_context;603 struct kvm_run *run = env->kvm_run;604 int fd = env->kvm_fd;605 kvm-main.c606 again: 1370 static long kvm_vcpu_ioctl(struct file *filp, ……… 1371 unsigned int ioctl, unsigned long arg)610 } 1372 {626 r = ioctl(fd, KVM_RUN, 0); 1373 struct kvm_vcpu *vcpu = filp->private_data;645 if (1) { 1374 void __user *argp = (void __user *)arg;646 switch (run->exit_reason) {647 case KVM_EXIT_UNKNOWN: 1375 1376 int r; struct kvm_fpu *fpu = NULL; 仮想化支援機能を使650653 case KVM_EXIT_FAIL_ENTRY: case KVM_EXIT_EXCEPTION: 1377 struct kvm_sregs *kvm_sregs = NULL; 用してVMを実行する660 case KVM_EXIT_IO: 1378661 r = kvm_handle_io(run->io.port, 1379 if (vcpu->kvm->mm != current->mm)662 1380 (uint8_t *)run + run->io.data_offset, return -EIO;663 run->io.direction, 1381 switch (ioctl) {664 run->io.size, 1382 case KVM_RUN:665 VMを実行後何がおき run->io.count); 1383 r = -EINVAL;666 r = 0; 1384 if (arg)667 たかを確認し、対処 break; 1385 goto out;668 case KVM_EXIT_DEBUG: 1386 r = kvm_arch_vcpu_ioctl_run(vcpu, vcpu->run); ……… 1387 break;694 default: 1388 case KVM_GET_REGS: {701 } ….702 } 1404 break; 1405 } 30

CPU仮想化のまとめ CPUの仮想化支援機能  Intel VT-x/VT-I  AMD-V  x86のリングプロテクションに加え、さらにVMMをサポートするための命令セットが追加されている KVMカーネルモジュール  CPUの仮想化支援機能を使用して、おもに以下の処理を行う • VM起動 • VM停止 • ハードウェアI/Oが発生したときのディスパッチ • メモリの管理  制御はioctl()を使って行う 31

メモリ管理• 非仮想化環境（ベアメタル + OS）では – OSが物理メモリすべてを認識し、管理する – OSは、物理メモリの一部をカーネル用とし、各プロセスの要求に応じてメモリを割り当てる• 仮想化環境では – VMMが物理メモリすべてを認識し、管理する – VMMがVMに対して指定容量のメモリを割り当てる – VMは割り当てられたメモリが物理メモリ全体と信じ動作する – ゲストOSは、VMに割り当てられたメモリからカーネル用、各プロセス用のメモリ空間を確保する 33

メモリ管理、ちょっと寄り道(1/2) 現在一般的なシステムにおける、物理メモリ空間と仮想メモリ空間 Process1 から見える Process2 から見えるメモリ空間物理メモリメモリ空間64GiB - OS Kernel OS Kernel Process 4 Process 3 Process 2 Process 1 Process 1 OS Kernel Process 2 0GiB - 34

メモリ管理、ちょっと寄り道(2/2) // Button1がクリックされたら、文字列バッファがどこにあるか // アドレスを表示し、また、バッファ上の文字列を表示する。 procedure TForm1.Button1Click(Sender: TObject); var s: String; begin s := format(バッファは0x%pにあります。, [ @buff ]); memo1.lines.add(s); s := format(このアドレスには文字列 %s が記録されています。, サンプルダウンロード先 [ PChar(@buff) ] ); memo1.lines.add(s); http://bit.ly/aPn3zm end;procedure CR3Read(var p : Pointer); // Button2がクリックされたら CR3 を読み取り、表示する。asm // ※特権命令があるため、実際には成功しない mov p, cr3 procedure TForm1.Button2Click(Sender: TObject);end; var p: Pointer;// エディットボックスEdit1の内容が変更されたら、その内容を s: String;// 文字列バッファbuffにコピーする。 beginprocedure TForm1.Edit1Change(Sender: TObject); CR3Read(p);begin StrPCopy(@buff, Edit1.Text); s := format(このプロセスのCR3は %p を指しています。,end; [ p ] ); memo1.lines.add(s); end; 35

x86におけるメモリ管理の基本 #1 （参考） 486プロセッサに実装されているレジスタセットGeneral Registers System RegistersMain Registers Instruction Pointer System Address Registers CS CS EAX EAX EIP EIP GDTR GDTR LDTR LDTR EBX EBX Flag Register IDTR IDTR TR TR ECX EFLAGS EFLAGS Controll Regiesters ECX CR0 CR0 CR1 CR1 EDX EDX Segment Registers CS CS SS SS CR2 CR3 ESI CR2 CR3 ESI EDI DS DS FS FS Debug Registers EDI ES ES GS GS DR0 DR7 DR0 ～ DR7 TR3 TR3 ～ TR7 TR7Base Pointer Stack Pointer floating point number registers EBP EBP ESP ESP ・・・作成にあたっての参考資料: はじめて読む486 (1994年株式会社アスキー) 36

x86におけるメモリ管理の基本 #2 （参考） x86プロセッサにおけるページングモードのしくみ物理ページ Control Register 3 Page Page Table CR3 Page Table Page Directory Page Table PageＣＰＵが仮想メモリアクセス Page Directory Page Directoryする際、ページウォークに使用すべきページディレク Page Table Page Tableトリを設定する。 Page（ＯＳが設定）仮想メモリアドレス空間（0～4GB）を1024等分し、各領域(4MB)のページ割当を管理するページ各領域(4MB)をさらに1024 Page メモリアクセステーブルのポインタ、等分し、各領域(4KB)がど要求関連ビットを保持する。の物理ページに割当され（ＯＳが作成、管理）ているかを示すポインタや関連フラグを保持する。 … （ＯＳが作成、管理） 37

x86におけるメモリ管理の基本 #3メモリアクセス要求 CR3 そのプロセスの仮想メモリ空間と process process 物理メモリ空間の対応を定義する Page Directoryのポインタ、他 PD PT PT PT PD PT PT PT 10bits(2^10=1024)分のテーブル Page Page Page Page Page Page Page Page Page Directory Page Directory PDE(32bits) × 1024 = 4KB (1page) process qemu-kvm 10bits(2^10=1024)分のテーブル Page Table PD PT PT PT PD PT PT PT Page Table PTE(32bites) = 4KB (1page) Page Table Page Table Page Page Page Page Page Page Page Page Page Table Page Table プロセスが実際にアクセスすべき Page メモリ空間(12bits) 2^12=4KB プロセステーブル process 1 CR3 IP … process 2 CR3 IP … process 3 CR3 IP …10+10+12=32bitのメモリ空間を2段のぺージテーブルで表現 process 4 CR3 IP …(64bit環境では4段のページテーブルで48bitアドレス空間を表現) Linux (or other OS) Kernel 38

x86におけるメモリ管理の基本 #4 64ビットモードの場合は 64ビットモードの場合は 4段のページテーブルでページング 4段のページテーブルでページング出典: Intel® 64and IA-32 Architectures Software Developer’s Manual Volume 3A 39

仮想化環境におけるメモリ利用イメージ非仮想化仮想化環境の場合環境の場合ユーザプロセスからゲストOSの物理メモリ見えるメモリ空間メモリ空間物理メモリ64GiB - OS Kernel Process 4 Process 4 Guest OS 4 Process 3 Process 3 Guest OS 3 Process 2 Process 2 Guest OS 2 Process 1 Process 1 Guest OS 1 OS Kernel Process 2 OS Kernel Hypervisor 0GiB - 40

KVM, QEMUにおけるVMへのメモリ領域割当 #1 物理メモリ• VMのメモリ空間はqemu-kvm ( QEMU)のデータ領域として確保される process – 他の一般なプロセスと同じ扱い process• Linuxカーネルから見ればただのユーザスペースのデータ領域に過ぎない qemu-kvm (or QEMU)• VM割り当てメモリサイズの上限 – qemu-kvm + VM Imageの合計が VM Image プロセス最大メモリサイズに収まる必要がある – 32bit / 32bit PAE …… < 4GB process – x86_64 …… 4GB以上可能 Linux Kernel 41

KVM, QEMUにおけるVMへのメモリ領域割当 #2 514 void *kvm_create_phys_mem(kvm_context_t kvm, unsigned long phys_start, 515 unsigned long len, int log, int writable) 516 { 517 int r; 518 int prot = PROT_READ; 519 void *ptr; 520 struct kvm_userspace_memory_region memory = { 521 .memory_size = len, 522 .guest_phys_addr = phys_start, 523 .flags = log ? KVM_MEM_LOG_DIRTY_PAGES : 0, 524 525 }; プロセス内に仮想マシン用 526 if (writable) のメモリ領域を確保 527 prot |= PROT_WRITE; 528 530 ptr = mmap(NULL, len, prot, MAP_ANONYMOUS | MAP_SHARED, -1, 0); 535 if (ptr == MAP_FAILED) { 536 fprintf(stderr, "%s: %s", __func__, strerror(errno)); 537 return 0; VMのメモリ空間に、確保し 538 } 539 たメモリ領域を割り当て 540 memset(ptr, 0, len); 541 542 memory.userspace_addr = (unsigned long)ptr; 543 memory.slot = get_free_slot(kvm); 549 r = ioctl(kvm->vm_fd, KVM_SET_USER_MEMORY_REGION, &memory); 550 if (r == -1) { 551 fprintf(stderr, "%s: %s", __func__, strerror(errno)); 552 return 0; 553 } 554 register_slot(memory.slot, memory.guest_phys_addr, memory.memory_size, 555 memory.userspace_addr, memory.flags); 556 557 return ptr; 558 } 42

VM上のページング① - ソフトウェア処理 Shadow Page Table (SPT) #1① VM上の PD PT PT PT は、ゲストOSが管理するページテーブルである。物理メモリゲストOSはVMに割り当てられたメモリ空間を物理メモリ空間全体と PD VMへの割当ページ情報 sync 信じてページテーブルを作成する。 PD PT PT PT② VM上のコードを実行する際、CPUはVMのメモリ空間で動作しなけれ PD PT PT PT ばいけない。この際にCPUが参照すべきページテーブルは何か？ sync③ VM上のゲストOSが管理する PD PT PT PT をCPUが参照すると Process 4 、物理メモリ空間が見えてしまい、本来ゲストOSが意図したページへアクセスされない。 Process 3④ この問題を解決するため、ハイパーバイザはシャドウページテーブル Process 2 PD PT PT PT を作成する。これは、VM上の仮想メモリ空間を物理ページにマッピングする内容となるため、CR3レジスタに PD を Process 1 設定することでCPUがVMのアドレス空間を解決可能となる。 OS Kernel PD PT PT PT ＝ VMへの割当ページ情報＋ PD PT PT PT ゲストOSの⑤ また、VM上のコード実行時、ページ読み書きの際に PD PT PT PT メモリ空間のAccess bit, Dirty bitがアップデートされる。これらは PD PT PT PT へ、逆に同期する必要がある。 43

VM上のページング① - ソフトウェア処理Shadow Page Table (SPT) #2VMMが、VM内で使われるページテーブルを基に Guest Virtual →Machine-Physicalのページ追跡に使用するページテーブルを作成 VM内の操作実現のしくみ Intel VT / AMD-V ありの場合 Intel VT / AMD-Vなしの場合 (前処理不要) 1. VMMが命令をスキャンし、CR3読み書き等の命令を洗い出す（命令実行前） 2. 見つかった命令群をハイパーコールに書き換え 1. VMが管理するvCR3を読み取ろうとする 1. VM上からハイパーコールが実行される 2. VMX non-rootからVMEXITする 2. VMMがvCR3を読み取りVMに制御を戻す CR3参照 3. VMMがVMEXITの原因を確認し、vCR3を読み取りを再現して再度 VMENTERする 1. VMがvCR3を書き込もうとする 1. VM上からハイパーコールが実行される 2. VMX non-rootからVMEXITする 2. VMMがvCR3を書き込んだことにする CR3書込 3. VMMがVMEXITの原因を確認し、vCR3を書き込みを再現する 3. Shadow Page Table を更新する 4. VMMがShadow Page Table を更新する 4. VMMがVMに制御を戻す 5. VMMが再度VMENTERし、VMに制御を戻す 1. VMがメモリにアクセスする(この際、実CR3=SPT) 2. VMからSPT(VMMのメモリ空間)を読めずページフォルトを引き起こすページテーブル参照 3. VMMが、必要に応じてSPT上のAccess bit, Dirty bitをVM上のページテーブルへ転記 4. VMMが、VMのvCR3が示すページテーブルを返す 1. VMがメモリにアクセスする(この際、実CR3=SPT) 2. VMからSPT(VMMのメモリ空間)に書き込めないためページフォルトを引き起こすページテーブル書込 3. VMMがVM中のページテーブルを更新 4. VMMがvCR3の示すページテーブルにあわせてSPTを更新 1. VMがメモリにアクセスする(この際、実CR3=SPT)通常ページへの読み書き 2. CPUがSPTを使用してゲストの仮想アドレスをホストの物理アドレス空間に解決 44

VM上のページング① - ソフトウェア処理Shadow Page Table (SPT) #3 CR3 メモリアクセス CR3 VM内で実際にVM内で見える要求 CPUが使っている CR3 CR3 Guest OS’s Page Table Shadow Page Table PML4 PML4 TLB参照 PDPT PDPT PD 例外による操作検出 PD 内容の同期 PT PT VM内の4段ページテーブル TLB更新 (64bitの場合、32bitの場合は2段) Page Page 毎回 Page Walk するのは大変なので、 Page 最近参照したページテーブルの内容は CPUがキャッシュしている (Tagged Look-aside Buffer) qemu-kvm qemu-kvm Linux + KVM Linux + KVM 45

VM上のページング① - ソフトウェア処理Shadow Page Table (SPT) #4Shadow Page Table(SPT)の問題点• 必要メモリ量 (VM上のPT, VMM上の割当テーブル、さらにSPT)• VMMコードのプロファイリングを行うと、約75%がSPT関連処理 It is estimated that for certain workloads shadow paging can account for up to 75% of overall hypervisor overhead. - AMD-V™ Nested Paging, ©2008 Advanced Micro Devices, Inc.KVMはShadow Page Tableのパフォーマンスが高くない• 新CPUのVM用ページング支援機能の利用が前提• SPTのサポートはあくまで互換性目的• SPTの性能はXen > KVM 46

VM上のページング② - ハードウェア処理Extended Page Tables(EPT)/AMD Nested Page Tables(NPT) #1VM内で見える CR3 メモリアクセス CR3 要求 CR3 VM実行時実際に Guest OS’s Page Table Shadow Page Table CPUが使っている PML4 PML4 CR3 PDPT PDPT PD 例外による操作検出 PD VMMが作成した、内容の同期 VMへのメモリ割当を PT PT 示すテーブル VM内の4段ページテーブル (64bitの場合、32bitの場合は2段) Extended Page Table Page Page PML4 Page PDPT PD PT qemu-kvm qemu-kvm Linux + KVM Linux + KVM 47

VM上のページング③Extended Page Tables(EPT)/AMD Nested Page Tables(NPT) #2• 非仮想化環境のページング – Memory Management Unit (MMU) ハードウェアが処理 – CR3レジスタで指定されたページテーブルにより、プロセッサが仮想メモリを実現• これまでのソフトウェアによるページング(Shadow Page Table利用環境) – VMMが、VM向けのページングをソフトウェア的に再現 – VMMが、VM内仮想アドレス→物理アドレスのテーブルを追加作成、管理• EPT/NPT有効時のページング – 仮想マシンの物理アドレス(Guest-Physical)を、実際の物理アドレス (Machine-Physical)に変換する機能をプロセッサレベルで提供 – 仮想マシン実行時のメモリ仮想化はプロセッサが自動的に処理 – VMMは必要なメモリ割当テーブルをメモリ上に作成、CPUに設定する（だけ）  パフォーマンスの大幅向上（VMMによってはゲストの動作が約３０％高速化） 48

メモリ管理のまとめ 物理アドレスと仮想アドレス  仮想アドレスを用いたアクセスにはページテーブルが必要 VM内ページングの手法  ソフトウェアによるページング（Shadow Page Table） • VM内仮想アドレスをマシン物理アドレスに変換するテーブル  ページング支援技術（Extend Page Tables, Nested Page Tables） • プロセッサがVM内仮想アドレスを物理アドレスに自動変換CPUアーキテクチャに応じた仮想化技術の選択  Core i7, Xeon 5500(Nehalem) 未満 …. KVM ＜ Xen  Core i7, Xeon 5500(Nehalem) 以後 …. KVM ≒ Xen (Intel製プロセッサの場合) 49

x86で使用される主なデバイスI/O方式 I/Oポート – プロセッサから外部に接続するためのデジタルインターフェイス – ON(1) もしくは OFF(0) を通信する – 1アドレス 8ビット×64K、アクセス単位が基本8ビットなので非常に低速【使途】キーボードの押下状況確認、ディスクコントローラの状態設定、通知など メモリマップドI/O (Memory Mapped I/O) – プロセッサの物理メモリ空間に、デバイス上のメモリ空間をマッピングする – ソフトウェアからデバイス上のメモリ空間に直接アクセスできる【使途】VGA, Sound, Disk Controller, Ethernet Controller など大量コピー 割り込み(Interrupt) – デバイスからCPUへイベントを通知するための信号【使途】タイマーの通知、キーボードの状態変化通知、データ転送完了通知(DMA, MMIO)など 51

QEMUによるx86ハードウェアエミュレーション CPU CPU Intel 82441FX Intel 82441FX System Memory System Memory (North-bridge) (North-bridge) Cirrus Logic Cirrus Logic LSI Logic VGA VGA CL-GD5446 LSI Logic SCSI HDD SCSI HDD CL-GD5446 LSI53c895a LSI53c895a Realtek Realtek PCI PCI PCI Slot Ethernet Ethernet RTL8029 PCI Slot RTL8029 Bus Bus PCI Slot PCI Slot Ensoniq Ensoniq Speaker Speaker ES1370 IDE HDD IDE HDD ES1370 PIIX3 PCI IDE PIIX3 PCI IDE Intel 82371 PIIX3 CD-ROM CD-ROM Intel 82371 PIIX3 Bochs (South-bridge) (South-bridge) Bochs PIIX3 PCI USB PIIX3 PCI USB USB USB Flash BIOS Flash BIOS ISA ISA Bus Bus ISA Floppy Floppy Real Time Real Time ISA Keyboard Clock I/O Interface I/O Interface Keyboard Clock PC Speaker PS/2 PS/2 PC Speaker Mouse Serial Parallel Mouse Serial Parallel Port Port Port Port 出典: KVM徹底入門 (2010年翔泳社) 52

KVMによるx86ハードウェアエミュレーション• QEMU由来のデバイスエミュレータを使用 qemu-kvm qemu-kvm – Xen, VirtualBox等オープンソースの仮想マシンはほとんどQEMU由来のエミュレータを使用している Virtual Machine• 仮想デバイスの処理の流れ Image – VM内でハードウェアアクセスが発生！ – CPUがゲストOSからホストOSへ制御を返 Device Emulator す – KVMが例外をトラップし、QEMUのイベントハンドラに制御を移す（返す） – QEMUのイベントハンドラがトラップの原 Kernel-based Kernel-based System calls System calls 因を確認し、適宜必要な処理を行う  仮想デバイスに対するI/O なら Virtual Virtual デバイスエミュレータを実行 Machine Machine Device Drivers Device Drivers – QEMUがKVMに、KVMがVMに制御を戻す Linux Kernel Linux Kernel – VMはハードウェアアクセスが成功したと信じて実行を続ける Hardware Hardware 53

KVMによるx86 H/Wエミュレーション (ソース追跡編 #1) qemu-kvm.c kvm-all.c kvm_run関数 (VM実行部分) kvm_handle_io関数 (I/Oイベントハンドラ)599 int kvm_run(CPUState *env) 733 static int kvm_handle_io(uint16_t port, void *data, int direction, int size,600 { 734 uint32_t count)601 int r; 735 {602 kvm_context_t kvm = &env->kvm_state->kvm_context; 736 int i;603604 struct kvm_run *run = env->kvm_run; int fd = env->kvm_fd; 737 738 uint8_t *ptr = data; I/Oポートの605 739 for (i = 0; i < count; i++) {606 again: VM実行 740 if (direction == KVM_EXIT_IO_IN) { 読み取り ……… 741 switch (size) {610 } 742 case 1:626 r = ioctl(fd, KVM_RUN, 0); 743 stb_p(ptr, cpu_inb(port)); 744 break;645 if (1) { 745 case 2:646 switch (run->exit_reason) { 746 stw_p(ptr, cpu_inw(port));647 case KVM_EXIT_UNKNOWN: 747 break;650653 case KVM_EXIT_FAIL_ENTRY: case KVM_EXIT_EXCEPTION: 748 case 4: I/Oポートへの 749 stl_p(ptr, cpu_inl(port));660661 case KVM_EXIT_IO: r = kvm_handle_io(run->io.port, 750 751 } break; 書き込み662 (uint8_t *)run + run->io.data_offset, 752 } else {663 run->io.direction, 753 switch (size) {664 run->io.size, 754 case 1:665 run->io.count); 755 cpu_outb(port, ldub_p(ptr));666 r = 0; I/O発生 → QEMUの 756 break;667 break; 757 case 2:668 case KVM_EXIT_DEBUG: 758 cpu_outw(port, lduw_p(ptr));694 ……… default: イベントハンドラへ 759 760 break; case 4:701 } 761 cpu_outl(port, ldl_p(ptr)); ioport.c ioport.c702 } 762 break; 201 void cpu_outw(pio_addr_t addr, uint16_t val) 70 static void ioport_write(int index, uint32_t address, uint32_t data)703 more: 763 } 202 { 71 {704 if (!r) { 72 static IOPortWriteFunc * const default_func[3] = { 764 } 203 LOG_IOPORT("outw: %04"FMT_pioaddr" %04"PRIx16"n", addr, val);705 goto again; 73 default_ioport_writeb, 765 204 ioport_write(1, addr, val);706 } 74 default_ioport_writew, 766 ptr +=205 } size;707 return r; 75 default_ioport_writel 767 } 76 }; 768708 } 77 IOPortWriteFunc *func = ioport_write_table[index][address]; 769 return 1; 78 if (!func) 770 } 79 80 func = default_func[index]; func(ioport_opaque[address], address, data); I/Oポートに対応する 81 } イベントハンドラへ 54

KVMによるx86 H/Wエミュレーション (ソース追跡編 #２) qemu-0.12.5/hw/fdc.c (仮想フロッピーディスクコントローラ) QEMUからの通知を受け取るイベントハンドラ I/Oポートアクセス 589 static uint32_t fdctrl_read_port (void *opaque, uint32_t reg) 590 { 591 return fdctrl_read(opaque, reg & 7);フロッピーディスクコントローラをQEMUに登録 592 } 5931955 static int isabus_fdc_init1(ISADevice *dev) 594 static void fdctrl_write_port (void *opaque, uint32_t reg, uint32_t value)1956 { 595 {1957 fdctrl_isabus_t *isa = DO_UPCAST(fdctrl_isabus_t, busdev, dev); 596 fdctrl_write(opaque, reg & 7, value);1958 fdctrl_t *fdctrl = &isa->state; 597 }1959 int iobase = 0x3f0; 5981960 int isairq = 6; 599 static uint32_t fdctrl_read_mem (void *opaque, target_phys_addr_t reg)1961 int dma_chann = 2; 600 { QEMU I/Oポートテーブル1962 int ret; 529 601 static uint32_t fdctrl_read (void(uint32_t)reg); return fdctrl_read(opaque, *opaque, uint32_t reg)1963 530 602 } {1964 register_ioport_read(iobase + 0x01, 5, 1, 531 603 fdctrl_t *fdctrl = opaque;1965 &fdctrl_read_port, fdctrl); 532 604 static void fdctrl_write_mem (void *opaque, uint32_t retval;1966 register_ioport_read(iobase + 0x07, 1, 1, 533 605 target_phys_addr_t reg, uint32_t value)1967 &fdctrl_read_port, fdctrl); 534 606 {switch (reg) {1968 register_ioport_write(iobase + 0x01, 5, 1, 535 607 case FD_REG_SRA: fdctrl_write(opaque, (uint32_t)reg, value);1969 &fdctrl_write_port, fdctrl); 536 608 } retval = fdctrl_read_statusA(fdctrl);1970 register_ioport_write(iobase + 0x07, 1, 1, 537 break;1971 &fdctrl_write_port, fdctrl); 538 case FD_REG_SRB:1972 isa_init_irq(&isa->busdev, &fdctrl->irq, isairq); 539 retval = fdctrl_read_statusB(fdctrl);1973 fdctrl->dma_chann = dma_chann; 540 break;1974 541 case FD_REG_DOR:1975 ret = fdctrl_init_common(fdctrl, iobase); 542 retval = fdctrl_read_dor(fdctrl);1976 543 break;1977 return ret; …1978 } 556 default: 557 retval = (uint32_t)(-1); レジスタの読み取りエミュレーション 558 break; 847 /* Status B register : 0x01 (read-only) */ 559 } 848 static uint32_t fdctrl_read_statusB (fdctrl_t *fdctrl) 561 849 { 562 return retval; 850 uint32_t retval = fdctrl->srb; 563 } 854 return retval; 855 } 55

QEMUの仮想デバイスを選択する(1/3)• QEMUには同種のデバイスエミュレータが複数実装されている• いちばん気になる「仮想NIC」 – rtl8139 (Realtek 8139) – e1000 (Intel PRO/1000)• 何が違うのか – ゲストが認識するデバイス – デバイスドライバ エミュレーションの効率 → 全ゲストでシェアする”CPU”の利用効率 56

QEMUの仮想デバイスを選択する(2/3) • どれぐらい効率が違うものか？ 58.3Mbps 対 394Mbps (6.75倍) C:¥>iperf -c 192.168.44.75 -w 4M rtl8193C:¥>iperf -c 192.168.44.75 -w 4M C:¥>iperf -c 192.168.44.25 -w 4M e1000 C:¥>iperf -c 192.168.44.25 -w 4M------------------------------------------------------------ ------------------------------------------------------------ ------------------------------------------------------------ ------------------------------------------------------------Client connecting to 192.168.44.75, TCP port 5001 Client connecting to 192.168.44.75, TCP port 5001 Client connecting to 192.168.44.25, TCP port 5001TCP window size: 4.00 MByte Client connecting to 192.168.44.25, TCP port 5001 TCP window size: 4.00 MByte TCP window size: 4.00 MByte------------------------------------------------------------ ------------------------------------------------------------ TCP window size: 4.00 MByte[1912] local 192.168.44.77 port 3318 connected ------------------------------------------------------------ ------------------------------------------------------------ [1912] local 192.168.44.77 port 3318 connectedwith 192.168.44.75 port 5001 with 192.168.44.75 port 5001 [1912] local 192.168.44.77 port 3334 connected [1912] local 192.168.44.77 port 3334 connected[ [ID] Interval ID] Interval Transfer Bandwidth Transfer Bandwidth with 192.168.44.25 port 5001 with 192.168.44.25 port 5001[1912] 0.0-10.5 sec 73.1 MBytes 58.3 Mbits/sec [ [ID] Interval [1912] 0.0-10.5 sec 73.1 MBytes 58.3 Mbits/sec ID] Interval Transfer Bandwidth Transfer Bandwidth [1912] 0.0-10.1 sec 474 MBytes 394 Mbits/sec [1912] 0.0-10.1 sec 474 MBytes 394 Mbits/sec 評価環境 Machine: Intel DQ45CB + Core2 Quad Q8400 (2.6GHz) Host: Debian GNU/Linux (Lenny) + xen-unstable (Aug. 2010) Guest: Windows xp SP3, 1 vCPU 57

QEMUの仮想デバイスを選択する(3/3)• rtl8193とe1000の差はどこに？ – 「熱に消えた？」一概には言えないが• rtl8193を使うということ 有名チップをそのまま再現しているため、既存のドライバを利用できる CPU能力の無駄遣い スループット制限はホストOSの機能を使うこと(tcコマンド)• e1000ドライバを使うということ QEMU由来VM用仮想NICの中では“かなりの高効率” Windows XP SP3標準ドライバでは認識できない Intel純正ドライバを使えば利用できる（が…） 58

デバイスのエミュレーションのまとめ オープンソース系のVMMは、デバイスエミュレーションに QEMUを使用している – x86で使用される周辺チップがソフトウェア的実装されている – 仮想マシン内でI/Oが発生したらエミュレータが処理し結果を返す エミュレーションするデバイスの選び方にも注意 – パフォーマンスが高い仮想デバイス、低い仮想デバイス 59

virtioの概要• 『virtio』とは  リングバッファを使用したHost – Guest間のインターフェイスを定義 Guest Guest  Host 、Guest OSの実装に非依存 • qemu-kvm, VirtualBox がサポート  各デバイスは１つ１つが独立し動作 virtio virtio virtio virtio virtio virtio virtio virtio Ballon Block Block Net • virtio Block x2→ PCIデバイス x2 Ballon Block Block Net • 例外あり（ドライバ実装に依存） virtio virtio virtio virtio virtio virtio virtio virtio  非常に高速 Ballon Ballon Block Block Block Block Net Net PCI Bus • 無駄なH/Wエミュレーションは不要 PCI Bus Host Host• 『virtio-pci』とは  仮想PCIデバイス使用したハードウェアハードウェア virtioインターフェイスの実装仕様 61

virtioの既知デバイスタイプ PCI Vendor ID, Device ID • Qumranet(現RedHat子会社)がPCIベンダ／デバイスIDを提供 • Vendor ID: 0x1AF4, Device ID: 0x1000～0x103F Subsystem Device ID • そのvirtioデバイスが持つ機能を示す。USBのClassと同様ID Device Type デバイス機能参考1 network card 仮想ネットワークインターフェイス2 block device 仮想ブロックデバイス仮想ディスク、SCSIパススル－3 console 仮想コンソール4 entropy source 乱数生成用ソース5 memory balloning メモリバルーンゲストが確保したメモリをできるだけ解放するよう促す 6 iomemory 9 9p transport List of Subsystem Device ID – 出典：Virtio PCI Card Specification v0.8.9 DRAFT (Rusty Russell, 2010) qemu-kvmに実装されていないデバイスは灰色で表記した 62

virtioのリングバッファ• リングバッファ  Host – Guest 間のデータ交換は共有メモリのリングバッファを使用 Guest Guest  デバイスあたり1つ以上使用 virtio virtio virtio virtio virtio virtio virtio virtio  リングの構成（数・長さ）は Ballon Ballon Block Block Block Block Net Net バックエンドドライバが指定• virtio共通の初期化処理（フロントエンド視点） virtio virtio virtio virtio virtio virtio virtio virtio Balloon Block Block Net – バックエンドドライバをプローブ Balloon Block Block Net PCI Bus – Guest が自分のメモリ空間に PCI Bus Host Host バッファを確保 – GuestがHost側にバッファの物理アドレス(Guest-Physical)を通知ハードウェアハードウェア 63

virtio-netによるリングバッファ利用例• キュー 0 Guest Guest – 受信パケット用キュー virtio-net デバイスドライバ virtio-net デバイスドライバ• キュー 1 Queue 0 Queue 1 Queue 2 – 送信パケット用キュー• キュー 2 受信送信ドライバ – ドライバ制御情報パケットパケット制御情報 virtio-net PCIデバイス virtio-net PCIデバイス PCI Bus PCI Bus Host Host ハードウェアハードウェア 64

virtioのリングバッファ構造(1/2) Guest 側 Guest 側 キューの位置を示す2つのポインタ  Guest側のバッファ終端位置 vring.avail.idx (vring.avail.idx)  Hostが最後に処理したバッファ位置 (vring.used.idx) vring.used.idx 互いに絶対追い抜いてはいけない Lock-Free Host 側 Host 側① Guestがキューにデータを追加する ③ Guestがキューからデータを読む – キューにデータを書き込む; – while (last_used_idx < vring.used.idx) { vring.avail.idx++; キュー上のデータを処理; last_used_idx ++;② Hostがキューからデータを読む } – while (vring.used.idx < vring.avail.idx) { キュー上のデータを処理; • リングの仕組みは共有コード上に実装 vring.used.idx++; – 各ドライバごとの実装は不要 } 65

virtioのリングバッファ構造(2/2) 従来モード（過去バージョンのvirtio互換)• 従来モード – リング上にバッファのアドレス情報をおく – 1メモリ断片／1エントリ indirectモード（現行virtioでサポートされる）• indirectモード – リング上にindirectテーブルのアドレス情報をおき、実際のバッファを間接参照 – 1以上のメモリ断片／1エントリ• virtio-netの例 – RX/TXのデータ構造の例 • TX(RX)パケット情報の構造体 × 1 • Ethernetフレーム × 1 – リングの構造： 256エントリ/ring • 従来モード: 256 ÷ 2 = 128 • indirectモード: 256 ÷ 1 = 256  indirectモードのほうが多数パケットをキューできる Indirectモードの構造を見ていると干し柿を食べたくなりますね 66

virtio-pciのリングバッファ更新通知【Guest → Host】 – H/Wエミュレータのハンドラをキック Guest Guest – 通知用I/Oポートにデータ書き込み virtio フロントエンドデバイスドライバ virtio フロントエンドデバイスドライバ【Host → Guest】 – ゲストの割り込みハンドラをキック – IRQ割り込み、MSI-X割り込み IRQ, MSX-X【キックの抑制】 I/Oポートを割り込みで – VRING_USED_F_NO_NOTIFY キック通してキック (G→H I/Oポートキックの抑制) – VRING_AVAIL_NO_INTERRUPT virtio バックエンド PCIデバイス virtio バックエンド PCIデバイス (H→G IRQ割り込みの抑制) PCI Bus – VIRTIO_F_NOTIFY_ON_EMPTY PCI Bus （バッファが空になった場合のみ通知） Host Host• VMX root/non-root切替が発生するため高コスト（回数を減らす工夫が必要) Hardware Hardware 67

virtio-blkが遅い? - 原因を考えてみる現状のvirtio-blkの実装は… Guest Guest – リングはひとつだけ使用 virtio-blk デバイスドライバ – I/O要求は128個まで同時受付可能 virtio-blk デバイスドライバ × SCSI, SATAのNCQ相当が効かない？ Queue 0 – リングは“順番に処理”が原則 – Host OS, Driver, Driveのレベルで I/O要求の並べ替えが行われない I/O I/O virtio-blkはI/Oの乱発が苦手？要求結果 – マルチスレッドI/Oもきっと苦手 virtio-blk PCIデバイス virtio-blk PCIデバイス 性能より実装容易化を重視した？ PCI Bus PCI Bus 今後、マルチキューサポートで改善？ Host Host 68

virtio関連ソースコードとライセンス形態• Host側（バックエンド側） Linux用コードのライセンス形態 – qemu-kvmソースコードを参照 – Git BSDL データ構造、定数データ構造、定数（構造体など）（構造体など）• Guest側（フロントエンド側） – Linuxソースコードを参照アルゴリズムアルゴリズム GPL （関数定義、マクロ）（関数定義、マクロ） – ファンクションドライバ drivers/net/virtio-net.c drivers/block/virtio-blk.c ほか論文、仕様書の入手先 – 共有ソースコード http://ozlabs.org/~rusty/virtio-spec/ drivers/virtio/ – virtio: Towards a De-Facto Standard For Virtual I/O Devices virtio_pci.c （仮想PCIデバイス） – Virtio PCI Card Specification virtio_ring.c （リングバッファ） 69

virtio-net for FreeBSD (1/2)モチベーション virtio-net for FreeBSD• virtioを理解するために開発中テスト状況Why on FreeBSD? • 2TiB TX, 1TiB RX以上の負荷試験• FreeBSDなら実用価値もある？ • 32bit OS未確認(AMD64にて開発) – さくらのVPS• BSDL パフォーマンス • 1vCPU VM: TX 110Mbps現段階の実装状況 • 2vCPUs VM: TX 40Mbps• リングバッファ（主要機能のみ） • 1vCPU VM+HW Emulation• virtio-net TX 100MBps 70

virtio-net for FreeBSD (2/2)Guset OS (FreeBSD) から見ると $ ifconfig vn0 vn0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 ether 52:54:00:1f:61:0e inet 192.168.90.1 netmask 0xffffff00 broadcast 255.255.255.0 $Host OS (Linux, Fedora 14) から見ると [root@proliant2 ~]# ifconfig vnet2 vnet2 Link encap:Ethernet HWaddr FE:54:00:1F:61:0E inet6 addr: fe80::fc54:ff:fe1f:610e/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:2828598448 errors:0 dropped:0 overruns:0 frame:0 TX packets:1424299907 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:500 RX bytes:4267254392920 (3.8 TiB) TX bytes:93999838700 (87.5 GiB) 71

virtioのまとめ リングバッファを用いる仮想デバイス用インターフェイス – System VM（完全仮想化）ではPCIデバイスとして認識される – メジャーなフロントエンドドライバ • ネットワーク、ディスク、シリアルコンソール • メモリバルーン（ゲストが確保するメモリ量を縮小させる） virtioドライバを書けば、対応VMMで高効率I/Oができる – 現状qemu-kvmのほか、VirtualBoxもvirtioをサポート – Linux用ドライバ（事実上のリファレンス）は GPL – FreeBSD用ドライバを鋭意開発中 72

外部リソース集 (1/3)• KVM - Kernel Based Virtual Machine http://www.linux-kvm.org/page/• QEMU http://wiki.qemu.org/• virtio http://www.linux-kvm.org/page/virtio• Rusty Russellによるvirtio関連ドキュメント(paper, specification) http://ozlabs.org/~rusty/virtio-spec/• AMD-V™ Nested Paging http://developer.amd.com/assets/NPT-WP-1%201-final-TM.pdf 74

外部リソース集 (2/3)• Intel® 64 and IA-32 Architectures Software Developer’s Manual Volume 3A, 3B– 書籍『KVM徹底入門』(翔泳社) http://www.seshop.com/product/detail/12214/– 書籍『はじめて読む486』 (アスキー出版局) http://www.amazon.co.jp/dp/4756102131– 書籍『すべてわかる仮想化大全』 – VMware/Virtual Server (日経BPムック) http://www.amazon.co.jp/dp/482223410X– 書籍『30日でできる! OS自作入門』 (MYCOM) http://www.amazon.co.jp/dp/4839919844 75

外部リソース集 (3/3)– 書籍『Virtual Machines: Versatile Platforms for Systems and Processes (The Morgan Kaufmann Series in Computer Architecture and Design)』 http://www.amazon.com/dp/1558609105/ ※ハードカバー＆分厚いので amazon.com から Kindle 版の購入をお勧め！ 76

https://twitter.com	291
http://d.hatena.ne.jp	153
http://snip-snap.posterous.com	96
http://blog.ho10.info	59
http://paper.li	28
http://s.deeeki.com	20
http://157.109.200.99:8090	13
http://sechiro.hatenablog.com	9
http://webcache.googleusercontent.com	6
http://tweetedtimes.com	5
http://twitter.com	5
http://us-w1.rockmelt.com	5
http://a0.twimg.com	5
http://flavors.me	3
http://www.onlydoo.com	3
http://bleuscr-memo.tumblr.com	3
http://157.109.86.99:8090	2
http://wiki.onakasuita.org	2
https://si0.twimg.com	2
https://twimg0-a.akamaihd.net	2
http://www.iweb34.com	2
http://localhost:9393	1
http://clipin.me	1
https://abs.twimg.com	1
http://twittertim.es	1

エンジニアなら知っておきたい「仮想マシン」のしくみ v1.1 (hbstudy 17)

by Takeshi Hasegawa

Accessibility

Categories

Upload Details

Usage Rights

25 Embeds 718

Statistics

エンジニアなら知っておきたい「仮想マシン」のしくみ v1.1 (hbstudy 17) Presentation Transcript