KVMのためのlinux kernel入門

KVM のための linux kernel 入門 Red Hat K.K. Solution Architect: Kazuo Moriwaka <kmoriwak@redhat.com> V1.2: 9th. Dec. 2010 1

カーネルが提供する機能 プログラムを実行するための「仮想的なハードウェア」を提供する ● 色々なハードウェアを使いたい == 実ハードウェアに依存したくない ● ハードウェア資源抽象化プロセス ● ファイルシステムファイルメモリ ● 仮想メモリ ● プログラム同士が競合しないようにしたい ● 共有資源の管理 ● メモリ、割り込み、タイマー、その他の周辺装置 ● プログラム同士で通信したい ● 通信の仕組みを提供 ● 他のシステムのプロセスとも通信 Copyright Red Hat K.K. All rights reserved. 6

カーネルの「遅さ」 カーネルの目標は「遅くない」こと ● ユーザがやりたいことはアプリケーションが実行する ● カーネルは裏方なので使うリソースは少なければ少ないほどいい 「遅さ」の種類 ● カーネルが行う処理の実行時間 ( オーバーヘッド ) ● 待ち時間の長さ ( レイテンシ ) ● しばしばオーバーヘッドとレイテンシはトレードオフの関係にある Copyright Red Hat K.K. All rights reserved. 8

linux カーネルと KVM KVM の K は Kernel の K KVM は linux カーネルの 1 機能 KVM は linux カーネルの他の機能も使っている ● システムコール ● スレッド ● スケジューラ QEMU QEMU QEMU ● ファイルシステムふつうのプロセス VM VM VM ● メモリ管理などなど KVM Linux kernel Hardware Copyright Red Hat K.K. All rights reserved. 9

プロセス一覧 (ps コマンド例 )$ ps auUSER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMANDroot 2480 0.0 0.0 2052 472 tty2 Ss+ 16:10 0:00 /sbin/mingettyroot 2482 0.0 0.0 2052 476 tty3 Ss+ 16:10 0:00 /sbin/mingettyroot 2484 0.0 0.0 2052 480 tty4 Ss+ 16:10 0:00 /sbin/mingettyroot 2486 0.0 0.0 2052 480 tty5 Ss+ 16:10 0:00 /sbin/mingettyroot 2488 0.0 0.0 2052 476 tty6 Ss+ 16:10 0:00 /sbin/mingettyroot 2513 9.4 1.3 66996 55472 tty1 Ss+ 16:10 5:55 /usr/bin/Xorg :0 -nr-verbose -auth /var/run/gdm/auth-for-gdm-ITEgKG/database -nolisten tcp vt1kmoriwak 3248 0.0 0.2 16012 10960 pts/0 Ss+ 16:11 0:00 zshkmoriwak 3250 0.0 0.2 16012 10960 pts/1 Ss+ 16:11 0:00 zshkmoriwak 3251 0.0 0.2 16332 11444 pts/2 Ss 16:11 0:00 zshkmoriwak 3252 0.0 0.2 16204 11372 pts/3 Ss+ 16:11 0:00 zshkmoriwak 3541 0.0 0.0 6284 1232 pts/2 S+ 16:13 0:00 /bin/sh /usr/lib/firefox-3.6/run-mozilla.sh /usr/lib/firefox-3.6/firefoxkmoriwak 3558 0.4 1.8 347280 77844 pts/2 Sl+ 16:13 0:17 /usr/lib/firefox-3.6/firefoxkmoriwak 6143 0.7 0.2 16012 11060 pts/5 Ss 17:12 0:00 zshkmoriwak 6179 1.0 0.0 5956 1016 pts/5 R+ 17:13 0:00 ps au メモリ割り当てコマンドライン実行ユーザ一意に識別するための ID Copyright Red Hat K.K. All rights reserved. 12

スレッド プロセスの中で複数同時に実行したい ● UI 、作業 A 、作業 B ... ● プログラムで切り替えても可能だけど面倒 ! スレッドの導入 ● プロセスと別に「プログラムの実行」を管理する概念を導入する スレッドとプロセスの関係 ● スレッドは 1 つのプロセスに複数存在できる ● 最低 1 つある process thread thread Copyright Red Hat K.K. All rights reserved. 15

システムコールの続き システムコールはカーネルが提供する API の主要な部分 ● あらかじめ何を呼び出せるかは決まっている CPU の特別な命令を利用する ● 通常の命令ではカーネルへ影響を与えられない ● ソフトウェア割り込みの発行 ● システムコール呼び出し専用命令の実行 strace でプロセスがどんなシステムコールを呼んでいるか観察できる Copyright Red Hat K.K. All rights reserved. 19

プロセス、スレッド、システムコールと KVM KVM では QEMU というプログラムを利用している ● 仮想マシンのメモリの確保、仮想ディスクへの I/O の結果として必要になるファイル I/O などは QEMU が担当 ● これはシステムコールを利用して実行 QEMU はスレッドを使っている ● I/O 処理や仮想 CPU を並列に動作させるため ● 他にも管理用などで多数使う QEMU プロセスから KVM へのリクエストはシステムコールを使って行われる Copyright Red Hat K.K. All rights reserved. 20

スケジューラ 大抵の場合 CPU の数 << スレッドの数 ● 本当に同時に全てを実行することはできない 実行するスレッドを短時間で切り替えて同時に動いているように見せ ( 時分割 ) たい ! スレッドを切り替えるのが「スケジューラ」 ● どのようなポリシーで切り替えるか？→いろいろ ● スケジューラの実行時間は極めて短かくしたい ● 対話プロセスの応答速度は速くしたい ● スケジューリングで各プロセスの公平性を維持したい ● 優先度の設定と利用のしかたなどなど…… Copyright Red Hat K.K. All rights reserved. 22

スケジューラと Tick task A task A task Aスレッド A task B task Bスレッド B schedule schedule schedule schedule schedule kernel kernel kernelカーネル tick tick tick tick tick Copyright Red Hat K.K. All rights reserved. 23

Tick 一定時間ごとにスケジューラを呼びだす仕組みと、その一定時間のこと ● 後述のタイマー割り込みを利用して一定時間ごとにスケジューラを呼びだす ● 「このシステムの Tick は 1ms 」というと 1ms ごとにスケジューラを呼んでいる Tick が長いとレイテンシが伸びる (tick=100ms) Tick が短いとコストが増える (tick=100μs) Copyright Red Hat K.K. All rights reserved. 24

スケジューラと KVM KVM は独自のスケジューラを持っていない ● linux のスケジューラをそのまま使っている ゲスト OS 内でもスケジューラを動かすので仮想化環境でタイマーの実装が軽いことが大事 Tick を使わずに、予約した時点のタイマ割り込みとその他イベント時にスケジューラを呼びだす Tickless kernel が RHEL6 の目玉機能の1つ ● KVM でアイドル時の CPU 消費量が減る Copyright Red Hat K.K. All rights reserved. 25

ブロックデバイス デバイスを抽象化して同じように扱いたい！ ● ランダムアクセス可能なデバイスを「ブロックデバイス」として抽象化する ブロックデバイスの特徴 ● 読み書きを行う単位「ブロック」がある ● ブロックの「場所」を指定した読み書きが可能 ● 例: ● ディスク、 CD-ROM 、テープ、 SSD 、 USB メモリブロックデバイス Copyright Red Hat K.K. All rights reserved. 27

ブロックデバイスとファイルシステムファイルシステムツリーディスク上の表現 bitmap inode inode inode メ / タデ inode inode inode inode ータ v block data data data index (/bar) (/bar) (/bar) デ bar/ baz ー data data unused unused タ bar v (/bar/ba (/baz) z) unused data data databaz piyo (/bar) (/baz) (/) unused unused block unused index data data Copyright Red Hat K.K. All rights reserved. unused unused (/) (/baz) 30

ブロックデバイスの上にどのようにファイルシステムを実現するのか？ ブロックデバイスを「ブロック」に分割 ● 512 バイト、 1024 バイト、 4096 バイトなど ● x86_64 の linux では 4096 バイトが上限 ファイルとブロックの対応関係を管理する ● 対応関係自体もブロックデバイス上に記録する 記録のしかたは様々 ● ext3, ext4, xfs, gfs2 などなど ● ディスク割り当ての手順やメタデータの管理方法を工夫してフラグメントを予防したり、特殊な機能を提供する Copyright Red Hat K.K. All rights reserved. 31

ブロックデバイス、ファイルシステムと KVM KVM の仮想ディスクにはファイルまたはブロックデバイスを利用するファイルゲシステム ● 仮想マシンのディスク I/O が遅い場合にファイストルシステムが原因のケースもある OS ブロック KVM の仮想ディスクはゲスト OS からはブロックデデバイスバイスに見える ● 階層が増えるのでトラブルシュート時には切り分けが重要仮想ディスク KVM ホスファイルト OS Copyright Red Hat K.K. All rights reserved. 33

仮想アドレス空間 プロセス毎に独立したアドレス空間を与える ● プロセス A の 1000 番地 != プロセス B の 1000 番地 ● 他と共有しないのでプログラミングが楽 ● 他のプロセスのメモリに手をだせないのでセキュア メモリ割り当てがされていない場所へのアクセスは例外 ( ページフォールト ) メモリへのアクセス時にはメモリの実際のアドレス ( 物理アドレスまたはバスアドレス ) に変換が必要 Copyright Red Hat K.K. All rights reserved. 37

仮想記憶 - MMU 仮想アドレスから物理アドレスへの変換は 1 命令で 1 回〜数回必要。 ● ソフトウェアで全部行うことは無理 ● 1 命令実行するために数百命令実行 ??? ● ソフトウェアで無理ならハードウェアでやる MMU(Memory Management Unit) ● CPU の一部で、アドレス変換を行う部分 ● IA32 アーキテクチャでは PageTable というデータ構造を MMU が参照する Copyright Red Hat K.K. All rights reserved. 38

EPT 以前（ shadow page table ）  ゲスト OS が管理するページテーブルをそのまま利用できない ● ゲスト OS は「仮想物理アドレス」しか把握していない  KVM がゲスト OS のページテーブルを元にシャドウページテーブルを作成 ● シャドウページテーブルは「仮想アドレス→物理アドレス」の表 CR3 （ OS が仮想化で騙されているので）仮想アドレス Page Table 仮想物理アドレスguesthost CR3 KVM がページテーブルの更新を監視・変換・反映してメンテナンス shadow 物理アドレス Page Table Copyright Red Hat K.K. All rights reserved. 40

EPT/NPT 以降  仮想物理アドレスを物理アドレスに変換するページテーブル (EPT/NPT) を導入 ● ハイパーバイザが管理 ● 仮想マシン 1 台に 1 セットあればよいので shadow PT より省メモリ  ゲスト OS が管理するページテーブルをそのまま利用 CR3 仮想アドレス（ OS が仮想化で騙されているので） Page Table 仮想物理アドレスguesthost EPT base pointer EPT 物理アドレス Page Table Copyright Red Hat K.K. All rights reserved. 41

メモリ管理と KVM VM 環境では以下のように 2 回変換が必要仮想アドレス ( ゲスト OS のプロセス ) → 仮想物理アドレス ( ゲスト OS による変換 ) → 物理アドレス ( ホストによる変換 ) CPU が EPT, NPT という機能拡張をもつ前はソフトウェアによる工夫 (Shadow Page Table) で変換を 1 回にしていた EPT, NPT 対応により 2 回変換が可能になり高速化 Copyright Red Hat K.K. All rights reserved. 42

ハードウェア割り込み ハードウェアで実装された割り込み CPU 外のハードウェアから割り込み信号が CPU に送信される 例 ● タイマーで指定された時間が経過した ● HDD の DMA 転送が終わった ● Ethernet カードがパケットを受信した周辺デバイス CPU 割り込み割り込み呼び出しハンドラハードウェアソフトウェア Copyright Red Hat K.K. All rights reserved. 45

ソフトウェア割り込み ソフトウェアで割り込みを発生させる ● x86 系 CPU だと INT 命令 ● システムコール呼び出しに応用 明示的に起こさなくても何かまずいことがあると発生する ● ゼロで除算した ● 割り当てされていないメモリにアクセスした ● 特権がないのに特権命令を実行したプロセス割り込み CPU 割り込み呼び出しハンドラソフトウェアハードウェアソフトウェア Copyright Red Hat K.K. All rights reserved. 46

時計 2 種類の時計 ● 現在時刻を取得するための時計 (clock) ● 一定時間以上経過したことを知るための時計 (timer) ● 例 : sleep システムコールで、プロセスを一時停止したあと 10 秒後に再び動作させる カーネルでの時計の利用 ● 現在時刻 (clock) ● ファイルシステムのタイムスタンプ ● 時刻の確認、設定 ● スケジューリング ● 時間経過 (timer) ● 各種タイムアウト処理 ● システムコール ● デバイスドライバ , watchdog Copyright Red Hat K.K. All rights reserved. 49

PC が持っている時計 , タイマ μs解像度 ns ms s 1000s RTC PIT Local APICTSC CPU 毎にある全 PC にある時計全 PC にある 16bit タイマ電源が落ちても維持 32bit タイマ割り込み発生可割り込み発生可 CPU にある 64bit タイマクロックによって変化する CPU あり Copyright Red Hat K.K. All rights reserved. 50

時計のハードウェア - PIT Programmable Interval Timer ● 指定時間経過後 1 回だけ、もしくは指定時間毎にハードウェア割り込みを発生させるタイマ ● 約 1.19MHz 、 16bit カウンタ ● 1980 年代から互換性のためにずっと同じ規格 PIT による割り込みは「タイマー割り込み」と呼ばれる 現在は Local APIC や HPET に置き換えられつつある Copyright Red Hat K.K. All rights reserved. 52

linux の時計 起動時に RTC で現在時刻を取得 clocksource の設定に従って時刻を進めるためのリソースをきめる ● RTC では秒単位なのでもっと細かいものを使いたい TSC を使う場合 ● 現在の TSC の値と、時間あたりに TSC が増えるレートを測定 ● その後 TSC から換算して現在時刻を取得 Tick ● PIT で一定時間ごと (RHEL5 だと 1ms) に割り込みを発生させる ● 割り込み→カーネルの割り込みハンドラ実行 ● Tick ごとに linux 内の jiffies という変数が 1 増える ● 他の clocksource が使えない場合 jiffies を clocksource に利用 Copyright Red Hat K.K. All rights reserved. 54

時計と KVM RTC は QEMU でエミュレートしている PIT, APIC はオーバーヘッドを避けるために KVM 内でエミュレートしている TSC はホストのクロック周波数の変化で TSC の時間あたり増加数が変わる ● そのまま利用すると時計がずれてしまう ● クロック周波数によらず一定の増加をする constant_tsc のサポートにより利用可に ● AMD, Intel ともに最近の CPU では constant_tsc のサポートあり Copyright Red Hat K.K. All rights reserved. 55

KVMのためのlinux kernel入門

by Kazuo Moriwaka on Feb 19, 2012

Accessibility

Categories

Tags

Upload Details

Usage Rights

1 Embed 5

Statistics

KVMのためのlinux kernel入門 — Presentation Transcript