More Related Content
Similar to #ljstudy KVM勉強会
Similar to #ljstudy KVM勉強会 (20)
More from Etsuji Nakai (20)
#ljstudy KVM勉強会
- 1. Linux女子部 KVM勉強会!
オープンクラウド・キャンパス
Linux女子部 KVM勉強会!
ver1.0 中井悦司
Twitter @enakai00
1
- 2. Linux女子部 KVM勉強会!
自己紹介
中井悦司(なかいえつじ)
– Twitter @enakai00
日々の仕事
– Senior Solution Architect and
Cloud Evangelist at Red Hat K.K. 好評発売中
企業システムでオープンソースの活用を希望される
お客様を全力でご支援させていただきます。
昔とった杵柄
– 素粒子論の研究(超弦理論とか)
– 予備校講師(物理担当)
– インフラエンジニア(Unix/Linux専門)
Open Cloud Campus
2
- 3. Linux女子部 KVM勉強会!
Contents
Linux KVMの基礎知識
仮想化ハイパーバイザの分類とLinux KVMの特徴
Linuxの仮想ネットワーク機能
iptablesによるパケットフィルタリング
Open Cloud Campus
3
- 6. Linux女子部 KVM勉強会!
Linux KVMとは
Kernel-based Virtual Machine
– イスラエルのQumranet (Avi Kivity)が2006年10月に開発をスタート。
– 2ヶ月後にメインラインのカーネルにマージ
– 2008年12月にRed HatがQumranetを買収
– 2009年9月公開のRHEL5.4より正式サポート開始
KVMの特徴
– Linuxカーネルにカーネル・モジュールとして仮想化機能を統合
• CPUスケジューリング、メモリ管理などは Linux カーネルの既存機能を拡張
• 仮想デバイスのエミュレーションはQEMUを利用
– CPUの仮想化支援機構を利用した完全仮想化を採用
• Intel VT/AMD-Vが必要
• カーネル開発コミュニティとプロセッサメーカのエンジニアが協力して開発
仮想化, Linux, x86サーバ技術の
一体的な進化を促進したことがKVMの功績!
Open Cloud Campus
6
- 7. Linux女子部 KVM勉強会!
KVMはLinux Kernelに継ぐコミュティ開発モデルの成功例
$ cd linux-2.6
$ git log -p -M virt/kvm arch/x86/kvm | gitdm -d -u
(2011/12/27 の実行結果)
開発者の所属企業別の
KVMソースコード変更行数割合
プロセッサメーカの開発者
35% からのコントリビューション
7%
9%
27%
Open Cloud Campus
7
- 9. Linux女子部 KVM勉強会!
仮想化ハイパーバイザの分類
基本的には「物理マシン」と同等の「仮想マシン」を複数作り出す技術です。
ハードウェアによる仮想化
(物理マシンにハイパーバイザを内蔵)
非仮想化環境 ゲスト ゲスト ゲスト ゲスト
OS OS OS OS
OS 仮想 仮想 仮想 仮想
マシン マシン マシン マシン
物理マシン
ハイパーバイザ(ファームウェア)
物理マシン
ソフトウェアによる仮想化
ソフトウェアによる仮想化 (ホストOSにハイパーバイザ機能を追加)
(物理マシン上にハイパーバイザを導入)
ゲスト ゲスト ゲスト
Xen ゲスト ゲスト ゲスト ゲスト OS OS OS Linux KVM
OS OS OS OS 仮想 仮想 仮想
仮想 仮想 仮想 仮想 マシン マシン マシン
マシン マシン マシン マシン ハイパーバイザ
ハイパーバイザ(ソフトウェア) (カーネルモジュール)
ホストOS
物理マシン
物理マシン
Open Cloud Campus
9
- 10. Linux女子部 KVM勉強会!
x86サーバ仮想化技術の歴史
仮想化支援機能を持つCPUでは、仮想マシン(ゲストOS)を実行するための特権モードを
提供することで、センシティブ命令の制御をHWレベルで行います。
一方、初期のハイパーバイザでは、仮想化支援機能を前提としないソフトウェア技術が必
要でした。
– VMwareは「Dynamic Binary Translation」を採用しました。センシティブ命令をメモリ上で動的
に書き換える技術です。
– Xenは「準仮想化 (Static Binary Translation)」を提唱しました。センシティブ命令を事前にハイ
パーバイザコールに書き換えた「準仮想化カーネル」を使用します。
– 現在のバージョンでは、どちらもCPUの仮想化支援機能を利用可能です。
2000 2003 2007
ハイパーバイザ 準仮想化技術 Linuxカーネルに
による仮想化 の提唱 仮想化機能を統合
VMware ESX Xen KVM
1995 2000 2005 2010
(Virtual PC for Macintosh) Intel-VT
コンシューマーPC HW レベルでの
初の仮想化(?) 仮想化機能
1996 2005 Open Cloud Campus
10
- 11. Linux女子部 KVM勉強会!
KVMにおける特権モードの利用方法
KVMでは、仮想マシンはホストLinux上の1プロセスとして実行されます。
– ゲストOSは、VMX non-rootモードで動作
して、デバイスアクセスなどのセンシティ
ブ命令が発行されると、KVMモジュールに qemu-kvmプロセス
処理が移行します。
– KVMモジュールの指示により、VMXroot
ユーザプロセス
ユーザプロセス
モードで動作する、qemuデバイスエミュ
ゲストの
ゲストの
一般のプロセス
一般のプロセス
qemuデバイス
エミュレータ
レータが物理デバイスにアクセスします。
ゲストカーネル
VMX rootモード
KVMモジュール
VMX non-rootモード
ホストLinux
カーネル
仮想ディスク
イメージファイル 物理CPU
Open Cloud Campus
11
- 12. Linux女子部 KVM勉強会!
EPTによるメモリアクセスの高速化
非仮想化環境では、ユーザプロセスが認識する仮想アドレスと物理アドレスの変換はCPU
に搭載のMMU(Memory Management Unit)がハードウェアレベルで処理します。
一方、仮想マシン環境では、2 段階のアドレス変換が必要です。
– ユーザプロセスの仮想アドレス ⇒ ゲストOSの「仮想」物理アドレス(GPFN) ⇒ 物理アドレ
ス(MPFN)
– EPT (Extended Page Tables) を利用すると、2段階のアドレス変換をハードウェアレ
ベルで処理します。
• Xeon 5500番台(Nehalem)以降のCPUがEPTに対応しています。EPT未対応のCPUでは、
シャドウページテーブルなどのソフトウェア処理が必要です。
Xen/KVM仮想化環境
非仮想化環境 ゲストOSのプロセスA
論理アドレス空間
プロセスA プロセスB
論理アドレス空間 論理アドレス空間 MMUが変換 EPT対応の qemu-kvmプロセス
MMUが変換 GPFN
PFN PFN
搭載物理メモリ 搭載物理メモリ
Open Cloud Campus
12
- 13. Linux女子部 KVM勉強会!
virtioドライバによるI/Oの高速化
virtioは、KVM仮想化環境に最適化されたディスク/NICのエミュレーション形
式です。
– QEMUが用意したI/Oバッファ領域にvirtioドライバが直接アクセスするため仮想化の
オーバヘッドが削減されます。
一般のドライバを使用する場合 virtioドライバを使用する場合
ゲストOSの ゲストOSの
QEMUプロセス メモリ空間 QEMUプロセス メモリ空間
メモリマッピング
メモリマッピング
IOリクエスト IOリクエスト
バッファ バッファ
入出力データ 入出力データ 入出力データ
入出力データ トラップ
ホストLinux ホストLinux
ゲストドライバのI/O処理をトラップ virtioドライバは、共有メモリ上の
物理I/O 物理I/O バッファを使用(ゲストOSとQEMU
して、QEMU経由でIOを実施
間のデータコピーが発生しない)
Open Cloud Campus
13
- 14. Linux女子部 KVM勉強会!
仮想化APIライブラリ- libvirt
libvirtは、複数のハイパーバイザを統一的に操作するAPIライブラリです。
– C言語、Pythonから使用するためのライブラリを標準で提供します。現在
は、Xen/KVM/LXC(Linuxコンテナ)などが対応しています。
– ゲストOSの起動・停止などの操作以外に、仮想ネットワーク構成、ストレージ管理の
ためのAPIを提供します。
– 図は、Python用のライブラリを使用して、KVMのすべての仮想マシンをまとめて起
動/停止するスクリプトの例です。
すべての仮想マシンを起動するスクリプト
RHEL6では次のようなツールがlibvirtを利用 #!/usr/bin/python
しています。 import libvirt, time
Conn = libvirt.open( "qemu:///system" )
– virsh(コマンドライン管理ツール) for name in Conn.listDefinedDomains():
vm = Conn.lookupByName( name )
– virt-manager(GUI管理ツール) print "Starting " + vm.name()
vm.create()
– virt-install(コマンドラインのゲストOSイン time.sleep( 1 )
ストールツール) すべての仮想マシンを停止するスクリプト
#!/usr/bin/python
Euclyptus / OpenStackなどのクラウド基盤 import libvirt, time
ソフトウェアが内部的にlibvirt経由で仮想化 Conn = libvirt.open( "qemu:///system" )
for id in Conn.listDomainsID():
ハイパーバイザを操作する場合もあります。 vm = Conn.lookupByID( id )
print "Stopping " + vm.name()
vm.shutdown()
time.sleep( 1 )
Open Cloud Campus
14
- 15. Linux女子部 KVM勉強会!
virt-managerによる仮想化環境の管理
Virt-managerはRHEL6が標準で提供する仮想化環境の管理ツールです。次のよ
うな操作をGUIで行うことができます。
– 仮想マシンの構成、ゲストOSのインストール
– 仮想マシンのコンソール表示、起動、停止
– 仮想ネットワークの構成、仮想ディスク用ストレージの管理
– など
ネットワーク経由で複数の仮想
化ホストを管理することもでき
ます。
Open Cloud Campus
15
- 17. Linux女子部 KVM勉強会!
KVMの仮想ネットワーク
KVMのホストLinuxは「TAPデバイス」を経由して仮想マシンの仮想NICとパケッ
トを交換します。TAPデバイスを「仮想ブリッジ」に接続することで、仮想マシ
ン間のプライベートネットワークが構成されます。
– TAPデバイスは、ユーザプロセスと仮想的なネットワーク通信を行うLinuxの機能です。
– 仮想ブリッジは、Linux上に仮想的なネットワークスイッチを構成する機能です。
外部ネットワークに接続する方法 仮想マシン 仮想マシン
は2種類あります。
eth0 仮想NIC eth0 仮想NIC
– ホストLinuxの物理NICを仮想ブ
リッジに接続します。 ホストLinux TAPデバイス TAPデバイス
– iptablesによるNAT/マスカレード
vnet0 vnet1
で仮想ブリッジから外部ネット ② NAT/マスカレード
ワークにパケット転送します。
virbr0 / br0
仮想ブリッジ
eth0 ① ブリッジ接続
外部ネットワーク
Open Cloud Campus
17
- 18. Linux女子部 KVM勉強会!
仮想ネットワークの構成パターン
複数の仮想ブリッジを使用することで、複数の仮想ネットワークが構成できます。
仮想ネットワークの構成パターンには次のようなものがあります。
– 物理NICをブリッジ接続して外部ネットワークに同一サブネットとして接続
– NAT/マスカレードを利用して、外部ネットワークとは独立したサブネットとして接続
• マスカレードを利用する場合、外部ネットワークから仮想ネットワークに向けた接続はできま
せん。
• 外部ネットワークと相互通信する場合は、外部のIPアドレスと内部のIPアドレスをDNAT/SNAT
で1対1にひも付ける必要があります。
– 外部ネットワークには接続しないホストマシン内部のプライベートネットワークを構成
• 仮想ブリッジにIPアドレスを設定することで、ホストLinuxと仮想マシンの通信は可能になりま
す。
仮想マシンは外部とは通信しない
仮想マシン 仮想マシン 仮想マシン 仮想マシン
eth0 eth0 eth0 eth0
仮想マシンと外部 仮想マシンと外部
ネットワークは同じ ネットワークは異なる
サブネットに属する。 ホスト サブネットに属する。 ホスト ホスト
vnet0 Linux vnet0 Linux vnet0 vnet1 Linux
仮想ブリッジ 仮想ブリッジ 仮想ブリッジ
パケット転送 仮想ブリッジにIPアドレスを設定すると
eth0 eth0 ホストLinuxと仮想マシンは通信可能
Open Cloud Campus
18
- 19. Linux女子部 KVM勉強会!
dnsmasqによるDHCP/DNS機能の提供
物理NICをブリッジ接続しないタイプの仮想ネットワークは、libvirt API
(virsh/virt-managerなど)で構成することができます。
– 物理NICのブリッジ接続を行う場合は、手動で設定ファイルを構成します。
– 仮想ブリッジには任意の名称を設定できます。通常は「br0」などを使用します。
libvirtで構成する仮想ネットワークは、簡易的なDHCP/DNS機能を提供します。
– これらの機能は、ホストLinuxの「dnsmasqデーモン」が提供します。不要な場合は無効
化もできます。DNSサーバは、ホストLinuxの「/etc/hosts」の内容と
「/etc/resolv.conf」で指定された外部DNSを参照します。
– libvirtで構成した仮想ブリッジの名称は「virbrX」になります。
仮想マシン 仮想マシン
eth0 eth0
ホスト
vnet0 vnet1 Linux
仮想ブリッジ (virbr0)
パケット転送
DHCPサーバ
DNSサーバ
eth0
Open Cloud Campus
19
- 20. Linux女子部 KVM勉強会!
(参考)Bonding / VLANデバイスの組み合わせ
仮想マシン 仮想マシン
仮想マシン
eth0 仮想NIC eth0 仮想NIC
eth0 仮想NIC
タグ無しパケット
TAPデバイス TAPデバイス
vnet0 TAPデバイス vnet0 vnet1
仮想ブリッジ
br0 仮想ブリッジ br100 br200
eth0.100 eth0.200 VLANデバイス
bond0 bondingデバイス タグ付きパケット
eth0 eth1
ホストLinux ホストLinux eth0
タグVLAN
ネットワーク・スイッチ
VLAN100 VLAN200
Open Cloud Campus
20
- 22. Linux女子部 KVM勉強会!
iptablesの機能
iptablesの機能は、大きくは「パケットフィルタリング」と「NAT (Network
Address Translation)」に分かれます。
– パケットフィルタリングは、Linux上にファイアウォール機能を提供するもので、IPパ
ケットの送信、受信、転送のそれぞれについて、許可条件を設定します。
– NATは、Linuxサーバをルータとして使用する際に利用する機能で、パケットの転送時
に、パケットに含まれる送信元、もしくは宛先IPアドレスを変換します。
• 正確には、DNAT(宛先アドレス変換)、SNAT(送信元アドレス変換)、マスカレード
(SNATの特別版)の3種類があります。
インターネットからの
接続パケットをフィルタリング プライベートネットワークから 外部からの接続パケットを
インターネットにマスカレード接続 フィルタリング
グローバル
IPアドレス
XX.XX.XX.XX ルータ用
インターネット Linuxサーバ
192.168.100.1
192.168.100.10 192.168.100.11
iptablesの利用例 プライベートネットワーク
192.168.100.0/24
Open Cloud Campus
22
- 23. Linux女子部 KVM勉強会!
iptablesの設定方法
iptablesの有効化/無効化は、iptablesサービスの起動・停止で行います。
– # service iptables start : 設定ファイル「/etc/sysconfig/iptables」をアクティブ化し
ます。
– # service iptables stop : アクティブな設定がすべて無効になります。
iptablesの設定は、設定ファイルを編集して再アクティブ化する方法と、iptables
コマンドでアクティブな設定を直接変更する方法があります。
– アクティブな設定を直接変更した場合は、別途、設定ファイルに内容を書き出しておかな
いと、再起動後に変更が失われます。
iptablesの2種類の設定方法
設定ファイルを編集 iptablesコマンドで設定
設定ファイルを再アクティブ化
# service iptables restart
設定ファイルに書き出し
# service iptables save
/etc/sysconfig/iptables アクティブな設定
Open Cloud Campus
23
- 24. Linux女子部 KVM勉強会!
iptablesにおける処理の流れ
Linuxサーバを通過するパケットは、いくつかの「チェーン」を通過します。
– INPUTチェーン : 受信パケットが通過します。
– OUTPUTチェーン : 送信パケットが通過します。
– PREROUTING、FORWARD、POSTROUTINGチェーン : 転送パケットが通過します。
それぞれのチェーンでは、次のテーブルの設定に従ってパケットの処理が行われ
ます。
– filterテーブル : パケットフィルタリングの処理を定義します。
– natテーブル : NATの処理を定義します。
ネットワーク ネットワーク#2 ネットワーク#1
受信パケット 転送パケット
OUTPUTチェーン INPUTチェーン POSTROUTINGチェーン PREROUTINGチェーン
filterテーブル filterテーブル natテーブル natテーブル
送信パケット SNAT処理 DNAT処理
FORWARDチェーン
アプリケーション
プログラム filterテーブル
Open Cloud Campus
24
- 25. Linux女子部 KVM勉強会!
パケットフィルタリングの設定例
パケットフィルタリング設定の基本コマンドは次の通りです。 ターゲット 説明
ACCEPT パケットの送受信を許可
– 指定条件にマッチするパケットに対するターゲットの定義
DROP パケットを破棄する
• iptables -A <チェーン> <パケット条件> -j <ターゲット>
REJECT パケットの拒否をICMPで通知
– デフォルトターゲットの定義
LOG パケット情報をSyslogに出力
• iptables -P <チェーン> <ターゲット>
– -Aオプションで設定した順にパケット条件の評価が行われて、最初にマッチした条件に対す
るターゲットが実行されます。LOGアクション以外はそこで評価が終了します。
– どの条件にもマッチしなかった場合は、-Pオプションで指定した、デフォルトアクションが実
行されます。
– 現在のアクティブな設定は次のコマンドで表示します。
• iptables [-v][-n] -L <チェーン>
• -vオプションは詳細情報を表示します。-nオプションはIPアドレスやTCP/UDPポート番号を数値で表示
します。(指定しない場合は名前解決を行います。)
受信パケットに対するフィルタリング設定手順の例
# service iptables stop 外部からの接続パケットを
# iptables -A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT フィルタリング
# iptables -A INPUT -i lo -j ACCEPT
# iptables -A INPUT -d 192.168.100.10 -p tcp -m tcp --dport 22 -j ACCEPT
# iptables -A INPUT -j LOG -m limit --log-prefix "[INPUT Dropped] "
# iptables -P INPUT DROP
# service iptables save 192.168.100.10
# service iptables start
Open Cloud Campus
25
- 27. Linux女子部 KVM勉強会!
オープンクラウド・キャンパス
日経Linux「クラウド時代のサーバ
構築・運用の基礎」もよろしくね!
中井悦司
Twitter @enakai00
27