Dowiesz się na czym polega tajemnica kilku równoległych systemów operacyjnych. Wprowadzimy Cię w świat wirtualnych systemów operacyjnych, poznasz metody umożliwiające ich incepcję oraz zoptymalizujesz wydajność swojej maszyny wirtualnej.

2. Linux KVM - wparcie dla wirtualizacji w
kontekście serwerów ARM

3. Plan
● Terminologia i koncepcja wirtualizacji
● QEMU
● Czym jest KVM ?
● Architektura ARMv8 i wsparcie dla wirtualizacji
○ poziomy uprzywilejowania
○ dodatkowy tryb pracy CPU
○ podwójna translacja MMU
○ wirtualny kontroler przerwań i timer
● Emulacja I/O
○ wirtualizacja
○ parawirtualizacja
○ VHOST

4. Terminologia
Wirtualizacja - technika pozwalająca na jednoczesne uruchamianie wielu systemów
operacyjnych na tej samej platformie sprzętowej
Hipernadzorca (ang. hypervisor) - kawałek kodu realizujący powyższe założenia i
zarządzający zasobami sprzętowymi
Host OS - system operacyjny na którym działa hipernadzorca
Guest OS - system operacyjny który działa na wirtualnej maszynie
QEMU (ang. Quick Emulator) - szybki emulator różnych architektur oraz urządzeń I/O +
interfejs użytkownika do uruchamiania i konfiguracji maszyny wirtualnej

5. Koncepcja hypervisor’a i co ma do tego KVM ?
Brak
wirtualizacji -
jeden OS
Hypervisor - dodatkowy
warstwa zarządzająca
sprzętem
QEMU + KVM jako
implementacja hypervisora
HypervisorOS kernel
App App
Hardware
OS kernel
App App
Hardware Hardware
Linux kernel KVM
QEMU
OS kernel
App App
OS kernel
App App
QEMU
OS kernel
App App
App

6. QEMU
● wykorzystuje KVM jako akcelerator
(wirtualizacja natywnej architektury)
● może działać autonomicznie (bez KVM)
● odpowiedzialny za interakcję z KVM
○ vm_fd = open(“/dev/kvm”);
○ ioctl(vm_fd, ...);
QEMU process == VM
host kernel
User space
KVM
Kernel space
Hardware
○ mmap() pamięci RAM wirtualnej maszyny
○ emulacja urządzeń I/O (wirtualizacja i
parawirtualizacja)
● qemu -name <vm_name> -machine virt,accel=kvm
-cpu <cpu_type> -m <RAM_size> -smp <cpu_nr> ...
Guest OS
I/O
emulation
ioctl()

7. QEMU Process
Czym jest KVM (Kernel-based Virtual Machine) ?
● kvm.ko moduł kernela, który
wykorzystuje dostępne i stabilne
podsystemy kernela
○ MMU
○ synchronizacja
○ scheduling
○ przerwania itd
● zarządza zasobami sprzętowymi
● wymaga sprzętowego wsparcia
● zmienia kontekst procesora
host/guest tzw. world switch
Guest OS
I/O emulation
host kernel
User space
Kernel space
KVM
Hardware

8. Czym jest KVM ? c.d.
● zapewnia obsługę wyjątków wirtualnej maszyny (trap) tj.:
○ przerwania
○ dostęp do rejestrów
○ I/O
● udostępnia urządzenie /dev/kvm, za pomocą którego możliwe jest poznanie
dostępnych urządzeń/funkcjonalności i ich konfiguracja np.:
○ typ kontrolera przerwań
○ ilość procesorów (SMP)
● współpracuje z emulatorami np. QEMU, kvmtool
○ emulacja pozostałych rzeczy np. dostęp do dysku virtio-blk

9. ARMv8 poziomy uprzywilejowania
Powodem zmiany EL może być:
● przerwanie, page faults
● instrukcja SVC (przejście do EL1)
● instrukcja HVC (przejście do EL2)
● instrukcja SMC (przejście do EL3)
● ERET (przejście poziom niżej)
EL - Exception Level

10. ARMv8 poziomy uprzywilejowania c.d.

11. KVM i architektura ARMv8.0
Guest
Userspace
Guest Kernel
Guest
Userspace
Hypervisor
Guest Kernel
Host Userspace
Linux host kernel Guest Kernel
Guest
Userspace
Switching code
KVM

12. KVM i architektura ARMv8 c.d.
● Poziom EL2 ma tylko jeden bazowy
rejestr tablicy translacji TTBR1_EL2
● Wymagane ogromne zmiany żeby
uruchomić kernel na EL2
● EL2 zawiera mały “kawałek” kodu
zmieniające kontekst host - guest tzw.
“world switch”

13. KVM i architektura ARMv8.1 (VHE)
Host Userspace
Linux host kernel
Guest Kernel
Guest
Userspace
KVM
Rozszerzenie dla wirtualizacji:
● wsparcie dla TTBR0_EL2 i
TTBR1_EL2 !!!
● host kernel może pracować na
EL2
● host kernel nie musi przechodzić z
EL2 do EL1
● zmiana kontekstu na tym samym
poziomie EL2

14. ● modyfikacja kernela VM ?
● emulacja wybranych instrukcji ?
Jak zwirtualizować CPU (tzw. vCPU) ?
● emulacja?
○ procesor wchodzi w tryb guest i działa w
trybie natywnym
○ wychodzi do trybu host gdy potrzebuje
pomocy
○ każdy vCPU może być osobnym wątkiem
● użycie nowego trybu CPU - guest
** Wymaga od procesora wsparcia dla wirtualizacji
(Intel VT-x, ARM’s Virt. extensions) !!!
Start
Enter
Guest
Guest execution
Handle reason
(kern. mode)
Exit to Hyp
for some reason
Handle reason
(user. mode)

15. Jak zwirtualizować CPU (tzw. vCPU) ? c.d.
QEMU process
host kernel
User space
KVM
Exception handling
vCPU
pthread 0
exit enter
I/O
emulation
● vCPU to wątek
● możemy użyć taskset,
numactl, ps...
vCPU
pthread 1
exit enter
I/O
emulation
exit enter
Kernel space

16. Jak zwirtualizować CPU (tzw. vCPU) ? c.d.
Host Userspace
Linux host kernel
Guest Kernel
Guest
Userspace
Switching code
KVM
QEMU
ioctl(KVM_RUN)
enter/exit
While no
heavy exit -
or-
no error
Exit to QEMU
1. Heavy Exit - MMIO
2. Runtime KVM error
Set exit reason
KVM interrupted
Enable interrupts
Check pend interrupts,
timers. Update & inject
into guest
Disable interrupts
About to enter Guest
Check for
pending
signals
Enter guest, this is where
you world switch - Enter/
and return on Exit here
Enable Interrupts
Host interrupts happen
here
Update vCPU/KVM with
Guest HW state
Handle Exit could be
- 2nd stage MMU fault
- Hype call
- System reg access…
- KVM error can’t decode
Return from QEMU with updated CPU state

17. Jak zwirtualizować CPU (tzw. vCPU) ? c.d.
Konkluzje:
● narzut na wirtualizację to czas
kiedy CPU spędza w trybie host i
obsługuje wyjątki
● im mniej wychodzimy do
hypervisora tym lepiej
● wyjście do userspace’u (tzw.
heavy exit) jest najgorszym z
możliwych scenariuszy jeżeli
chodzi o wydajność
Guest Mode
KVM
HYP
KVM
HYP
KVM
Host
KVM
Host
QEMU
Run vCPU
QEMU
Exit Handle
Ultra-light
Exit
Light-weight
Exit
Guest enter Guest exit
Heavy Exit

18. MMU - pojedyncza translacja

19. MMU - podwójna translacja

20. Kontroler przerwań (VGIC)

21. Kontroler przerwań (VGIC) c.d.
● przerwania nadal są obsługiwane
przez kernel host
● dostęp do rejestrów i/f CPU nie
powodują wyjątku
● dostęp do rejestrów dystrybutora
nadal powoduje wyjątek (in-kernel
emulation)
● host jest w stanie wygenerować
przerwanie programując wirtualny i/f
CPU
● przerwanie jest generowane s/w na
żądanie emulowanego urządzenia I/O
QEMU process
host kernel
User space
KVM
Exception handling
vCPU
pthread 0
exit enter
VGIC
I/O
emulation
exit enter
Kernel space
reg 1
reg 0
reg 2
Dist. regs

22. VTimer
● operacje na rejestrach timera są krytyczne dla wydajności
● fizyczny timer dostępny tylko dla hosta
● wirtualny timer (vtimer) przeznaczony dla VM
● dostęp do rejestrów vtimera nie powoduje wyjątków : )
○ przerwanie vtimera nadal powoduje wyjątek i world
switch
○ optymalizacja - KVM sprawdza rejestry vtimera i
wstrzykuje przerwanie do VM
● wciąż potrzebna emulacja vtimera w kernelu : (

23. VTimer c.d.
QEMU process
host kernel
User space
KVM
Exception handling
vCPU
pthread 0
exit enter
VGIC
I/O
emulation
exit enter
Kernel space
IRQ injection
VTimer

24. QEMU process
Emulacja I/O - pełna wirtualizacja
Guest kernel
host kernel
User space
Kernel space
KVM
MMIO MMIO
e1000
IRQ
I/O emulation
e1000
machine state
IRQFD
TAP dev
reg 1
reg 0
reg 3
reg 2
RX/TX
● istniejący sterownik
● kompatybilność wstecz
● każdy zapis/odczyt rejestru
to trap i wyjście do
userspace-u
● skomplikowana maszyna
stanu w QEMU
● IRQFD

25. QEMU process
I/O emulation
Virtio - parawirtualizacja
● typowy sterownik dla VM
● konieczne wsparcie dla
VIRTIO w kernelu
● protokół zaprojektowany dla
potrzeb wirtualizacji
● vring - współdzielona pamięć
● eventfd - komunikacja w dwie
strony
● prostsza implementacja niż
emulacja zachowania HW
Guest kernel
virtio-net virtio-net
virtio-defined protocol
virtio-defined
registers
vring
host kernel
KVM TAP dev
MMIO MMIOIRQ EVENTFD RX/TX
User space
Kernel space

26. QEMU process
MMIO
VHOST
● QEMU jako funkcja kontrolna
● QEMU przekierowuje data plane
● przepływ pakietów VM<->kernel
● pomijamy warstwę QEMU<-
>TAP
● qemu -netdev type=tap,id=net0,vhost=on -device
virtio-net-pci,netdev=net0
Guest kernel
host kernel
KVM
I/O emulation
virtio-net vhost-net
control plane
/dev/vhost-net
virtio-defined
registers
TAP dev
vhost-net
EVENTFD
VRING User space
Kernel space
IRQ MMIO ioctl

27. Q/A
Dziękuję za uwagę
Pytania ?
Kontakt: Tomasz Nowicki
tn@semihalf.com