SlideShare a Scribd company logo
1 of 31
Klaszter és virtualizációs
       technikák



        Szalai Ferenc
        szferi@niif.hu
Problémák
●
    Informatika egyre kritikusabb
    infrastruktúra és egyre nagyobb
    rendelkezésre állást várnak el tőle
●
    Növekvő teljesítmény igényeket nem
    lehet erősebb gépekkel kielégíteni
    gazdaságosan
●
    Növekvő bonyolultságú informatikai
    infrastruktúra (egyre több szerver a
    szerverszobában)
●
    Növekvő tárolandó adatmennyiség (kép,
    videó, adatbázisok)
Miért virtualizáljunk?
●
    Vezetői szemlélet: a vas ára állandó, a
    adminisztrációs költségek nőnek
●
    Motiváció:
    – költségtakarékosság: 51.7 %
    – üzemeltetés egyszerűsítése: 14.6 %
    – flexibilis infrastruktúra: 13.1 %
    – leállási idő csökkentése: 12.6 %
    – helytakarékosság: 10.9 %
    – skálázhatóság: 10.9 %
    – megbízhatóság: 10.9 %
    (IDC 2005)
Mit?
●
    storage (adattároló alrendszerek): elrejteni
    a különféle gyártók SAN rendszereit,
    összevonni az elemi adattároló
    kapacitásokat (pl: NONSTOP architektúra)
●
    I/O virtualizáció: dinamikus sávszélesség és
    QoS fizikai csatornákon (pl.: Infiniband)
●
    szerver virtualizáció
Hogyan?
●
    Szerver virtualizációs technikák fő
    kategóriái:
    –   Emuláció
    –   para-virtualizáció
    –   operációs rendszer szintű
    –   API virtualizáció
    –   Alkalmazás szintű
●
    Egzotikumok:
    –   Virtual SMP: elosztott közös memóriájú
        klaszterek
    –   PC architektúrán túl: IBM Power 5, 6
    –   IBM S/360 hypervisor OS – minden virtualizáció
        ős anyja
Alapfogalmak
●
    host gép/operációs rendszer: virtuális
    gépeket befogadó fizikai eszköz
●
    virtuális gép: absztrakció, szoftver elem,
    ami fizikai eszközök virtualizálásával teremt
    az operációs rendszerek számára futási
    környezetet
●
    guest gép/operációs rendszer: virtuáis
    gépen futó OS
●
    hipervizor: szuper-privilégizált módban futó
    kernel, ami a virtuális gépet szolgáltat (para
    virtualizáció)
●
    JIT – just in time: futás közbeni fordítás
Emuláció
●
    Előnyök:
    –   változatos architektúrák (PC, Amiga, stb.)
    –   teljes hardver kontroll (BIOS, VGA, stb.)
●
    Hátrányok:
    –   sebesség
    –   host rendszer mindig kell
    –   nagy teljesítmény igény a host rendszeren is
●
    Legismertebb megoldások:
    –   Vmware Wokrstation, Player, Server
    –   MS Virtual PC és szerver
    –   Qemu
    –   Boch
    –   Amiga, Mobiltelefon, stb. fejlesztő környezetek
Paravirtualizáció
●
    Előnyök:
    –   jó teljesítmény (2-5% veszteség, néha
        nyereség)
    –   hardver támogatás
●
    Hátrányok:
    –   guest OS módosítását igényli
    –   kiforrott management eszközök hiánya
●
    Legismertebb megoldás: XEN
Xen
 felépítése
Szoftveres
paravirtualizáció:

Alkalmazások: Ring 3
Operációs rendszer:
Ring ½ (privilégizált
utasítások,
hypercallok)
XEN: Ring0
HVM – Hardware Virtual Machine
●
    Ezzel tudunk Windowst futtatni Linuxon!
●
    Közös interfész az Intel (VT-x vagy Vanderpool) és az AMD
    (SVM vagy Pacifica) saját hardveres virtualizációs
    megoldásához (hvmloader)
●
    Új futási mód a hipervizornak, OS futhat ring0-ban.
●
    Új utasítások a processzorban (Intel: VMLaunch,
    VMResume, VMExit, AMD: VMRUN)
●   dom0-ban ioemu (módosított qemu) a legtöbb eszköz (PCI,
    VGA, IDE, NE2000, stb.) emulációja ezen keresztül történik
●
    nagy teljesítményt igénylő eszközök emulációja (IOAPIC,
    LAPIC, VPIT, stb.) magában a XEN-ben van.
●
    Pl: Intel Pentium D 9xx, Core Duo, 2 Core Duo, egyes
    Xeonok AMD Athlon 64 3xxx+, X2 Dual-Core, Turion,
    Opteron [1,2,8]000
●
    KVM: Kernel Virtual Machine (Linux)
Operációs rendszer szintű
●
    Előnyök:
    –   teljesítmény (2-5 % veszteség)
    –   pehelysúlyú
    –   jó virtuális gépenkénti erőforrás használat
        szabályozás
●
    Hátrányok:
    –   nem lehet több különféle OS típus
    –   kernel módosítást igénye, host-on, guest-en
        egyaránt
●
    Ismertebb megoldások:
    –   chroot, BSD Jail
    –   Linux-Vserver
    –   OpenVZ
    –   Solaris Container
Virtuális hálózat
●
    Virtuális hálózati interfész:
    –   virtuális interfész a host rendszeren (XEN)
    –   TAP driver – TUN/Ethertap – UML, CoLinux
    –   pcap könyvtár
    –   userspace megoldás – UML switch
    –   slirp
●
    Hálózati kapcsolat:
    –   bridge
    –   NAT
    –   route
    –   fizikai eszköz delegálás
XEN hálózat
●    /etc/xen/scripts alatt
      – egy 'network' script, ami a
        dom0-án állítja a hálózatot a
        xend indulásakor
      – egy 'vif' script ami a dom0-án
        konfigurálja a virtuális
        interfészeket

    minden domaint vifX.Y 
                                         xenbr0
    alakú hálózati interfész 
    reprezentál a domain0­ban. 
    (X=domainID, Y=interfész 
    szám)
    Alap scriptek: bridge, route,                 xenbr1

    nat (problémás lehet), 
    vegyes megoldások, saját
Lemez formátumok
●
    Cél:
    –   kis méret, gyors elérés. hatékony VM tárolás
●
    Méret csökkentő megoldások:
    –   „Lyukak” az állományrendszerben
    –   COW (copy on write)
    –   tömörítés
●
    Sebesség növelő megoldások:
    –   többszintű cache és clustering
●
    Titkosítás
●
    Típusok:
    –   Raw (Qemu)
    –   COW (UML, Vmware disk, MS Virtual PC)
    –   Tömörített: QCOW (qemu)
XEN virtuális lemezkezelés
●
    image állomány (loopback)
●   disk = ['file:/var/images/debian.img,sda1,w']}
●
    user space megoldások: blktap
●   disk = 
    ['tap:aio:/dev/images/debian.img,sda1,w']}
●
    külön partíció
●   disk = ['phy:/dev/hda2,sda1,w']}
●
    logikai kötet (LVM)
●   disk = ['phy:/dev/xenimages/noc.grid,sda1,w']}
●
    user space megoldás HVM esetén: qemu-dm
●   disk = 
    ['phy:/dev/xenimages/win2003,ioemu:hda1,w']}
●   NFS root: konfigurációs állományban nfs_server, 
    nfs_root
VM Extrák
●
    Snapshot mód
●
    Migráció
●
    P2V
●
    Klónozás és template vezérelt management
●
    Fizikai hibák szimulációja
XEN migráció
XEN Enterprise - Console
Mikor melyiket?
●
    Új hardver platform: Emuláció pl.: Qemu,
    VMware
●
    Hosting:
    –   ha sok azonos rendszer: OS szintű virtualizáció -
        pl.: OpenVZ
    –   ha sokféle rendszer: Paravirtualizáció – pl.: Xen,
        VMware ESX
●
    Linux kernel fejlesztés: UML
●
    Windows-on Linux, ha kell teljesítmény is:
    CoLinux
●
    Oktatói tesz hálózat: XEN, UML
●
    Desktop Virtualizációs: VMware
Milyen szolgáltatásokat?
●
    Levelező rendszer, ha
    –   nincs nagy forgalom vagy sok IMAP kapcsolat
●
    Web szerver
    –   ha az átlag terhelés < 10 rq/s
●
    Adatbázis szerver
    –   Oracle-vel óvatosan kell bánni
●
    Tűzfal, ha nincs más megoldás
●
    Alkalmazás szerver:
    –   az enterpise JAVA kacatokkal bajok lehetnek
●
    Állomány szerver:
    –   irodai környezetben
Miért jó klaszter építeni?
●
    Nagy rendelkezésre állás: HA klaszeterek
    –   alkalmazás szintű megoldás: pl.: Heathbeat
●
    Teljesítmény elosztás (Load balance
    klaszterek)
    –   Layer 4 és Layer 7 szintű megoldások. Pl.: IPVS
●
    Nagy teljesítményű számítás (HPC
    klaszterek)
    –   beowulf
●
    NUMA klaszterek
●
    SSI (single system image) klaszterek: pl.
    OpenMosix, OpenSSI
Megfelelő tároló alrendszer
●
    Klaszterek alapja a közös állomány és/vagy
    tároló alrendszer
●
    Hol tároljuk a virtuális gépek virtuális lemezeket?
●
    Lehetőségek tárolóra:
     – dom0-ba rakjunk sok lemezt: nehezen
       skálázható, nagy rendelkezésre állás
       kialakítása nehézkes
     – NAS (NFS): három egymástól független
       állományrendszer konzisztencia problémája
     – Fibre Channel/Infiniband SAN: jó de általában
       drága
     – IP/Ethernet SAN: jó kompromisszum lehet
IP/Ethernet SAN
●
    forrás (target), cél (initiator) architektúra
●
    IP SAN: iSCSI
●
    Ethernet SAN: AOE (Ata-over-Ethernet)
●
    AOE: egyszerű protokoll ATA üzenetek natív
    etherneten történő továbbítására
     – initiator 2.6.11 óta Linux kernel része
     – célhardver target (Coraid Inc.)
Egyszerű HA VM klaszter
●
    Közös tároló vagy DRBD
●
    A fizikai gép
    meghibásodás ellen
    védekezünk
●
    floating IP
●
    Heathbeat
     – domainek indítása
     – raid, lvm összeállítása
     – hálózat
●
    Figyelem: Linux sw raid
    nem támogatja a
    klaszterezést!
Egyszerű terhelés kiegyenlítő
              VM klaszter
●
    CLVM (GFS nem
    kell!)
●
    XEN migráció
●
    Külső
    monitorozás és
    automatizált
    domain
    áthelyezés
    (SLA)
●
    HA IPVS 2
    gépen
NONSTOP
 storage és XEN
●
    Adattároló klaszter nem csak
    Xen-hez.
●
    Moduláris adatkapcsolat, igény
    szerint
●
    Egyszerű elemek
●
    Skálázható a sávszélesség és
    a switchek erejéig
●
    management eszköz kell
    hozzá
●
    storage virtualizáció képesség


NONSTOP =
NONSTOP Network Storage Platform
Tervezési szempontok
●
    Előbb az adattároló alrendszer
●
    1-2 hónap monitorozási adatok kellenek
    (mit érdemes és mint nem virtualizálni)
●
    VM hosting platform kialakítása és
    tesztelése
●
    P2V migrációval test imagek készítése
    (Linux rendszerek esetén egy jól irányzott
    dd is megtesz, vagy ha van backup akkor
    az)
●
    HA és Loadbalance tesztek, intenzíven
●
    Migráció egyesével, esetleg
    szolgáltatásonként
●
    Mérés

More Related Content

What's hot

CoLinux - avagy két dudás egy csárdában
CoLinux - avagy két dudás egy csárdábanCoLinux - avagy két dudás egy csárdában
CoLinux - avagy két dudás egy csárdábanFerenc Szalai
 
Grid és adattárolás
Grid és adattárolásGrid és adattárolás
Grid és adattárolásFerenc Szalai
 
Folyamatos működés a MySQL világában
Folyamatos működés a MySQL világábanFolyamatos működés a MySQL világában
Folyamatos működés a MySQL világábanPéter Tar
 

What's hot (7)

Polygon Hírek III. évfolyam 2009 VMware
Polygon Hírek III. évfolyam 2009 VMwarePolygon Hírek III. évfolyam 2009 VMware
Polygon Hírek III. évfolyam 2009 VMware
 
CoLinux - avagy két dudás egy csárdában
CoLinux - avagy két dudás egy csárdábanCoLinux - avagy két dudás egy csárdában
CoLinux - avagy két dudás egy csárdában
 
Sles admin
Sles adminSles admin
Sles admin
 
Magvas gondolatok
Magvas gondolatokMagvas gondolatok
Magvas gondolatok
 
Grid és adattárolás
Grid és adattárolásGrid és adattárolás
Grid és adattárolás
 
Ubuntu VirtualBox-ban
Ubuntu VirtualBox-banUbuntu VirtualBox-ban
Ubuntu VirtualBox-ban
 
Folyamatos működés a MySQL világában
Folyamatos működés a MySQL világábanFolyamatos működés a MySQL világában
Folyamatos működés a MySQL világában
 

Viewers also liked

Django tutorial 2009
Django tutorial 2009Django tutorial 2009
Django tutorial 2009Ferenc Szalai
 
NIIF Grid Development portfolio
NIIF Grid Development portfolioNIIF Grid Development portfolio
NIIF Grid Development portfolioFerenc Szalai
 
Alapvető beállítások egy levelező rendszer működéséhez
Alapvető beállítások egy levelező rendszer működéséhezAlapvető beállítások egy levelező rendszer működéséhez
Alapvető beállítások egy levelező rendszer működéséhezFerenc Szalai
 
Nagyszabású virtuális gyógyszerkísérletek az új generációs web szolgáltatás a...
Nagyszabású virtuális gyógyszerkísérletek az új generációs web szolgáltatás a...Nagyszabású virtuális gyógyszerkísérletek az új generációs web szolgáltatás a...
Nagyszabású virtuális gyógyszerkísérletek az új generációs web szolgáltatás a...Ferenc Szalai
 
Hardware Renaissance
Hardware RenaissanceHardware Renaissance
Hardware RenaissanceFerenc Szalai
 
Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári körny...
Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári körny...Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári körny...
Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári körny...Ferenc Szalai
 
Identity 2.0 - a vágy titogzatos tárgya
Identity 2.0 - a vágy titogzatos tárgyaIdentity 2.0 - a vágy titogzatos tárgya
Identity 2.0 - a vágy titogzatos tárgyaFerenc Szalai
 
Friday special dec 12 2014
Friday special   dec 12 2014Friday special   dec 12 2014
Friday special dec 12 2014Khurram Ahmad
 
ZFS on Linux fájlrendszer ismertető
ZFS on Linux fájlrendszer ismertetőZFS on Linux fájlrendszer ismertető
ZFS on Linux fájlrendszer ismertetőIstván Pongrácz
 
Sostenibilidad: Gestión socialmente responsable para organizaciones" Universi...
Sostenibilidad: Gestión socialmente responsable para organizaciones" Universi...Sostenibilidad: Gestión socialmente responsable para organizaciones" Universi...
Sostenibilidad: Gestión socialmente responsable para organizaciones" Universi...Robert Allen Goodrich Valderrama
 
Mesterséges agyak - scifi és valóság határán
Mesterséges agyak - scifi és valóság határánMesterséges agyak - scifi és valóság határán
Mesterséges agyak - scifi és valóság határánFerenc Szalai
 
Renaissance museum walk
Renaissance museum walkRenaissance museum walk
Renaissance museum walkbarbaramasters
 
Ata-over-Ethernet és Coraid
Ata-over-Ethernet és CoraidAta-over-Ethernet és Coraid
Ata-over-Ethernet és CoraidFerenc Szalai
 
Tameer monday 19 jan 2015
Tameer   monday 19 jan 2015Tameer   monday 19 jan 2015
Tameer monday 19 jan 2015Khurram Ahmad
 
Riphah Tameer eMag 2
Riphah Tameer eMag 2Riphah Tameer eMag 2
Riphah Tameer eMag 2Khurram Ahmad
 
PA Pharmacy - ExerWellness 2012
PA Pharmacy - ExerWellness 2012PA Pharmacy - ExerWellness 2012
PA Pharmacy - ExerWellness 2012papharmacy
 

Viewers also liked (20)

Django tutorial 2009
Django tutorial 2009Django tutorial 2009
Django tutorial 2009
 
NIIF Grid Development portfolio
NIIF Grid Development portfolioNIIF Grid Development portfolio
NIIF Grid Development portfolio
 
Alapvető beállítások egy levelező rendszer működéséhez
Alapvető beállítások egy levelező rendszer működéséhezAlapvető beállítások egy levelező rendszer működéséhez
Alapvető beállítások egy levelező rendszer működéséhez
 
Nagyszabású virtuális gyógyszerkísérletek az új generációs web szolgáltatás a...
Nagyszabású virtuális gyógyszerkísérletek az új generációs web szolgáltatás a...Nagyszabású virtuális gyógyszerkísérletek az új generációs web szolgáltatás a...
Nagyszabású virtuális gyógyszerkísérletek az új generációs web szolgáltatás a...
 
Hardware Renaissance
Hardware RenaissanceHardware Renaissance
Hardware Renaissance
 
Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári körny...
Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári körny...Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári körny...
Nagy-teljesítményű, költséghatékony adattárolási technológiák könyvtári körny...
 
Identity 2.0 - a vágy titogzatos tárgya
Identity 2.0 - a vágy titogzatos tárgyaIdentity 2.0 - a vágy titogzatos tárgya
Identity 2.0 - a vágy titogzatos tárgya
 
Riphah Tameer eMag
Riphah Tameer eMagRiphah Tameer eMag
Riphah Tameer eMag
 
Friday special dec 12 2014
Friday special   dec 12 2014Friday special   dec 12 2014
Friday special dec 12 2014
 
ZFS on Linux fájlrendszer ismertető
ZFS on Linux fájlrendszer ismertetőZFS on Linux fájlrendszer ismertető
ZFS on Linux fájlrendszer ismertető
 
Sostenibilidad: Gestión socialmente responsable para organizaciones" Universi...
Sostenibilidad: Gestión socialmente responsable para organizaciones" Universi...Sostenibilidad: Gestión socialmente responsable para organizaciones" Universi...
Sostenibilidad: Gestión socialmente responsable para organizaciones" Universi...
 
Mesterséges agyak - scifi és valóság határán
Mesterséges agyak - scifi és valóság határánMesterséges agyak - scifi és valóság határán
Mesterséges agyak - scifi és valóság határán
 
Renaissance museum walk
Renaissance museum walkRenaissance museum walk
Renaissance museum walk
 
Tameer dec 8th 2014
Tameer dec 8th 2014Tameer dec 8th 2014
Tameer dec 8th 2014
 
Ata-over-Ethernet és Coraid
Ata-over-Ethernet és CoraidAta-over-Ethernet és Coraid
Ata-over-Ethernet és Coraid
 
Vousavezditsexy
VousavezditsexyVousavezditsexy
Vousavezditsexy
 
Tameer monday 19 jan 2015
Tameer   monday 19 jan 2015Tameer   monday 19 jan 2015
Tameer monday 19 jan 2015
 
Tameer dec 5th 2014
Tameer dec 5th 2014Tameer dec 5th 2014
Tameer dec 5th 2014
 
Riphah Tameer eMag 2
Riphah Tameer eMag 2Riphah Tameer eMag 2
Riphah Tameer eMag 2
 
PA Pharmacy - ExerWellness 2012
PA Pharmacy - ExerWellness 2012PA Pharmacy - ExerWellness 2012
PA Pharmacy - ExerWellness 2012
 

Similar to Klaszter és virtualizációs technikák

Virtualizáció az EGISben
Virtualizáció az EGISbenVirtualizáció az EGISben
Virtualizáció az EGISbengazdagf
 
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...Ferenc Szalai
 
Klaszter állományrendszerektől a grid adattárolásig és vissza
Klaszter állományrendszerektől a grid adattárolásig és visszaKlaszter állományrendszerektől a grid adattárolásig és vissza
Klaszter állományrendszerektől a grid adattárolásig és visszaFerenc Szalai
 
Új vizeken - Virtualizált szerver megoldások a Cisco-tól
Új vizeken - Virtualizált szerver megoldások a Cisco-tólÚj vizeken - Virtualizált szerver megoldások a Cisco-tól
Új vizeken - Virtualizált szerver megoldások a Cisco-tólGloster telekom Kft.
 
Nyílt forráskód a Fővárosi Bíróságon
Nyílt forráskód a Fővárosi BíróságonNyílt forráskód a Fővárosi Bíróságon
Nyílt forráskód a Fővárosi BíróságonNorbert Laky
 
SUSE Linux Enterprise 11 admin 2
SUSE Linux Enterprise 11 admin 2SUSE Linux Enterprise 11 admin 2
SUSE Linux Enterprise 11 admin 2Kálmán Kéménczy
 
T day virtualization_2007
T day virtualization_2007T day virtualization_2007
T day virtualization_2007Laszlo Kredits
 
Budapest.rb 2011/01 - Rails Deployment
Budapest.rb 2011/01 - Rails DeploymentBudapest.rb 2011/01 - Rails Deployment
Budapest.rb 2011/01 - Rails DeploymentDigital Natives
 
Nagy terhelésű webes rendszerek fejlesztése
Nagy terhelésű webes rendszerek fejlesztéseNagy terhelésű webes rendszerek fejlesztése
Nagy terhelésű webes rendszerek fejlesztéseJános Pásztor
 
Grid Underground projekt
Grid Underground projektGrid Underground projekt
Grid Underground projektFerenc Szalai
 
Gazdag Ferenc_IDC_KormanyzatiFelho
Gazdag Ferenc_IDC_KormanyzatiFelhoGazdag Ferenc_IDC_KormanyzatiFelho
Gazdag Ferenc_IDC_KormanyzatiFelhoFerenc GAZDAG
 
Gazdag Ferenc_IVSZ_KormanyzatiFelho_v2
Gazdag Ferenc_IVSZ_KormanyzatiFelho_v2Gazdag Ferenc_IVSZ_KormanyzatiFelho_v2
Gazdag Ferenc_IVSZ_KormanyzatiFelho_v2Ferenc GAZDAG
 
Drupal gyorstárazási stratégiák
Drupal gyorstárazási stratégiákDrupal gyorstárazási stratégiák
Drupal gyorstárazási stratégiákJános Fehér
 
Operációs rendszer
Operációs rendszerOperációs rendszer
Operációs rendszerrma96
 
Operációs rendszerek belső architektúrája
Operációs rendszerek belső architektúrájaOperációs rendszerek belső architektúrája
Operációs rendszerek belső architektúrájarma96
 
Deep reinforcement learning with DonkeyCar
Deep reinforcement learning with DonkeyCarDeep reinforcement learning with DonkeyCar
Deep reinforcement learning with DonkeyCarLeventeDmsa1
 

Similar to Klaszter és virtualizációs technikák (20)

Virtualizáció az EGISben
Virtualizáció az EGISbenVirtualizáció az EGISben
Virtualizáció az EGISben
 
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...
A ClusterGrid rendszer - avagy hogyan üzemeltessünk, több mint 1000 csomópont...
 
Klaszter állományrendszerektől a grid adattárolásig és vissza
Klaszter állományrendszerektől a grid adattárolásig és visszaKlaszter állományrendszerektől a grid adattárolásig és vissza
Klaszter állományrendszerektől a grid adattárolásig és vissza
 
Új vizeken - Virtualizált szerver megoldások a Cisco-tól
Új vizeken - Virtualizált szerver megoldások a Cisco-tólÚj vizeken - Virtualizált szerver megoldások a Cisco-tól
Új vizeken - Virtualizált szerver megoldások a Cisco-tól
 
Uj vizeken
Uj vizekenUj vizeken
Uj vizeken
 
Linux alapok
Linux alapokLinux alapok
Linux alapok
 
Nyílt forráskód a Fővárosi Bíróságon
Nyílt forráskód a Fővárosi BíróságonNyílt forráskód a Fővárosi Bíróságon
Nyílt forráskód a Fővárosi Bíróságon
 
SUSE Linux Enterprise 11 admin 2
SUSE Linux Enterprise 11 admin 2SUSE Linux Enterprise 11 admin 2
SUSE Linux Enterprise 11 admin 2
 
Grafikus kártyák
Grafikus kártyákGrafikus kártyák
Grafikus kártyák
 
T day virtualization_2007
T day virtualization_2007T day virtualization_2007
T day virtualization_2007
 
ZCM 10 bemutatás
ZCM 10 bemutatásZCM 10 bemutatás
ZCM 10 bemutatás
 
Budapest.rb 2011/01 - Rails Deployment
Budapest.rb 2011/01 - Rails DeploymentBudapest.rb 2011/01 - Rails Deployment
Budapest.rb 2011/01 - Rails Deployment
 
Nagy terhelésű webes rendszerek fejlesztése
Nagy terhelésű webes rendszerek fejlesztéseNagy terhelésű webes rendszerek fejlesztése
Nagy terhelésű webes rendszerek fejlesztése
 
Grid Underground projekt
Grid Underground projektGrid Underground projekt
Grid Underground projekt
 
Gazdag Ferenc_IDC_KormanyzatiFelho
Gazdag Ferenc_IDC_KormanyzatiFelhoGazdag Ferenc_IDC_KormanyzatiFelho
Gazdag Ferenc_IDC_KormanyzatiFelho
 
Gazdag Ferenc_IVSZ_KormanyzatiFelho_v2
Gazdag Ferenc_IVSZ_KormanyzatiFelho_v2Gazdag Ferenc_IVSZ_KormanyzatiFelho_v2
Gazdag Ferenc_IVSZ_KormanyzatiFelho_v2
 
Drupal gyorstárazási stratégiák
Drupal gyorstárazási stratégiákDrupal gyorstárazási stratégiák
Drupal gyorstárazási stratégiák
 
Operációs rendszer
Operációs rendszerOperációs rendszer
Operációs rendszer
 
Operációs rendszerek belső architektúrája
Operációs rendszerek belső architektúrájaOperációs rendszerek belső architektúrája
Operációs rendszerek belső architektúrája
 
Deep reinforcement learning with DonkeyCar
Deep reinforcement learning with DonkeyCarDeep reinforcement learning with DonkeyCar
Deep reinforcement learning with DonkeyCar
 

More from Ferenc Szalai

Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...
Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...
Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...Ferenc Szalai
 
Emlekező áramköri elemek fizikája
Emlekező áramköri elemek fizikájaEmlekező áramköri elemek fizikája
Emlekező áramköri elemek fizikájaFerenc Szalai
 
Science Meetup bemutató
Science Meetup bemutatóScience Meetup bemutató
Science Meetup bemutatóFerenc Szalai
 
Adattároló klaszterek
Adattároló klaszterekAdattároló klaszterek
Adattároló klaszterekFerenc Szalai
 
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...Ferenc Szalai
 
Budapest New Technology Meetup - az elmúlt egy évünk
Budapest New Technology Meetup - az elmúlt egy évünkBudapest New Technology Meetup - az elmúlt egy évünk
Budapest New Technology Meetup - az elmúlt egy évünkFerenc Szalai
 
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...Ferenc Szalai
 
Kutatokejszakaja 2008 - személyes bemutatkozás
Kutatokejszakaja 2008 - személyes bemutatkozásKutatokejszakaja 2008 - személyes bemutatkozás
Kutatokejszakaja 2008 - személyes bemutatkozásFerenc Szalai
 
Egy kutató elme mindennapjai
Egy kutató elme mindennapjaiEgy kutató elme mindennapjai
Egy kutató elme mindennapjaiFerenc Szalai
 
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezni
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezniAmit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezni
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezniFerenc Szalai
 
Delivering and using Grid service with Nordugrid/ARC
Delivering and using Grid service with Nordugrid/ARCDelivering and using Grid service with Nordugrid/ARC
Delivering and using Grid service with Nordugrid/ARCFerenc Szalai
 
Identity Management - Bevezető
Identity Management - BevezetőIdentity Management - Bevezető
Identity Management - BevezetőFerenc Szalai
 
Per aspera ad grid To the grid computing through difficulties
Per aspera ad grid To the grid computing through difficultiesPer aspera ad grid To the grid computing through difficulties
Per aspera ad grid To the grid computing through difficultiesFerenc Szalai
 

More from Ferenc Szalai (14)

Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...
Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...
Miért vagyok Python rajongó? - avagy kalandozások egy nyílt forrású programoz...
 
Emlekező áramköri elemek fizikája
Emlekező áramköri elemek fizikájaEmlekező áramköri elemek fizikája
Emlekező áramköri elemek fizikája
 
Science Meetup bemutató
Science Meetup bemutatóScience Meetup bemutató
Science Meetup bemutató
 
Virtualization
VirtualizationVirtualization
Virtualization
 
Adattároló klaszterek
Adattároló klaszterekAdattároló klaszterek
Adattároló klaszterek
 
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...
Grid Underground (GUG) - avagy hogyan építsünk IT szolgáltatás hálózatot a su...
 
Budapest New Technology Meetup - az elmúlt egy évünk
Budapest New Technology Meetup - az elmúlt egy évünkBudapest New Technology Meetup - az elmúlt egy évünk
Budapest New Technology Meetup - az elmúlt egy évünk
 
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...
Az agy túlélő készlete - avagy tanulási tanácsok az iskolapad utáni mindennap...
 
Kutatokejszakaja 2008 - személyes bemutatkozás
Kutatokejszakaja 2008 - személyes bemutatkozásKutatokejszakaja 2008 - személyes bemutatkozás
Kutatokejszakaja 2008 - személyes bemutatkozás
 
Egy kutató elme mindennapjai
Egy kutató elme mindennapjaiEgy kutató elme mindennapjai
Egy kutató elme mindennapjai
 
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezni
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezniAmit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezni
Amit mindig is tudni akartál az LDAP-ról, de sosem merted megkérdezni
 
Delivering and using Grid service with Nordugrid/ARC
Delivering and using Grid service with Nordugrid/ARCDelivering and using Grid service with Nordugrid/ARC
Delivering and using Grid service with Nordugrid/ARC
 
Identity Management - Bevezető
Identity Management - BevezetőIdentity Management - Bevezető
Identity Management - Bevezető
 
Per aspera ad grid To the grid computing through difficulties
Per aspera ad grid To the grid computing through difficultiesPer aspera ad grid To the grid computing through difficulties
Per aspera ad grid To the grid computing through difficulties
 

Klaszter és virtualizációs technikák

  • 1. Klaszter és virtualizációs technikák Szalai Ferenc szferi@niif.hu
  • 2. Problémák ● Informatika egyre kritikusabb infrastruktúra és egyre nagyobb rendelkezésre állást várnak el tőle ● Növekvő teljesítmény igényeket nem lehet erősebb gépekkel kielégíteni gazdaságosan ● Növekvő bonyolultságú informatikai infrastruktúra (egyre több szerver a szerverszobában) ● Növekvő tárolandó adatmennyiség (kép, videó, adatbázisok)
  • 3. Miért virtualizáljunk? ● Vezetői szemlélet: a vas ára állandó, a adminisztrációs költségek nőnek ● Motiváció: – költségtakarékosság: 51.7 % – üzemeltetés egyszerűsítése: 14.6 % – flexibilis infrastruktúra: 13.1 % – leállási idő csökkentése: 12.6 % – helytakarékosság: 10.9 % – skálázhatóság: 10.9 % – megbízhatóság: 10.9 % (IDC 2005)
  • 4. Mit? ● storage (adattároló alrendszerek): elrejteni a különféle gyártók SAN rendszereit, összevonni az elemi adattároló kapacitásokat (pl: NONSTOP architektúra) ● I/O virtualizáció: dinamikus sávszélesség és QoS fizikai csatornákon (pl.: Infiniband) ● szerver virtualizáció
  • 5. Hogyan? ● Szerver virtualizációs technikák fő kategóriái: – Emuláció – para-virtualizáció – operációs rendszer szintű – API virtualizáció – Alkalmazás szintű ● Egzotikumok: – Virtual SMP: elosztott közös memóriájú klaszterek – PC architektúrán túl: IBM Power 5, 6 – IBM S/360 hypervisor OS – minden virtualizáció ős anyja
  • 6. Alapfogalmak ● host gép/operációs rendszer: virtuális gépeket befogadó fizikai eszköz ● virtuális gép: absztrakció, szoftver elem, ami fizikai eszközök virtualizálásával teremt az operációs rendszerek számára futási környezetet ● guest gép/operációs rendszer: virtuáis gépen futó OS ● hipervizor: szuper-privilégizált módban futó kernel, ami a virtuális gépet szolgáltat (para virtualizáció) ● JIT – just in time: futás közbeni fordítás
  • 7.
  • 8. Emuláció ● Előnyök: – változatos architektúrák (PC, Amiga, stb.) – teljes hardver kontroll (BIOS, VGA, stb.) ● Hátrányok: – sebesség – host rendszer mindig kell – nagy teljesítmény igény a host rendszeren is ● Legismertebb megoldások: – Vmware Wokrstation, Player, Server – MS Virtual PC és szerver – Qemu – Boch – Amiga, Mobiltelefon, stb. fejlesztő környezetek
  • 9. Paravirtualizáció ● Előnyök: – jó teljesítmény (2-5% veszteség, néha nyereség) – hardver támogatás ● Hátrányok: – guest OS módosítását igényli – kiforrott management eszközök hiánya ● Legismertebb megoldás: XEN
  • 10. Xen felépítése Szoftveres paravirtualizáció: Alkalmazások: Ring 3 Operációs rendszer: Ring ½ (privilégizált utasítások, hypercallok) XEN: Ring0
  • 11. HVM – Hardware Virtual Machine ● Ezzel tudunk Windowst futtatni Linuxon! ● Közös interfész az Intel (VT-x vagy Vanderpool) és az AMD (SVM vagy Pacifica) saját hardveres virtualizációs megoldásához (hvmloader) ● Új futási mód a hipervizornak, OS futhat ring0-ban. ● Új utasítások a processzorban (Intel: VMLaunch, VMResume, VMExit, AMD: VMRUN) ● dom0-ban ioemu (módosított qemu) a legtöbb eszköz (PCI, VGA, IDE, NE2000, stb.) emulációja ezen keresztül történik ● nagy teljesítményt igénylő eszközök emulációja (IOAPIC, LAPIC, VPIT, stb.) magában a XEN-ben van. ● Pl: Intel Pentium D 9xx, Core Duo, 2 Core Duo, egyes Xeonok AMD Athlon 64 3xxx+, X2 Dual-Core, Turion, Opteron [1,2,8]000 ● KVM: Kernel Virtual Machine (Linux)
  • 12.
  • 13. Operációs rendszer szintű ● Előnyök: – teljesítmény (2-5 % veszteség) – pehelysúlyú – jó virtuális gépenkénti erőforrás használat szabályozás ● Hátrányok: – nem lehet több különféle OS típus – kernel módosítást igénye, host-on, guest-en egyaránt ● Ismertebb megoldások: – chroot, BSD Jail – Linux-Vserver – OpenVZ – Solaris Container
  • 14.
  • 15.
  • 16. Virtuális hálózat ● Virtuális hálózati interfész: – virtuális interfész a host rendszeren (XEN) – TAP driver – TUN/Ethertap – UML, CoLinux – pcap könyvtár – userspace megoldás – UML switch – slirp ● Hálózati kapcsolat: – bridge – NAT – route – fizikai eszköz delegálás
  • 17. XEN hálózat ● /etc/xen/scripts alatt – egy 'network' script, ami a dom0-án állítja a hálózatot a xend indulásakor – egy 'vif' script ami a dom0-án konfigurálja a virtuális interfészeket minden domaint vifX.Y  xenbr0 alakú hálózati interfész  reprezentál a domain0­ban.  (X=domainID, Y=interfész  szám) Alap scriptek: bridge, route,  xenbr1 nat (problémás lehet),  vegyes megoldások, saját
  • 18. Lemez formátumok ● Cél: – kis méret, gyors elérés. hatékony VM tárolás ● Méret csökkentő megoldások: – „Lyukak” az állományrendszerben – COW (copy on write) – tömörítés ● Sebesség növelő megoldások: – többszintű cache és clustering ● Titkosítás ● Típusok: – Raw (Qemu) – COW (UML, Vmware disk, MS Virtual PC) – Tömörített: QCOW (qemu)
  • 19. XEN virtuális lemezkezelés ● image állomány (loopback) ● disk = ['file:/var/images/debian.img,sda1,w']} ● user space megoldások: blktap ● disk =  ['tap:aio:/dev/images/debian.img,sda1,w']} ● külön partíció ● disk = ['phy:/dev/hda2,sda1,w']} ● logikai kötet (LVM) ● disk = ['phy:/dev/xenimages/noc.grid,sda1,w']} ● user space megoldás HVM esetén: qemu-dm ● disk =  ['phy:/dev/xenimages/win2003,ioemu:hda1,w']} ● NFS root: konfigurációs állományban nfs_server,  nfs_root
  • 20. VM Extrák ● Snapshot mód ● Migráció ● P2V ● Klónozás és template vezérelt management ● Fizikai hibák szimulációja
  • 22. XEN Enterprise - Console
  • 23. Mikor melyiket? ● Új hardver platform: Emuláció pl.: Qemu, VMware ● Hosting: – ha sok azonos rendszer: OS szintű virtualizáció - pl.: OpenVZ – ha sokféle rendszer: Paravirtualizáció – pl.: Xen, VMware ESX ● Linux kernel fejlesztés: UML ● Windows-on Linux, ha kell teljesítmény is: CoLinux ● Oktatói tesz hálózat: XEN, UML ● Desktop Virtualizációs: VMware
  • 24. Milyen szolgáltatásokat? ● Levelező rendszer, ha – nincs nagy forgalom vagy sok IMAP kapcsolat ● Web szerver – ha az átlag terhelés < 10 rq/s ● Adatbázis szerver – Oracle-vel óvatosan kell bánni ● Tűzfal, ha nincs más megoldás ● Alkalmazás szerver: – az enterpise JAVA kacatokkal bajok lehetnek ● Állomány szerver: – irodai környezetben
  • 25. Miért jó klaszter építeni? ● Nagy rendelkezésre állás: HA klaszeterek – alkalmazás szintű megoldás: pl.: Heathbeat ● Teljesítmény elosztás (Load balance klaszterek) – Layer 4 és Layer 7 szintű megoldások. Pl.: IPVS ● Nagy teljesítményű számítás (HPC klaszterek) – beowulf ● NUMA klaszterek ● SSI (single system image) klaszterek: pl. OpenMosix, OpenSSI
  • 26. Megfelelő tároló alrendszer ● Klaszterek alapja a közös állomány és/vagy tároló alrendszer ● Hol tároljuk a virtuális gépek virtuális lemezeket? ● Lehetőségek tárolóra: – dom0-ba rakjunk sok lemezt: nehezen skálázható, nagy rendelkezésre állás kialakítása nehézkes – NAS (NFS): három egymástól független állományrendszer konzisztencia problémája – Fibre Channel/Infiniband SAN: jó de általában drága – IP/Ethernet SAN: jó kompromisszum lehet
  • 27. IP/Ethernet SAN ● forrás (target), cél (initiator) architektúra ● IP SAN: iSCSI ● Ethernet SAN: AOE (Ata-over-Ethernet) ● AOE: egyszerű protokoll ATA üzenetek natív etherneten történő továbbítására – initiator 2.6.11 óta Linux kernel része – célhardver target (Coraid Inc.)
  • 28. Egyszerű HA VM klaszter ● Közös tároló vagy DRBD ● A fizikai gép meghibásodás ellen védekezünk ● floating IP ● Heathbeat – domainek indítása – raid, lvm összeállítása – hálózat ● Figyelem: Linux sw raid nem támogatja a klaszterezést!
  • 29. Egyszerű terhelés kiegyenlítő VM klaszter ● CLVM (GFS nem kell!) ● XEN migráció ● Külső monitorozás és automatizált domain áthelyezés (SLA) ● HA IPVS 2 gépen
  • 30. NONSTOP storage és XEN ● Adattároló klaszter nem csak Xen-hez. ● Moduláris adatkapcsolat, igény szerint ● Egyszerű elemek ● Skálázható a sávszélesség és a switchek erejéig ● management eszköz kell hozzá ● storage virtualizáció képesség NONSTOP = NONSTOP Network Storage Platform
  • 31. Tervezési szempontok ● Előbb az adattároló alrendszer ● 1-2 hónap monitorozási adatok kellenek (mit érdemes és mint nem virtualizálni) ● VM hosting platform kialakítása és tesztelése ● P2V migrációval test imagek készítése (Linux rendszerek esetén egy jól irányzott dd is megtesz, vagy ha van backup akkor az) ● HA és Loadbalance tesztek, intenzíven ● Migráció egyesével, esetleg szolgáltatásonként ● Mérés