VIRTUALIZACE,clustery a cloudcomputing(V3C)Jaroslav Prodělal, virtualizationconsultant & architect, OldanyGroupjprodelal@oldanygroup.cz, 777 23 22 21
Cíl přednáškyObecný a široký (hodně informací v krátkém čase) úvod do problematiky virtualizace s definováním základních pojmů a vymezení některých základních faktů.Téma clusterů a cloudcomputingu jsou pouze nastíněna a přednáška si neklade za cíl o těchto tématech pojednávat hlouběji.Převážně technologická přednáška.
VirtualizaceClusteryCloudcomputingAgenda
Specifikace hlavních témat přednáškyVirtualizace SW vX na platformě x86VMware ESX, CitrixXenServer, MSFT Hyper-V, Linux KVMClustery obecné informace o clusterechvyužití s/ve virtulizacíCloudcomputingzákladní charakteristikasměr vývoje
Představení společnostičeská společnost založená v roce 2005zaměřenívirtualizace a cloud computing (specializace na VDI)správa linux/windows/vmware serverových systémůkonzultace v oblastech ICTklademe důraz na vysokou odbornost a správnou komunikaci
Naše řešení a partneři
PřednášejícíJaroslav Prodělal (*1982)začátek 90. let – první počítač (Atari 800XE Video Game System)1994 – první PC (80386DX – 40Mhz, 4MB RAM)1997 – začátky programování v ASP na platformě Windows NT, brigáda u lokání providera internetu (doma wifi 64Mbit/s s limitem 100MB/měs., potom 8Kč/MB)2000 – první zkušenosti s OpenBSD, začátky programování v PHP2001 – malá internetová kavárna2003 – přechod z OpenBSD na Linux (server) a z Windows na Linux (desktop, NTB); zaměstnán jako PHP programátor s částečnou údržbou linux serverů2004 – odklon od programování v PHP ke správě linux serverů2005 – založení společnosti (OldanyGroup)2006 – první přednáška na konferenci LinuxAlt na téma vysoké dostupnosti - první informace o virtualizacido současnosti – linux server administrator, profesionalizace v oblasti virtualizace a cloudcomputingu
VideoVMware Virtualized Hardware Hotel
Slovník pojmůvX ~ virtualizaceVMM ~ hypervisorvirtuální infrastruktura (VI, kompletní infrastruktura)IOMMU (input/outputmemory management unit)transparent memorypagesharing(dynamicmemory, dynamicmemorycontrolaka DMC)consolidationcontainment(~ochranná nádoba)storage/úložištěLUN (logical unit number)FC (fibrechannel)iSCSI(internet smallcomputersystem interface)DAS/NAS/SANclustercluster FSSPOF (single point offailure)failoverHA (highavailibility)LB (loadbalancing)DRS (distributedresourcescheduling)VMFS (VirtualMachineFileSystem)vMotion
Co je to virtualizace?obecně (když řekneme, že je něco virtuální)něco co „existuje“ (abstraktně), ale nemůžeme si na to fyzicky „šáhnout“ v pojetí přednáškyVirtualizace je uspořádání dostupných zdrojů (software, hardware) tak, aby bylo možné je využít pro více než jeden operační systém ......na jednom fyzickém serveru lze provozovat více serverů virtuálních při současném zlepšení:efektivity	 		dostupnosti	 		flexibility	 		správyIT infrastruktury
Typy virtualizace (SW) I.partial~ částečná (parciální)virtuální paměť, základy ve všech moderních OSos-level ~ vyhrazení prostoru na úrovni jednoho jádrachroot (linux), jail (bsd), Linux-VServer, Virtuozzo, OpenVZparavirtualizace ~SW rozhraní VM (API), nutná modifikace guest OSXen (patří i do full), Oracle VM, Sun xVM, VMware Workstation (WMI, i fullvX), MS Hyper-V plná (full, platform) ~ simulace HW, bez nutnosti modifikace guest OSVMware ESX, Xen, KVMHW-assisted~podpora fullvX ze strany CPU (pomocné instrukce VMM a izolace)většina z fullvX používá; Xen
Typy virtualizace (SW) II.para                          full             HW-assistedvirtualizacebare-metal (native, type-1)host-based (type-2)~ vX na HW ~ VMware ESX
CitrixXen Server
 MS Hyper-V
Oracle VM~ vX nad existujícím OS ~ VMware Workstation (Server)
 Sun VirtualBox
Parallels Workstation
Microsoft Virtual PCHistorie a současnost1960’s - IBM CP-40 (dnes z/VM)pouze IBM až do 1985do 1998 - několik pokusů a nástrojů o SW virtualizaci1998 – založení VMware – patent technologie1999 – VMware VirtualPlatform(později VMware Workstation)2001 – VMware ESX v1.02003 – Xen, VMware vMotion2005-2006 – Intel-VT, AMD-V2007 – KVM (Kernel-basedVirtualMachine)  akvizice XenuCitrixem => CitrixXenServer (Xen jako OSS zůstává)2008 – Microsoft Hyper-Vakvizice KVM (Qumranet) RedHatem2009 – velký rozvoj virtualizacecloudcomputing se stává tématem číslo 12010CitrixXenServer je opensourceRedHatEnterpriseVirtualizationforServers
Virtualizace v běžném životě (ajťáka)virtuální pamětstoragedisk partitioningRAIDnetworkVLANchannelbondingkamarádi (chat)
Tradiční vs. virtuální infrastruktura
Základní funkce a vlastnosti vX I.oddělení OS od HW (abstrakce HW)kompatibilita napříč x86 serverynezávislost na HWzapouzdření (encapsulation) systémů SW kontejnerVM je reprezentována několika málo soubory na pevném disku, včetně souboru reprezentující pevný disk VMizolacenízký overhead výkonudnes <5%
Základní funkce a vlastnosti vX II.škálovatelnostsnapshoty
klonování
datová deduplikace (TMS)Proč virtualizovat?využití existujících zdrojůvětší utilizace serverůzískání operační flexibilityrychlejší reakce na požadavky trhu a uživatelůsnadné nasazování nových systémůtestování nových aplikacízlepšení a zjednodušení správy systémůcentrální managementzjednodušení BC/DR a zvýšení dostupnostisnižování nákladů investičních (CAPEX) i operačních (OPEX)
Úložiště ve virtualizacivelmi důležitá součást virtuální infrastrukturyvelký význam diskových polírůzné možnosti propojení DAS/NAS/SANmožnost využití více metod přístupu k datům v jedné VIpoužití různých druhů filesystémůlokální (NTFS, ext3)síťové (NFS)clusterové (VMFS, GFS, OCFS)možnost RDM (Raw Device Mapping)propojení VM přímo na konkrétní LUNthin-provisioningprodávám víc než mámStorage Pool
Sítě ve virtualizaciobdobně jako storage velmi důležitá součást VIpropustnost a redundance prvkůpodpora VLANsTCP offloadenginesřeší (bez nutnosti extra driverů)balancingfailoverdistribuované switcheVMware DVSCisco Nexus 1000VOpen vSwitchVirtualDistributedEthernet (VDE)
Bezpečnost ve světě vXřadou bezpečnostních expertů je vX vnímána jako velmi nebezpečná (nezabezpečená) součást infrastrukturynový pohled na bezpečnost a rizika ve VImožná chyba ve VMMfyzická bezpečnost zvyšuje svůj významzapouzdření a izolace umožňuje spuštění potencionálně nebezpečných aplikací ve VMwebový prohlížečVMsafebezpečnostní rozhraní, které je součástí VI od VMware
Virtualizace aplikacízapouzdření aplikací do běhové prostředí umožňující jejich spouštění bez instalacevyužití často ve spojení s VDIvýhodyvyšší bezpečnostsnadná správa a distribuce aplikacíúspora místa na diskunevýhody (dočasné)není možné virtualizovat všechny aplikace (např. ty, které vyžadují instalaci ovladačů)
Virtualizace aplikací – ThinApp I.
Virtualizace aplikací – ThinApp II.
Co (ne)virtualizovat?ANONEtchýni a šéfavše ostatnípřátele…systémy se speciálním HW, který není podporovánsystémy s vysokými nároky na CPU (?)systémy na zpracování obrazuzálohovací servery (?)
Výzvy při adaptaci virtualizacedimenzování výkonu při návrhu virtuální infrastrukturycapacityplanning (capacityassesment)cpu, paměť, storage, networkingsdílení zdrojůresourcemgmt, poolingP2V konverzeeliminace SPOFpokud je pouze 1 servernasazení HA nebo DR je i věcí risk mgmtlicencování obecně (zejména OS)Microsoft VDI
iniciativa, která velmi pokročila kupředu díky vXvnímáno ale také jako pouze určitý buzzwordúspora energií díkykonsolidaci prostředípoužívání tenkých klientů a LCD panelůmtechnologiím DRS, DPM, vMotionnutno však také přispět jiným způsobemzbytečně netisknouttřídit odpadyšetřit s vodou a energií obecněGreen IT
Porovnávání dostupných řešenívýkon hypervisorudnes velmi srovnatelnécelkové funkcestále velké rozdílyspráva (management)velmi důležité kritériumcenane vždy je nejnižší cena řešení ta nejvýhodnější (TCO/ROI)POZOR na:podporu HW jednotlivými hypervisory (HCL)stanovení potřeb subjektu, pro který hledám řešení (malá firma, velká korporace)marketing (hledejte nezávislá porovnání, udělejte si svá vlastní)porovnávání neporovnatelného (2 edice různých dodavatelů, které mají odlišnou sadu funkcí)
Porovnání architektury VMMsVMware ESXCitrixXenServer /MSFT Hyper-V / KVM
ESX vs. ESXiVMware ESXVMware ESXiEND OF SALE
VMware ESXi vs. MSFT Hyper-V R2* informacerelevantní k 03/2010.
VMware ESXi vs. CitrixXenServer* informacerelevantní k 03/2010.
VMware ESXi vs. RedHat KVM* informacerelevantní k 03/2010.
Virtuální desktopová infrastrukturavyužívání desktopů z prostředí VIpřistupuje se přes protokol pro vzdálenou plochukaždý uživatel má k dispozici svůj desktop a vyhrazené výpočetní zdrojevýhodyjednodušší správavyšší flexibilita prostředítestovací prostředívýukové prostředízajištění BC/DR, snažší zálohováníjednodušší (a vzdálený) přístup uživatelů k systémůmvyšší zabezpečeníúspora energiínevýhodynelze takto provozovat všechny aplikace s ohledem na technologii přístupu (RDP)připojování periférii (USB vyřešeno)problematické licencování(!)cena licencí pro virtuální prostředí
Virtuální desktopová infrastruktura II.
Clustery
ClusterySdílené úložištěclusterovýfilesystém (cluster FS)skládá se z nodů (jeden nod)
Typy clusterů výpočetní aplikační vysoce dostupné (HA)
Centrální správa clusterupro správné fungování clusterů potřebujeme, aby byly nějak spravovány, monitorovány a aby někdo nebo něco inicioval potřebné akcejedná se o tzv. mgmt server
Výpočetní cluster
Aplikační cluster
Vysoce dostupný cluster
Vysoce dostupný cluster - HA2
DPM
Cloudcomputing
CloudcomputingTechnologie roku 2010, 2011,…
CloudcomputingCloud computing describes a new supplement, consumption and delivery model for IT services based on the Internet, and it typically involves the provision of dynamically scalable and often virtualized resources as a service over the Internet.It is a byproduct and consequence of the ease-of-access to remote computing sites provided by the Internet.
Cloudcomputing– základní charakteristikazdroje na vyžádání (resources on-demand)
 platím jen za to, co používám
 snadná a rychlá dostupnost aplikací
 škálovatelný a elastický
 úspora nákladů – sdílením zdrojůDruhy cloudů/architekturSaaS - applicationandinformationcloudPaaS – development (platform) cloudIaaS – infrastructurecloud...“as a service“DaaS – VDI on demand

Přednáška V3C (letní semstr 2010/2011)

  • 1.
    VIRTUALIZACE,clustery a cloudcomputing(V3C)JaroslavProdělal, virtualizationconsultant & architect, OldanyGroupjprodelal@oldanygroup.cz, 777 23 22 21
  • 2.
    Cíl přednáškyObecný aširoký (hodně informací v krátkém čase) úvod do problematiky virtualizace s definováním základních pojmů a vymezení některých základních faktů.Téma clusterů a cloudcomputingu jsou pouze nastíněna a přednáška si neklade za cíl o těchto tématech pojednávat hlouběji.Převážně technologická přednáška.
  • 3.
  • 4.
    Specifikace hlavních tématpřednáškyVirtualizace SW vX na platformě x86VMware ESX, CitrixXenServer, MSFT Hyper-V, Linux KVMClustery obecné informace o clusterechvyužití s/ve virtulizacíCloudcomputingzákladní charakteristikasměr vývoje
  • 5.
    Představení společnostičeská společnostzaložená v roce 2005zaměřenívirtualizace a cloud computing (specializace na VDI)správa linux/windows/vmware serverových systémůkonzultace v oblastech ICTklademe důraz na vysokou odbornost a správnou komunikaci
  • 6.
  • 7.
    PřednášejícíJaroslav Prodělal (*1982)začátek90. let – první počítač (Atari 800XE Video Game System)1994 – první PC (80386DX – 40Mhz, 4MB RAM)1997 – začátky programování v ASP na platformě Windows NT, brigáda u lokání providera internetu (doma wifi 64Mbit/s s limitem 100MB/měs., potom 8Kč/MB)2000 – první zkušenosti s OpenBSD, začátky programování v PHP2001 – malá internetová kavárna2003 – přechod z OpenBSD na Linux (server) a z Windows na Linux (desktop, NTB); zaměstnán jako PHP programátor s částečnou údržbou linux serverů2004 – odklon od programování v PHP ke správě linux serverů2005 – založení společnosti (OldanyGroup)2006 – první přednáška na konferenci LinuxAlt na téma vysoké dostupnosti - první informace o virtualizacido současnosti – linux server administrator, profesionalizace v oblasti virtualizace a cloudcomputingu
  • 8.
  • 9.
    Slovník pojmůvX ~virtualizaceVMM ~ hypervisorvirtuální infrastruktura (VI, kompletní infrastruktura)IOMMU (input/outputmemory management unit)transparent memorypagesharing(dynamicmemory, dynamicmemorycontrolaka DMC)consolidationcontainment(~ochranná nádoba)storage/úložištěLUN (logical unit number)FC (fibrechannel)iSCSI(internet smallcomputersystem interface)DAS/NAS/SANclustercluster FSSPOF (single point offailure)failoverHA (highavailibility)LB (loadbalancing)DRS (distributedresourcescheduling)VMFS (VirtualMachineFileSystem)vMotion
  • 10.
    Co je tovirtualizace?obecně (když řekneme, že je něco virtuální)něco co „existuje“ (abstraktně), ale nemůžeme si na to fyzicky „šáhnout“ v pojetí přednáškyVirtualizace je uspořádání dostupných zdrojů (software, hardware) tak, aby bylo možné je využít pro více než jeden operační systém ......na jednom fyzickém serveru lze provozovat více serverů virtuálních při současném zlepšení:efektivity dostupnosti flexibility správyIT infrastruktury
  • 11.
    Typy virtualizace (SW)I.partial~ částečná (parciální)virtuální paměť, základy ve všech moderních OSos-level ~ vyhrazení prostoru na úrovni jednoho jádrachroot (linux), jail (bsd), Linux-VServer, Virtuozzo, OpenVZparavirtualizace ~SW rozhraní VM (API), nutná modifikace guest OSXen (patří i do full), Oracle VM, Sun xVM, VMware Workstation (WMI, i fullvX), MS Hyper-V plná (full, platform) ~ simulace HW, bez nutnosti modifikace guest OSVMware ESX, Xen, KVMHW-assisted~podpora fullvX ze strany CPU (pomocné instrukce VMM a izolace)většina z fullvX používá; Xen
  • 12.
    Typy virtualizace (SW)II.para full HW-assistedvirtualizacebare-metal (native, type-1)host-based (type-2)~ vX na HW ~ VMware ESX
  • 13.
  • 14.
  • 15.
    Oracle VM~ vXnad existujícím OS ~ VMware Workstation (Server)
  • 16.
  • 17.
  • 18.
    Microsoft Virtual PCHistoriea současnost1960’s - IBM CP-40 (dnes z/VM)pouze IBM až do 1985do 1998 - několik pokusů a nástrojů o SW virtualizaci1998 – založení VMware – patent technologie1999 – VMware VirtualPlatform(později VMware Workstation)2001 – VMware ESX v1.02003 – Xen, VMware vMotion2005-2006 – Intel-VT, AMD-V2007 – KVM (Kernel-basedVirtualMachine) akvizice XenuCitrixem => CitrixXenServer (Xen jako OSS zůstává)2008 – Microsoft Hyper-Vakvizice KVM (Qumranet) RedHatem2009 – velký rozvoj virtualizacecloudcomputing se stává tématem číslo 12010CitrixXenServer je opensourceRedHatEnterpriseVirtualizationforServers
  • 19.
    Virtualizace v běžnémživotě (ajťáka)virtuální pamětstoragedisk partitioningRAIDnetworkVLANchannelbondingkamarádi (chat)
  • 20.
  • 21.
    Základní funkce avlastnosti vX I.oddělení OS od HW (abstrakce HW)kompatibilita napříč x86 serverynezávislost na HWzapouzdření (encapsulation) systémů SW kontejnerVM je reprezentována několika málo soubory na pevném disku, včetně souboru reprezentující pevný disk VMizolacenízký overhead výkonudnes <5%
  • 22.
    Základní funkce avlastnosti vX II.škálovatelnostsnapshoty
  • 23.
  • 24.
    datová deduplikace (TMS)Pročvirtualizovat?využití existujících zdrojůvětší utilizace serverůzískání operační flexibilityrychlejší reakce na požadavky trhu a uživatelůsnadné nasazování nových systémůtestování nových aplikacízlepšení a zjednodušení správy systémůcentrální managementzjednodušení BC/DR a zvýšení dostupnostisnižování nákladů investičních (CAPEX) i operačních (OPEX)
  • 25.
    Úložiště ve virtualizacivelmidůležitá součást virtuální infrastrukturyvelký význam diskových polírůzné možnosti propojení DAS/NAS/SANmožnost využití více metod přístupu k datům v jedné VIpoužití různých druhů filesystémůlokální (NTFS, ext3)síťové (NFS)clusterové (VMFS, GFS, OCFS)možnost RDM (Raw Device Mapping)propojení VM přímo na konkrétní LUNthin-provisioningprodávám víc než mámStorage Pool
  • 26.
    Sítě ve virtualizaciobdobnějako storage velmi důležitá součást VIpropustnost a redundance prvkůpodpora VLANsTCP offloadenginesřeší (bez nutnosti extra driverů)balancingfailoverdistribuované switcheVMware DVSCisco Nexus 1000VOpen vSwitchVirtualDistributedEthernet (VDE)
  • 27.
    Bezpečnost ve světěvXřadou bezpečnostních expertů je vX vnímána jako velmi nebezpečná (nezabezpečená) součást infrastrukturynový pohled na bezpečnost a rizika ve VImožná chyba ve VMMfyzická bezpečnost zvyšuje svůj významzapouzdření a izolace umožňuje spuštění potencionálně nebezpečných aplikací ve VMwebový prohlížečVMsafebezpečnostní rozhraní, které je součástí VI od VMware
  • 28.
    Virtualizace aplikacízapouzdření aplikacído běhové prostředí umožňující jejich spouštění bez instalacevyužití často ve spojení s VDIvýhodyvyšší bezpečnostsnadná správa a distribuce aplikacíúspora místa na diskunevýhody (dočasné)není možné virtualizovat všechny aplikace (např. ty, které vyžadují instalaci ovladačů)
  • 29.
  • 30.
  • 31.
    Co (ne)virtualizovat?ANONEtchýni ašéfavše ostatnípřátele…systémy se speciálním HW, který není podporovánsystémy s vysokými nároky na CPU (?)systémy na zpracování obrazuzálohovací servery (?)
  • 32.
    Výzvy při adaptacivirtualizacedimenzování výkonu při návrhu virtuální infrastrukturycapacityplanning (capacityassesment)cpu, paměť, storage, networkingsdílení zdrojůresourcemgmt, poolingP2V konverzeeliminace SPOFpokud je pouze 1 servernasazení HA nebo DR je i věcí risk mgmtlicencování obecně (zejména OS)Microsoft VDI
  • 33.
    iniciativa, která velmipokročila kupředu díky vXvnímáno ale také jako pouze určitý buzzwordúspora energií díkykonsolidaci prostředípoužívání tenkých klientů a LCD panelůmtechnologiím DRS, DPM, vMotionnutno však také přispět jiným způsobemzbytečně netisknouttřídit odpadyšetřit s vodou a energií obecněGreen IT
  • 34.
    Porovnávání dostupných řešenívýkonhypervisorudnes velmi srovnatelnécelkové funkcestále velké rozdílyspráva (management)velmi důležité kritériumcenane vždy je nejnižší cena řešení ta nejvýhodnější (TCO/ROI)POZOR na:podporu HW jednotlivými hypervisory (HCL)stanovení potřeb subjektu, pro který hledám řešení (malá firma, velká korporace)marketing (hledejte nezávislá porovnání, udělejte si svá vlastní)porovnávání neporovnatelného (2 edice různých dodavatelů, které mají odlišnou sadu funkcí)
  • 35.
    Porovnání architektury VMMsVMwareESXCitrixXenServer /MSFT Hyper-V / KVM
  • 36.
    ESX vs. ESXiVMwareESXVMware ESXiEND OF SALE
  • 37.
    VMware ESXi vs.MSFT Hyper-V R2* informacerelevantní k 03/2010.
  • 38.
    VMware ESXi vs.CitrixXenServer* informacerelevantní k 03/2010.
  • 39.
    VMware ESXi vs.RedHat KVM* informacerelevantní k 03/2010.
  • 40.
    Virtuální desktopová infrastrukturavyužívánídesktopů z prostředí VIpřistupuje se přes protokol pro vzdálenou plochukaždý uživatel má k dispozici svůj desktop a vyhrazené výpočetní zdrojevýhodyjednodušší správavyšší flexibilita prostředítestovací prostředívýukové prostředízajištění BC/DR, snažší zálohováníjednodušší (a vzdálený) přístup uživatelů k systémůmvyšší zabezpečeníúspora energiínevýhodynelze takto provozovat všechny aplikace s ohledem na technologii přístupu (RDP)připojování periférii (USB vyřešeno)problematické licencování(!)cena licencí pro virtuální prostředí
  • 41.
  • 42.
  • 43.
  • 44.
    Typy clusterů výpočetníaplikační vysoce dostupné (HA)
  • 45.
    Centrální správa clusteruprosprávné fungování clusterů potřebujeme, aby byly nějak spravovány, monitorovány a aby někdo nebo něco inicioval potřebné akcejedná se o tzv. mgmt server
  • 46.
  • 47.
  • 48.
  • 49.
  • 50.
  • 51.
  • 52.
  • 53.
    CloudcomputingCloud computing describesa new supplement, consumption and delivery model for IT services based on the Internet, and it typically involves the provision of dynamically scalable and often virtualized resources as a service over the Internet.It is a byproduct and consequence of the ease-of-access to remote computing sites provided by the Internet.
  • 54.
    Cloudcomputing– základní charakteristikazdrojena vyžádání (resources on-demand)
  • 55.
    platím jenza to, co používám
  • 56.
    snadná arychlá dostupnost aplikací
  • 57.
  • 58.
    úspora nákladů– sdílením zdrojůDruhy cloudů/architekturSaaS - applicationandinformationcloudPaaS – development (platform) cloudIaaS – infrastructurecloud...“as a service“DaaS – VDI on demand