Proxmox 5.0
•Download as PPTX, PDF•
14 likes•4,154 views
Proxmox VE 5.0 compare with vsphere 6.5. how to use pve with zfs, glusterfs, ceph. ovs hardware acceleration
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Proxmox 5.0
Similar to Proxmox 5.0 (20)
Proxmox 5.0
- 1. Proxmox 5.0 優秀的虛擬化伺服器及儲存伺服器整合方案 • KVM / LXC 虛擬化方案 • WEB 純網頁管理界面 • CLUSTER 完善叢集模組 • ZFS, BTRFS, EXT3/4, XFS, LVM , GLUSTERFS & CEPH 等眾多支援
- 2. Proxmox 5 VS VMWARE 6.5 Hypervisor: KVM+QEMU 虛擬網路: Open Virtual Switch + iptable 儲存方式: raw, q2cow, zfs block volume, iSCSI, ceph Cluster 界面: HTML5 網頁管理 手機APP界面 支援輕量級容器 LXC 可以跟 Docker Engine 平行運作 架構: Scale Out/ 超融合 都可以無痛升級從 3.4 → 4.0 → 4.2 → 4.4 → 5.0 → 5.1 Hypervisor: ESXI 虛擬網路: NSX 儲存方式: vmfs/vmdk, iSCSI, SRP, vSAN Cluster 界面: vCenter Web Client (Flex/Flash + HTML5) 手機 APP 界面 可以運行 vSphere Integrated Containers VIC 架構: Scale Up /超大規模 6.0 無痛升級到 6.5很少人成功, 大 部分都是重新安裝
- 3. Proxmox 5 - ZFS 完整的軟體式儲存, 提供了 raid5~7, 10, 50, 60 等模式.. 寫入時複製 (Copy-On- Write) 不怕斷電資料遺失 LZ4 壓縮, 運算功能換取儲存 效能 避免資料損毀, 自我檢查修復 功能 ARC 優化 第一層讀取加速 nvme ssd 優化, 第二層加速 讀取以及寫入的功能 可以提供快照, 克隆, 虛擬區塊硬碟, 即時壓縮, 差異遠端備份
- 4. PVE Storage 的選擇 - ZFS ZFS 適合 2~21台的 node 配置 一般小型企業到中型企業都合適 4到8顆 HD (RAID 1+0), 1 到 2 顆 NVME SSD 1 gbe ~10 gbe 網路 擁有完整快照功能, 其 zsync, auto snapshot 已經內建, Clone 非常方便 跟 kvm clone 不同
- 5. Proxmox ZFS 備份模式 pve-zsync 非 常的強大. 目前 有了網頁界面, 基本上它可以 定期同步 vm 或是 lxc 的資 料到其它伺服 器 所以這邊提供 了快速有簡單 的備份模式
- 6. Proxmox 5 – GlusterFS - 1
- 7. Proxmox 5 – GlusterFS - 2 GlusterFS 不能只單一以 RAID 0,1,5,6 的角度去看. 因為它有一個參數是replica COUNT. 在一個類似 raid5 的模式裡面可以做出兩份完整的 data set 或是更多, 這樣 子是可以提供更高的安全係數, 但是相對的, 總體寫入的時間會多 66%. Distributed (JBOD) 一個檔案只會儲存在一個 brick 裡面. 所以如果有一個 brick 壞掉, 只會損失部分檔案. Default 設定模式.
- 8. Proxmox 5 – GlusterFS - 3 Replicated (RAID1) 每一個 brick 都會複製一份. 這個是為了高安全係數, 但是 這個模式就是, 寫入速度最慢的 brick 就是整個 GlusterFS 的效能. 這種模式 不可以使用高低配的 storage, 而是都要相同效能的 storage.
- 9. Proxmox 5 – GlusterFS
- 10. Proxmox 5 - iSCSI 左圖顯示的是 PVE 分享出來的 iSCSI Target 下圖顯示的是 PVE 透過 iSCSI initiator 掛載
- 11. Proxmox 5 - Ceph
- 12. PVE Storage 的選擇 - Ceph Ceph 適合 3 node 以上的配置, 建議超過 7 node 以上時 它的效能就會展現出來 適合線上遊戲, 電商或是入門網站 & 大數 據分析 建議 AFA, NVMe SSD Cache 10gbe~100gbe 網路 區分client & server 需要找專業人員幫忙計算 OSD 參數 無需任何備份* 掉 node 無效能損失
- 14. Proxmox 5 Storage All in 3台 8 bay 的 E3-1275v6 的 PVE Cluster 可以同時提供上 述所有的 storage 模式.
- 15. 儲存模式 vs node 數量效能
- 16. OVS on Proxmox - 1 讓建立 vlan 建立變得簡單 支援 DPDK, 需要手動開啟. 會使用到 2 個 cpu core 跟 2 GB RAM 支援 VXLANs & OpenFlow
- 17. OVS on Proxmox - 2 Mellanox ASAP2: Accelerated Switching and Packet Processing
- 18. Proxmox 5.0 管理界面
- 21. vCenter 6.5 管理界面
- 22. Proxmox 5 手機管理界面 1
- 23. Proxmox 5 手機管理界面 2
- 24. VMWare 手機管理界面
- 25. vSphere Integrated Container 模式
- 26. 為什麼 LXC/Docker 那麼重要? 瞬間啟動 極致輕省 無痛部署 IT 運算跟分析能力到底有多重要!?
- 28. 超大規模 vs 超融合 1
- 29. 超大規模 vs 超融合 2 Hyper Scale 所需要使用的伺服器比較多, 而且相對的使用的 Storage LAN (10GBe ~40GBe) 的端口也比較多. 反之 Hyper Converged 使用伺服器比較少, 對於 Mgt LAN (10GBe ~40GBe) 的端口也比較少. 網路架構簡單化, 但是網路穩定性要求更高. Hyper Scale 的建制成本以及事後維護成本 (人力, 電, 機櫃空間) 的 TOC (Total Cost of Ownership) 高過 Hyper Converged
- 30. 超大規模 vs 超融合 3 Hyper Converged 起初建制架構比較困難, 以及它的 Storage 模式 有很多種考量跟不同的形式. Hyper Converged 容易造成 Compute power 過剩, 或是 Storage 過多, 規劃需要更加細膩. 而 Hyper Scale 則是, 當 computing 不足 增加 Hypervisor Server, 容量不足則增加 Storage Server. Hyper Converged 的服務效能比 Hyper Scale 的架構更快速, 效能 更高.
- 31. 如何移轉 vmware ova - 1 1. 下載 ova 到 proxmox 主機上. scp _user_@_source.machine.name:/download/directory/PRODUCT_v mware.ova /destination/directory/ 然後 cd 到指定的資料夾 2. untar ova - tar xvf PRODUCT_vmware.ova 3. 解析 ova 的設定當來設定新的 proxmox 的 vm. cat PRODUCT_vmware.ovf | grep -e “Memory RAMSize” -e “CPU count” -e “Netw” -e “Disk” 4. 使用 qm importdisk qm importdisk vmid /destination/directory/PRODUCT_vmware.vmdk 1 - format vmdk
- 32. 如何移轉 vmware ova - 2
- 33. Proxmox 4.3 - Live Migration
- 34. Proxmox 4.3 – VDI Deploy
- 35. PVE 建議硬體 – 一般企業 4C8T CPU 以上支援 VT-X AES-NI 16 GB RAM 以上 RAID Card IT Mode, 或是 主板上的 HBA Sata 硬碟就可以 2x 1 gbe & 10 gbe 以上的網卡, 單一 Node 或 雙 Node 高低配
- 36. 一般企業 – 配置圖 10 10
- 37. PVE 建議硬體 – 中型企業 8C16T CPU: VT-X, VT-D, AES-NI & AVX2 64 GB RAM 以上 RAID卡 in IT Mode, PCIe 的 HBA 卡 企業的 SATA 硬碟 SAS 會更好. 如果可以使用 NVMe SSD Cache 會更好 Dual 10 gbe SR-IOV 功能的網卡 * RDMA Quad 1 gbe SR-IOV 功能的網卡 3 Nodes 以上 可高低配
- 38. 中型企業 -配置圖
- 39. PVE 建議硬體 – 大型企業 16C32T CPU: VT-X, VT-D, AES-NI & AVX512 128 GB RAM 以上 SAS RAID卡 in IT Mode, PCIe 的 SAS HBA 卡 企業 SAS 硬碟 或 AFA會更好. 使用 NVMe SSD Cache. Dual 40 gbe SR-IOV & RDMA 功能的網卡 Infiniband Quad 1 gbe SR-IOV 功能的網卡 14 Nodes 以上 可高低配
- 40. 大型企業 – 配置圖
- 41. 大型企業 – IB vs Eth
- 42. 大型企業 – Infiniband 40 gbps 現在的建制成本不到台幣 10萬元
- 44. PVE 特殊應用-軟體系統開發者的天堂 我的工作站就是我的 PVE 要 x-windows 也行!
- 45. Proxmox 5 VS AWS EC2 是方 (私有雲) AWS EC2 (公有雲) 每月費用 NT$ 35,000 NT$ 70,000 vCPU數 116 22 HDD容量 60 TB ( 120 TB RAW)8 TB SSD 容量 1.6 TB 300 GB 總 RAM 896 GB 80 GB VM 運行數 116 4 LXC 運行數 580 0 頻寬 110 mbps 總流量不限制 1000 mbps 總流量為 100 GB 備份模式 無限制 5次快照,異地備份另計 VPN 以包含 以每分鐘計算
- 46. Proxmox 5 VS VMWare PVE x3 + ZFS/Ceph vSphere x3 + vSAN Hypervisor $ 0 $ 210,000 (ess plus 6) Storage $ 0 $ 120,000 (ST6-VSAN-C) Backup $ 0 (pve-zsync) $ 50,000 (veeam) 輕量化容器 是 不, 假容器真VM 虛擬化網路 $0 (OVS效能受限) $100,000 (NSX 效能強) Node 數量 1~32 1~32 Docker? 可以平行運行 VIC 是獨立 kernel
- 47. 有Proxmox 5 就不需要公有雲? 公有雲有絕對的必要性! 但是比例分配只 能 2:8. 核心服務不要上公有雲.
- 48. Proxmox 5 訓練從自己做起 建制便宜, 維護便宜 Intel Atom CPU Realtek 網卡 Software RAID卡 通通沒有問題
- 49. Proxmox 5 目的不是要省錢 PVE 可以在有限的資源下, 成功建制 運算虛擬化 網路虛擬化 儲存虛擬化 經費預算制度 投入核心競爭力
- 50. 我家裡的 pve node -1
- 51. 我家裡的 pve node -2
- 52. 我家裡的 pve node -3
- 53. 我家裡的 pve node -4
Editor's Notes
- Proxmox 5 是使用 Debian 9 Stretch [click] kernel 是 Ubuntu 十七點零四. 更新速度快 以及 支援更多新的硬體. 比 Redhat/Centos/FreeBSD 快了一年以上. [click] 這點很重要, 買了新的硬體, 但是如 OS 不支援, 硬體都開始折舊折 然後還不能使用. 企業是不能接受的喲 . 還是企業要購買 舊的硬體? 接近 End of Life 的產品? [click] PVE 完美支援 NVMe SSD, 它也完美支援 Mellanox 四十到一百 gigabit 網卡. FreeBSD 比較慢支援的原因為了穩定性. 由於 PVE 支援這些高端硬體, 它可以建立一個 Super Computing Grid 的架構. [click] 同時它也能支援十年前的 PC, 再陽春的設備也可以, 很多時候都會碰到魚跟熊掌不可以兼得. 但是在 PVE 的世界, 是可以 -大小- 男女老少 - 都能通吃. [click] PVE 是 Bare Metal Solution, 是極輕量的虛擬化平台 跟 VMWare vSphere 一樣, 但是它所需要使用的資源更加的少. 同時也整合好了 Software Define Storage 的儲存系統 建制費用更便宜 是自由以及開放的系統, 支援非常多的檔案格式
- 什麼是 Kernel 核心? 相信大家都知道硬體的核心運算就是 CPU, 很多時候硬體效能是看 CPU. 那麼在軟體架構裡面, Kernel 就是運作硬體的靈魂. 它管控所有的硬體的運作模式. 所以優化過的 kernel, 新版的 kernel, 才能利用到 新的硬體所提供的新效能. 簡單的比較一下 Proxmox 跟 VMWare 早期 Linux 在 kernel 2.6 的時代, ESXI 的效能是真的比 kvm 好很多. 但是現在 kernel 4.10 或是 4.13 的版本, kvm 虛擬化運算的效能其實已經跟 ESXI 不相上下了, 或者是已經開始小贏了, 主要看是做什麼樣的應用情景. 虛擬網路這部分是 VMWare 最強的部分, 它的網通效能以及安全性目前是最好的. Open Virtual Switch 是一直到 2016年8月的時候, VMWare 才把這個 project 的控制權讓給了 Linux 基金會. 同時 70%的原始代碼都是 VMWare 的工程師所貢獻的. 後續我會談到 OVS 是如何在效能上面努力趕上跟 VMWare NSX 的差異. 說到儲存模式, 這個及時 Proxmox 5.0 的強項了. 因為開源, 所以任何檔案格式各種不同的檔案系統都支援. 不過 Proxmox 本身是比較推薦使用 ZFS 格式以及 Ceph Storage 模式. 特別是在 10月底, Proxmox 5.1 將會推出並且支援 Ceph luminous 最新版本的 bluestore 模式. 其效能提升非常大. 主要是採用了 facebook 的 rockdb. VMWare 的儲存模式就比較狹隘. 做資料救援的朋友說, vmfs 其實 ext2 為基礎而已. 再來就是 vSAN 這個儲存系統, 限定只能給 vSphere 使用. 這個就好比你買了一台 vmware 的貨車, 然後它限定你只能運輸 vmware 品牌的產品在這部貨車上. 沒有任何其它家的儲存系統有類似 vSAN 的限制. 這點實在大扣分. 講到 Cluster 集叢管理界面, Proxmox 在這點真的快很多很多跟 vCenter 的 html5 界面比較起來. 實際上它還是包裝著 flex/flash, 所以當你在很急著修改設定或是做移轉的時候, vCenter 真的會氣死你. 兩者都有手機界面. 都不錯, 功能也都差不多, 都可以看到所有 host 或是 vm 的狀態, 也可以修改, 開啟, 關閉 或是連線進入操作 vm. 在 Proxmox 裡面運行的 LXC 是真正的 container. 而在 vmware 裡面跑的 VIC 其實是假 container 真 vm. 這點就很欺騙大眾了 升級這點很重要. 安全性, 穩定性 等等因素. 系統是一定要升級的. Proxmox 可以一路升級上來, 都不會失敗. 就目前為止, 我都還沒有碰過失敗的經驗, 升級後系統開不起來或是 vm 無法啟動. 同時 Proxmox 系統如果是在 zfs 上面的話, 升級前使用快照 snapshot. 失敗的話可以瞬間 rollback 到上一個版本. 在這點上, Proxmox 真的是無話可說. 對於 VMWare vSphere 升級就很痛苦. 原因是它每一代的硬體相容性清單差別很大. 5.5 版本可以使用這個 raid card 或是 這張網卡, 但是 升級到 6.0 以後系統就不支援了. 最後 vsphere 6.5 有一條莫名的鴻溝, 真的很難使用升級模式, 大部分的人都是重新安裝. 這點真的很花費時間去支援. 有的時候 就連小版本升級 vmware 都可以炸掉. 兩天前我才跟朋友聊到, 他只是 6.1.4 升級到 6.1.5. 就完全炸掉了.
- 軟體式儲存, 避免被 RAID 卡晶片捆綁. 可以在任何支援的系統上還原儲存池. 同時跨操作程式系統, FreeBSD, Linux, 或是 Solaris. 比依靠 UPS 更加穩定的 Copy On Write 避免資料遺失. 就算是在寫入時突然斷電, 舊檔案不會被覆蓋. LZ4 快速同時又使用非常少量的 CPU 運算效能. 是最佳使用 cpu 換取 io 效能的模式 每次讀取都 checksum 驗算, 避免資料損毀. 也可設定定期 scrub 清洗數據, 確保資料完整 RAM Disk 會把 hot data 熱數據放在第一層 ARC 裡面, 提供快速讀取加速 NVME SSD 的 random 4k 寫入比傳統機械式硬碟快了太多, 作為 ZFS 寫入的加速層, 也不會因為斷電後暫存資料遺失
- PVE 是一個 Software Define Computing 的產品, 現在都開始必須要跟 Software Define Storage 以及 Software Define Network 去結合了. 所以一個完整的虛擬化方案, 這兩部分一定不能缺席 在這邊介紹一下 PVE 可以搭配, 我認為最有效能以及潛力的儲存方式. PVE 的 ZFS 支援非常完整, ZFS on Linux 已經非常成熟, 效能也非常的好, 而且它是可以跟 freebsd, nexenta, openindia 的 zfs pool 互相通用的.
- GlusterFS 有分 peer, volume 跟 brick. Brick 是最底層組成的基礎 透過不同的 brick 來建立成不同的 Volume 我們真正能夠讀取文件的儲存池. GlusterFS 效能可以非常的強. 當你啟用 RDMA 模式時, 它複製檔案的方式變成 block 模式. 下面我介紹兩種不同的 volume type
- 這邊是 glusterfs 的 live migration 從我的 HCS3 移轉到 HCS2 上, 同時播放著狂新聞 在 facebook 的 pve 社群裡面, 我有一篇深度教學介紹各種不同 glusterfs 的 volume type 的優點以及缺點. 首先 glusterfs 只能給 vm 使用, 它無法給 lxc 或是 docker 使用. 再來就是它寫入大檔案時的速度比較 https://www.facebook.com/notes/chris-hsiang/glusterfs-%E7%9A%84%E8%A6%81%E6%B1%82-%E6%9E%B6%E6%A7%8B-%E5%AE%89%E8%A3%9D%E6%95%99%E5%AD%B8/10209475791682242/
- iSCSI 是非常成熟的協議. 它是走區塊模式所以效能自然比檔案格式快速很多. 而且幾乎所有的儲存伺服器都支援 iSCSI iSCSI 的儲存模式絕大部分都是作為我的 database vm 的首選模式
- 這個是在測試版本的 Proxmox 5 上面最新的 Ceph Storage 界面. 左邊顯示我所有的 OSD 就是硬碟, 它的種類是 hdd 還是 ssd. 以及它的評重 右邊是 Ceph 的儀表板顯示所有的的效能以及容量資訊 我目前使用的是 bluestore 模式. 它的效能是比上一代快上一倍到兩倍, 但是也沒有什麼教學在外面教你如何設定.
- Ceph Bluestore 還是在 beta 測試階段 Ceph 還是需要專業人士維護的. 當它報錯, 或是其中一個 node 下線時, 還是要修復那個 node 讓它上線的. 不然 node 全部掉光光資料還是會損毀 Ceph Storage 是可以給 docker lxc 容器 以及 vm 使用的. 它這點就跟 GlusterFS 不同. 同時它也是非常重要跟公有云連接的 gateway. 這是我目前特別積極在測試的部分.
- Ceph bluestore 有分三部分 Ceph data 真正儲存數據的地方 block.db 是儲存 metadata 的地方讓數據更加快速被讀取 block.wal 是加速寫入的 buffer. 上述的格式是由 facebook 的 rockdb 的檔案系統優化後, 讓這一代的效能提升非常多.
- 介紹了那麼多種的儲存模式, 各有優點缺點. Proxmox 的強大就是可以同時擁有上述的儲存模式 這邊的截圖顯示了我的 cluster有 ZFS, ceph for vm, ceph for lxc, iscsi 以及 glusterfs storage.
- zfs 並不是 share storage. 所以它的效能跟你 cluster 數量基本上是無關聯性. Glusterfs 的問題在, 當 node 數量越多時, 同時寫入一定會越來越慢. 它的強項是在讀取快. 但是寫入慢. Ceph 則是到吃甘蔗, 越多台速度越快, 同時安全性也增加更多. [建議休息一下 讓聽眾發問]
- 以前在使用 linux bridge 的時候, 一個 bridge 上, 只能有一個 vlan 但是現在在 ovs bridge 上面, 就可以一個 bridge 上, 多個 vlan 網路虛擬化是非常火熱, 但是使用 cpu 來判別封包應該到那個 vm 其實是非常耗資源的, 如果要從 vm 裡面丟出來的封包超過 10gbps, 那麼這台伺服器必須要有處理 1百四十萬 個封包每秒的能力. 但是不論多快的 cpu, 大部分只能處理到 90萬個封包每秒 同時多了 dpdk 的硬體加速 在虛擬網路上能夠得到更多的效能. 這個是 Intel CPU 提供的硬體加速功能. VXLan & OpenFlow 協議讓軟體式的網路覆蓋層可以跨越底層物理基礎設施之間的網絡服務 並且突破了 只有 4096 vlan 的限制
- 為了解決網路虛擬化的效能不足 Mellanox 提供了ASAP二的加速模式 左圖是透過 mellanox connect4x 的網卡開啟 實體虛擬網卡給 vm 使用 右圖則是 直接讓 ovs 使用 mellanox connect4x 上面的 switch 晶片來做封包分流的運算.
- 簡單, 乾淨整齊. HTML 5 界面 左邊是顯示 cluster 裡面的 node 以及其運行的 vm 跟 lxc 右邊主畫面則是顯示 每一個 vm 跟 lxc 運行的狀況 下面則是顯示 log 告知目前 vm 或 lxc 發生了什麼事件 Datacenter 這邊是設定整個 cluster 參數的地方. 譬如可以連接到什麼樣的 storage, 是否使用 AD 或是 openldap 來作為登入的認證服務
- 一目了然, 速度快, 非 flash 界面. 在 node 的界面裡面, 我們可以看到 node 目前運作的情況以及它硬體使用的資源.
- 在 VM 的界面裡面, 我們可以看到 VM 目前運作的情況以及它硬體使用的資源. 以及直接操作 VM. 新版的 novnc 真的非常方便
- 慢得不得了的界面 左邊這一塊是所有的 node 以及下面運行的 vm 的顯示 中間這部分是現實 目前 vm 的配置, 網路, 運行狀態 右邊則是整個 cluster 報錯的訊息. 下面則是最近你做了什麼動作. 基本上 vCenter 也是在這個界面允許你進入 vm 操作, 修改它的設定. 這兩者的畫面幾乎大同小異.
- 左邊的手機顯示 vm 目前運行的情況. 右邊的手機顯示 vm 設定的參數, 這些都是可以修改的.
- 同時它也能讓你遠端連線進去 操作你的 vm
- 一樣顯示 vm 的狀態 很醜 重點無法顯示 時間段的使用效能 一樣可以修改 vm 的參數 更加醜 一樣操作 vm 但是居然不能水平顯示.
- VIC 是每一個 container 都有自己的 linux kernel, VMWare 的說法是這樣子比較安全. 但是實際上這個完全毀掉 Docker 輕量級容器一開始存在的目的. 與其每次都有 重新模擬 操作程式的 網路功能 檔案系統功能 等等, 不如直接使用 Host 的 kernel 來作為這些功能的提供者. Container 最大的目的是裡面計算運作獨立, 不被 host 的 library 版本干擾, 而且只做一兩件簡單的服務而已. 如 dns, http, 或是 database. 但是很少實際使用 container 的模式會把這三樣服務都加在一起. VMWare 的架構, 就是會比 docker 肥, 使用更多資源, 由於啟動時需要 load 自己的 kernel, 自然也比較慢.
- [click] 開機 1 秒 但是 vm 要 45秒以上 [click] RAM 只要 50 MB [click] Yahoo Japan 的記錄是 90秒內開啟 200萬個 container, 但是相同的時間 vm 只能開 20萬個. 輕量化的 Container 可以大幅增加 企業伺服器的運算能力, 這個就是為什麼 大數據 以及 internet of things 都希望使用 container 來做運算跟分析. 因為資料太龐大太多, 使用 vm 實在太過於肥胖. 這點就是 vmware 的弱項.. [click] 國家的競爭能力已經包含了其超級電腦的運算能力. 以前大家看一家公司只會看其管理階層的能力, 以及財務報表的 EPS. 未來一家公司的軟實力, 一定會包含其 IT 運算能力以及分析能力. 現在 Google 的 人工智慧/深度學習 嚇死很多 S and P 五百 的公司. 特別是 Toyota, 福特, 賓士, 寶馬, 這些汽車大廠, 它們覺得自己已經是風中殘燭, 隨時都會被 Google 的無人車給淘汰. 運算能力以及分析能力是讓企業不要走遠路, 避免錯誤, 及時發現浪費的資源以及可能發生的問題. 沒有看到這一點, 將來一定會有問題.
- 除了 LXC 以外, Proxmox 可以平行運行 Docker Swarm. 完全沒有任何的衝突. 我們知道 lxc 是輕量化容器. Docker 也是輕量化容器. 但是什麼時候要使用 lxc? 什麼時候需要使用 docker 呢? 輕量化容器都是走微服務. 也就是一個容器裡面只做一件事情, 不會像以前我們是用 vm 包山包海的. 那麼我們要怎麼決定. 重點是以運行數量考量. 譬如我們現在需要 dns 服務. 但是我們只需要兩個而已, 一個主, 一個副. 那麼這個時候我會選擇使用 lxc. 原因是 lxc 更加接近完整的 os. 它裡面的 dns server 是可以很簡單下個就更新的. 但是 docker 要更新裡面的套件是很麻煩的事情. 大部分 docker 運行起來, 譬如 http 的服務, 它可能一次就跑個 50個 nginx 跟搭配的 php. 所以當你要更新時, 你是 pull 新版的 docker image, 然後告訴 docker swarm 你要一次運行50個或是更多. [建議休息一下 讓聽眾發問]
- 左邊的圖是比較接近 vSphere + vSAN 右邊的圖是比較接近 Proxmox + Ceph
- 左圖是 vSphere+vSAN 如果今天我掉了一台 Storage, 那麼我整體的效能一定會損失 50% 因為我的 io 只有一台伺服器在支撐. 而右圖的模式, 如果我掉一台伺服器, 我的效能只損失四分之一 同時 Hyper Scale 的模式需要六台伺服器, 兩個 switch, Hyper Converged 只需要 一台伺服器, 一個 switch 建制成本跟後續 MA 費用就差很多.
- Database Server VM 模擬比較 local vs iSCSI. 這個測試可以明顯看到當 AFA (All Flash Array) over iSCSI 協議時, 效能下降非常嚴重. 如果我的 Database VM 的 io 是從 local 來的話, 其效能起碼增加50% 以上. 所以這個就是為什麼, 如果使用 AFA, 大部分會建議是用支援 RDMA 的協議種類如 iSER/iWARP, SRP 避免效能下降太多. 這個也就是為什麼最高端的 storage 會開始採用NVMEoF 的新協定.
- 在大量 import vm 時, cli 會比網頁界面迅速許多.
- 我是在 2016年年初把 70多個 vm 從 vmware 移轉到 proxmox 上. 一天內完成. 比較困難的是 windows vm 的移轉, 大部分都是驅動的問題, 所以都會預先先安裝 virtio 的驅動, 再做 v2v 的移轉.
- Live Migration 的功能,跟 vmotion 一樣, 只要有 share storage 就可以做到. [click play] 在這邊我開啟一個 windows 10 VM 然後開始播放 youtube 的 Live 新聞台 先從 第二個 Node 開始 把一個 vm migrate 到第一個 node 上面 當 migration 開始時, PVE 就開始把 VM 的 RAM 從開始從 B 往上面 A 傳送. 就像是電腦進行休眠模式把記憶體 儲存到硬碟裡. 所以網路速度更快, 那麼 Migration 就越快. [pause] 有很多展示使用 ping 來顯示 Migration, 但是使用 live stream video 播放, 讓大家第一手感覺在 vm 上面的使用者, 到底會感受到什麼差異 現在 vm 一二零 還在 Node B 下面, 等一下會就跳到 Node A 上面, 但是 RDP 的連線不會斷, 播放中的 streaming video 也不會斷 . 猜猜看 這個 live migration 是使用怎麼樣的等級的機器完成的? [頓3秒] 主機是 Intel i五 跟 十六 GB 的記憶體. 等一下也可以現場展示
- VDI 建制也一直是企業非常需求的部分. 這邊展示如何利用 PVE 跟 ZFS 的搭配, 迅速建制五個的 獨立檔案系統 windows 十的 VM [play] 這是我在3分鐘內寫的一個簡易 script 填入 vmid, 然後告知要複製的 hdd 位置 就馬上看到 增加了 122~126 這5個 vm. . 最棒的一點是, 儲存空間不會因此而暴增. 再來看看每一個 vm 硬碟使用多少空間 ? 才 8K . 接下來去看每一個 vm, 都是擁有自己的獨立硬碟 也不會關機後資料就不見 . 但是設定的 mac address 要更換一下, 我的 script 偷懶沒有寫入自動增加新的 mac . [等5秒] . 然後就可以開機了, 來開四個 vm 好了 . 當 vm 開啟後, 我們可以看到 console 的開機畫面, 這個已經開啟了, 接下來的也可以看到 windows 十 . 再來這個 demo video 也是 Intel i五 跟 十六 GB 的記憶體.
- 伺服器之間串聯網路的效能非常重要. 我建制過很多系統架構, 最常碰到的瓶頸 都是網卡速度或是 iops 不夠, 非常少碰到是 cpu 不給力或是 ram 不足的問題. 現在 pc 伺服器 大部分都是運算效能過多, 記憶體過多, 所以我們才虛擬化, 讓一台實體主機跑多台虛擬機. . 在虛擬化的過程中, 其實是非常需要 CPU 的 “硬解” 來提供加速的. 要有 VT-X 才能開啟 VM, AES-NI 是重要的加密指令集
- IT Mode就是 把 RAID 卡刷成 HBA 卡 建議少使用 主板上的 hba, 因為使用 pcie 卡, 如果壞掉了, 可以迅速更換. 同時暫時也可以使用 主板上的 hba. 這是前輩給我的教導. 謝謝 威傑科技! 謝謝王大哥. 盡量使用 SAS 硬碟如果許可的話 如果有 NVMe SSD 來做 Cache 真的會讓寫入效能暴增 SR-IOV 當作是硬體式的虛擬網卡, 也只有 透過 SR-IOV 的模式, 才能讓 VM 或是 LXC 使用到“真正” 的10 gpbs. OV Switch 或是 Linux Bridge 從虛擬機傳送封包 到 實體的 switch 效能只有 七 gigabits 左右. 因為 上述這兩個 SDN 受到 cpu 的限制, 沒有辦法在一秒內處理那麼多的封包. 畢竟 cpu 不適合拿來當 switch 的晶片
- Infiniband 所有 Ethernet 的缺點它都~沒有. 沒有 packet loss 沒有 packet out of sequence 的問題 jumbo frame 六萬五千個 byte 而不是 tcp ip 一千五 的MTU 那麼小. 它的 latency 非常的低, 比 Ethernet 低了 10倍以上, 也就是如果 Ethernet ping time 是 零點一 millisecond, 那麼 infiniband 的 ping time 就是 零點零零一 millisecond. 當你在 scale out 做 cluster 的時候, node 之間的快速回應就變成它真正效能的重點, 單一 node 的 cpu 再快, 沒有夠快速的大封包 數據進來給它運算, 那麼 cpu 運算效能就是浪費了 RDMA 是 by pass 其它伺服器上的 cpu, 就可以直接讀取或是寫入 數據 到其它伺服器的 RAM 或是 Storage 裡 在 十 gigabits RDMA Infiniband 的網路, data 的 io, 可以比 10 gigabits Ethernet 的 快上 4 倍. 這個就是為什麼我捨棄 iSCSI.
- 上面是 infiniband 的 ping time 下面是 Ethernet 的 ping time Latency 是差異很多
- Infiniband 四十 gigabit 的網路 [click] 現在的建制成本不到台幣 10萬元 [建議休息一下 讓聽眾發問]
- LXC 隨便我開, 愛怎麼測就怎麼測, 想用什麼 library 什麼環境都隨我, 自由度一百 效率一百 不用等 system admin 開給我
- 我的工作站就是我的 PVE 要 x-window 也行!
- 自建的私有雲, 有以下的優點 有更多的儲存空間 備份模式更加自由 增添需要新的IT服務不會增加費用 使用移動用戶 VPN 專線聯入私有雲不需要特別的費用, 但是 AWS 日本的 vpn 服務是以每分鐘計費 這個表的比較, 你可以看到價格是一半, 但是運算是5倍多, 容量是 7倍多, 最重要的 vpn 在公有雲上面是記時記量的
- 有Proxmox 5 就不需要公有雲? [click] 公有雲有絕對的必要性! 但是比例分配只能 二比八. 核心服務不要上公有雲. [click] 假設我司有一個大型促銷, 參加淘寶的光棍節網路大促銷, 預期為兩個禮拜的時間, 會跟我司交易/庫存系統結合資料的部分 比平時暴增 10倍~20倍. 而我司的硬體服務架構無法快速擴充, 同時如果事先3個月建制, 只是為了這兩個禮拜的服務, 需要每月折舊攤提設備, 但平時都是閒置 90%, 昂貴的折舊攤提也是不符合 ROI 效益 所以使用公有雲的 on demand service 就非常符合經濟效益. 圖表是企業什麼時候需要短暫使用公有雲的服務, 綠色虛線以上時.
- Proxmox 五 訓練費用可能不便宜. 因為自己的時間無價 因為學校沒有教. 所以只能自學, 但是硬體可以使用舊的 pc 或是淘汰的伺服器來測試建制 需要的是, 投資你的時間 任何硬體 [click] [click] [click] 通通沒有問題, 這些是 VMWare 做不到的 [2秒] 已經有太多成功的案例, 台灣的教育界, 是台灣之光 在 PVE 社團裡的國小, 國中老師 或資訊組長都是 Pro 等級
- Proxmox 5 目的不是要省錢 Proxmox 5 目的不是要省錢 [click] Proxmox 5 目的不是要省錢 [click] 而是集中資源資金增加組織的運算以及分析能力, 進而達到組織升級.