Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Proxmox VE 5.3 Cluster, High Availability & Others [20181223] @集思台大會議中心

542 views

Published on

2018 PVE 進階使用者研討會台北場 @集思台大會議中心

完整議程:https://tfc.kktix.cc/events/pve-tw-2018

Published in: Software
  • Be the first to comment

Proxmox VE 5.3 Cluster, High Availability & Others [20181223] @集思台大會議中心

  1. 1. 耀達電腦 JASON CHENG Proxmox VE 5.3 Cluster, High Availability & Others 2018-12-23 PVE 進階使用者研討會 @ 集思台大會議中心
  2. 2. 錢能解決的問題都不是問題 「問題是沒有錢」
  3. 3. 1Language
  4. 4. 呃...學PVE,可是英文好難?
  5. 5. 嘿...不再是理由了。
  6. 6. 臺灣繁體中⽂文
  7. 7. 2Cluster
  8. 8. Pacemaker Corosync 叢集建立 嗯..認真嗎?
  9. 9. 害怕叢集? 操作複雜? 復原困難?管理理困難?
  10. 10. 呃...叢集好難
  11. 11. 不用叢集才可怕 資訊分散 難以查看 權限難管 無法遷移
  12. 12. 使用叢集優點
  13. 13. Node A 任一節點都能管理 Node B Node C
  14. 14. Node A 虛擬機遷移不停機 Node B Node C
  15. 15. 建立加入叢集
  16. 16. 建立叢集只要幾秒
  17. 17. 加入叢集只要幾秒
  18. 18. 很難嗎?
  19. 19. 建立叢集只要幾秒
  20. 20. 加入叢集只要幾秒
  21. 21. 很難嗎?
  22. 22. 呃...叢集救援好難
  23. 23. 叢集失效操作
  24. 24. Node A 叢集故障服務繼續 Node B Node C
  25. 25. 叢集有效節點數不足
  26. 26. 無法操作虛擬機或容器
  27. 27. 叢集失效如何操作 暫時降低有效節點數要求
  28. 28. 很難嗎?
  29. 29. 切回獨立節點
  30. 30. 最快方法 重新安裝! Minutes ≦ 5
  31. 31. • service pve-cluster stop • service corosync stop • pmxcfs -l • rm -rf /etc/corosync/* • rm /etc/pve/corosync.conf • vi /etc/pve/priv/known_hosts • killall pmxcfs • service pve-cluster start 或手動處理 重新整理後再登入 WebUI
  32. 32. 很難嗎?
  33. 33. 節點運作數目
  34. 34. Nodes ≦ 32 Proxmox VE 建議限制
  35. 35. Nodes ≦ 64 Proxmox VE 最大限制 (低網路延遲為關鍵)
  36. 36. 叢集網路劃分
  37. 37. Storages NodesNode ServicesNIC1 NIC2 NIC3 ⼿手冊
 建議
  38. 38. 驗證叢集網路
  39. 39. PVE Cluster 通訊 UDP 5404 5405 TCP
 22 Multicast
  40. 40. omping 驗證工具
  41. 41. omping -c 10000 -i 0.001 -F -q ip1 ip2 ip3 omping 基本指令 每個節點都要執行
  42. 42. omping 使用方式
  43. 43. 無法廣播修改
  44. 44. /etc/pve/corosync.conf
  45. 45. systemctl restart corosync 重啟叢集服務 每個節點都要執行 systemctl restart pve-cluster
  46. 46. 備用叢集 IP
  47. 47. 第二組叢集溝通IP介面
  48. 48. 3High Availability
  49. 49. 多機故障轉移 依據優先權進行失敗自動遷移
  50. 50. VM Node ANode B
  51. 51. Cluster Ready Fence Device Share/Sync
 Storage HA 先決條件
  52. 52. 優先順序 HA 接手模式 自動接手
  53. 53. HA 群組建立
  54. 54. HA 群組細節設定 restricted 限定運作節點 nofailback 不需容錯回復
  55. 55. HA 資源建立
  56. 56. HA 虛擬機或容器設定 Max. Relocate 最多重新遷移(次) Max. Restart 最多重新啟動(次)
  57. 57. Watchdog 系統運作情況監測機制
  58. 58. Watchdog 層級 OS LOM } } 作業系統級監測 Soft Watchdog 硬體物理級監測 IPMI Watchdog 預設
  59. 59. Watchdog 運作 自動重啟 Auto Reset 定時檢測 Timeout Check
  60. 60. 如何設定
  61. 61. 提醒 By default, all hardware watchdog modules are blocked for security reasons. They are like a loaded gun if not correctly initialized.
  62. 62. Enable IPMI Watchdog
  63. 63. Check Service
  64. 64. Check IPMI Watchdog
  65. 65. Fencing 節點故障隔離移轉機制
  66. 66. VM移轉啟動時間 Seconds ≧ 120
  67. 67. VM 自動移轉等待時間 Timeout = 60 + Timeout ≦ 60! " 官方預先定義數據
  68. 68. VM 移轉啟動時間 可以縮短嗎? 沒問題,不過... 需要修改原始碼。
  69. 69. 歡迎 一起加入開發 貢獻者行列! 😎
  70. 70. 4Others
  71. 71. 啟動 Proxmox VE 巢狀虛擬化支援 Nested Virtualization
  72. 72. 啟用巢狀虛擬化 modprobe -r kvm_intel modprobe kvm_intel nested=1 echo “option kvm_intel nested=1” >> /etc/modprobe.d/ modprobe.conf 執⾏行行前需將該節點所有虛擬機關機
  73. 73. 找出VM啟動參數 qm showcmd <vmid>
  74. 74. 手動加上參數 …-cpu kvm64,+vmx,+lahf_lm,… 將VM開機後確認是否成功啟⽤用 egrep “vmx|svm” /proc/cpuinfo
  75. 75. Proxmove 跨 Proxmox VE 叢集遷移虛擬機
  76. 76. https://github.com/ossobv/proxmove proxmove
  77. 77. 跨叢集遷移虛擬機 支援 KVM 支援 Share/Local Stoage 支援 Block/File Level 不是 Live Migration
  78. 78. 虛擬機監測重新啟動機制 VM Watchdog
  79. 79. https://github.com/dmitriypavlov/pve-watchdog PVE VM watchdog
  80. 80. 虛擬機自動化監測 透過 qemu-guest-agent
 無回應即強制重啟虛擬機
 經由 Mail/Telegram 告警
  81. 81. Autosnap 支援PVE叢集與快照機制的排程快照工具
  82. 82. https://github.com/EnterpriseVE/eve4pve-autosnap eve4pve-autosnap
  83. 83. 結合PVE的排程快照 支援獨立節點或叢集 支援 KVM/LXC 支援保留份數上限 原生 PVE / Syslog 整合
  84. 84. 相容PVE原生快照機制
  85. 85. zstorage 對 PVE Storage 做排程同步抄寫
  86. 86. FreeNAS 可簡單設定 zpool 異機排程同步 那 Proxmox VE 呢?
  87. 87. https://github.com/EnterpriseVE/eve4pve-zstorage eve4pve-zstorage
  88. 88. 以Storage為單位同步 支援獨立節點或叢集 支援 KVM/LXC 基於 ZFS SEND/RECV 保持最新一份同步
  89. 89. 以ZFS快照功能實現 若若為跨叢集,VM/CT 設定檔會⼀一併複製
  90. 90. 監控叢集、節點、儲存與客體狀狀況 LibreNMS
  91. 91. 服務健康狀況檢測
  92. 92. Apps: Proxmox
  93. 93. Apps: Proxmox
  94. 94. Apps: ZFS
  95. 95. https://github.com/jasoncheng7115/check_pve plugin: check_pve
  96. 96. 跨叢集管理理虛擬機與容器 HyperProxmox
  97. 97. 多個叢集如何單一管理 Node A Node B Node C Node A Node B Node C Node A Node B Node C Cluster2 Cluster3 Cluster1
  98. 98. 5更更多資源
  99. 99. facebook.com/ groups/pve.tw
  100. 100. jasontools. blogspot.com
  101. 101. slideshare.net/ jasoncheng7115
  102. 102. 真正的價值不在於免費。 ⽽而是開放源碼、通⽤用架構、 ⾃自由使⽤用、眾⼈人協作。 「 」
  103. 103. END

×