耀達電腦
JASON CHENG
Proxmox VE
應用經驗分享
台中自由軟體愛好者社群 @ 2017/07/29
Free, Open Source Software
@Taichung City
We
中華⺠民國軟體⾃自由協會
資策會數位教育研究所
特別致謝
耀達電腦 技術總監
軟體⾃自由協會 理理事
台中⾃自由軟體愛好者社群 出⼀一張嘴
Jason Cheng
1為什什麼?
為什什麼要虛擬化?
主機太多
電⼒力力耗損
冷房下降
機櫃擴充
接線繁雜
修復麻煩
還原地獄
停機過長現場處理理
移轉困難
無法開機
重新安裝
授權失效
備份不便
時間太久
效率太慢
容量量太多
解決⽅方案?
錢能解決的問題都不是問題
「問題是沒有錢」
2需求分析
多機叢集管理
各種儲存協定
備份還原功能
好用管理介面
主機線上遷移
多種認證機制
虛擬機與容器
支援二次開發
VMware ESXi
$1,500,000
初次導入、安裝10台伺服器(CPUx20)計
錢不好賺,
省著點花吧。
3解決⽅方案
開源軟體
是另⼀一扇⾨門
管理與效能令人頭痛
提醒:商業使用授權
救星來來了了
救星來來了了
KVM
LXC
ZFS
noVNC
LXC
Storage
KVM
Cluster
Node
架構
叢集概觀
節點概觀
主機概觀
終端操作
終端操作
還有那些功能?
儲存
備份排程
認證
使用 VM 裡的 AD 驗證
權限
樣板
備份
快照
網路
KSM168G ▶ 73G
行動裝置
4架構應⽤用
❸
E5-5620
88GB
1Gbe
SATADOM
❶
E5-2660v2
192GB
1Gbe
SATADOM
❷
E5-2470
80GB
1Gbe
SATADOM
❹
E5-5620
96GB
1Gbe
SATADOM
硬體配置
FreeNAS FreeNAS
OS DATA
10Gbe
PVE PVE PVE PVE
「乾濕分離」
運算
儲存
單純運算
叢集簡化
維護容易易
運算儲存
集中儲存
備份⽅方便便
線上遷移
ZFS Dataset
NFS Mount
Proxmox VE
QCOW2
GuestVM
GuestOS
線上遷移
「狡兔三窟」
多地存放
D 2 D 2 C
FreeNAS
FreeNAS Cloud
Sync
ZFS
Duplicati
ZFS Sync
FreeNAS
為什麼是 FreeNAS?
更多資訊
本機快照 2次/⽇日
備機複寫 1次/⽇日
雲端上傳 1次/週
本機快照 留留2週
備機快照 留留1年年
雲端版本 放到忘 
60x
目前運作數量
5效能改進
提升儲存效能
Block Level File Level
vs
NFSiSCSI
雲端備份容易
採用NFS原因
(Duplicati)
取映像檔方便
(cp/sftp)
容器絕佳效能
LXC
KVM
LXC 超級省資源
以 NextCloud 為例
LXC
KVM
2.53GB
156MB
…
即時分散儲存
StorageServer
?
存取效能損耗
StorageServer
圖片取自 Youtube
StorageServer
「超融合」
Storage
Server
GlusterFS 分散式即時同步
Storage
Server
Storage
Server
節點運作數目
Nodes ≦ 32
Proxmox VE 限制
節點超過怎麼辦?
改用 OpenStack
分拆 Cluster
或
6應⽤用技巧
NFS 掛載參數
解決 PVE 預設參數問題
storage.cfg mount
soft
ZFS 掛載修改
解決本機 ZFS Pool 無法放置 QCOW2 問題
增加 Directory 對應到 ZFS 掛載路徑
無法開機?
修改Cache模式
存取實體裝置
直接存取 Host 主機實體裝置
例例:KEYPRO
放到VM讓你頭疼?
VM
Node Keypro
多機負載分配
依據優先權、負載量或失敗自動遷移
VM
Node ANode B
Cluster
Ready
Fence
Device
Share/Sync

Storage
HA 條件
權重模式
HA 模式
接手模式
手動搬移主機
無法轉移或叢集故障時,強制移轉 Guest OS
/etc/pve/
設定檔位置
qemu-server/xxx.conf
lxc/xxx.conf
xxx = 三位數 VM/CT ID 號碼
P2V
由實體機移轉入虛擬機
硬碟 檔案
映像檔移轉
VMDK
QCOW2
RAW
備份軟體移轉
備份軟體移轉
V2V
由其它虛擬化平台移轉入 Proxmox VE
qemu-img convert
-f vmdk vm001.vmdk
-O qcow2 vm001.qcow2
轉換指令
.qcow2
.vhd
.vdi
.vmdk
.qed
.hds
.raw
(KVM/Xen)
(Hyper-V/VirtualPC)
(VirtualBox)
(VMWare)
(KVM)
(Parallels)
(dd/Clonezilla)
支援格式
其實
還有更更簡單的⽅方法
qcow2
↑
vmdk
CLI
常用文字介面指令工具
效能
叢集
虛擬機
容器
備份
pveperf
pvecm
qm
pct
vzdump
常用指令
7週邊搭配
x
Proxmox VE
⾏行行動 App 即時管理理
Aprox+bVNC
x
Proxmox VE
系統狀狀態即時監看
Glances
更多資訊
x
Proxmox VE
系統狀狀態即時監看與歷史圖表
netdata
x
Proxmox VE
系統狀狀態即時監看與集中記錄
LibreNMS
更多資訊
x
Proxmox VE
儲存區管理理、設定與分享
openATTIC
x
Proxmox VE
ZFS 定時快照執⾏行行與保存份數
zfs-auto-snapshot
x
Proxmox VE
多地備份與雲端存放解決⽅方案
Duplicati
更多資訊
x
Proxmox VE
USB 裝置共⽤用與存取解決⽅方案
VirtualHere
USB Passthrough
會導致主機無法遷移
硬體式 USB Over IP
軟體式 USB Over IP
USB Server
免費授權同時分享裝置 x 1
Linux / Windows / macOS
Android / NAS
Android 老
舊裝置不要
浪費,無線
分享很好用
測試裝置
Card
Reader
Keypro
Storage
Printer
Scanner
8應⽤用領域
企業
省下經費,專注核⼼心業務
100%
公司伺服器全數虛擬化,移入 PVE 平台
五年
⾃自2012年年上線運作⾄至今
參考:當年 (2012) 的規劃圖
學校
集中經費,專注教學資源
政府
節省經費,專注便便⺠民服務
9更更多資源
facebook.com/
groups/pve.tw
你入pve.tw
社團了了沒?向

⼤

師

學

習
註:向大現為系統架構師與pve.tw社群版主
slideshare.net/
jasoncheng7115
END

Proxmox VE 企業應用經驗分享 [2017/07/29] @台中資策會