SlideShare a Scribd company logo
1 of 110
耀達電腦
JASON CHENG
Proxmox VE 5.3
Cluster, High Availability & Others
2018-12-23 PVE 進階使用者研討會 @ 集思台大會議中心
錢能解決的問題都不是問題
「問題是沒有錢」
1Language
呃...學PVE,可是英文好難?
嘿...不再是理由了。
臺灣繁體中⽂文
2Cluster
Pacemaker
Corosync
叢集建立
嗯..認真嗎?
害怕叢集?
操作複雜?
復原困難?管理理困難?
呃...叢集好難
不用叢集才可怕
資訊分散
難以查看
權限難管
無法遷移
使用叢集優點
Node A
任一節點都能管理
Node B
Node C
Node A
虛擬機遷移不停機
Node B
Node C
建立加入叢集
建立叢集只要幾秒
加入叢集只要幾秒
很難嗎?
建立叢集只要幾秒
加入叢集只要幾秒
很難嗎?
呃...叢集救援好難
叢集失效操作
Node A
叢集故障服務繼續
Node B
Node C
叢集有效節點數不足
無法操作虛擬機或容器
叢集失效如何操作
暫時降低有效節點數要求
很難嗎?
切回獨立節點
最快方法
重新安裝!
Minutes ≦ 5
• service pve-cluster stop
• service corosync stop
• pmxcfs -l
• rm -rf /etc/corosync/*
• rm /etc/pve/corosync.conf
• vi /etc/pve/priv/known_hosts
• killall pmxcfs
• service pve-cluster start
或手動處理
重新整理後再登入 WebUI
很難嗎?
節點運作數目
Nodes ≦ 32
Proxmox VE 建議限制
Nodes ≦ 64
Proxmox VE 最大限制
(低網路延遲為關鍵)
叢集網路劃分
Storages
NodesNode
ServicesNIC1
NIC2
NIC3
⼿手冊

建議
驗證叢集網路
PVE Cluster 通訊
UDP
5404
5405
TCP

22
Multicast
omping 驗證工具
omping -c 10000
-i 0.001
-F
-q ip1 ip2 ip3
omping 基本指令
每個節點都要執行
omping 使用方式
無法廣播修改
/etc/pve/corosync.conf
systemctl restart corosync
重啟叢集服務
每個節點都要執行
systemctl restart pve-cluster
備用叢集 IP
第二組叢集溝通IP介面
3High
Availability
多機故障轉移
依據優先權進行失敗自動遷移
VM
Node ANode B
Cluster
Ready
Fence
Device
Share/Sync

Storage
HA 先決條件
優先順序
HA 接手模式
自動接手
HA 群組建立
HA 群組細節設定
restricted
限定運作節點
nofailback
不需容錯回復
HA 資源建立
HA 虛擬機或容器設定
Max. Relocate
最多重新遷移(次)
Max. Restart
最多重新啟動(次)
Watchdog
系統運作情況監測機制
Watchdog 層級
OS
LOM
}
} 作業系統級監測
Soft Watchdog
硬體物理級監測
IPMI Watchdog
預設
Watchdog 運作
自動重啟
Auto Reset
定時檢測
Timeout Check
如何設定
提醒
By default, all hardware watchdog
modules are blocked for security
reasons. They are like a loaded gun if
not correctly initialized.
Enable IPMI Watchdog
Check Service
Check IPMI Watchdog
Fencing
節點故障隔離移轉機制
VM移轉啟動時間
Seconds ≧ 120
VM 自動移轉等待時間
Timeout = 60
+
Timeout ≦ 60!
"
官方預先定義數據
VM 移轉啟動時間
可以縮短嗎?
沒問題,不過... 需要修改原始碼。
歡迎
一起加入開發
貢獻者行列!
😎
4Others
啟動 Proxmox VE 巢狀虛擬化支援
Nested
Virtualization
啟用巢狀虛擬化
modprobe -r kvm_intel
modprobe kvm_intel nested=1
echo “option kvm_intel
nested=1” >> /etc/modprobe.d/
modprobe.conf
執⾏行行前需將該節點所有虛擬機關機
找出VM啟動參數
qm showcmd <vmid>
手動加上參數
…-cpu kvm64,+vmx,+lahf_lm,…
將VM開機後確認是否成功啟⽤用
egrep “vmx|svm” /proc/cpuinfo
Proxmove
跨 Proxmox VE 叢集遷移虛擬機
https://github.com/ossobv/proxmove
proxmove
跨叢集遷移虛擬機
支援 KVM
支援 Share/Local Stoage
支援 Block/File Level
不是 Live Migration
虛擬機監測重新啟動機制
VM Watchdog
https://github.com/dmitriypavlov/pve-watchdog
PVE VM watchdog
虛擬機自動化監測
透過 qemu-guest-agent

無回應即強制重啟虛擬機

經由 Mail/Telegram 告警
Autosnap
支援PVE叢集與快照機制的排程快照工具
https://github.com/EnterpriseVE/eve4pve-autosnap
eve4pve-autosnap
結合PVE的排程快照
支援獨立節點或叢集
支援 KVM/LXC
支援保留份數上限
原生 PVE / Syslog 整合
相容PVE原生快照機制
zstorage
對 PVE Storage 做排程同步抄寫
FreeNAS 可簡單設定 zpool 異機排程同步
那 Proxmox VE 呢?
https://github.com/EnterpriseVE/eve4pve-zstorage
eve4pve-zstorage
以Storage為單位同步
支援獨立節點或叢集
支援 KVM/LXC
基於 ZFS SEND/RECV
保持最新一份同步
以ZFS快照功能實現
若若為跨叢集,VM/CT 設定檔會⼀一併複製
監控叢集、節點、儲存與客體狀狀況
LibreNMS
服務健康狀況檢測
Apps: Proxmox
Apps: Proxmox
Apps: ZFS
https://github.com/jasoncheng7115/check_pve
plugin: check_pve
跨叢集管理理虛擬機與容器
HyperProxmox
多個叢集如何單一管理
Node A Node B
Node C
Node A Node B
Node C
Node A Node B
Node C
Cluster2 Cluster3
Cluster1
5更更多資源
facebook.com/
groups/pve.tw
jasontools.
blogspot.com
slideshare.net/
jasoncheng7115
真正的價值不在於免費。
⽽而是開放源碼、通⽤用架構、
⾃自由使⽤用、眾⼈人協作。
「
」
END

More Related Content

What's hot

What's hot (20)

LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會
LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會
LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會
 
加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020
加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020
加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020
 
突破困境:資安開源工具之應用分享_社群議程加強版 [2019/06/08] @Monospace
突破困境:資安開源工具之應用分享_社群議程加強版 [2019/06/08] @Monospace突破困境:資安開源工具之應用分享_社群議程加強版 [2019/06/08] @Monospace
突破困境:資安開源工具之應用分享_社群議程加強版 [2019/06/08] @Monospace
 
LibreNMS 企業實戰經驗分享 [2018/11/10] @Monospace
LibreNMS 企業實戰經驗分享 [2018/11/10] @MonospaceLibreNMS 企業實戰經驗分享 [2018/11/10] @Monospace
LibreNMS 企業實戰經驗分享 [2018/11/10] @Monospace
 
採用開源軟體打造企業資安監測系統 [2022/10/06] @InfoSec Taiwan 2022
採用開源軟體打造企業資安監測系統 [2022/10/06] @InfoSec Taiwan 2022採用開源軟體打造企業資安監測系統 [2022/10/06] @InfoSec Taiwan 2022
採用開源軟體打造企業資安監測系統 [2022/10/06] @InfoSec Taiwan 2022
 
開源x節流:企業應用經驗分享 (一)+(二) [2017/02/03] @臺中市政府
開源x節流:企業應用經驗分享 (一)+(二) [2017/02/03] @臺中市政府開源x節流:企業應用經驗分享 (一)+(二) [2017/02/03] @臺中市政府
開源x節流:企業應用經驗分享 (一)+(二) [2017/02/03] @臺中市政府
 
系統安全稽核即刻上手 [2019/08/24] @Monospace
系統安全稽核即刻上手 [2019/08/24] @Monospace系統安全稽核即刻上手 [2019/08/24] @Monospace
系統安全稽核即刻上手 [2019/08/24] @Monospace
 
【大話資安】資安開源軟體:神兵利器還是雙面利刃?
【大話資安】資安開源軟體:神兵利器還是雙面利刃?【大話資安】資安開源軟體:神兵利器還是雙面利刃?
【大話資安】資安開源軟體:神兵利器還是雙面利刃?
 
例外設計における大罪
例外設計における大罪例外設計における大罪
例外設計における大罪
 
RHEL7/CentOS7 NetworkManager徹底入門
RHEL7/CentOS7 NetworkManager徹底入門RHEL7/CentOS7 NetworkManager徹底入門
RHEL7/CentOS7 NetworkManager徹底入門
 
Lean Change Management Hot Seat(もやもや整理シート)- Scrum Fest Sapporo
Lean Change Management Hot Seat(もやもや整理シート)- Scrum Fest SapporoLean Change Management Hot Seat(もやもや整理シート)- Scrum Fest Sapporo
Lean Change Management Hot Seat(もやもや整理シート)- Scrum Fest Sapporo
 
Linux女子部 systemd徹底入門
Linux女子部 systemd徹底入門Linux女子部 systemd徹底入門
Linux女子部 systemd徹底入門
 
【VM保護備份專題】Dell Power Protect Data Manager (PPDM) 詳解TSDM機制
【VM保護備份專題】Dell Power Protect Data Manager (PPDM) 詳解TSDM機制【VM保護備份專題】Dell Power Protect Data Manager (PPDM) 詳解TSDM機制
【VM保護備份專題】Dell Power Protect Data Manager (PPDM) 詳解TSDM機制
 
H2O x mrubyで人はどれだけ幸せになれるのか
H2O x mrubyで人はどれだけ幸せになれるのかH2O x mrubyで人はどれだけ幸せになれるのか
H2O x mrubyで人はどれだけ幸せになれるのか
 
OpenStackを使用したGPU仮想化IaaS環境 事例紹介
OpenStackを使用したGPU仮想化IaaS環境 事例紹介OpenStackを使用したGPU仮想化IaaS環境 事例紹介
OpenStackを使用したGPU仮想化IaaS環境 事例紹介
 
OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月
OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月
OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月
 
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
 
OpenStackをコマンドで攻める! 構築・運用とトラブル解決 - OpenStack最新情報セミナー 2014年6月
OpenStackをコマンドで攻める! 構築・運用とトラブル解決 - OpenStack最新情報セミナー 2014年6月OpenStackをコマンドで攻める! 構築・運用とトラブル解決 - OpenStack最新情報セミナー 2014年6月
OpenStackをコマンドで攻める! 構築・運用とトラブル解決 - OpenStack最新情報セミナー 2014年6月
 
GPU仮想化最前線 - KVMGTとvirtio-gpu -
GPU仮想化最前線 - KVMGTとvirtio-gpu -GPU仮想化最前線 - KVMGTとvirtio-gpu -
GPU仮想化最前線 - KVMGTとvirtio-gpu -
 
ネットワークでなぜ遅延が生じるのか
ネットワークでなぜ遅延が生じるのかネットワークでなぜ遅延が生じるのか
ネットワークでなぜ遅延が生じるのか
 

Similar to Proxmox VE 5.3 Cluster, High Availability & Others [20181223] @集思台大會議中心

虎尾科大報告
虎尾科大報告虎尾科大報告
虎尾科大報告
琮凱 蘇
 
微信201204
微信201204微信201204
微信201204
drewz lin
 
微信之道201204
微信之道201204微信之道201204
微信之道201204
shaomeng shi
 
51 cto linuxops_issue4
51 cto linuxops_issue451 cto linuxops_issue4
51 cto linuxops_issue4
Yiwei Ma
 
优酷 Web网站架构案例分析
优酷   Web网站架构案例分析优酷   Web网站架构案例分析
优酷 Web网站架构案例分析
George Ang
 
Youku arch qcon2009_beijing
Youku arch qcon2009_beijingYouku arch qcon2009_beijing
Youku arch qcon2009_beijing
drewz lin
 
Key value store
Key value storeKey value store
Key value store
xuanhan863
 
Sheepdog介绍
Sheepdog介绍Sheepdog介绍
Sheepdog介绍
Liu Yuan
 
Dreaming Infrastructure
Dreaming InfrastructureDreaming Infrastructure
Dreaming Infrastructure
kyhpudding
 

Similar to Proxmox VE 5.3 Cluster, High Availability & Others [20181223] @集思台大會議中心 (20)

Introduction of Reverse Engineering
Introduction of Reverse EngineeringIntroduction of Reverse Engineering
Introduction of Reverse Engineering
 
Testing in Production, Deploy on Fridays
Testing in Production, Deploy on FridaysTesting in Production, Deploy on Fridays
Testing in Production, Deploy on Fridays
 
虎尾科大報告
虎尾科大報告虎尾科大報告
虎尾科大報告
 
微信201204
微信201204微信201204
微信201204
 
微信之道201204
微信之道201204微信之道201204
微信之道201204
 
51 cto linuxops_issue4
51 cto linuxops_issue451 cto linuxops_issue4
51 cto linuxops_issue4
 
網路最佳化管理實務 - 第六章
網路最佳化管理實務 - 第六章網路最佳化管理實務 - 第六章
網路最佳化管理實務 - 第六章
 
20200905_tcn_python_opencv_part1_omnixri
20200905_tcn_python_opencv_part1_omnixri20200905_tcn_python_opencv_part1_omnixri
20200905_tcn_python_opencv_part1_omnixri
 
少年科技人雜誌 2015 年六月
少年科技人雜誌 2015 年六月少年科技人雜誌 2015 年六月
少年科技人雜誌 2015 年六月
 
人人网开发一站式体验
人人网开发一站式体验人人网开发一站式体验
人人网开发一站式体验
 
优酷 Web网站架构案例分析
优酷   Web网站架构案例分析优酷   Web网站架构案例分析
优酷 Web网站架构案例分析
 
Youku arch qcon2009_beijing
Youku arch qcon2009_beijingYouku arch qcon2009_beijing
Youku arch qcon2009_beijing
 
Key value store
Key value storeKey value store
Key value store
 
Sheepdog介绍
Sheepdog介绍Sheepdog介绍
Sheepdog介绍
 
Java script 全面逆襲!使用 node.js 打造桌面環境!
Java script 全面逆襲!使用 node.js 打造桌面環境!Java script 全面逆襲!使用 node.js 打造桌面環境!
Java script 全面逆襲!使用 node.js 打造桌面環境!
 
Linux运维趋势 第12期 故障排除
Linux运维趋势 第12期 故障排除Linux运维趋势 第12期 故障排除
Linux运维趋势 第12期 故障排除
 
那些mockup沒告訴你的事@WebConf.tw 2013
那些mockup沒告訴你的事@WebConf.tw 2013那些mockup沒告訴你的事@WebConf.tw 2013
那些mockup沒告訴你的事@WebConf.tw 2013
 
Dreaming Infrastructure
Dreaming InfrastructureDreaming Infrastructure
Dreaming Infrastructure
 
做一个“懒惰”的程序员-LCP框架系列交流
做一个“懒惰”的程序员-LCP框架系列交流做一个“懒惰”的程序员-LCP框架系列交流
做一个“懒惰”的程序员-LCP框架系列交流
 
一個微信專案從0到000的效能調教
一個微信專案從0到000的效能調教一個微信專案從0到000的效能調教
一個微信專案從0到000的效能調教
 

More from Jason Cheng

More from Jason Cheng (15)

Graylog Open 打造資安戰情中心經驗分享 [2024/05/16] @台灣資安大會 @台北南港展覽二館
Graylog Open 打造資安戰情中心經驗分享 [2024/05/16] @台灣資安大會 @台北南港展覽二館Graylog Open 打造資安戰情中心經驗分享 [2024/05/16] @台灣資安大會 @台北南港展覽二館
Graylog Open 打造資安戰情中心經驗分享 [2024/05/16] @台灣資安大會 @台北南港展覽二館
 
Proxmox VE 採用開源虛擬化平台實際應用架構與案例 [2024/04/26] @TWNOG5 @臺大醫院國際會議中心
Proxmox VE 採用開源虛擬化平台實際應用架構與案例 [2024/04/26] @TWNOG5  @臺大醫院國際會議中心Proxmox VE 採用開源虛擬化平台實際應用架構與案例 [2024/04/26] @TWNOG5  @臺大醫院國際會議中心
Proxmox VE 採用開源虛擬化平台實際應用架構與案例 [2024/04/26] @TWNOG5 @臺大醫院國際會議中心
 
Unifi Log 收容與看板應用
Unifi Log 收容與看板應用Unifi Log 收容與看板應用
Unifi Log 收容與看板應用
 
從開源軟體的角度來聊聊資安應用 [2023/06/27] @資安五四三
從開源軟體的角度來聊聊資安應用 [2023/06/27] @資安五四三從開源軟體的角度來聊聊資安應用 [2023/06/27] @資安五四三
從開源軟體的角度來聊聊資安應用 [2023/06/27] @資安五四三
 
從「會動就好」到「持續營運」[2023/06/24] @Agile.Taichung
從「會動就好」到「持續營運」[2023/06/24] @Agile.Taichung從「會動就好」到「持續營運」[2023/06/24] @Agile.Taichung
從「會動就好」到「持續營運」[2023/06/24] @Agile.Taichung
 
Blender 台中分享會:開源應用經驗分享 [2018/07/21] @Monospace
Blender 台中分享會:開源應用經驗分享 [2018/07/21] @MonospaceBlender 台中分享會:開源應用經驗分享 [2018/07/21] @Monospace
Blender 台中分享會:開源應用經驗分享 [2018/07/21] @Monospace
 
開放或封閉的安全之刃 [2018/07/13] @國際資訊安全組織台灣高峰會
開放或封閉的安全之刃 [2018/07/13] @國際資訊安全組織台灣高峰會開放或封閉的安全之刃 [2018/07/13] @國際資訊安全組織台灣高峰會
開放或封閉的安全之刃 [2018/07/13] @國際資訊安全組織台灣高峰會
 
FreeNAS 企業應用經驗分享 [2016/12/17] @台中資策會
FreeNAS 企業應用經驗分享 [2016/12/17] @台中資策會FreeNAS 企業應用經驗分享 [2016/12/17] @台中資策會
FreeNAS 企業應用經驗分享 [2016/12/17] @台中資策會
 
開源 x 節流:企業導入經驗分享 (一)+(二) [2016/07/21] A+A Space 開源講座
開源 x 節流:企業導入經驗分享 (一)+(二)  [2016/07/21] A+A Space 開源講座開源 x 節流:企業導入經驗分享 (一)+(二)  [2016/07/21] A+A Space 開源講座
開源 x 節流:企業導入經驗分享 (一)+(二) [2016/07/21] A+A Space 開源講座
 
Taichung City:人文溫度,城市智慧。
Taichung City:人文溫度,城市智慧。Taichung City:人文溫度,城市智慧。
Taichung City:人文溫度,城市智慧。
 
開源 x 節流:企業導入實例分享 (二) [2016/03/31] 文件自由日研討會
開源 x 節流:企業導入實例分享 (二) [2016/03/31] 文件自由日研討會開源 x 節流:企業導入實例分享 (二) [2016/03/31] 文件自由日研討會
開源 x 節流:企業導入實例分享 (二) [2016/03/31] 文件自由日研討會
 
開源 x 節流:企業導入實例分享 (一) [2016/03/31] 文件自由日研討會
開源 x 節流:企業導入實例分享 (一) [2016/03/31] 文件自由日研討會開源 x 節流:企業導入實例分享 (一) [2016/03/31] 文件自由日研討會
開源 x 節流:企業導入實例分享 (一) [2016/03/31] 文件自由日研討會
 
Observium 開源SNMP主機監控平台 [2016/01/28]
Observium 開源SNMP主機監控平台 [2016/01/28]Observium 開源SNMP主機監控平台 [2016/01/28]
Observium 開源SNMP主機監控平台 [2016/01/28]
 
Zimbra 開源企業訊息平台功能介紹 [2015/11/25]
Zimbra 開源企業訊息平台功能介紹 [2015/11/25]Zimbra 開源企業訊息平台功能介紹 [2015/11/25]
Zimbra 開源企業訊息平台功能介紹 [2015/11/25]
 
簡單易用的電腦軌跡資料分析工具 [2015/11/18]
簡單易用的電腦軌跡資料分析工具 [2015/11/18]簡單易用的電腦軌跡資料分析工具 [2015/11/18]
簡單易用的電腦軌跡資料分析工具 [2015/11/18]
 

Recently uploaded

爱宝时(EPOS)复刻机械手表哪里卖【微信☆899486682】复刻劳力士手表价格多少钱
爱宝时(EPOS)复刻机械手表哪里卖【微信☆899486682】复刻劳力士手表价格多少钱爱宝时(EPOS)复刻机械手表哪里卖【微信☆899486682】复刻劳力士手表价格多少钱
爱宝时(EPOS)复刻机械手表哪里卖【微信☆899486682】复刻劳力士手表价格多少钱
liangzhe2
 
遗失身份证号码大全【官网:bzw987.com】异地办理身份证
遗失身份证号码大全【官网:bzw987.com】异地办理身份证遗失身份证号码大全【官网:bzw987.com】异地办理身份证
遗失身份证号码大全【官网:bzw987.com】异地办理身份证
jieoqndm
 
离职证明范本【官网:bzw987.com】离职证明模板
离职证明范本【官网:bzw987.com】离职证明模板离职证明范本【官网:bzw987.com】离职证明模板
离职证明范本【官网:bzw987.com】离职证明模板
yangpgnx
 
谷歌留痕技术教程【推广网址☆seotg8.com】谷歌留痕教学
谷歌留痕技术教程【推广网址☆seotg8.com】谷歌留痕教学谷歌留痕技术教程【推广网址☆seotg8.com】谷歌留痕教学
谷歌留痕技术教程【推广网址☆seotg8.com】谷歌留痕教学
pingbizh
 
假证是怎么办的【官网:zhengjian.shop】假证是怎么制作的
假证是怎么办的【官网:zhengjian.shop】假证是怎么制作的假证是怎么办的【官网:zhengjian.shop】假证是怎么制作的
假证是怎么办的【官网:zhengjian.shop】假证是怎么制作的
fenblxwy
 

Recently uploaded (20)

爱宝时(EPOS)复刻机械手表哪里卖【微信☆899486682】复刻劳力士手表价格多少钱
爱宝时(EPOS)复刻机械手表哪里卖【微信☆899486682】复刻劳力士手表价格多少钱爱宝时(EPOS)复刻机械手表哪里卖【微信☆899486682】复刻劳力士手表价格多少钱
爱宝时(EPOS)复刻机械手表哪里卖【微信☆899486682】复刻劳力士手表价格多少钱
 
春药购买虾皮shopee【网址☆THC88.com】春药买卖
春药购买虾皮shopee【网址☆THC88.com】春药买卖春药购买虾皮shopee【网址☆THC88.com】春药买卖
春药购买虾皮shopee【网址☆THC88.com】春药买卖
 
遗失身份证号码大全【官网:bzw987.com】异地办理身份证
遗失身份证号码大全【官网:bzw987.com】异地办理身份证遗失身份证号码大全【官网:bzw987.com】异地办理身份证
遗失身份证号码大全【官网:bzw987.com】异地办理身份证
 
网上哪卖迷药如何买【网址☆THC88.com】网上能买到吗迷药
网上哪卖迷药如何买【网址☆THC88.com】网上能买到吗迷药网上哪卖迷药如何买【网址☆THC88.com】网上能买到吗迷药
网上哪卖迷药如何买【网址☆THC88.com】网上能买到吗迷药
 
如何买卖迷药价格【网址☆THC88.com】如何买迷药
如何买卖迷药价格【网址☆THC88.com】如何买迷药如何买卖迷药价格【网址☆THC88.com】如何买迷药
如何买卖迷药价格【网址☆THC88.com】如何买迷药
 
催情药制作方法【网址☆THC88.com】催情药制作方法是什么
催情药制作方法【网址☆THC88.com】催情药制作方法是什么催情药制作方法【网址☆THC88.com】催情药制作方法是什么
催情药制作方法【网址☆THC88.com】催情药制作方法是什么
 
澳门学生同城包夜【选妞网址☆qmm123.com】澳门哪里有美女伴游
澳门学生同城包夜【选妞网址☆qmm123.com】澳门哪里有美女伴游澳门学生同城包夜【选妞网址☆qmm123.com】澳门哪里有美女伴游
澳门学生同城包夜【选妞网址☆qmm123.com】澳门哪里有美女伴游
 
离职证明范本【官网:bzw987.com】离职证明模板
离职证明范本【官网:bzw987.com】离职证明模板离职证明范本【官网:bzw987.com】离职证明模板
离职证明范本【官网:bzw987.com】离职证明模板
 
上海同城上门品茶【选妞网址☆qmm123.com】上海同城上门特殊服务
上海同城上门品茶【选妞网址☆qmm123.com】上海同城上门特殊服务上海同城上门品茶【选妞网址☆qmm123.com】上海同城上门特殊服务
上海同城上门品茶【选妞网址☆qmm123.com】上海同城上门特殊服务
 
北京西城区小妹伴游【选妞网址☆qmm123.com】北京西城区洋妞特殊服务
北京西城区小妹伴游【选妞网址☆qmm123.com】北京西城区洋妞特殊服务北京西城区小妹伴游【选妞网址☆qmm123.com】北京西城区洋妞特殊服务
北京西城区小妹伴游【选妞网址☆qmm123.com】北京西城区洋妞特殊服务
 
澳门约炮【选妞网址☆qmm123.com】澳门高端小姐全套
澳门约炮【选妞网址☆qmm123.com】澳门高端小姐全套澳门约炮【选妞网址☆qmm123.com】澳门高端小姐全套
澳门约炮【选妞网址☆qmm123.com】澳门高端小姐全套
 
迷魂药网上订购【网址☆THC88.com】迷魂药网上购买
迷魂药网上订购【网址☆THC88.com】迷魂药网上购买迷魂药网上订购【网址☆THC88.com】迷魂药网上购买
迷魂药网上订购【网址☆THC88.com】迷魂药网上购买
 
谷歌留痕技术教程【推广网址☆seotg8.com】谷歌留痕教学
谷歌留痕技术教程【推广网址☆seotg8.com】谷歌留痕教学谷歌留痕技术教程【推广网址☆seotg8.com】谷歌留痕教学
谷歌留痕技术教程【推广网址☆seotg8.com】谷歌留痕教学
 
真的有迷药嗎【网址☆THC88.com】真迷药哪里有卖
真的有迷药嗎【网址☆THC88.com】真迷药哪里有卖真的有迷药嗎【网址☆THC88.com】真迷药哪里有卖
真的有迷药嗎【网址☆THC88.com】真迷药哪里有卖
 
发春药在哪卖【网址☆THC88.com】发春药怎么购买
发春药在哪卖【网址☆THC88.com】发春药怎么购买发春药在哪卖【网址☆THC88.com】发春药怎么购买
发春药在哪卖【网址☆THC88.com】发春药怎么购买
 
迷醉药如何购买【网址☆THC88.com】迷醉药售卖
迷醉药如何购买【网址☆THC88.com】迷醉药售卖迷醉药如何购买【网址☆THC88.com】迷醉药售卖
迷醉药如何购买【网址☆THC88.com】迷醉药售卖
 
假证是怎么办的【官网:zhengjian.shop】假证是怎么制作的
假证是怎么办的【官网:zhengjian.shop】假证是怎么制作的假证是怎么办的【官网:zhengjian.shop】假证是怎么制作的
假证是怎么办的【官网:zhengjian.shop】假证是怎么制作的
 
三唑仑拼多多购买【网址☆THC88.com】三唑仑如何购买
三唑仑拼多多购买【网址☆THC88.com】三唑仑如何购买三唑仑拼多多购买【网址☆THC88.com】三唑仑如何购买
三唑仑拼多多购买【网址☆THC88.com】三唑仑如何购买
 
三唑仑购买方式【网址☆THC88.com】三唑仑购买渠道
三唑仑购买方式【网址☆THC88.com】三唑仑购买渠道三唑仑购买方式【网址☆THC88.com】三唑仑购买渠道
三唑仑购买方式【网址☆THC88.com】三唑仑购买渠道
 
广州哪里有夜场小姐【选妞网址☆qmm123.com】广州兼职模特特殊服务
广州哪里有夜场小姐【选妞网址☆qmm123.com】广州兼职模特特殊服务广州哪里有夜场小姐【选妞网址☆qmm123.com】广州兼职模特特殊服务
广州哪里有夜场小姐【选妞网址☆qmm123.com】广州兼职模特特殊服务
 

Proxmox VE 5.3 Cluster, High Availability & Others [20181223] @集思台大會議中心