從「會動就好」到「持續營運」[2023/06/24] @Agile.Taichung
•
1 like•591 views
IT 團隊要如何從監測系統提供協助，改善內部服務的各種故障狀況問題，以及怎麼在發生問題時快速判斷問題原因，甚至是在事件發生前提早準備預防措施？ 講者將分享如何由過去的各種披荊斬棘所開創出來的艱辛道路，血淚經驗分享。 (誇張 XD)
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 從「會動就好」到「持續營運」[2023/06/24] @Agile.Taichung
Similar to 從「會動就好」到「持續營運」[2023/06/24] @Agile.Taichung (20)
More from Jason Cheng
More from Jason Cheng (12)
從「會動就好」到「持續營運」[2023/06/24] @Agile.Taichung
- 2. 事件案例
- 3. 系統上線了
- 4. 系統掛掉了
- 5. 問題出在那？
- 7. 郵件伺服器 (實體機) 每週⼀早上 05:30 必定死當，需要強制按硬體的重開機鍵才 會恢復 然後下週⼀同個時間⼜死當了 經典案例 2
- 8. UPS 不斷電系統三不五時會⾃⼰⾯板閃⼀ 下，切過去 bypass 模式⼜回來 online 模式 換過 UPS 機板、電池還是⼀樣 經典案例 3
- 9. ERP 伺服器每天早上⼗點多與下午三點都 慢到爆，使⽤者抱怨連連 可是怎麼查 ERP 的服務跟程式都沒有問 題，不知道是什麼原因 經典案例 4
- 11. 有⼀台 Linux 上的 Apache Web Server 常常⾃⼰停掉，⽽且是連 Process 都不⾒ 雖然⼿動重啟就恢復，但不知道問題在那 何時掛掉 經典案例 6
- 12. 公司內部系統都有上 SSL 憑證啟⽤ https 通訊協定，時間到了也有更換新的 憑上去 但還是發⽣有使⽤者開啟某些系統時瀏覽 器出現警告不敢⽤，IT 被罵死了 經典案例 7
- 13. 公司的網站、郵件、其它對外系統忽然從 外部全都上不了 瀏覽器出現網域無法解析 IP 位址 (NAME NOT RESOLVED) 經典案例 8
- 27. 某標案中，開發應⽤程式的 Partner 說虛 擬機有幾台 Windows 常常效能很慢會卡 住，是不是主機本⾝效能有問題啊？ 經典案例 22
- 28. ERP AP Server 常常當機，每次都是請⼈ 把他重啟就好，可是⼀直不知道原因？ 經典案例 23
- 33. A 系統 B 系統 OK C 系統 OK D 系統 OK FAIL 或者： 使⽤者回報 A 系統故障不能使⽤，於是... 不知原因在那，只能就使⽤者回報悶頭查， 結果造就了⼀⼤堆無⽤的⼯作與時間浪費。
- 34. 曾有 SI 找我去拜訪⼀個客⼾，看看可以 怎麼幫他解決系統狀況檢查的問題。 他說：伺服器 x 20 台 他說：每⼀台檢查狀況 x 5 分鐘 他說：每天早上上班後檢查 我說：你每天浪費 20x5=100 分鐘 經典案例
- 35. 早期作法 剛開始還不知道怎麼做
- 41. 中期作法 感到缺乏很多東西
- 42. 中 期 作 法 HostMonitor (Advanced) 持續檢查 多裝置檢查 多協定檢查 產製 HTML 看板 歷程檢視 價格實惠 ⼯具檢查 圖片出處 https://www.ks-soft.net/hostmon.eng/screens.htm
- 46. 後期作法 必須更換更進階的⼯具
- 47. 後 期 作 法 要知道主機效能狀況 (CPU/RAM) 後期需要啥？ [例] 公司 EIP 服務連上去網⾴載⼊很久，管理者 要 RDP 連進去做處理畫⾯卡死不動，不知道 是卡在什麼地⽅？是處理器忙到 100% 還是 記憶體佔⽤過⾼導致效能低落？
- 48. 後 期 作 法 要知道網路流量狀況 (Network) 後期需要啥？ [例] 從檔案伺服器要開啟公司的軟體開發⽂件規 範，平常開點⼀下就完成了，現在使⽤者說 等了 2 分鐘還開不起來，是太多⼈使⽤所以 塞⾞嗎？
- 49. 後 期 作 法 要知道磁碟可⽤容量多少 (DISK Free Space) 後期需要啥？ [例] 公司的 ERP 系統使⽤率⾮常⾼，每天有很多 新表單產⽣，資料成⻑很快，會不會有⼀天 把磁碟塞爆了？
- 50. 後 期 作 法 要知道磁碟效能如何 (Disk I/O、IO Wait) 後期需要啥？ [例] 公司的版本控制伺服器 GitLab 在開發⼈員 ⼤量提交程式碼的時候超慢，但是 CPU、 RAM 跟網路看起來都很涼，這是發⽣什麼事 了？
- 52. 後 期 作 法 要可以調閱指定時間區間的數據 後期需要啥？ [例] 端午連假後上班，發現公司的郵件伺服器掛 了，我想知道是什麼時候故障的，故障之前 發⽣了什麼事，有沒有什麼癥狀或線索可以 追溯研究的？
- 53. 後 期 作 法 WhatsUp Gold (商業軟體) Nagios + Cacti (開源軟體，前者有商業版本) Icinga2 (開源軟體，分⽀⾃ Nagios) Observium (開源軟體，有付費進階版本) LibreNMS (開源軟體，分⽀⾃ Observium) 幾種選擇 除了 WhatsUp，其它我都有實際上線過
- 54. L i b r e N M S ICMP SNMP BMC (IPMI) Agent (Check_Mk) App. (SNMP Extend) Service (Nagios Plugin) Log (Syslog) Config (Oxidized) 裝置資料採集
- 69. L i b r e N M S 網⾴服務 收寄服務 系統服務 DNS 記錄 (MX, SPF, DKIM, DMRAC) 延遲佇列 RBL 檢測 郵件閘道 服務監測：
- 70. L i b r e N M S 網⾴服務 郵件服務 (SMTP/IMAP/POP3) 系統服務 對外信箱 (狀態檢查、容量檢查) 檔案稽核 (CRONTAB、PASSWD) 郵件伺服器 服務監測：
- 73. L i b r e N M S 管理介⾯ 叢集連線 節點服務運作 節點磁碟健康 節點儲存容量 節點 IO 延遲 ZFS pool 狀況 Ceph pool 狀況 虛擬化平台 服務監測：
- 74. L i b r e N M S 網⾴服務 ES/OS 狀態 ES/OS 磁碟 ES/OS 記憶體 JVM 執⾏緒 索引狀態 索引失敗 記錄伺服器 服務監測：
- 76. L i b r e N M S 管理介⾯ DHCP 服務探索 DHCP 派發檢查 ntopng 服務 netdata 服務 maltrail 服務 ⾃⾏開發服務 防火牆/路由器 服務監測：
- 78. L i b r e N M S 到 Nagios Exchange 找尋合⽤的 如果沒有可⽤的檢測服務⼯具怎麼辦？
- 79. L i b r e N M S bash python perl go powershell php ruby … 依 Nagios Plugin 指引⾃⾏開發 如果沒有可⽤的檢測服務⼯具怎麼辦？
- 80. L i b r e N M S 標準輸出值 0=OK 1=Warning 2=Critical 3=Unknown 依 Nagios Plugin 指引⾃⾏開發 如果沒有可⽤的檢測服務⼯具怎麼辦？ 資料出處 https://nagios-plugins.org/doc/guidelines.html#PLUGOUTPUT 效能資料 'label'=value[UOM];[warn];[crit];[min];[max] Label=效能資料名稱，例如CPU使⽤率 UOM=量測單位，如 s=秒、%=百分⽐、B=Byte
- 81. L i b r e N M S 客⼾說系統掛了 連 LibreNMS 也 這樣怎麼查問題 沒有發出告警 於是我看了⼀下 還原事件現場實錄 事件出處 http://blog.jason.tools/2020/09/librenms-event-analysis.html
- 82. L i b r e N M S 連⾄備⽤ LibreNMS 記錄過 VM 網卡掛掉 表⽰沒⼈關⼼過警報 開始查看該網卡連接 還原事件現場實錄 事件出處 http://blog.jason.tools/2020/09/librenms-event-analysis.html
- 83. L i b r e N M S VM 連接到的儲存降級 因網卡掛掉故連接異常 這個儲存區從未⾒過 VM 寫⼊⾏為全部失敗 還原事件現場實錄 事件出處 http://blog.jason.tools/2020/09/librenms-event-analysis.html
- 87. 間距 差異 5 分鐘 1 分鐘 1 秒鐘
- 88. Prometheus (開源軟體) InfluxDB (開源軟體，另有商業版本) 選擇⼆：指標伺服器 Grafana (開源軟體，另有商業版本) 選擇⼆：搭配圖表平台 選擇⼀：本機監測 netdata (開源軟體，另有商業版本)
- 100. 事件檢視器 (Windows 內建) NirSoft FullEventLogView (免費軟體) LogonTracer (開源軟體) 選擇⼀：Eventlog 檢視軟體 前者太慢，中間陽春，最後⼀ 個僅能⽤於分析帳⼾資安事件
- 101. 記事本 (Windows 內建) Notepad++ (開源軟體) VSCode (開源軟體) Klogg (開源軟體) 選擇⼆：Log 檔案檢視軟體 當遇到超⼤容量 Log 檔時，唯⼀選擇 Klogg
- 103. Splunk (商業軟體) Arcsight (商業軟體) ELK/EFK (開源軟體，有商業軟體版本) Graylog (開源軟體，有商業軟體版本) 選擇三：中央收集 Log 伺服器 以開源社群軟體版本來看，最後⼀項最合我意
- 104. G r a y l o g GELF Syslog NetFlow Raw Eventlog (NXLog) Log File (NXLog) DB Data (NXLog) ⽀援記錄收集
- 105. G r a y l o g 資料來源 https://docs.graylog.org/docs 端點 伺服器 存放記錄與索引 管理者 存放記錄以外的所有設定 (input, stream, extractor, pipeline, rule, alert…)
- 108. G r a y l o g OpenLDAP Samba 使⽤命令 連線來源 繫結帳⼾ 篩選對象 搜尋基礎 LDAP 網域 本案採⽤ UCS (Univention Corporate Server)
- 123. G r a y l o g 備份失敗 複寫失敗 磁碟錯誤 Disk I/O Error Ceph OSD Error 節點事件 故障隔離 Fence 虛擬平台 Proxmox VE
- 125. 發送告警通知 有了 LibreNMS 與 Graylog，就可以建⽴告警機制
- 126. 通訊軟體 即時發送 了解狀況 告警訊息
- 127. 電⼦郵件 即時發送 了解狀況 告警訊息
- 129. LibreNMS Alert Transport 呼叫外部 API ⾃⾏撰寫 API 執⾏預期⾏為 例如重啟服務 變通⽅案
- 130. Graylog Notifications 呼叫外部 API ⾃⾏撰寫 API 執⾏預期⾏為 例如將惡意 IP 經 由防⽕牆 API 寫⼊ 拒絕清單 變通⽅案
- 131. 查證 ▶ 告警 ▶ 預防 建⽴平台，從無到有，繼續改善
- 132. 結論
- 135. 參考資料