第九章 非功能性需求的測試 Non-functional requirement

1. 第九章
非功能性需求的測試
Non-functional requirement

2. 非功能性需求測試
❖ 重點三項
❖ 容量（capacity)：乘載量
❖ 輸送量（throughput)：⼀定時間的處理量
❖ 性能（performance）：單⼀事務處理的時間

3. 出處：http://wayne265265.pixnet.net/blog/post/114240494

4. 什麼叫非功能性需求︖
❖ 容量（capacity)：
❖ 系統容量：AP硬碟空間、資料庫硬碟空間、單⼀Table
的Size
❖ 回應時間：網路問題、傳輸結點太多
❖ 輸送量（throughput)
❖ 每秒可進來的最⼤流量
❖ 網路頻寬是否⾜夠：外部、內部

5. ❖ 安全性
❖ https
❖ TLS、SSL
❖ ftp、ftps、ftps
❖ 性能（performance）:
❖ 所有的集合名詞

6. 非功能性需求的管理
❖ 橫切性(crosscutting)的問題：安全性問題︖糟糕的性能︖
❖ （半路殺出程咬⾦ 橫⼑奪愛的概念）
❖ 分析問題：
❖ 建⽴具體任務
❖ 納入驗收標準

7. ❖ 跨功能性需求（cross-functional requirement）
❖ 系統特徵（system characteristics）
❖ 需決定⼀個系統最重要的考量點是什麼，專案關係⼈要
先決定優先順序
❖ ⾼併發︖
❖ ⾼可⽤性︖

8. ＃真實情況

9. 當效能還不會造成問題時，程式的維護性比考慮效能重要。
80/20法則：會拖慢整體效能的程式，只佔全部程式的⼀一⼩小部分⽽而已，所以
我們只最佳化會造成問題的程式。
接下來來的問題就是，如何找到那⼀一⼩小部分的效能瓶頸，如果⽤用猜的去找那
3%造成效能問題的程式，再⽤用感覺去比較改過之後的效能好像有比較快，
這種作法⼀一點都不科學⽽而且浪費時間。
善⽤用分析⼯工具找效能瓶頸，最佳化前需要測量量，最佳化後也要測量量比較。
太早優化是萬惡惡之源

10. ❖ 效能問題可以分成兩種:
❖ 完全沒有意識到抽象化⼯具、開發框架的效能盲點，
⽽寫下了執⾏效能差勁的程式碼。(本來就爛)
❖ 是對現有程式的效能不滿意，研究如何最佳化，例如
利⽤快取機制隔離執⾏速度較慢的⾼階程式，來⼤幅
提昇執⾏效能。（完美主義者）

11. 解決容量問題可採取的策略
❖ 1. 注意流程 網路邊界 I/O
❖ 2. 暸解並使⽤正確模式 <Release it!>
❖ 2. 簡單的程式風格
❖ 3. 算BigO
❖ 4. 執⾏緒問題。保持單執⾏緒
❖ 5. 建⽴測試
❖ 6. 特徵分析⼯具的使⽤
❖ 7. 真實資料測試

12. <Release It!>
The Timeouts and Fail Fast patterns both address latency problems.
The Timeouts pattern is useful when you need to protect your
system from someone else's failure.
Fail Fast is useful when you need to report why you won't be able to
process some transaction.
Fail Fast applies to incoming requests, whereas the Timeouts
pattern applies primarily to outbound requests.
They're two sides of the same coin.
❖
http://teddy-chen-tw.blogspot.com/2010/06/release-it-design-and-deploy-production.html
錯誤跳出及 最⼤大執⾏行行時間 EX：CURL

13. 容量計量
❖ 擴展性測試：request變多 回應時間變化
❖ 持久性測試：CPU，RAM的變化
❖ 輸送量測試：每秒能處理的量
❖ 負載測試：壓⼒測試

14. –Michael T.Nygard
「這既是藝術，也是科學。完全複製真實⽣產環境
的流量是不可能的，所以需要做流量分析，並結合
經驗和直覺來達成盡量模擬出近似於真實的環境。」

15. 如何定義容量測試成功或失敗︖
❖ ⼀圖勝千⾔。視覺化的圖表
❖ netData cacti zabbix
❖ 設定初始的標準
❖ ＥＸ：每秒處理三筆資料（ＢＹ ＡＰＩ）
❖ 三⼩時僅能處理18,000筆資料.有五萬筆資料改怎麼辦︖

16. 容量測試的環境

17. 經典案例
http://www.jforce.com.tw/knowledge/knowledge_201101.php