使用 Pytest 進行單元測試 (PyCon TW 2021)

Max Lai
使用 Pytest 進行單元測試

About Me
• Max Lai
• 童綜合醫院資訊部高級管理師
• 負責AI醫療影像技術研發
• 社群經歷
• 2014年6月共同發起「Taichung.py 」 Meetup
• 2014年12月發起並主持「台中敏捷社群」活動
• 2015~2018年「台中敏捷之旅研討會」主辦人
• PyCon TW 2018, 2020 投稿分享

今天的 demo code
https://github.com/cclai999/pycontw21-pytest

為什麼需要寫測試呢？
• 證明程式碼是依照自己想的一樣地在執行
• 手動驗證程式，非常麻煩，而且不能確定每次測試方式都是相同的
• 有了測試程式就能夠每次都執行相同的驗證條件
• 避免改A壞B
• 為了將來修改程式時設置一個安全網
• 給其他人一個如何使用自己程式的一個範例

執行環境準備(PyCharm Setup for Pytest)
• 安裝 Miniconda
• 安裝 PyCharm
• 安裝 Pytest

安裝 Miniconda
• Windows 安裝說明， https://bit.ly/38pBIcr
• macOS 安裝說明， https://bit.ly/3sXiOTN
• Linux(Ubuntu) 安裝說明， https://bit.ly/3jqnxdk

安裝 PyCharm
• 下載 PyCharm
https://www.jetbrains.com/pycharm/download/

PyCharm Setup for Pytest(1/9)
建立新專案

設定新專案名稱：
“pytestlab”

設定 default
test runner

設定 default
test runner
(cont.)

pip install pytest
建立專案後在 Terminal
用 pip 安裝 pytest

Create test file.

測試 Pytest 是否能正確執行

執行 Pytest

test pass!!!

Demo Project
• clone project@github
• 在 PyCharm 中將專案的 interpreter 設定為 pytestlab
git clone git@github.com:cclai999/pytest-2021.git
conda create --name pytestlab python=3.8

unittest
test_hello_unittest.py
1. import unittest
2. 建立 TestHello class (繼承 unittest.TestCase)
3. 在 TestHello 為每一個測試案例實作一個 method
4. 使用 self.assert* 來進行 assertions
More: list of unittest assert methods

執行 unittest
python -m unittest test_hello_unittest.py
.
--------------------------------------------------
Ran 1 test in 0.000s
OK

pytest
test_hello_pytest.py
1. Pythonic
2. 支援 unittest test case
3. 只需要 assert，不需要記 assert* (ex. assertEqual)
4. 更多的進階功能 (e.g., fixture, mark, parametrize and etc.)
5. 強大的套件

執行 pytest
$ pytest test_hello_pytest.py
“F” 表示測試沒有通過，如果出現 “.” 則表示成功

執行 pytest
$ pytest -v test_hello_pytest.py

pytest test 命名規則
• Test file name:
recognizes test_*.py or *_test.py as the test files.
• Test function name:
requires the test method names to start with “test”.

何謂單元測試
Wikipedia 的定義
• Unit tests are typically automated tests written and run by
software developers
• to ensure that a section of an application (known as the “unit”)
• meets its design and behaves as intended.
• In procedural programming, a unit could be an entire module,
but it is more commonly an individual function or procedure.
source: https://en.wikipedia.org/wiki/Unit_testing

何謂單元測試(cont.)
• 單元測試是一段自動化程式碼，
• 這段程式碼會呼叫被測試的工作單元之入口點，
• 然後檢查其中一個出口點。
• 單元測試大多數是使用單元測試框架編寫的。
• 它可以輕鬆地被編寫並且能夠快速運行。
• 它是可信賴的，可讀的以及可維護的。
• 只要我們產品程式碼沒有改變，單元測試的執行結果就應該是穩定
一致的。
source: The Art of Unit Testing, 3rd

三種單元測試的出口驗證

1st SUT 出口驗證
• 進入點(entry point): sum(a,b)
• 出口點(exit point): return value
SUT
sum(a, b)
return value
• SUT： Sytem Under Test, 被測試系統
• 有些人會稱為 CUT (Class Under Test or Code Under Test)

1st SUT exit 驗證(cont.)
Production code Test code

2nd SUT 出口驗證
• 進入點(entry point): M+(a)
• 出口點(exit point): MR(有時並沒有外部可存取的 getter)
SUT
M+
Calculator
[total]
MR

3rd SUT 出口驗證
• 進入點(entry point): check(體溫)
• 出口點(exit point): disp(msg), 在電子看板秀警告文句
SUT
體溫
電子
看板
3rd party lib

如何測試 exception 的狀況(1/3)
production code (calculator.py)

test code pass (test_calculator.py)

test code fail (test_calculator.py)

PyCharm Demo
c_exception/test_calculator.py

參數化測試
production code (triangle.py)

參數化測試
test code (test_triangle.py)

PyCharm Demo
d_parametrize/test_triangle.py

Part 2

3A 原則
一個單元測試通常包含了三個行為
1. Arrange：準備物件、建立物件、進行物件必要的設定；
2. Act：操作物件；
3. Assert：驗證執行結果符合預期

Fixture
在單元測試之前先建立好變數或物件，可重覆利用

$ pytest -v --setup-show test_fixtures.py
test_fixtures.py::test_some_data
SETUP F some_data
test_fixtures.py::test_some_data (fixtures used: some_data)PASSED
TEARDOWN F some_data
test_fixtures.py::test_inc_data
SETUP F some_data
test_fixtures.py::test_inc_data (fixtures used: some_data)PASSED
TEARDOWN F some_data
================================ 3 passed in 0.07s =============================
Fixture 的 SETUP & TEARDOWN

fixture — yield
• The code before the yield runs before each test;
• The code after the yield runs after the test.
$ pytest -v -s test_yield.py
test_yield.py::test Pre condition
Body of test
PASSEDPost condition
#1
#2
#3

fixture — conftest.py
在測試的Path下，將 fixture 存在 conftest.py 文件，進行全局配置
test/conftest.py 檔案中的 fixture可以給
test_a.py, test_b.py, test_c.py, 以及 test_d.py
中使用
test/sub/conftest.py 只可以給 test_c.py, 以及
test_d.py 中使用
tests
├── conftest.py
├── test_a.py
├── test_b.py
└── sub
├── __init__.py
├── conftest.py
├── test_c.py
└── test_d.py

PyCharm Demo
e_fixture/test_fixtures.py
e_fixture/test_yield.py

二種單元測試的外部依賴

優秀單元測試的特性：
• 它應該運行得很快。
• 它總是會得到相同的結果(如果你沒有更動產品程式碼)。
• 它跟其他單元測試應該是完全獨立。
• 它應該在不需要作業系統檔、網路、資料庫的情況就能運行。

外部依賴的可能問題
• SUT：System Under Test或Software Under Test，待測程式。
• DOC：Depended-on Component（相依元件）。DOC是SUT
執行的時候會使用到的元件。
問題
• 當SUT所依賴的模組(DOC)無法被呼叫時，我們如何獨立驗證
SUT 的邏輯？
• 我們如何避免測試執行太慢？
source: xUnit Patterns - Test Double

Test Double (測試替身)
• 當SUT所依賴的 DOC 用一個 “特定於測試的等效項” 來取代
• 特定於測試的等效項： test-specific equivalent, Test Double

Types of Test Double

1st 外部依賴 – 傳入依賴
• 非出口點的依賴關係
• 它們並不代表該工作單元最終行為
• 它們只是在此處為工作單元提供特定於測試的專用資料或行為
• 例如：
• 資料庫查詢的結果
• 文件系統上文件的內容
• 網路的回應等
• 這些是先前的系統運作的結果，
是被動資料，向內流入工作單元。 SUT
Test 出口點
DOC
入口點
Data or behavior
傳入依賴

使用 STUB 隔離傳入依賴
• 利用假的 modules, objects 或 functions 向 SUT 提供假行為或數據
• 我們不會對它們做 assert
• 在一個單元測試中可能會有多個 stub
SUT
Test 出口點
DOC
入口點
特定的 Data or behavior
STUB

傳入依賴範例 – get 手術清單 from db
產生 exception
production code
test code
外部相關函式

傳入依賴範例 – get 手術清單 from db

使用 Mock Object 模擬外部相關函式回傳資料
– fixture
– mocker

pytest-mock plug-in
• 提供 mocker fixture
• 為 unittest.mock 提供一個較簡單的 API 封裝
• Install:
pip install pytest-mock

2nd 外部依賴 – 傳出依賴
• 工作單元出口的依賴關係
• 例如：
• 呼叫 logger，
• 將某些內容保存到資料庫，
• 發送電子郵件，
• 向Webhook API push message
• 這些都是動詞：
• “呼叫”，“發送” 和 “通知”
SUT
Test
出口點
DOC
入口點
傳出依賴

使用 Mock 打破輸出依賴
• Mock 代表單元測試中的出口點。
• 以驗證 SUT 和 Mock 的互動方式來判斷測試是否通過
• 通常每個測試只會有一個 Mock 以保持測試碼的可維護性和可讀性
SUT
Test DOC
入口點
MOCK
記錄互動
出口點

如何測試互動方式
• 檢查工作單元(SUT)如何呼叫DOC函數
• 以 Mock function/object 來記錄互動過程
• 在單元測試程式碼中檢查SUT對DOC的呼叫是正確的 (assert)

多個 Stub vs 一個 Mock
SUT
Test DOC
入口點
MOCK
記錄互動
出口點
DOC
STUB
DOC
STUB

輸出依賴範例 – 驗證正確呼叫 log
production code
test code
如何驗證寫入log?

使用 Mock Object 確認是否傳入正確參數
– mocker：驗證傳入參數是否正確以及僅呼叫一次
• assert_called()
• assert_called_with()
• assert_any_call()
• …
source: python doc
test_lib_mock.py::test_room602_operations_log PASSED [100%]
======================== 1 passed in 0.03s =========================

使用 mocker.spy 記錄互動並且呼叫DOC
– mocker：驗證傳入參數是否正確以及僅呼叫一次
test_lib_mock.py::test_room602_operations_log_with_spy PASSED [100%]
實務上應該會 log 到檔案，不會在這邊看到。 msg: Query for room-'602'.
============================ 1 passed in 0.03s ==============================

PyCharm Demo
f_stub_mock_operation

Part 3

整合測試
• 有時候單一模組完全通過單元測試
• 但與其他模組互動時，還是有可能發生錯誤
• 右圖是兩個元件整合時所發生的問題
• 整合測試便是要確保
模組與模組之間的互動行為是正確的

測試金字塔
source: The Practical Test Pyramid

flask-todos
Flask demo for RESTful API for Todo demo
flask-dodos
├── app
│ ├── __init__.py
│ ├── models.py
│ └── routes.py
├── test
│ ├── conftest.py
│ └── test_todos.py
├── config.py
├── main.py
└── requirements.txt
HTTP
Method
Action Examples
GET 取得資源的所有資料
http://[hostname]/api/tasks
取得待辦事項清單
GET 取得資源的特定資料
http://[hostname]/api/tasks/1
取得編號-1的待辦事項
POST 新增一筆資料
http://[hostname]/api/tasks
提供細節資料以新增待辦事項
PUT 更新某一待辦事項資料
更新編號-1待辦事項的資料
DELETE 刪除某一待辦事項
刪除更新編號-1待辦事項

flask-todos – fixture(1)
運作工廠模式每一個單元測試都重新建立一個 DB
conftest.py
#1 Flask 工廠模式傳入 ENV＝’Test’
#2載入 TestConfig

flask-todos – fixture(2)
每一個單元測試都重新建立一個 DB
conftest.py
1) 建立 DB 資料表
2) 插入二筆資料
3) 轉換至單元測試
4) 刪除資料庫表格
#1
#2
#3
#4

flask-todos – test_todos.py
# 二個單元測試有獨立DB
# 不會互相干擾
source: Testing Flask Applications

$ pytest -v --setup-show test/test_todos.py
test/test_todos.py::test_add_task_should_return_task3
SETUP F client
test/test_todos.py::test_add_task_should_return_task3 (fixtures used:
client)PASSED
TEARDOWN F client
test/test_todos.py::test_query_tasks_with_2_rows_should_return_2_tasks
SETUP F client
test/test_todos.py::test_query_tasks_with_2_rows_should_return_2_tasks
(fixtures used: client)PASSED
TEARDOWN F client
test/test_todos.py::test_query_task3_with_2_rows_should_return_error
SETUP F client
test/test_todos.py::test_query_task3_with_2_rows_should_return_error
(fixtures used: client)PASSED
TEARDOWN F client
================================ 3 passed in 0.07s =============================

pytest plug-in
• pytest-mock: mock object
• pytest-cov: code coverage
• pytest-freezegun: free time
more: Awesome pytest

Code Coverage (程式碼覆蓋率)
• 軟體測試中的一種度量
• 描述程式中原始碼被測試的比例
• coverage.py 是最常被用來量測 code coverage 的工具
• pytest-cov 則是可以在 pytest 呼叫 coverage.py 的 plug in

Code Coverage (程式碼覆蓋率)
• install coverage.py
• run pytest with coverage
pip install pytest-cov
pytest tests.py --cov=.
pytest tests.py --cov=. --cov-report=html
pytest tests.py --cov=. --cov-report=xml

覆蓋率是否愈多愈好？
• 以 ROI 考慮單元測試覆蓋率：
先要找有商業邏輯判斷的程式碼
• 相對趨勢 > 絕對數字：
每次 commit 的 code coverage 不要下降

如何 Mock 系統時間
• 情境：預約疫苗
• 實作一個 function book_vaccine()
• 如果目前時間 > 2021/6/14 8:00, 回傳 “開始預約”
• 否則回傳 “2021-06-14 08：00 才能預約”

預約疫苗 (Mock系統時間)

系統時間無法簡單地使用 mock object
E AttributeError: <module 'datetime' from
'/Users/maxlai/miniconda3/envs/pytestlab/lib/python3.8/datetime.py’>
does not have the attribute 'now'

pytest-freezegun:
在測試時固定系統時間. 安裝: pip install pytest-freezegun

重點回顧
單元測試
• What？Why？How？
• 設置一個安全網
三種出口測試
二種外部依賴
• Mock Object
3A 原則 • Arrange: fixture; Act; Assert
Flask 整合測試
• 測試金字塔：#單元測試＞ #整合測試
• fixture; yield; app.test_client()
程式碼覆蓋率
• 考慮 ROI
• 相對趨勢 > 絕對數字
Plugins
• coverage (pytest-cov)
• system time (pytest-freezegun)
• Requests (requests-mock)
• and others.

參考資料
• Python Testing with pytest
• The Art of Unit Testing, 3rd
• Testing Flask Applications
• 15 amazing pytest plugins
• Python Table Manners - 測試 (一)

使用 Pytest 進行單元測試 (PyCon TW 2021)

More Related Content

What's hot

Similar to 使用 Pytest 進行單元測試 (PyCon TW 2021)

使用 Pytest 進行單元測試 (PyCon TW 2021)