Downloaded 13 times
Uploaded byJustin Lin
13.並行、平行與非同步
该文档介绍了Python中的并行、平行和异步编程，重点包括使用threading、multiprocessing和concurrent.futures模块。它详细讨论了线程和进程的工作原理、锁机制、死锁、竞态条件以及如何通过async、await和asyncio实现异步操作。文档还强调了在不同情境下选择合适的并发方式，以提高程序的效率。
13.並行、平行與非同步
- 2. 13.並行、平行與非同步 • 學習目標 – 認識並行、平行與非同步 –使用 threading 模組 – 使用 multiprocessing 模組 – 使用 concurrent.futures模組 – 運用 async、await 與 asyncio 2
- 3.
- 4.
- 5.
- 6. • 雖可以繼承 threading.Thread，在 __init__()呼叫 super().__init__()， 並在類別中定義run()方法來實作執行緒 • 不過是不建議的，因為這會使得你的流程與 threading.Thread 產生相依性 6
- 7.
- 8.
- 9. • python 直譯器同時間只允許執行一個執行 緒，因此並不是真正的平行（Parallel）處 理，只不過「有時候」切換速度快到人類 感覺上像是同時處理罷了 •執行緒適用的場合之一，就是非計算密集 的場合，因為與其等待某個阻斷作業完成， 不如趁著等待的時間來進行其他執行緒 9
- 10.
- 11.
- 12.
- 13. • 如果主執行緒中啟動了額外執行緒，預設 會等待被啟動的所有執行緒都執行完才中 止程式。 • 如果一個Thread 建立時，指定了daemon 參數為 True，在所有的非 Daemon 的執 行緒都結束時，程式就會直接終止 • 如果需要在背景執行一些常駐任務，就可 以指定 daemon 參數為 True。 13
- 14. • 當執行緒使用 join()加入至另一執行緒 時，另一執行緒會等待被加入的執行緒工 作完畢，然後再繼續它的動作 14
- 15.
- 16. 競速、鎖定、死結 • 如果執行緒之間不需要共享資料， 或者共 享的資料是不可變動（Immutable）的型 態，事情會單純一些 •然而，執行緒之間經常得共用一些可變動 狀態的資料… • 要是執行緒之間需要共享的是可變動狀態 的資料，就會有可能發生競速狀況… 16
- 17.
- 18.
- 19.
- 20. • threading.Lock 實作了情境管理器協定， 可以搭配with 來簡化 acquire() 與 release() 的呼叫 20
- 21.
- 22. • 執行緒無法取得鎖定時會造成阻斷，不正 確地使用 Lock有可能造成效能低落，另一 問題則是死結 22
- 23.
- 24. • threading.RLock 實現了可重入鎖 （Reentrantlock） • 同一執行緒可以重複呼叫同一個 threading.RLock 實例的 acquire() 而不被阻斷 • release()時也要有對應於 acquire() 的次數，方可以完全解除鎖定 • threading.RLock 也實作了情境管理器 協定，可搭配 with 來使用 24
- 25. • 另一個經常使用的鎖定機制是 threading.Condition • 某個執行緒在透過acquire() 取得鎖定之 後，若需要在特定條件符合之前等待，可 以呼叫 wait() 方法，這會釋放鎖定 • 若其他執行緒的運作促成特定條件成立， 可以呼叫同一 threading.Condition 實 例的 notify()，通知等待條件的一個執 行緒可取得鎖定 25
- 26. • 若等待中的執行緒取得鎖定，就會從上次 呼叫 wait()方法處繼續執行 • 如果等待中的執行緒有多個，還可以呼叫 notify_all()，這會通知全部等待中的 執行緒爭取鎖定 26
- 27.
- 28.
- 29. • 如果需要這種一進一出，在執行緒之間交 換資料的方式，Python 標準程式庫中提供 了queue.Queue 29
- 30. • 建立Semaphore 可指定計數器初始值 •每呼叫一次 acquire()，計數器值遞減一， 在計數器為0 時若呼叫了 acquire()，執 行緒就會被阻斷 • 每呼叫一次 release()，計數器值遞增一， 如果 release()前計數器為 0，而且有執 行緒正在等待，在 release() 並遞增計數 器之後，會通知等待中的執行緒 30
- 31. • 可以設定一個 Barrier並指定數量 • 如果有執行緒先來到這個柵欄，它必須等 待其他執行緒也來到這個柵欄 • 指定的執行緒數量達到，全部執行緒才能 繼續往下執行 31
- 32.
- 33.
- 34. • subprocess 模組可以讓你在執行Python 程式的過程中，產生新的子行程 34
- 35. • 從 Python3.5 開始，建議使用 run() 函 式來呼叫子行程 • subprocess.run() 執行之後會傳回 CompletedProcess 實例 • 若想要能取得標準輸出的執行結果： 35
- 36.
- 37.
- 38. • subprocess.Popen() 執行程式，會立 即傳回Popen 實例，不會等待子行程結束 38
- 39.
- 40. • 如果想要以子行程來執行函式，然而使用 類似 threading模組的 API 介面，那麼 可以使用 multiprocessing 模組 40
- 41.
- 42. • 建議在使用 multiprocessing模組時， 最好的方式是不要共享狀態 • 然而有時行程之間難免需要進行溝通， multiprocessing.Queue 是執行緒與行 程安全的，實作了必要的鎖定機制 42
- 43.
- 44.
- 45.
- 46.
- 47. 非同步 • Python 3.2新增 concurrent.futures 模組，它提供了執行緒或行程高階封裝， 也便於實現非同步的任務 • 從 Python 3.5 之後，提供了async、 await 等語法，以及 asyncio 模組的支援， 如果非同步任務涉及大量的輸入輸出，可 以善用這些特性 47
- 48. 使用 concurrent.futures • 提供了ThreadPoolExecutor 與 ProcessPoolExecutor 等高階API，分 別為執行緒與行程提供了工作者池的服務 48
- 49.
- 50.
- 51.
- 52. • 使用 map()方法來簡化程式的撰寫 52
- 53. Future 與非同步 • 獨立於程式主流程的任務、事件生成，以 及處理事件的方式，稱為非同步 •使用執行緒或行程時，若想實現非同步概 念，方式之一是採用註冊回呼函式 53
- 54.
- 55. • executor 的submit()執行過後會傳回 Future，擁有 add_done_callback() 55
- 56.
- 57. 略談 yield from與非同步 57
- 58. • 若後續處理為數個非同步函式的話，整個 流程會馬上陷入難以理解的狀態 • Python3.3 時新增了 yield from 語法， Python 3.4 的 asyncio 與某些第三方程式 庫，曾基於這個語法提出了解決方案 • Python 3.5 後建議不要使用 yield from， 建議使用 async、await 58
- 59.
- 60. yield from 與Future 60
- 61.
- 62. • 程式執行雖然是非同步，然而撰寫風格上 卻像是循序 • 若有人想呼叫asyncTasks() 呢？甚至是 在流程上組合多個這類的函式？ 62
- 63.
- 64.
- 65. Asyncio與並行 • 並非一定要多執行緒或多行程，才能實現 並行 • 多執行緒或多行程只是實現並行比較容易 •只要執行環境支援，在單一行程、單一執 行緒中，也有可能實現並行 – 在遇到阻斷操作時會讓出（yield）流程控制權 給呼叫函式者，那呼叫函式的一方，就可以繼 續下個並行任務的啟動 65
- 66. • 如果在定義函式時，加上了 async關鍵字， 呼叫該函式並不會馬上執行函式流程，而 是傳回一個 coroutine 物件 • 想要執行函式中定義的流程，可以透過 asyncio.run() 函式 66
- 67. • async def定義的函式是個非同步任務 •執行asyncio.run()會阻斷，直到該執行 緒完成指定的任務 • 如果有多個任務要指定呢？Python 3.7以 後可以使用asyncio.create_task() 67
- 68. • 必須在async def函式中呼叫 asyncio.create_task() •也就是說，若有多個要執行的非同步任務， 必須在async def的函式中組織 • asyncio.create_task()不會阻斷執行 緒 68
- 69.
- 70. 事件迴圈 • 大部份基於Asyncio的函式，建議使用 asyncio.run()來執行 • 在Python3.7之前沒有 asyncio.create_task()，就是透過這種 方式來建立多個任務 70
- 71.
- 72. • 在Python 3.7以後，若不想傳遞事件迴圈 實例給asyncdef函式，可以使用 asyncio.get_running_loop() 72
- 73. async、await 與非同步 • async用來標示函式執行時是非同步，也 就是函式中定義定義了獨立於程式主流程 的任務 • 後續若要在任務完成時，做進一步的處理 也是可行的 • 從 Python 3.5 開始，可以使用await 73
- 74.
- 75. • 就語義上，若想等待 async函式執行完後， 再執行後續的流程，可以使用await • async 函式的任務完成後若有傳回值，會 成為 await 的傳回值 75
- 76.
- 77.
- 78. 非同步產生器與 async for 78 •迭代產生器時會以阻斷方式讀取 URL 後傳 回 bytes
- 79.
- 80.
- 81.