Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

並行與平行

1,577 views

Published on

《Python 3.5 技術手冊》第 13 章投影片

Published in: Software
  • Be the first to comment

並行與平行

  1. 1. 13. 並行與平行 • 學習目標 – 認識並行與平行處理 – 使用 threading 模組 – 使用 multiprocessing 模組
  2. 2. 簡介執行緒
  3. 3. • 雖可以繼承 threading.Thread, 在 __init__()呼叫 super().__init__(), 並在類別中定義run()方法來實作執行緒 • 不過是不建議的,因為這會使得你的流程與 threading.Thread 產生相依性
  4. 4. • python 直譯器同時間只允許執行一個執行 緒,因此並不是真正的平行(Parallel)處 理,只不過「有時候」切換速度快到人類 感覺上像是同時處理罷了 • 執行緒適用的場合之一,就是非計算密集 的場合,因為與其等待某個阻斷作業完成, 不如趁著等待的時間來進行其他執行緒
  5. 5. • 對於計算密集的任務,使用執行緒不見得 會提高處理效率,反而容易因為直譯器必 須切換執行緒而耗費不必要的成本,使得 效率變差。
  6. 6. • 如果主執行緒中啟動了額外執行緒,預設 會等待被啟動的所有執行緒都執行完才中 止程式。 • 如果一個 Thread 建立時,指定了daemon 參數為 True,在所有的非 Daemon 的執 行緒都結束時,程式就會直接終止 • 如果需要在背景執行一些常駐任務,就可 以指定 daemon 參數為 True。
  7. 7. • 當執行緒使用 join() 加入至另一執行緒 時,另一執行緒會等待被加入的執行緒工 作完畢,然後再繼續它的動作
  8. 8. • 如果要停止執行緒,必須自行實作,讓執 行緒跑完應有的流程
  9. 9. 競速、鎖定、死結 • 如果執行緒之間不需要共享資料, 或者共 享的資料是不可變動(Immutable)的型 態,事情會單純一些 • 然而,執行緒之間經常得共用一些可變動 狀態的資料… • 要是執行緒之間需要共享的是可變動狀態 的資料,就會有可能發生競速狀況…
  10. 10. • 若要避免競速的情況發生,就必須資源被 變更與取用時的關鍵程式碼進行鎖定
  11. 11. • threading.Lock 實作了情境管理器協定, 可以搭配 with 來簡化 acquire() 與 release() 的呼叫
  12. 12. • 由於執行緒無法取得鎖定時會造成阻斷, 不正確地使用 Lock 有可能造成效能低落, 另一問題則是死結
  13. 13. • threading.RLock 實現了可重入鎖 (Reentrant lock) • 同一執行緒可以重複呼叫同一個 threading.RLock 實例的 acquire() 而不被阻斷 • release()時也要有對應於 acquire() 的次數,方可以完全解除鎖定 • threading.RLock 也實作了情境管理器 協定,可搭配 with 來使用
  14. 14. • 另一個經常使用的鎖定機制是 threading.Condition • 某個執行緒在透過 acquire() 取得鎖定之 後,若需要在特定條件符合之前等待,可 以呼叫 wait() 方法,這會釋放鎖定 • 若其他執行緒的運作促成特定條件成立, 可以呼叫同一 threading.Condition 實 例的 notify(),通知等待條件的一個執 行緒可取得鎖定
  15. 15. • 若等待中的執行緒取得鎖定,就會從上次 呼叫 wait() 方法處繼續執行 • 如果等待中的執行緒有多個,還可以呼叫 notify_all(),這會通知全部等待中的 執行緒爭取鎖定
  16. 16. • 如果需要這種一進一出,在執行緒之間交 換資料的方式,Python 標準程式庫中提供 了 queue.Queue
  17. 17. • 建立Semaphore 可指定計數器初始值 • 每呼叫一次 acquire(),計數器值遞減一, 在計數器為0 時若呼叫了 acquire(),執 行緒就會被阻斷 • 每呼叫一次 release(),計數器值遞增一, 如果 release()前計數器為 0,而且有執 行緒正在等待,在 release() 並遞增計數 器之後,會通知等待中的執行緒
  18. 18. • 可以設定一個 Barrier 並指定數量 • 如果有執行緒先來到這個柵欄,它必須等 待其他執行緒也來到這個柵欄 • 指定的執行緒數量達到,全部執行緒才能 繼續往下執行
  19. 19. • 針對計算密集式的運算,若能在一個新的 行程(Process)平行(Parallel)運行,在 今日電腦普遍都有多個核心的情況下,就 有機會跑得更快一些。
  20. 20. • subprocess 模組可以讓你在執行 Python 程式的過程中,產生新的子行程
  21. 21. • 從 Python 3.5 開始,建議使用 run() 函 式來呼叫子行程 • subprocess.run() 執行之後會傳回 CompletedProcess 實例 • 若想要能取得標準輸出的執行結果:
  22. 22. • 如果子行程必須接受標準輸入:
  23. 23. • subprocess.run() 的底層是透過 subprocess.Popen() 實作出來的
  24. 24. • subprocess.Popen() 執行程式,會立 即傳回 Popen 實例,不會等待子行程結束
  25. 25. • 如果想要以子行程來執行函式,然而使用 類似 threading 模組的 API 介面,那麼 可以使用 multiprocessing 模組
  26. 26. • 建議在使用 multiprocessing 模組時, 最好的方式是不要共享狀態 • 然而有時行程之間難免需要進行溝通, multiprocessing.Queue 是執行緒與行 程安全的,實作了必要的鎖定機制
  27. 27. • multiprocessing.Lock 也實作了情境 管理器協定

×