並行與平行

Justin Lin
Justin LinTechnology / Community Evangelist at Free lancer
並行與平行
13. 並行與平行
• 學習目標
– 認識並行與平行處理
– 使用 threading 模組
– 使用 multiprocessing
模組
簡介執行緒
並行與平行
• 雖可以繼承 threading.Thread, 在
__init__()呼叫 super().__init__(),
並在類別中定義run()方法來實作執行緒
• 不過是不建議的,因為這會使得你的流程與
threading.Thread 產生相依性
並行與平行
並行與平行
• python 直譯器同時間只允許執行一個執行
緒,因此並不是真正的平行(Parallel)處
理,只不過「有時候」切換速度快到人類
感覺上像是同時處理罷了
• 執行緒適用的場合之一,就是非計算密集
的場合,因為與其等待某個阻斷作業完成,
不如趁著等待的時間來進行其他執行緒
並行與平行
並行與平行
• 對於計算密集的任務,使用執行緒不見得
會提高處理效率,反而容易因為直譯器必
須切換執行緒而耗費不必要的成本,使得
效率變差。
• 如果主執行緒中啟動了額外執行緒,預設
會等待被啟動的所有執行緒都執行完才中
止程式。
• 如果一個 Thread 建立時,指定了daemon
參數為 True,在所有的非 Daemon 的執
行緒都結束時,程式就會直接終止
• 如果需要在背景執行一些常駐任務,就可
以指定 daemon 參數為 True。
• 當執行緒使用 join() 加入至另一執行緒
時,另一執行緒會等待被加入的執行緒工
作完畢,然後再繼續它的動作
• 如果要停止執行緒,必須自行實作,讓執
行緒跑完應有的流程
競速、鎖定、死結
• 如果執行緒之間不需要共享資料, 或者共
享的資料是不可變動(Immutable)的型
態,事情會單純一些
• 然而,執行緒之間經常得共用一些可變動
狀態的資料…
• 要是執行緒之間需要共享的是可變動狀態
的資料,就會有可能發生競速狀況…
並行與平行
• 若要避免競速的情況發生,就必須資源被
變更與取用時的關鍵程式碼進行鎖定
並行與平行
• threading.Lock 實作了情境管理器協定,
可以搭配 with 來簡化 acquire() 與
release() 的呼叫
並行與平行
• 由於執行緒無法取得鎖定時會造成阻斷,
不正確地使用 Lock 有可能造成效能低落,
另一問題則是死結
並行與平行
• threading.RLock 實現了可重入鎖
(Reentrant lock)
• 同一執行緒可以重複呼叫同一個
threading.RLock 實例的 acquire()
而不被阻斷
• release()時也要有對應於 acquire()
的次數,方可以完全解除鎖定
• threading.RLock 也實作了情境管理器
協定,可搭配 with 來使用
• 另一個經常使用的鎖定機制是
threading.Condition
• 某個執行緒在透過 acquire() 取得鎖定之
後,若需要在特定條件符合之前等待,可
以呼叫 wait() 方法,這會釋放鎖定
• 若其他執行緒的運作促成特定條件成立,
可以呼叫同一 threading.Condition 實
例的 notify(),通知等待條件的一個執
行緒可取得鎖定
• 若等待中的執行緒取得鎖定,就會從上次
呼叫 wait() 方法處繼續執行
• 如果等待中的執行緒有多個,還可以呼叫
notify_all(),這會通知全部等待中的
執行緒爭取鎖定
並行與平行
並行與平行
• 如果需要這種一進一出,在執行緒之間交
換資料的方式,Python 標準程式庫中提供
了 queue.Queue
• 建立Semaphore 可指定計數器初始值
• 每呼叫一次 acquire(),計數器值遞減一,
在計數器為0 時若呼叫了 acquire(),執
行緒就會被阻斷
• 每呼叫一次 release(),計數器值遞增一,
如果 release()前計數器為 0,而且有執
行緒正在等待,在 release() 並遞增計數
器之後,會通知等待中的執行緒
• 可以設定一個 Barrier 並指定數量
• 如果有執行緒先來到這個柵欄,它必須等
待其他執行緒也來到這個柵欄
• 指定的執行緒數量達到,全部執行緒才能
繼續往下執行
並行與平行
• 針對計算密集式的運算,若能在一個新的
行程(Process)平行(Parallel)運行,在
今日電腦普遍都有多個核心的情況下,就
有機會跑得更快一些。
• subprocess 模組可以讓你在執行 Python
程式的過程中,產生新的子行程
• 從 Python 3.5 開始,建議使用 run() 函
式來呼叫子行程
• subprocess.run() 執行之後會傳回
CompletedProcess 實例
• 若想要能取得標準輸出的執行結果:
• 如果子行程必須接受標準輸入:
• subprocess.run() 的底層是透過
subprocess.Popen() 實作出來的
• subprocess.Popen() 執行程式,會立
即傳回 Popen 實例,不會等待子行程結束
並行與平行
• 如果想要以子行程來執行函式,然而使用
類似 threading 模組的 API 介面,那麼
可以使用 multiprocessing 模組
並行與平行
• 建議在使用 multiprocessing 模組時,
最好的方式是不要共享狀態
• 然而有時行程之間難免需要進行溝通,
multiprocessing.Queue 是執行緒與行
程安全的,實作了必要的鎖定機制
並行與平行
並行與平行
• multiprocessing.Lock 也實作了情境
管理器協定
並行與平行
1 of 45

More Related Content

What's hot

例外處理例外處理
例外處理Justin Lin
299 views64 slides
輸入輸出輸入輸出
輸入輸出Justin Lin
578 views48 slides
9. meta-programming9. meta-programming
9. meta-programmingJustin Lin
363 views58 slides
7. 例外處理7. 例外處理
7. 例外處理Justin Lin
115 views64 slides

Viewers also liked(18)

類別的繼承類別的繼承
類別的繼承
Justin Lin1.4K views
Python Programming Essentials - M44 - Overview of Web DevelopmentPython Programming Essentials - M44 - Overview of Web Development
Python Programming Essentials - M44 - Overview of Web Development
P3 InfoTech Solutions Pvt. Ltd.1.8K views
Python Programming Essentials - M22 - File OperationsPython Programming Essentials - M22 - File Operations
Python Programming Essentials - M22 - File Operations
P3 InfoTech Solutions Pvt. Ltd.1.5K views
除錯、測試與效能除錯、測試與效能
除錯、測試與效能
Justin Lin1.7K views
Python 3 Programming LanguagePython 3 Programming Language
Python 3 Programming Language
Tahani Al-Manie11.5K views
PythonPython
Python
Shivam Gupta36.8K views
資料結構資料結構
資料結構
Justin Lin1.8K views
從 REPL 到 IDE從 REPL 到 IDE
從 REPL 到 IDE
Justin Lin2.3K views
open() 與 io 模組open() 與 io 模組
open() 與 io 模組
Justin Lin1.8K views
PyCon Taiwan 2013 TutorialPyCon Taiwan 2013 Tutorial
PyCon Taiwan 2013 Tutorial
Justin Lin290.9K views
常用內建模組常用內建模組
常用內建模組
Justin Lin1.4K views
進階主題進階主題
進階主題
Justin Lin3K views
型態與運算子型態與運算子
型態與運算子
Justin Lin1.8K views
Python 起步走Python 起步走
Python 起步走
Justin Lin7.2K views
初學R語言的60分鐘初學R語言的60分鐘
初學R語言的60分鐘
Chen-Pan Liao139.8K views

Similar to 並行與平行

6. 非同步設計6. 非同步設計
6. 非同步設計Justin Lin
274 views47 slides
Notes of jcipNotes of jcip
Notes of jcipDai Jun
2K views134 slides
线程与并发线程与并发
线程与并发Tony Deng
1.7K views35 slides
MultithreadMultithread
MultithreadMedivh2011
211 views50 slides

Similar to 並行與平行(11)

並行、平行與非同步並行、平行與非同步
並行、平行與非同步
Justin Lin1.2K views
6. 非同步設計6. 非同步設計
6. 非同步設計
Justin Lin274 views
Notes of jcipNotes of jcip
Notes of jcip
Dai Jun2K views
线程与并发线程与并发
线程与并发
Tony Deng1.7K views
MultithreadMultithread
Multithread
Medivh2011211 views
SCJP ch15SCJP ch15
SCJP ch15
r82093403387 views
Noder eyes for frontend guysNoder eyes for frontend guys
Noder eyes for frontend guys
Hsu Ping Feng844 views
Chapter2  Chapter2
Chapter2
Fang-Ling Lin1.6K views
笔记笔记
笔记
pzh244658240230 views
Ian .net async programmingIan .net async programming
Ian .net async programming
LearningTech330 views

More from Justin Lin

Ch12 Spring 起步走Ch12 Spring 起步走
Ch12 Spring 起步走Justin Lin
272 views31 slides
Ch11 簡介 JavaMailCh11 簡介 JavaMail
Ch11 簡介 JavaMailJustin Lin
157 views8 slides
Ch09 整合資料庫Ch09 整合資料庫
Ch09 整合資料庫Justin Lin
233 views92 slides

More from Justin Lin(20)

Ch14 簡介 Spring BootCh14 簡介 Spring Boot
Ch14 簡介 Spring Boot
Justin Lin872 views
Ch13 整合 Spring MVC/SecurityCh13 整合 Spring MVC/Security
Ch13 整合 Spring MVC/Security
Justin Lin280 views
Ch12 Spring 起步走Ch12 Spring 起步走
Ch12 Spring 起步走
Justin Lin272 views
Ch11 簡介 JavaMailCh11 簡介 JavaMail
Ch11 簡介 JavaMail
Justin Lin157 views
Ch10 Web 容器安全管理Ch10 Web 容器安全管理
Ch10 Web 容器安全管理
Justin Lin153 views
Ch09 整合資料庫Ch09 整合資料庫
Ch09 整合資料庫
Justin Lin233 views
Ch08 自訂標籤Ch08 自訂標籤
Ch08 自訂標籤
Justin Lin133 views
Ch07 使用 JSTLCh07 使用 JSTL
Ch07 使用 JSTL
Justin Lin161 views
Ch06 使用 JSPCh06 使用 JSP
Ch06 使用 JSP
Justin Lin250 views
Ch04 會話管理Ch04 會話管理
Ch04 會話管理
Justin Lin238 views
Ch03 請求與回應Ch03 請求與回應
Ch03 請求與回應
Justin Lin236 views
Ch02 撰寫與設定 ServletCh02 撰寫與設定 Servlet
Ch02 撰寫與設定 Servlet
Justin Lin352 views
CH1. 簡介 Web 應用程式CH1. 簡介 Web 應用程式
CH1. 簡介 Web 應用程式
Justin Lin1.2K views
14. 進階主題14. 進階主題
14. 進階主題
Justin Lin403 views
12. 除錯、測試與效能12. 除錯、測試與效能
12. 除錯、測試與效能
Justin Lin152 views
11. 常用內建模組11. 常用內建模組
11. 常用內建模組
Justin Lin146 views
10. 資料永續與交換10. 資料永續與交換
10. 資料永續與交換
Justin Lin156 views
9. 資料結構9. 資料結構
9. 資料結構
Justin Lin292 views
8. open() 與 io 模組8. open() 與 io 模組
8. open() 與 io 模組
Justin Lin245 views

並行與平行