20200905_tcn_python_opencv_part2_omnixri

歐尼克斯實境互動工作室 (OmniXRI Studio)
許哲豪 (Jack Hsu)
如何在樹莓派上用Python玩轉開源電腦視覺工具OpenCV
青年職涯發展中心暨TCN創客基地南投服務據點

簡報大綱（下篇）
 OpenCV簡介及安裝介紹（1小時）
 發展歷史、主要元件、安裝介紹、基本影像存取
 彩色影像處理簡介（1小時）
 數位影像原理、灰階影像處理、彩色影像轉換、色彩提取
 數位影像濾波及繪圖（1小時）
 邊緣偵測、影像平滑/強化、影像縮放、繪圖函數
 整合範例（1小時）
 人臉偵測、I/O訊號處理、圖文標示、影像裁切
2020/09/05 2
TCN創客基地_如何在樹莓派上用Python玩轉開源電腦視覺工具OpenCV_OmniXRI_Jack Hsu

2020/09/05 3
數位影像
濾波及繪圖

邊緣偵測
 Sobel(一階導數)  Laplacian (二階導數)
2020/09/05 4
一階導數（峰值點）
一階導數（邊緣中心）二階導數（過零點）
圖片來源：https://aishack.in/tutorials/sobel-laplacian-edge-detectors/

邊緣偵測範例程式(ex3_1)(1/2)
# 導入必要函式庫
import cv2
import numpy as np
import matplotlib.pyplot as plt
imgG = cv2.imread('Lena.png', cv2.IMREAD_GRAYSCALE) # 讀入彩色影像並轉成灰階
imgLap = cv2.Laplacian(imgG,cv2.CV_16S,ksize=3) # 核心大小3*3
imgL = cv2.convertScaleAbs(imgLap) # 將int16S轉回uint8
imgC = cv2.Canny(imgG,30,150) # 起點閾值,結束閾值
imgX = cv2.Sobel(imgG,cv2.CV_16S,1,0) # 計算Sobel X方向邊緣
imgY = cv2.Sobel(imgG,cv2.CV_16S,0,1) # 計算Sobel Y方向邊緣
absX = cv2.convertScaleAbs(imgX) # 將int16S轉回uint8
absY = cv2.convertScaleAbs(imgY) # 將int16S轉回uint8
imgXY = cv2.addWeighted(absX,0.5,absY,0.5,0) # imgXY=0.5*absX+0.5*absY+0
2020/09/05 5
Sobel()
Laplacian
Canny()

邊緣偵測範例程式(ex3_1)(2/2)
titles = ['img','Laplacian','Canny','Sobel x','Sobel y','sobel xy']
images = [imgG,imgL,imgC,absX,absY,imgXY]
for i in range(6): # 繪製結果影像
plt.subplot(2,3,i+1),plt.imshow(images[i],'gray')
plt.title(titles[i])
plt.xticks([]),plt.yticks([])
plt.rcParams['savefig.dpi'] = 300 # 設定圖片尺寸
plt.rcParams['figure.dpi'] = 300 # 設定圖片解析度
plt.show()
2020/09/05 6

邊緣偵測結果影像
2020/09/05 7
單線輸出，
非黑即白

影像平滑範例程式(ex3_2)
import cv2
import numpy as np
imgGray = cv2.imread('Lena.png', cv2.IMREAD_GRAYSCALE) # 讀入彩色影像並轉成灰階
imgBlur = cv2.blur(imgGray,(3,3)) # 均值濾波，核大小3*3
imgGau = cv2.GaussianBlur(imgGray,(11,11),0) # 高斯濾波，核大小11*11
imgMed = cv2.medianBlur(imgGray,5) # 中值（排序）濾波，核大小5*5
imgBi = cv2.bilateralFilter(imgGray,9,75,75) # 雙邊（保邊）濾波，直徑，空間及灰階標準差
titles = ['img','Blur','Gaussian','Median','Bilateral']
images = [imgGray,imgBlur,imgGau,imgMed,imgBi]
plt.show()
2020/09/05 8
blur()
GaussianBlur()
medianBlur()
bilateralFilter()

影像平滑結果影像
2020/09/05 9
高斯核
雙邊濾波核

影像銳化(卷積)範例(ex3-3)(1/2)
import cv2
import numpy as np
kernel = np.array((
[-1, -1, -1],
[-1, 9, -1],
[-1, -1, -1]), dtype="float32") # 建立3*3卷積核，可銳化可平滑化
imgS = cv2.filter2D(imgGray,-1,kernel) # 通用型濾波器
2020/09/05 10
filter2D()

影像銳化(卷積)範例(ex3-3)(2/2)
titles = ['img','sharp']
images = [imgGray,imgS]
plt.show()
2020/09/05 11

影像銳化結果影像
2020/09/05 12

伽馬校正
 Gamma Correction  非線性影像亮度/對比調整
 gamma值
 =1.0時影像不變
 <1.0時加強暗部細節
 >1.0時抑制亮部內容
 校正公式：
 輸出值 = 輸入值𝑔𝑎𝑚𝑚𝑎
2020/09/05 13

伽馬校正範例程式(ex3_4)
import cv2
import numpy as np
imgG05 = np.power(imgGray/float(np.max(imgGray)),0.5) # gamma = 0.5
imgG15 = np.power(imgGray/float(np.max(imgGray)),1.5) # gamma = 1.5
titles = ['img','gamma=0.5','gamma=1.5']
images = [imgGray,imgG05,imgG15]
plt.show()
2020/09/05 14
影像數值先正規
化到0.0到1.0再
進行指數運算

伽馬校正結果影像
2020/09/05 15

直方圖統計Histogram
 分別統計每個顏色的每個
灰階像素數量的分佈，稱
為「直方圖」，橫軸為灰
階值，縱軸為數量。
 可對任何色彩空間進行分
析。
 可透過重新等化
(Equalization) 分佈達到影
像強化效果。
2020/09/05 16

直方圖等化範例程式(ex3_5)(1/2)
import cv2
import numpy as np
imgC = cv2.imread('Lena.png') # 讀入彩色影像
imgYCrCb = cv2.cvtColor(imgC,cv2.COLOR_BGR2YCrCb) # 將彩色影像從BGR轉到YCrCb色彩空間
imgY,imgCr,imgCb = cv2.split(imgYCrCb) # 分離YCrCb三通道影像到三個單通道影像
imgYE = cv2.equalizeHist(imgY) # 對亮度影像imgY進行直方圖等化
imgM = cv2.merge([imgYE,imgCr,imgCb]) # 重新合併imgYE,imgCr,imgCb
rgb1 = cv2.cvtColor(imgC,cv2.COLOR_BGR2RGB) # 將BGR格式轉成RGB格式
rgb2 = cv2.cvtColor(imgM,cv2.COLOR_YCrCb2RGB) #將YCrCb格式轉成RGB格式
2020/09/05 17

直方圖等化範例程式(ex3_5)(2/2)
titles = ['img','gray','enhance','equal']
images = [rgb1,imgY,rgb2,imgYE]
if i==0 or i==2:
plt.subplot(2,2,i+1),plt.imshow(images[i]) # 繪製彩色影像
else:
plt.subplot(2,2,i+1),plt.imshow(images[i],‘gray’) # 繪製灰階影像
plt.show()
2020/09/05 18

直方圖等化結果影像
2020/09/05 19

影像縮放/翻轉(ex3_6)(1/2)
import cv2
import numpy as np
imgC = cv2.imread('Lena.png') # 讀入彩色影像
imgR = cv2.resize(imgC,(256,256),interpolation=cv2.INTER_CUBIC) # 插值方式INTER_CUBIC
imgH = cv2.flip(imgR,1) # 影像水平翻轉
imgV = cv2.flip(imgR,0) # 影像垂直翻轉
imgHV = cv2.flip(imgR,-1) # 影像水平垂直翻轉
2020/09/05 20
插值方法
INTER_NEAREST
INTER_LINEAR
INTER_AREA
INTER_CUBIC
INTER_LANCZOS4
影像翻轉方向
1 水平方向
0 垂直方向
-1 水平垂直方向
resize()
flip()

影像縮放/翻轉(ex3_6)(2/2)
titles = ['img','flip-H','flip-V','flip-HV']
images = [imgR,imgH,imgV,imgHV]
rgb = cv2.cvtColor(images[i],cv2.COLOR_BGR2RGB) # 將BGR格式影像轉換成RGB格式
plt.subplot(2,2,i+1),plt.imshow(rgb)
plt.show()
2020/09/05 21

圖像縮放/翻轉結果影像
2020/09/05 22

繪圖函數
 主要形狀
 畫線 line()
 畫矩形 rectangle()
 畫圓 circle()
 畫橢圓 ellipse()
 畫多角形 polylines()
 畫文字 putText()
 主要參數
 連通
 色彩
 線形
 線粗
 填充（實心）
2020/09/05 23

繪圖函數範例程式(ex3_7)
import cv2
import numpy as np
canvas = np.zeros((200,200,3),dtype="uint8") # 產生一空白（全黑）的影像
cv2.line(canvas,(0,0),(200,200), (255,0,0),2) # 繪製一藍色線，左上到右下，線寬2px
cv2.rectangle(canvas,(50,50),(100,80), (0,255,0),2) # 繪製一個綠色空心矩形，線寬2px
cv2.rectangle(canvas,(150,50),(180,120), (0,0,255),-1) # 繪製一個紅色實心矩形
cv2.circle(canvas,(100,100),80, (0,255,0),2) # 繪製一綠色空心圓形，半徑80，線寬2px
# 繪製一紅色空心橢圓中心(50,150)，軸長(25,45)，傾斜45度，從0度畫到360度，線寬2px
cv2.ellipse(canvas,(50,150),(25,45),45,0,360, (0,0,255),2)
# 繪製綠色文字'OpenCV'到(50,150)，字形FONT_HERSHEY_SIMPLEX，字0.8倍大小，線寬1px
cv2.putText(canvas,'OpenCV',(50,150),cv2.FONT_HERSHEY_SIMPLEX,0.8, (0,255,0),1)
rgb = cv2.cvtColor(canvas,cv2.COLOR_BGR2RGB) #將BGR格式轉成RGB格式
plt.imshow(rgb)
plt.show()
2020/09/05 24

繪圖函數結果影像
2020/09/05 25

2020/09/05 26
整合範例
（人臉偵測）

人臉應用
2020/09/05 27
特徵提取表情偵測
人臉偵測身份辨識

人臉偵測原理(非深度學習)
2020/09/05 28
Adaboost
積分影像
Haar Cascades
弱分類聯級
組成強分類

人臉偵測範例(ex4_1)
# 宣告正臉及眼睛的聯級分類器
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eye_cascade = cv2.CascadeClassifier('haarcascade_eye.xml')
img = cv2.imread('Lena.png') # 讀入彩色影像
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 轉成灰階影像
faces = face_cascade.detectMultiScale(gray, 1.3, 5) # 偵測人臉
# 繪製人臉外框並以人臉區域影像再偵測人眼外框
for (x,y,w,h) in faces:
img = cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2) # 繪藍框
roi_gray = gray[y:y+h, x:x+w] # 取得人臉位置局部灰階影像
roi_color = img[y:y+h, x:x+w] # 取得人臉位置局部彩色影像
eyes = eye_cascade.detectMultiScale(roi_gray) # 偵測眼睛
for (ex,ey,ew,eh) in eyes:
cv2.rectangle(roi_color,(ex,ey),(ex+ew,ey+eh),(0,255,0),2) #繪綠框
rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 將影像從BGR轉成RGB格式
plt.imshow(rgb) # 顯示結果影像
plt.show()
2020/09/05 29
CascadeClassifier()
指定聯級分類器
detectMultiScale(
原始影像, 搜索縮放尺
度, 相鄰矩形最少個數)
偵測多尺度物件

人臉偵測結果影像
2020/09/05 30
sourcesdatahaarcascades

樹莓派I/O信號處理(ex4_2)
 安裝Rpi.GPIO模組
pip3 install Rpi.GPIO
 gpio –v 檢查版本
 gpio readall 檢查針腳編號

 GPIO.setmode()
 GPIO.getmode()
 GPIO.setup()
 GPIO.output()
 GPIO.input()
2020/09/05 31

圖文標示(ex4_3)
import cv2
import numpy as np
font = cv2.FONT_HERSHEY_SIMPLEX # 定義字體
text = 'OpenCV' # 顯示文字
f_pos = (50,50) # 文字位置 (x,y)
f_size = 1.2 # 字型大小（倍率）
f_color = (255,0,0) # 文字色彩 B,G,R
line_size = 2 # 文字線粗
img2 = cv2.putText(img, text, f_pos, font, f_size, f_color, line_size) # 在影像上放上文字
rgb = cv2.cvtColor(img2, cv2.COLOR_BGR2RGB) # 將影像從BGR轉成RGB格式
plt.imshow(rgb) # 顯示結果影像
plt.show()
2020/09/05 32
putText(
影像, 文字, 座標, 字型, 大小,
顏色, 線條寬度, 線條種類)
繪製文字

圖文標示結果影像
2020/09/05 33
不同字體外觀

影像裁切(ex4_4)
import cv2
import numpy as np
x,y,w,h = (220,200,140,190)
roi = img[y:y+h, x:x+w] # 取得人臉位置局部彩色影像
rgb1 = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 將影像從BGR轉成RGB格式
rgb2 = cv2.cvtColor(roi, cv2.COLOR_BGR2RGB) # 將影像從BGR轉成RGB格式
titles = ['img','ROI']
images = [rgb1,rgb2]
plt.subplot(1,2,i+1),plt.imshow(images[i])
plt.show()
2020/09/05 34

影像裁切結果影像
2020/09/05 35

樹莓派迷你智能門鎖示意圖
2020/09/05 36
NG OK
門鈴電動門鎖人臉辨識系統

參考文獻
 OpenCV官網線上說明文件
https://docs.opencv.org/4.4.0/
 範例程式及測試用圖檔
https://gitlab.com/omnixri/tcn20200905/
 pyimagesearch (OpenCV, Python, Deep Learning)
https://www.pyimagesearch.com/
2020/09/05 TCN創客基地_如何在樹莓派上用Python玩轉開源電腦視覺工具OpenCV_OmniXRI_Jack Hsu 37

歐尼克斯實境互動工作室
(OmniXRI Studio)
許哲豪 (Jack Hsu )
Facebook : Jack Omnixri
FB社團： Edge AI Taiwan邊緣智能交流區
電子信箱：omnixri@gmail.com
部落格：https://omnixri.blogspot.tw
開源：https://github.com/OmniXRI
2020/09/05 TCN創客基地_如何在樹莓派上用Python玩轉開源電腦視覺工具OpenCV_OmniXRI_Jack Hsu 38

20200905_tcn_python_opencv_part2_omnixri

Recommended

Recommended

More Related Content

Featured

Featured (20)

20200905_tcn_python_opencv_part2_omnixri