機械手臂為基礎之3D外觀缺陷檢測技術

1. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 1
機械手臂為基礎之3D外觀缺陷檢測技術
邱威堯(Will Chiu)
Industrial Technology Research Institute (ITRI)
工研院 機械所 智慧系統技術組
E-mail: WillChiu@itri.org.tw
Tel: 03-5916058
20151020

2. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 22
 VGR應用案例
– 台灣水五金年產值600億元，9成外銷全球；各製程幾乎都是人工
– 產品多樣變量，治具製作成本高
– 解決水五金加工整列治具耗費成本問題，增加系統彈性與降低換線時間
– 擴展視覺導引模組與機器人整合應用，提昇自動化廠商附加價值
鑄造 去銳角毛邊
車銑複合
加工機
拋光
檢測
(外觀、尺寸)
鍍鎳、
鍍鉻等
水五金製造流程
現況：人工取放 整列水五金視覺導引機器人
(VGR, vision guided robot)
治具定位
或
視覺智動化需求-金屬製品加工VGR

3. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 3
3D視覺導引機器手臂技術與應用
3

4. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 4
3D視覺導引機器手臂技術與應用
4

5. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 5
 傳統之3D深度感測元件仍以單一視角掃描為主。
 在全尺寸工件形貌的建模時，需高重疊視區連續掃描造成耗費大量時間。
 若採用大角度跨視區之深度資訊無法求出轉換關係，易造成縫合失敗。
3D外觀缺陷檢測需求
立體工件無法透過單一視角
取得所有工件形貌資訊

6. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 6
6
World status on 3D Vision Sensor
Passive stereo vision sensor
White light scannerSpeckle-based vision sensor
Laser line scan vision sensor
Time-of-flight cameras
HDI 120
LMI Technologies
Kinect 1.0
Microsoft/PrimeSense
ATOS
GOM
SR4000
Swiss Ranger
Kinect 2.0
Microsoft
Bumblebee
Point Grey
LJV
Keyence
Ranger
Sick

7. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 7
Introduction-Laser Scanner
 Occlusion problem of Traditional single
laser scanner

8. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 8
“Dual” Laser 3D Scanner
Triangulation
Dual laser scanner

9. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 9
“Dual” Laser 3D Scanner
 Defocus problem of the laser line projector
The laser line on two different
depth objects The binary image with
defocus laser line

10. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 10
“Dual” Laser 3D Scanner
 Feature extraction using gravity of line
 An adaptive center of gravity method is proposed for
extraction of laser position as follow equation:
CoG(x) =
y´ f (x, y)k
å
f (x, y)k
å
, "y
x=150
CoG(x)
Conventional
method
The proposed
method

11. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 11
多視角3D深度擷取模組
姿態估測用3D掃描模組
點雲縫合用3D掃描模組
上視角 側視角
掃描平台
3D外觀缺陷檢測需求

12. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 12
• 實驗結果：兩個不同的3D深度擷取模組掃描出來之工件，掃描兩
次可獲得四個不同視角之點雲。
多視角3D深度擷取模組-取像結果
膠帶
左雷射 右雷射
上視角
側視角

13. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 13
• 實驗結果：兩個不同的3D深度擷取模組掃描出來之工件，掃描兩
次可獲得四個不同視角之點雲。
多視角3D深度擷取模組-取像結果
活塞
左雷射 右雷射
上視角
側視角

14. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 14
• 實驗結果：兩個不同的3D深度擷取模組掃描出來之工件，掃描兩
次可獲得四個不同視角之點雲。
多視角3D深度擷取模組-取像結果
鋁製工件
左雷射 右雷射
上視角
側視角

15. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 15
• 實驗結果：兩個不同的3D深度擷取模組掃描出來之工件，掃描兩
次可獲得四個不同視角之點雲。
多視角3D深度擷取模組-取像結果
金屬閥
左雷射 右雷射
上視角
側視角

16. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 16
機械手臂為基礎之高速點雲縫合技術
▪ 高速點雲縫合技術設計規劃：
以二張跨視野之3D掃描資訊做點雲縫合規劃。
技術挑戰: 兩個不同的3D深度擷取模組掃描出來之工件，點雲屬於不同座
標系統，必須透過校正補償兩個點雲之尺寸與座標位置。
Multi-Sensor

17. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 17
 3D立體多感測元件轉換關係校正裝置
 3D權重特徵匹配縫合技術
雷射掃描點雲1 雷射掃描點雲2
動態建構法(SfM)
權重特徵搜尋法
特徵匹配法
三維資訊形變與適
性化處理
雷射掃描點雲1 雷射掃描點雲2
Homogeneous
Matrix
縫合結果
Homogeneous
Matrix
座標系統校正
三維掃描縫合
雷射掃描儀
三維點雲(1,…,n)
編碼器資訊(1,…,n)
三圍點雲模型
(1,…,n)
重複掃描(2,…,n)
縫合結果
點雲資訊足夠?
是
否
習知技術(耗時、固定視角)
本技術無須受限移動角度限制，且不同於傳統
轉盤機構之縫合架構。
機械手臂為基礎之高速點雲縫合技術

18. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 18
機械手臂為基礎之高速點雲縫合技術
 兩組感測元件掃描求得之三維座標資訊(點雲)
可清楚看出紅色的階梯狀
深度資訊中間有個明顯斷
開的區域，是因為感測元
件A受到遮蔽造成資訊喪失
，因此無法擷取部分資訊
感測元件Ｂ掃描求得之三維座
標資訊(點雲)，如下圖4(b)所
示，則可清楚看出階梯狀的後
方區域受到視野遮蔽，僅能看
到局部的資訊。

19. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 19
機械手臂為基礎之高速點雲縫合技術
19
兩組深度感測元件之三維座標資訊(點雲)在空間位置上相差甚遠
(1)初步搜尋：透過物理空間的
初步關係以及計算三維座標資
訊之重心位置，進行空間的初
步轉換，轉換結果會做為後續
精密搜尋之初始結果
(2)精密搜尋：為了精確求得兩
組深度感測元件之空間關係，
進行ICP點雲搜尋，並且本專利
提出權重特徵搜尋法，在邊緣
及轉角處之座標資訊給予較高
之權重，大幅提升搜尋精確度

20. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 2020
機械手臂為基礎之高速點雲縫合技術
測試案例1、 建立多視角點雲，並使用深度相機間之轉換關係式，即
可以此轉換關係式進行影像縫合。

21. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 2121
機械手臂為基礎之高速點雲縫合技術
測試案例2、 建立多視角點雲，並使用深度相機間之轉換關係式，即
可以此轉換關係式進行影像縫合。

22. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 22
3D全尺寸外觀缺陷檢測技術
1. 將CAD model X移動到sample Y附近
2. 利用計算X,Y的重心, covariance matrix
以及權重 ，利用提高邊緣的權重來進行運算
3. 計算反對稱關係 anti-symmetric
4. 三個維度之向量關係
5. Get from and
yx u,u
   

yN
i
t
xixyiy
y
ww
N 1
1
uxuyyx
ij)(  
T
yxyxijA
 T
AAA 123123
 yx
   
  













3Itr
tr
Q T
yx
T
yxyx
yx
yx
 yx
Q
yx ,ww X
Y

23. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 23
3D全尺寸外觀缺陷檢測技術
6. Eigen vector of is the Quaternions
7. Rotation matrix :
8. Shifting matrix:
9. Iteration updating position of point cloud
10. Using mean squared error (MSE)
11. Stopping iteration until
 3210 qqqqq
   
   
    













2
2
2
1
2
3
2
010322031
1032
2
3
2
1
2
2
2
03021
20313021
2
3
2
2
2
1
2
0
22
22
22
qqqqqqqqqqqq
qqqqqqqqqqqq
qqqqqqqqqqqq
R
yx Ruup 
pRYY 
2
1
'
1,1
1

 
yN
j
jkj
y
k yx
N
d
2
1
'
,
1


yN
j
jkj
y
k yx
N
d
 1kk dd
 yx
Q

24. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 24
3D全尺寸外觀缺陷檢測技術
瑕疵：孔徑約 18.6 mm
CAD疊合 缺陷比對結果
實驗結果一：鋁製零組件
瑕疵1：多料增加約1mm厚之瑕疵
瑕疵2：未通孔之瑕疵，孔深約4mm
CAD疊合 缺陷比對結果
實驗結果二：汽車變速箱組件

25. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 25
3D全尺寸外觀缺陷檢測技術
實驗結果三：汽車鈑件
瑕疵：未通孔之鈑金件
2D 影像
3D點雲
比對
結果

26. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 2626
結論與未來挑戰
• 系統特色：
– 結合機器手臂之最適取物過程中所獲得的3D特徵，
搭配發展跨視區3D特徵疊合技術，達成快速全形貌建模目的。
– 以樣貌缺陷檢測機器人系統達到精細檢查前的粗略檢查功能。
• 解決方案：
– 以傳統3D掃描建模難以達成快速之需求視覺結合機器手臂之快速3D全形貌建模技術
– 確認3D工件是否存在變形或外觀之重大缺陷，如何與CAD比對3D缺陷檢測技術
• 達成技術規格：
– 3D點距(3D掃描量測精度)：0.1 mm (FY103達成 0.7 mm)
– 3D點雲疊合(點雲疊合張數 ≦ 3 @ 30萬點/張)
– 多視角樣貌缺陷檢測速度 ≦ 1 sec. (不含取像) (cycle time ≦ 20 sec. )
– 檢測沖壓缺陷尺寸 ≧ 0.5 mm (以CAD為標準)
• 未來挑戰：
– 三維影像(點雲)相關函式庫仍未完整，尚待開發與研究。
– 汽機車零組件、水五金、陶瓷製品等大型且光滑工件之表面瑕疵檢測相當困難且耗時，現
今仍缺乏大面積且快速之自動檢測技術。
– 輕微刮痕的表面變化無法使用單純光學取像得知瑕疵位置，如拋光瑕疵、曲面微裂、電鍍
顆粒等瑕疵亦無法有效檢出。

27. Copyright 2008 ITRI 工業技術研究院Copyright 2015 ITRI 工業技術研究院 27
Thank you for your attention
邱威堯(Will Chiu)
Industrial Technology Research Institute (ITRI)
E-mail: WillChiu@itri.org.tw
Tel: 03-5916058