2018AOI論壇_基於生成對抗網路之非監督式AOI技術_工研院蔡雅惠

1. Copyright 2008 ITRI 工業技術研究院ITRI 工業技術研究院 機械所 視覺部 1聯絡人：蔡雅惠 yahuitsai@itri.org.tw
基於生成對抗網路之非監督式AOI技術
單位：工研院 機械所 工業物聯網技術組 視覺部
蔡 雅 惠
Tel：(03) 5916799、Fax：(03) 5915939
E-mail：yahuitsai@itri.org.tw
107 年 10月 04日
ITRI-M
M
SL-G
1

2. Copyright 2008 ITRI 工業技術研究院ITRI 工業技術研究院 機械所 視覺部 2聯絡人：蔡雅惠 yahuitsai@itri.org.tw
產業面臨之問題
 AOI(Automated Optical Inspection)設備期望解決檢測
人力缺工及避免人為誤差，但目前技術仍面臨困難：
•避免退貨接近0的漏檢率(Leakage)導致高的誤殺率
(Overkill ，造成材料損失，最佳化參數調整困難！
如：1 台AOI設備 vs 4位複檢判人員時間與成本的耗費
• 新產品檢測調機時間可能動輒半年以上•
若線上產生新的瑕疵，可能無法自動判斷
Automated
Optical Inspection
Manufacturing Recheck by operator
Money
Time
OK/NG
Leakag
e
Overkill
QC
ITRI-M
M
SL-G
1

3. Copyright 2008 ITRI 工業技術研究院ITRI 工業技術研究院 機械所 視覺部 3聯絡人：蔡雅惠 yahuitsai@itri.org.tw
技術面臨的挑戰 (1/2)
 機器學習(Machine Learning)/深度學習(Deep learning)
直接導入工業檢測與AOI結合，需面臨的挑戰：
▪ 機器學習之正確率 ≠ 工業檢測的正確率
▪ 訓練資料不平衡 (Imbalanced Data) 瑕疵影像極少
▪ 瑕疵種類繁多 & Size多樣性 訓練用資料庫建立困難
▪ 工業應用中難以接受長時間的樣本收集與模型訓練
Imbalanced data
OK samples
< 1 %
NG
samples
> 99
%
瑕疵種類繁多、變化大
ITRI-M
M
SL-G
1

4. Copyright 2008 ITRI 工業技術研究院ITRI 工業技術研究院 機械所 視覺部 4聯絡人：蔡雅惠 yahuitsai@itri.org.tw
 現有機器/深度學習方法通常用來做瑕疵分類或肇因分
析，實際直接做檢測應用仍存在很高障礙。
技術面臨的挑戰 (2/2)
類神經
網路等
瑕疵或正常
S
訓練有瑕疵與正
常(無瑕疵)採
樣
訓練後
的網路
瑕疵
正常
•需要人員事前對瑕疵做標註
•瑕疵取樣數不足，則機器學習無
法有效
•製程需要運作一段時間才能有足
夠數據
•如果製程產生新
的瑕疵，則無法有
效判別
•發生新瑕疵後需
再重新訓練
訓練過程 線上執行
需要一個全新的思維，不僅僅是演算法的突破!
ITRI-M
M
SL-G
1

5. Copyright 2008 ITRI 工業技術研究院ITRI 工業技術研究院 機械所 視覺部 5聯絡人：蔡雅惠 yahuitsai@itri.org.tw
 人類之所以能夠輕易辨別各種物體或特徵，是因為人類能
夠描述甚至繪製(即產生)該物體或特徵
 如：人可以畫出魚的形象與特徵，因此可以輕易分辨是
魚或不是魚
 創意發想
1. 訓練一個生成器，用以產生更多正確無瑕疵的影像。
2. 利用這個生成器，過濾出有瑕疵的影像。
3. 若可行，則僅需要無瑕疵的影像，即可辨識有瑕疵的
影像，無需再擔心瑕疵影像收集不全之問題。
創新思維
ITRI-M
M
SL-G
1

6. Copyright 2008 ITRI 工業技術研究院ITRI 工業技術研究院 機械所 視覺部 6聯絡人：蔡雅惠 yahuitsai@itri.org.tw
技術說明 (1/2)
 建構自動紋理生成器，可無限生成近乎真實紋理之影像，
並建構封閉子流形(manifold)。
生成之木紋影像
真實之木紋影像
潛空間
隱含紋
理特徵
資訊
ITRI-M
M
SL-G
1

7. ITRI 工業技術研究院 機械所 視覺部 聯絡人：蔡雅惠 Copyyahuitsai@itri.org.twright 2008 ITRI 工業技術研究院7
技術說明 (2/2)
 以非監督式紋理產生器進行增強式分類學習技術，達成自
我學習調整之效果
 自動紋理生成及判別器抗衡式訓練，可自動學習調整，使生
成之影像更真實。
 透過隱空間最佳化將正常與瑕疵影像距離差異拉大，使產生
最大鑑別率。
Testing image
Inspected image
Game Rules
自動紋理生成
隱空間One-class分類
ITRI-M
M
SL-G
1

8. Copyright 2008 ITRI 工業技術研究院ITRI 工業技術研究院 機械所 視覺部 8聯絡人：蔡雅惠 yahuitsai@itri.org.tw
技術測試成果
太陽能板
資料庫
木紋
資料庫
影像空間
 檢測結果分析
 影像空間：正常與瑕疵分群不明顯，難以判定
 隱空間：正常與瑕疵分群明顯，能有效檢測
隱空間
ITRI-M
M
SL-G
1

9. ITRI 工業技術研究院 機械所 視覺部 聯絡人：蔡雅惠 Copyyahuitsai@itri.org.twright 2008 ITRI 工業技術研究院9
仿生式複判流程策略
最嚴格參
數，使漏檢
率 0
救回誤殺，
使誤殺率 0
NG仍維持NG
 AOI結合機器學習之仿生式複判流程策略
 無需更動原設備架構，即可兼顧低漏檢率 & 低誤殺率
縮短檢測設備調機時間
ITRI-M
M
SL-G
1

10. ITRI 工業技術研究院機械所視覺部 聯絡人：蔡雅惠 Copyyahuitsai@itri.org.twright 2008 ITRI 工業技術研究院10
ITRI AOI2模組應用案例
 水龍頭五金工件表面品質檢測
 目的：過磨及氣孔瑕疵檢測
♦ 一般檢測系統不易分辨未磨與氣孔，只能人工檢測。
♦ ITRI AOI2模組可區分未磨、過磨與氣孔瑕疵。
瑕疵類型：過磨
未磨視為OK 氣孔視為NG
瑕疵類型：氣孔
ITRI-M
M
SL-G
1

11. Copyright 2008 ITRI 工業技術研究院ITRI 工業技術研究院 機械所 視覺部 11聯絡人：蔡雅惠 yahuitsai@itri.org.tw
ITRI AOI2模組應用案例
 木紋瑕疵檢測-結合Smart Camera即時檢測
ITRI-M
M
SL-G
1

12. ITRI 工業技術研究院機械所視覺部 聯絡人：蔡雅惠 Copyyahuitsai@itri.org.twright 2008 ITRI 工業技術研究院12
ITRI AOI2模組之功效
•ITRI AOI2模組可輔助AOI設備提升檢出正確率
傳統AOI
AOI2
良品
瑕疵
OK
瑕疵品遭誤判
ITRI-M
M
SL-G
1

13. Copyright 2008 ITRI 工業技術研究院ITRI 工業技術研究院 機械所 視覺部 13聯絡人：蔡雅惠 yahuitsai@itri.org.tw
結 束
ITRI-M
M
SL-G
1