Recommended
More Related Content
What's hot
What's hot (20)
Similar to 2018AOI論壇_如何導入深度學習來提升工業瑕疵檢測技術_工研院賴璟皓
Similar to 2018AOI論壇_如何導入深度學習來提升工業瑕疵檢測技術_工研院賴璟皓 (20)
More from CHENHuiMei
More from CHENHuiMei (20)
2018AOI論壇_如何導入深度學習來提升工業瑕疵檢測技術_工研院賴璟皓
- 1. 工業技術研究院機密資料 禁止複製、轉載、外流 │ ITRI CONFIDENTIAL DOCUMENT DO NOT COPY OR DISTRIBUTE 1 深度學習在工業瑕疵檢測的案例分享 賴璟皓 博士 工業技術研究院 巨量資訊科技中心 (Computational Intelligence Technology Center, CITC) 2018.10.04
- 2. Copyright 2018 ITRI 工業技術研究院 智慧製造技術與應用全覽 2
- 3. Copyright 2018 ITRI 工業技術研究院 大綱 • 產業現況與需求 – 自動光學檢測簡介 – AOI檢測設備需求日益增加 – 產線應用AOI瓶頸 – 深度學習為瑕疵檢測帶來新契機 • 解決方案 • 廠商應用案例 32018/10/9
- 4. Copyright 2018 ITRI 工業技術研究院 自動光學檢測簡介 • 自動光學檢測(Automated Optical Inspection, AOI)是高速度、高精確度 的光學影像檢測系統，運用｢機械視 覺」做為檢測技術，代替人類眼睛、 大腦、手部的動作，再配有視覺感測 設備中，檢測出產品的缺陷、判斷並 挑選出產品，或用於量測尺寸等，廣 泛應用在自動化生產中，作為改良傳 統以人力使用光學儀器來進行檢測的 缺點。 • 近年來由於新興產業之興起，如IC 、 PCB 、LCD 、BGA、通訊等等，必 須做到百分之百的全檢，少數廠商已 開始致力於，必須做到百分之百的全 檢，少數廠商已開始致力於精密量測 系統之發展。 Ref .UTechZone 42018/10/9 Ref. http://apisc.com/aoi-introduction.htm AOI檢測設備基本架構
- 5. Copyright 2018 ITRI 工業技術研究院 AOI檢測設備需求日益增加 5 0 500 1000 1500 2000 2500 3000 3500 4000 4500 2016 2017 2018 2020 台灣檢測設備商出貨台數(PCB, PCBA, IC, FPD) 德律 牧德 由田 晶彩 其他 資料來源：IEK 2018/05
- 6. Copyright 2018 ITRI 工業技術研究院 產線應用AOI瓶頸/缺口 • 人工 – 人工檢查速度: 慢抽檢 – 人工檢查易出錯 • AOI 機台-優化AOI機台參數 – Overkill-漏檢(Leakage)和過檢(Overkill)之間取得平衡 – 辨識defect種類- 2000+ features • 高標準產品檢測，現有AOI技術無法滿足需求 • 瑕疵種類關乎產線改善良率、產能、成本改善 • 不同產品檢測之需求，須客製化演算法 62018/10/9
- 7. Copyright 2018 ITRI 工業技術研究院 深度學習為瑕疵檢測帶來新契機 • 深度學習影像分類能力超過人眼 – 從2015年開始，在國際大型視覺辨識競賽(ILSVRC)中，深度學習(Deep Learning)影像分類的錯誤率降至3.57%以下(Microsoft ResNet-152)，人眼 的錯誤率有5% 7 ResNet-152, 2015 ILSVRC歷年錯誤率
- 8. Copyright 2018 ITRI 工業技術研究院 大綱 • 產業現況與需求 • 解決方案 – 滿足AOI產業需要之演算法 » 高準確度與高速度之DNN架構、DNN Benchmarking • 廠商應用案例 82018/10/9
- 9. Copyright 2018 ITRI 工業技術研究院 高準確度與高速度之DNN架構 • 挑戰：現有公開具前瞻性的深度學習網路架構，包括： AlexNet、 VGG-16、GoogLeNet、ResNet-101、 Inception-v4、WideResNet、DenseNet-161等，以應用 場域瑕疵檢測資料測試，無法達成製造業對準確度與 速度的要求（漏檢率FNR<0.05%、特異度TNR>50% ， 檢測速度<20ms ） • 技術特點：提出DFB-Net，具有多個較小但結構完整 的分支網路架構，提供分支決策與協同決策之彈性， 對於難易不同之待檢影像，提供整合最佳分析結果， 以提高預測準確度並減少執行時間 92018/10/9
- 10. Copyright 2018 ITRI 工業技術研究院 PCB檢測之瑕疵複檢應用 102018/10/9 PCB Dataset : training = 647,183, validation = 47,780, test = 95,561 Net architectures FNR / TNR Precision / Recall Test Time (GTX-1080) WideResNet 0.12% / 50.59% 70.67% / 99.58% 9.4 ms Inception-v4 0.12% / 52.00% 70.12% / 99.57% 73.5 ms DenseNet-161 0.06% / 50.50% 70.29% / 99.67% 110.9 ms DFB-Net 0.03% / 50.73% 71.17% / 99.86% 12.8 ms 超越國際Net architectures，滿足AOI產業需要 檢測規範：漏檢率FNR<0.05%、特異度TNR>50% ，檢測速度<20ms
- 11. Copyright 2018 ITRI 工業技術研究院 大綱 • 產業現況與需求 • 解決方案 • 廠商應用案例 – PCB瑕疵複檢應用 – Wafer Fab瑕疵分類應用 – Wafer Probe瑕疵分類 – 其它製造業瑕疵檢測應用 112018/10/9 https://slideplayer.com/slide/5218297/
- 12. Copyright 2018 ITRI 工業技術研究院 PCB瑕疵複檢應用 • 以AVI(Automated Visual Inspection)機台日均檢測產能1萬片為例 – 目前生產線採用AVI與VRS配比1:5 – AVI檢測結果，PCB每片每面約50點瑕疵，估計真點:假點=1:4（1:3~1:9） – 導入前：一片PCB板2面，AVI檢測出共100點瑕疵(真瑕疵20點，假瑕疵80點) – 導入後：應用AI技術可減少50%假瑕疵(40個)，VRS僅須檢測60個瑕疵，目檢 員可減少40%篩檢量 122018/10/9
- 13. Copyright 2018 ITRI 工業技術研究院 Wafer Fab瑕疵分類 •產業需求 – 於半導體瑕疵檢測中，應用AOI檢測設備偵測瑕疵區域，僅能依賴人工協助判斷瑕 疵類別，不但耗時且耗力；若能使用Deep Learning技術進一步區分瑕疵類別，才 能即時迴饋錯誤訊息，進行後續分析製程問題 – 因不同瑕疵對產線產生不同程度之影響，期望越嚴重瑕疵之分類正確率須越高 » Defect 1為極重大瑕疵，一旦發生立即停機檢查，對產能影響極大 » Defect 1易與Defect 2、3混淆，影響分類器之正確率 •解決方案 – 定義符合產線需求之規範，針對wafer fab五類瑕疵分類，其整體正確度為95%， Defect 1正確率高達97% – 研發可強化重要瑕疵類別分類機率技術，降低重要瑕疵分類之誤判率(專利申請中) – 整體正確度為97.45%，Defect 1正確率高達98.73% 132018/10/9 AOI外觀檢測機 Deep learning影像分類 AlarmWafer
- 14. Copyright 2018 ITRI 工業技術研究院 Wafer Probe瑕疵分類 •產業需求 – 以Probe Mark Inspection (PMI)為案例說明 – 目前針測機過多之假警報，常需要人為介入判定，不僅 耗費人力，且影響檢測效率 – 現有檢測機僅能偵測出瑕疵，無法做高準確率之瑕疵分 類，廠商多半有分類之需求，目前僅能由人為判斷 •解決方案 – 因廠商檢測標準不同，制定多種瑕疵類型，以符合多家 廠商檢測之標準 – 目前兩種PMI機台，一為分6類，另一8類，在資料分佈 極度不平均下，6類瑕疵分類正確率為97.55%，而8類為 96.9% 14 針測機Wafer False Alarms http://www.swtest.org/swtw_library/2007proc/ PDF/S01_01_Gilead_SWTW2007.pdf
- 15. Copyright 2018 ITRI 工業技術研究院 15 Mail: chlai@itri.org.tw TEL: +886-3-5912847