基於光度立體與深度學習的高反光金屬
表面瑕疵檢測系統
第五組 AIO
自製data 實現流程與
方法
目錄
02
系統架構
01
研究動機
專案目標
03
結果成就
Chater 1
動機與目的
瑕疵
看的到?
瑕
疵
太
小
不
明
顯
角度問題
太
暗
影
像
不
清
楚
高光反射
ch.1 動機 目的 核心論文
新興技術
問題?
ch.1 動機 目的 核心論文 新興技術
在外觀檢測中,反光區域(specular highlights)常被誤判為刮痕、異物、汙損
即使是訓練過的CNN模型,仍容易將亮斑當作瑕疵,或遮蔽真正的缺陷
單純用亮度對比在區分陰影和污漬也很困難,誤報率高
ch.1 產業動機 目的 核心論文 新興技術
ch.1 產業動機 目的 核心論文 新興技術
HSV影像含有三個通道:色相 (Hue)、飽和度 (Saturation)、明度 (V alue)
核心論文 新興技術
ch.1 產業動機 目的
新興技術
ch.1
條件 光的反射 亮度結果
正常表面 在多角度下,亮度變化「平滑一致」 無明顯突變
有刮痕、凹陷、髒污等 特定角度下會「劇烈改變反射」 亮度變化「劇烈不連續」
動機 目的
瑕疵會改變表面結構 → 導致在不同角度下的光照反應「不一致」或「異常突出」
改變的是光照順序
等效於從不同視角重新理解這些光照反應
站在不同觀察角度也許才能看到瑕疵
角度變化太少 , 幾乎是同樣的視角
角度變化太大, 那是不同東西難以融合
核心論文
新興技術
產業動機 目的 核心論文 新興技術 改良?
ch.1
AIO瑕疵
金屬檢測
車用零件
電子產品
傳統金屬製品
晶片
電路板
solomon
所羅門
富士康自動光學檢測 (AOI)
KEYENCE
台灣基恩斯
YAMANA
Garmin
產品安檢
ch.1 新興技術
data 有缺陷
鎖定產品類型
模型不和諧
消防栓物件
產業動機 目的 核心論文 新興技術 改良?
自製data 改良模型
整合前端呈現
原
改
Chater 2
系統架構
系統架構圖 開發流程 模型訓練
2D→PRGB 統整介面呈現
ch.2
Camera
data 暗
箱
python
Pseudo
RGB
Sta
rt
LED_i
PC PICO
Data
X16
TSCM
2D →3D
pt.traini
ng
mixer
VAE
PRGB
彩色.PNG
辨識Model
Yolo 8
標記損傷
位置
偵測物件
手機、金
屬製品
原始照片
前端展
示
正面或是側面
放入
對
比
16張JPG
圖檔
改良
自製
ch.2 系統架構圖 開發流程 模型訓練
2D→PRGB 統整介面呈現
Input:
16 grayscale images under different
lighting conditions
Stacking & Augmentation:
Images are stacked and augmented
(random crop, rotation)
20% trimmed mean removes outliers
Batch shape:
(N, H, W) where N=16
Pseudo-RGB
Data Preprocessing
系統架構圖 開發流程 模型訓練
2D→PRGB 統整介面呈現
Pseudo-RGB
Taylor Series Channel Mixer (TSCM)
ch.2
1.Channel Shifting
2.Taylor Expansion Mixer
3.Shared Parameter + Concatenate
4.Pseudo-RGB
Pseudo-RGB
Vector-Quantized Variational AutoEncoder (VQ-VAE)
系統架構圖 開發流程
模型訓練
2D→PRGB 統整介面呈現
ch.2
Reconstructs the original stack from the
pseudo-RGB image
Metal parts
模型訓練 統整介面呈現
系統架構圖 開發流程
2D→PRGB
ch.2
儀器
丈量工具
電子器材
Metal parts
開發流程 模型訓練 統整介面呈現
ch.2 系統架構圖 2D→PRGB
亮暗分明
像素清晰
光源多角度方向
PRGB回推實驗
嚴謹資料集
PRGB與硬體
尋找和諧
Metal parts
開發流程 模型訓練 統整介面呈現
系統架構圖 2D→PRGB
ch.2
Metal
parts
開發流程 模型訓練 統整介面呈現
系統架構圖 2D→PRGB
ch.2
開發流程 模型訓練 統整介面呈現
系統架構圖 2D→PRGB
ch.2
開發流程 模型訓練 統整介面呈現
系統架構圖 2D→PRGB
ch.2
聚光燈仰角計算公式
開發流程 模型訓練 統整介面呈現
系統架構圖 2D→PRGB
ch.2
聚光燈仰角計算公式
聚光燈仰角計算公式
開發流程 模型訓練 統整介面呈現
系統架構圖 2D→PRGB
ch.2
嚴
謹
資
料
集
品
管
聚光燈仰角計算公式
開發流程
系統架構圖 2D→PRGB 模型訓練 統整介面呈現
ch.2
YOLO object (defact) detection
YOLO
加入負樣本: 完全正常的Psudo-RGB
可以避免將反光、陰影或污漬等非缺陷特徵
誤判為缺陷
負樣本
聚光燈仰角計算公式Test Accuracy: 0.86cnn_InceptionV3cnn_InceptionV3
開發流程
系統架構圖 2D→PRGB 模型訓練 統整介面呈現
ch.2
NASNetMobile
Test Accuracy: 0.86
cnn_InceptionV3
Test Accuracy: 0.50
MobileNetV2_0.8
Test Accuracy: 0.80
聚光燈仰角計算公式
開發流程
系統架構圖 2D→PRGB 模型訓練 統整介面呈現
ch.2
YOLO
先用分類模型快速篩選「有缺陷的樣本」
,減少物件偵測的運算量
將有瑕疵的資料再進行標記
期望
聚光燈仰角計算公式
開發流程
系統架構圖 2D→PRGB 模型訓練 統整介面呈現
ch.2
拍照介面
聚光燈仰角計算公式
開發流程
系統架構圖 2D→PRGB 模型訓練 統整介面呈現
ch.2
TSCM
聚光燈仰角計算公式
開發流程
系統架構圖 2D→PRGB 模型訓練 統整介面呈現
ch.2
物件偵測
Chater 3
結果成就
聚光燈仰角計算公式
成就
ch.3 人員名單
未來展望
組員名單與分工
THE END OF
THE QUIZ

基於光度立體與深度學習的高反光金屬表面瑕疵檢測系統