以 人工智能 打造 企業內部知識管理系統
以 PCB 板為例
Presentation
鄭 O 毅
林 O 又
黃 O 成
沈 O 吟
朱 O 仁
AGENDA
• 專題簡介 / 動機 / 起緣 / 專題目標
• 影像識別系統
• 客製化大語言模型
• 系統整合
• 未來發展與結論
動機
目標
專題簡介
● 從瑣碎、重複的事物中解放人力
● 提升人均產出,品質、產值
● 缺工、人手不足
● 一人多工
以 PCB 板廠為例
● 台灣擁有全球最大 PCB 產業鏈
● 製程成熟,網路資料集資源多
● AI 技術幫助工程師更快完成 paper work
瑕疵檢測
YOLO Object
Detection
整體系統串接
前後端整合
維持系統順暢運行
客製化
大語言模型
文本訓練
企業專屬知識庫
技術亮點
1 2 3
影像識別系統
Exploratory Data Analysis
瑕疵檢測
0.869 mAP@0.5
Model Performance : mAP
Normalized Confusion Matrix
影像辨識瑕疵完… AND THEN??
發現問題
❌
資安 專
業
專業 不一定有空
前 輩
客製化大語言模型
資安 專業
⭕ ⭕
Chat GPT
客製化
大語言模型
Process know how
Memory
System Prompt
語言模型
未經訓練大語言模型
Process know how
Memory
System Prompt
respond
query
PCB 板的 MB 主要成因是什麼 ?
PCB 板的 MB (Multi-layer
Board ,多層板 ) 的主要成因可
以歸結為以下幾個方面:
1. 提高電路密度和功能複雜度
2. 提升訊號傳輸速度和品質 …
process
know how
RAG
Process know how
Memory
System Prompt
respond
query
客製化大語言模型 -- 內部知識管理系統
PCB 板的 MB 主要成因是什麼 ?
PCB 版的 MB (Mouse Bite) 主
要成因是 ** 電路板在蝕刻過程
中,由於蝕刻液的化學作用,導
致銅箔邊緣被過度蝕刻,形成類
似老鼠啃咬的形狀 ** 。
造成 MB 問題可能的原因很
多,以下列出一些常見的可能
性: ...
客製化大語言模型 -- 內部知識管理系統
Process know how
Memory
System Prompt
RAG
respond
query
process
know how
你好我是 Diane ,接下來我們要
討論一些有關 PCB 板製程產生瑕
疵的一些問題,請你盡量以繁體
中文回答我
好的, Diane ,我很樂意用繁體
中文回答你關於 PCB 板製程瑕疵
的問題。請盡情提問! 😊
你記得我叫什麼名字嗎 ?
我是一個 AI 語言模型,沒有記憶
功能。我無法記住你的名字。
( 調整後 )
客製化大語言模型 -- 內部知識管理系統
Process know how
Memory
System Prompt
RAG
respond
query
process
know how
memory
你記得我叫什麼名字嗎 ?
😊 Diane !我們今天討論 PCB 板
製程中容易出現的 ** 鼠咬
( Mouth Bite , MB ) ** 問題。
您還記得我們討論了哪些可能導
致鼠咬的原因嗎?
客製化大語言模型 -- 內部知識管理系統
Process know how
Memory
System Prompt
RAG
memory
respond
query
process
know how
Taylor Swift 什麼時候生日
Taylor Swift 的生日是 **12 月
13 日 ** 。
客製化大語言模型 -- 內部知識管理系統
RAG
memory
process
know how
respond
query
Process know how
Memory
System Prompt
process
know how
system
prompt
( 調整後 )
Taylor Swift 什麼時候生日
很抱歉,我只能回答關於印刷電路
板缺陷的問題。
respond
query
客製化大語言模型 -- 內部知識管理系統
系統整合
串連應用
respond
RAG
memory
process
know how
system
prompt
系統架構
( 成果展示 )
成果展示
未來發展
潛力 配套
現象 延展
地端語言模型
生成文本評分
軟、硬體配套
公安
客服
ESG
…
人人協作
轉
人機協作
Conclusion
How to do
線上資源
LLM
What / why to do
技術運作原理與
後續修改、優化空間
Power by
Reference
• Asai, A., Wu, Z., Wang, Y., Sil, A., & Hajishirzi, H. (2023). Self-rag: Learning to retrieve, generate,
and critique through self-reflection. arXiv preprint arXiv:2310.11511.
• Lv, S., Ouyang, B., Deng, Z., Liang, T., Jiang, S., Zhang, & Li, Z. (2024). A dataset for deep learning
based detection of printed circuit board surface defect. Scientific Data, 11(1), 1-13.
https://doi.org/10.1038/s41597-024-03656-8
• Ram, O., Levine, Y., Dalmedigos, I., Muhlgay, D., Shashua, A., Leyton-Brown, K., & Shoham, Y.
(2023). In-context retrieval-augmented language models. Transactions of the Association for
Computational Linguistics, 11, 1316-1331.
Thank You
朱 O 仁 林 O 又 黃 O 成 沈 O 吟 鄭 O 毅
Contact Us
林 O 又
黃 O 成
鄭 O 毅
沈 O 吟
朱 O 仁
Testing Dataset
補充 1.
Training Performance
Metric v5x v6l6 v8n v8x
mAP50 0.925 0.858 0.903 0.955
mAP50-95 0.567 0.519 0.576 0.659
Precision 0.889 0.849 0.876 0.921
Recall 0.867 0.772 0.837 0.907
Validation Performance
Metric v5x v6l6 v8n v8x
mAP50 0.845 0.81 0.83 0.845
mAP50-95 0.486 0.466 0.496 0.511
Precision 0.825 0.782 0.819 0.835
Recall 0.784 0.756 0.768 0.799
Model Size (MB) 14 268 6 130
YOLO 模型版本選擇
Parameter Custom v8n Default v8n Explain
scales n: [0.33, 0.25, 1024] n: [0.33, 0.25, 256] Increased max channels
backbone Add CBAM, SPPF not included Improve performance
head
Custom
Upsample, Concat, C2f Default C2f
More flexible feature
fusion and scaling
Detect layers : P3, P4, P5 Single output scale Multi-scale object
Anchors 9 80 Custom nc
超參數對效能影響
Improve ~1% on Metrics
Class P R mAP50 mAP50-95
all 0.823 0.788 0.843 0.486
SH 0.869 0.876 0.903 0.547
SP 0.848 0.732 0.837 0.367
SC 0.796 0.775 0.805 0.472
OP 0.808 0.849 0.894 0.502
MB 0.841 0.726 0.813 0.368
HB 0.884 0.969 0.982 0.821
CS 0.781 0.625 0.726 0.437
CFO 0.728 0.665 0.732 0.403
BMFO 0.848 0.871 0.895 0.455
Metric 9 Classes 7 Classes Improvement
Validation (-17% Images) (v5x)
mAP50 0.845 0.891 5.5%
mAP50-95 0.486 0.514 2.8%
Precision 0.825 0.867 4.2%
Recall 0.784 0.822 3.8%
Training
mAP50 0.925 0.949 2.4%
mAP50-95 0.567 0.587 2.0%
Precision 0.889 0.919 3.0%
Recall 0.867 0.897 3.0%
移除不穩定類別的效能影響
Remove
補充 2.
Evaluation of RAG performance
評估要點
• Precision 、 Recall 、
Relevancy
• 資訊來源的多樣性和質量
• 評估方法改良
• Faithfulness
• Accuracy
Retrieve
Yu, H., Gan, A., Zhang, K., Tong, S., Liu, Q., & Liu, Z. (2024). Evaluation of Retrieval-
Augmented Generation: A Survey. arXiv preprint arXiv:2405.07437.
Generation Overall
• 整體性能:查詢複雜度
• 全面評估:主觀評判
評估關鍵元素
主流評估框架
簡化作法

以人工智能打造企業內部知識管理系統以PCB板為例 - 艾鍗學院學員專題 [AI人工智慧與邊緣運算工程師班]

Editor's Notes

  • #3 白色字體調整 不要用數字 用點點
  • #4 點點調整
  • #9 同樣標題可以算同一件事 要合併嗎?
  • #10 同樣標題可以算同一件事 要合併嗎?
  • #21 (轉場頁)
  • #26 在PCB板製程中,產生短路(SH)的可能原因有很多, 以下列舉一些常見的原因: 1. 導線相關: 過蝕刻(Over Etching):蝕刻時間過長導致導線過度蝕 好的,在PCB板製程中產生短路(SH)的可能原因有很多, 以下列舉一些常見的原因: 1. 導線相關 - 過蝕刻(Over Etching):蝕刻時間過長,導致導
  • #35 --epochs 50 --img 320 --batch-size 16
  • #36 CBAM (Convolutional Block Attention Module, 卷积块注意力模块) SPPF (Spatial Pyramid Pooling Fast, 空间金字塔池化快速)