SlideShare a Scribd company logo
1 of 64
Download to read offline
`
1
TRƯỜ Ạ Ọ Ộ
NG Đ I H C BÁCH KHOA HÀ N I
LUẬN VĂN THẠC SĨ
Ứng dụng xử lý ảnh nhằm phát hiện và
ngăn chặn sự cố chất lượng trong công
nghệ sản xuất màn hình điện thoại
PHẠM VĂN TIỆP
gacon0211bk@gmail.com
Ngành K thu
ỹ ật điề ể ự độ
u khi n và T ng hóa
Khoa T ng hóa
ự độ
Giảng viên hướ ẫ
ng d n: TS. Đào Quý Thịnh
Trường: Đi Đi
ệ –
n ệ ử
n t
HÀ NỘI, 04/2022
ký c a GVHD
Chữ ủ
`
2
Lời cảm ơn
Đề Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng
tài “
trong công nghệ sản xuất màn hình điện thoại” là ộ
n i dung tôi ch nghiên c
ọn để ứu
và làm lu t nghi p cao h c chuyên ngành T ng hóa t
ận văn tố ệ ọ ự độ ại trường đại học
Bách Khoa Hà N Tôi xin chân thành c n TS. nh
ội. ảm ơn sâu sắc đế Đào Quý Thị
ngành Kỹ thuật điều khi n và T
ể ự động hóa, Khoa Tự độ , Trườ ệ ệ
ng hóa ng Đi n-Đi n
t i h c Bách Khoa Hà N i. Th c ti p ch b o ng d
ử – Trường đạ ọ ộ ầy đã trự ế ỉ ả và hướ ẫn
tôi trong su t quá trình nghiên c
ố ứu để tôi hoàn thi n lu
ệ ận văn. Ngoài ra tôi xin chân
thành c y, Cô trong B ng ý ki n quý báu cho
ảm ơn các Thầ ộ môn đã đóng góp nhữ ế
luận văn. ọ ảm ơn!
Trân tr ng c
Tóm tắt nội dung luận văn
N i dung lu bày v vi c phát hi n các s c ng
ộ ận văn trình ề ệ ệ ự ố chất lượ liên
quan t i các l i ngo ng hay x y v t, bóng khí, dán l ch trong
ớ ỗ ại quan thườ ả ra như dị ậ ệ
công đoạ ắ ằ ị ời ngăn chặ ả ỗ ả
n l p ráp. Nh m k p th n và c nh báo l i trong quá trình s n
xu n tho i t i nhà máy s n xu n tho i thông minh.
ất màn hình điệ ạ ạ ả ất điệ ạ
M m thi u m t cách t i liên quan t s c ng
ục đích: Giả ể ộ ối đa lỗ ới ự ố chất lượ
nh m chi phí phát sinh, t n, gi m giá thành s n ph
ằm giả ối đa hóa lợi nhuậ ả ả ẩm.
M c tiêu: Phát hi n các l i ngo i quan
ụ ệ ỗ ạ sau đó đưa ra cảnh báo b ng cách s
ằ ử
d ng công c trong x t v vi
ụ ụ ử lý ảnh để đưa ra những phán đoán chính xác nhấ ề ệc
có hay không có l i trong quá trình s n xu nh báo.
ỗ ả ất và đưa ra cả
Phương pháp thự ệ ử ụ ậ ừ ả
c hi n: S d ng thu t toán tr nh btrack background)
(su
nh m phát hi n các d v i trong quá trình s n xu
ằ ệ ị ật phát sinh mớ ả ất.
Công cụ ử ụng: Microsoft Visual 2017, Office 2013, OpenCV…
s d
K xây d ng thành công h ng áp d ng vào nhà máy.
ết quả đạt được: ự ệ thố ụ
Định hướ ển đề ở ộ ệ ỗi khác như đứt, gãy…
ng phát tri tài: M r ng phát hi n các l
Học viên
Phạm Văn Tiệp
`
3
M C
ỤC LỤ
CHƯƠNG 1. Ổ Ứ
T NG QUAN NGHIÊN C U...................................................... 10
1.1. t v ........................................................................................... 10
Đặ ấn đề
1.1.1. c v quá trình s n xu t t i các nhà máy s n xu t màn hình
Sơ lượ ề ả ấ ạ ả ấ
điệ ạ
n tho i.................................................................................. 11
1.1.2. ng c a s c t i ch ng s n ph n ..
Ảnh hưở ủ ự ố ớ ất lượ ả ẩm trong công đoạ
................................................................................................. 14
1.1.3. Tính c p bách c ................................................................ 16
ấ ủ ề
a đ tài
1.2 n ch ng b ng x nh............................ 18
. Phương pháp phát hiệ ấ ợ
t lư ằ ử lý ả
1.2. Không gian màu, chuy i gi a các không gian màu ............... 18
1. ển đổ ữ
1.2.2 nh nh phân, nh phân hóa v ng.............................. 21
. Ả ị ị ới ngưỡng độ
1.2.3 Phóng to, thu nh , xoay nh.......................................................... 22
. ỏ ả
1.2.4 M phép toán s d ng trong n i dung lu ...................... 23
. ột số ử ụ ộ ận văn
1.3 Các thu t toán liên quan và l n ................................................. 29
. ậ ựa chọ
1.3.1 n (Background subtraction)......................... 29
. Phương pháp tách nề
1.3.2. ................................................. 31
Phương pháp Template Matching
CHƯƠNG 2. Ế Ế CƠ KHÍ
TÍNH TOÁN THI T K ................................................ 35
2.1. tính toán l a ch n Camera cho h n và phát hi n
Cơ sở ự ọ ệ thống ngăn chặ ệ
s c .................................................................................................... 35
ự ố
2.1.1. c nghi a ch i nh n phát hi n...... 40
Thự ệm lự ọn kích thước lỗ nhỏ ất cầ ệ
2.2. Thông s , v .............................................. 41
ố thiết bị ị trí lắp đặt Camera
2.3. u sáng( lightning)............................................. 45
Chọn phương án chiế
CHƯƠNG 3. Ế Ế ẬT TOÁN ĐIỀ Ể
THI T K THU U KHI N................................... 47
3.1. u khi n. .............................................................. 47
Yêu cầu bài toán điề ể
3.2. Xây d thu u khi n h ng giám sát ch ng
ựng sơ đồ ật toán điề ể ệ thố ất lượ
................... ......................................................................................... 48
3.3. K t i mô hình thi t b nghi m ................................ 52
ết quả thực tế ạ ế ị thử ệ
K N.......................................................................................................... 61
ẾT LUẬ
TÀI LIỆ Ả
U THAM KH O.................................................................................... 63
`
4
DANH M NH
Ụ Ả
C HÌNH
Hình 1.1 Các đườ ấ
ng song song xu t hiệ ở ố
n tr thành con d c.................. 11
Hình 1.2 Process s n xu n tho i...................................... 12
ả ất màn hình điệ ạ
Hình 1.3 Layer các dòng điệ ạ
n tho i........................................................ 12
Hình 1.4 n xu t màn hình............................................... 13
Phương thức sả ấ
Hình 1.5 C u t n c a màn hình OLED ....................................... 13
ấ ạo cơ bả ủ
Hình 1.6 Sơ lược process dán ................................................................. 13
Hình 1.7 Sơ đồ ố
kh i thiế ị ớ
t b dán Window v i Panel.............................. 14
Hình 1.8 Loại hình dị ậ
v t........................................................................ 15
Hình 1.9 Loại hình bóng khí................................................................... 15
Hình 1.10 Ý tưở ệ ự ố
ng camera giám sát và phát hi n s c ........................... 17
Hình 1.11 l u khi n............................................ 17
Sơ đồ ắp đặt hệ thống điề ể
Hình 1. Không gian màu RGB
12 ............................................................. 19
Hình 1. Không gian màu YMC
13 ............................................................. 20
Hình 1. Không gian màu HSV
14 .............................................................. 21
Hình 1.15 nh v i giá tr Threshold khác nhau ....................................... 22
Ả ớ ị
Hình 1.16 t toán thu phóng nh ........................................................ 23
Thuậ ả
Hình 1.17 t toán xoay ................................................................. 23
Thuậ ảnh
Hình 1.18 Phép giãn n ............................................................................ 24
ở
Hình 1.19 Phép giãn n ............................................................................ 24
ở
Hình 1. Gradient
20 ................................................................................... 26
Hình 1.21 nh g l c Candy ............................................................. 26
Ả ốc bộ ọ
Hình Ví d
1.22 ụ ề
v phép tìm biên Candy ................................................. 27
Hình 1.23 i Hough................................................................... 28
Chuyển đổ
Hình 1.24 ng tròn ................................................ 28
Chuyển đổi Hough đườ
Hình 2.1 camera Vision..................................................... 36
Lý thuyết về
Hình 2.2 và v Camera vision .......................... 42
Sơ đồ thiết bị ị trí lắp đặt
Hình Khu v
2.3 ự ệ
c làm vi c của Camera................................................. 42
Hình 2.4 Sơ đồ ạ ộ ủ
nguyên lý ho t đ ng c a hệ ố
th ng................................. 42
Hình 2.5 Base light............... 43
Robot loading màn hình từ conveyer vào
`
5
Hình 2.6 Step 2 c a chu trình làm vi c................................................... 43
ủ ệ
Hình 2.7 ng h p phát sinh l ng ............................. 44
Step 3 trườ ợ ỗi chấ ợ
t lư
Hình 2.8 L p l chu trình làm vi c ........................................................ 45
ặ ại ệ
Hình 2.9 u sáng.................................................... 46
Các phương thức chiế
Hình 2.10 u sáng..................................... 46
Thực nghiệm phương thức chiế
Hình 3.1 Sơ đồ ắp đặ
l t hệ ống điề ể
th u khi n............................................ 47
Hình 3.2 Sơ đồ ậ
thu t toán ....................................................................... 49
Hình 3.3 Tiề ử ả
n x lý nh.......................................................................... 49
Hình 3.4 Điểm đăng kí ngoại lệ dùng làm đặ ả …………
c tính hình nh ..50
Hình 3.5 Ả ị
nh live b xoay trong quá trình loading................................. 51
Hình 3.6 Giả ở ậ
i thích ý tư ng thu t toán ................................................... 52
Hình 3.7 Thiết bị đánh giá chương trình Vision..................................... 53
Hình 3.8 Data đánh giá DOE kích thước lỗi 0.73*0.27 ......................... 56
Hình 3.9 K tính toán DOE ............................................................ 56
ết quả
Hình 3.10 Data đánh giá kích thước lỗi 0.73*0.4..................................... 57
Hình 3.11 Data đánh giá kích thước lỗi 0.956*0.776............................... 57
Hình 3.12 Biểu đồ ỷ ệ so sánh các phương pháp ngoạ
t l i quan................. 60
Hình 3.13 Ả ả ẩ
nh s n ph m bị xoay trước khi Vision check........................ 60
Hình 3.14 Camera check d v c 0.24mm................. 61
ị ật bóng khí kích thướ
Hình 3.15 Camera check d v c 0.23mm................. 62
ị ật bóng khí kích thướ
`
6
DANH M C T NG ANH
Ụ Ừ Ế
TI
Visual Inspection Kiểm tra trực quan
Process Công đoạn
Step by step Bước trong bước
Liquid Crystal Display (LCD) Màn hình tinh thể lỏng
Active Matrix Organic Light Emitting
Diode (AMOLED)
DDiot phát sáng hữu cơ ma trận
động
(Plane, Rollable, Bended, Foldable
( )
YOUM
Phẳng, cuộn tròn, uốn cong, gập
Curved Rolling Cán cong
Flat Rolling Cán phẳng
Sheet Rolling Cán dính
Section Mặt cắt
Auto Clave Nồi hấp
Loading Mang
Unloading Dỡ
Stage Bàn đặt (để)
Black light Đèn chiếu sáng
Alarm Lỗi thiết bị
Controller Bộ điều khiển
Computer Máy tính
Red, Green, Blue (RGB) Đỏ, xanh, vàng
Hue, Saturation, Value (HSV) Màu sắc, sự bão hòa, giá trị cường
độ
Cyan, Megenta, Yellow, Black ( )
CMYK Xanh lơ, hồng sẫm, vàng, đen
Threshold Ngưỡng cửa
Dilation Giãn nở
Image structuring element Cấu trúc phần tử ảnh
Upper threshold Ngưỡng trên
Lower threshold Ngưỡng dưới
Background subtraction Phương pháp tách nền
Template matching So sánh mẫu
Field of view (FOV) Vùng làm việc
Working distance Khoảng cách từ Lén tới đối tượng
`
7
L U
ỜI NÓI ĐẦ
c s ng ngày càng hi i g n li n v i t ng hóa, công ngh s thì
Cuộ ố ện đạ ắ ề ớ ự độ ệ ố
nhu c u v s d ng các thi t b n t , s n ph m công ngh cao và g n li n v
ầ ề ử ụ ế ị điệ ử ả ẩ ệ ắ ề ới
đờ ố ạ ủa con ngườ ều hơn. Vì thế ệ ế ế ả
i s ng sinh ho t c i ngày càng nhi vi c thi t k , s n
xu và liên t c c i ti a các thi t b n t ph c v nhu c u cu
ất ụ ả ến hơn nữ ế ị điện, điệ ử ụ ụ ầ ộc
s ng hàng ngày c
ố ủa con người là r t c n thi t và không ng ng di n ra quanh chúng
ấ ầ ế ừ ễ
ta. Nh chính sách m c a c c nên các công ngh
ững năm gần đây, nhờ ở ử ủa nhà nướ ệ
s n xu t, thi t b hi i ph c v s n xu t t c nh p kh u tr c ti p,
ả ấ ế ị ện đạ ụ ụ ả ấ ự động hóa đượ ậ ẩ ự ế
ho c nh
ặ ận đầu tư rất l n t các t
ớ ừ ập đoàn công nghệ hàng đầu th gi
ế ới tăng lên đáng
k c bi t ph i k t i nh ng t n v công ngh n t t B n, Hàn
ể, đặ ệ ả ể ớ ữ ập đoàn lớ ề ệ đế ừ Nhậ ả
Quố ốc… Hưở ợ ừ ệ ậ ẩ ệ ả ấ
c, Trung Qu ng l i t vi c nh p kh u linh ki n máy móc s n xu t
thiế ị điệ ử đượ ả ất trong nướ ớ ấ ạo cơ hộ ệ
t b n t c s n xu c v i chi phí th p và t i vi c làm
cho nh ng nhân l c h c h i, trau d i công ngh t các
ữ ực trong nước, qua đó đượ ọ ỏ ồ ệ ừ
đối tác nước ngoài ngày càng tr nên thu n ti n. Trong nh ng ngành s n xu t thi
ở ậ ệ ữ ả ấ ết
b n t nói chung ngành s n xu t màn hình, thi t b s d ng màn hình hi n
ị điệ ử thì ả ấ ế ị ử ụ ể
thị ngày càng phát tri n t i
ể ạ Việ , đặ ệt theo xu hướ
t Nam c bi ng ngày m t hoàn thi n
ộ ệ
hơn và chất lượ ử ụng cao hơn hướ ớ ầ ủ ị trường. Do đó,
ng s d ng t i nhu c u cao c a th
v ki m soát t t c ch ng s n ph m trong quá trình s n xu t s giúp
ấn đề ể ố đượ ất lượ ả ẩ ả ấ ẽ
gi m thi u t nhi nh tranh c a s n ph c s
ả ể chi phí đi rấ ều, giúp tăng tính cạ ủ ả ẩm đượ ản
xu c và k thu t c a nhân l c s n xu t lên m cách
ất trong nướ nâng cao trình độ ỹ ậ ủ ự ả ấ ột
đáng kể.
Hơn nữa, xu hướ ủ ả ấ ế ị ử
ng c a các công ty s n xu t màn hình và các thi t b s
d ng màn hình là ngày càng m
ụ ỏng hơn và có thể ậ
g p, u n cong nh
ố ằm đáp ứng nhu
c u th ng nên vi c s n xu t hàng lo t trong khi v n ph m b o ch ng
ầ ị trườ ệ ả ấ ạ ẫ ải đả ả ất lượ
đòi hỏi công đoạn giám sát chất lượ ả
ng ph i ngày một chính xác hơn và nhanh hơn.
Việc kiể ấ ợ ả ẩ
m soát ch t lư ng s n ph m b ng các công nhân ngo
ằ ại quan do đó không
còn đáp ứng đượ ầ ả ấ ế ầ ả ệ ế ỗ
c nhu c u s n xu t vì th c n ph i có các công ngh tiên ti n h
trợ để ể tăng cao độ ả ối đa thờ ể ỗ ị
có th xác và gi
chính m t i gian ki m tra hàng l i, k p
thời x lý trong quá trình s n xu t nh m gi m t
ử ả ấ ằ ả ối đa thiệt h i và th i gian s n xu t.
ạ ờ ả ấ
M t trong nh ng công ngh tiên ti n h r t t t cho quy trình giám sát ch
ộ ữ ệ ế ỗ trợ ấ ố ất
lượng đượ ể ạ ẽ năm gần đây phả ể đế ệ
c phát tri n m nh m trong vài i k n công ngh
`
8
Computer Vision ( giác máy tính). Công ngh này n u phát tri n t t và
thị ệ ế ể ố ứng d ng
ụ
phù h p thì hoàn toàn có th thay th i trong vi c t ng phát hi n các
ợ ể ế con ngườ ệ ự độ ệ
l i nh nh t v i th i gian nhanh nh t do vi c ki m soát hoàn toàn t ng và các
ỗ ỏ ấ ớ ờ ấ ệ ể ự độ
camera đang ngày càng hoàn thiện hơn cho phép phát hiệ ậ ể ớ
n ra các v t th v i kích
thước c c nh mà m
ự ỏ ắt người cũng không thể nhìn thấy được. M t trong nh ng y
ộ ữ ếu
t c c k quan tr ng, mang tính s ng còn c n giám sát trong các công ty s n xu
ố ự ỳ ọ ố ầ ả ất
màn hình hi i chính là d v t bóng khí và dán l , m ng s n
ện đạ ị ậ ệch ặc dù môi trườ ả
xu t là phòng s v t và các l i bóng khí, dán l c nh
ấ ạch nhưng dị ậ ỗ ệch có kích thướ ỏ
khó ki m soát m t khi l t vào quy trình s n xu t s l p t c gây l
ể ộ ọ ả ấ ẽ ậ ứ ỗi đặc tính cho s n
ả
ph m. Thông qua hình th c ki m soát hình nh trong th i gian th c b ng cách s
ẩ ứ ể ả ờ ự ẳ ử
d phân gi i cao k p v i thu lý tín hi u hình
ụng camera có độ ả ết hợ ớ ật toán xử ệ ảnh để
phân tích, cho ra k t qu chính xác giúp nh có hay không d v t hay các l
ế ả phán đị ị ậ ỗi
ch ch
ất lượ ả ấ ẽ ấ ố ự ố
ng các quy trình s
trong n xu t s giúp phòng tránh r t t t các s c ất
lượ Độ ủa phương pháp xử ả ờ ự ụ ộ ấ
ng. chính xác c lý nh th i gian th c này ph thu c r t
nhi u vào ph n c ng c a thi t b
ề ầ ứ ủ ế ị như vi xử lý, card đồ h a c a máy tính hay camera
ọ ủ
ghi l i hình nh thu
ạ ả cũng như là phụ thuộc vào ật toán tối ưu hay không…
Trướ ầ ầ ủ ự ễ ận văn đã lên ý tưở ề ệ ế
c yêu c u c u c a th c ti n, lu ng v vi c ti n hành
l t h ng giám sát ch n tho i thông qua vi c phát
ắp đặ ệ thố ấ ợng trên màn hình điệ
t lư ạ ệ
hi n, nh báo khi xu t hi n các s c liên quan t i l i ch
ệ ngăn chặn và đưa ra cả ấ ệ ự ố ớ ỗ ất
lượ ị ậ ệ
ng (có d v t, bóng khí, dán l ch).
“Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong
công nghệ sản xuất màn hình điện thoại”
Thuyết minh đồ ồm 3 chương, nội dung như sau:
án g
▪ Chương 1. T NG QUAN NGHIÊN C U
Ổ Ứ
- c v quá trình s n xu t c a các nhà máy s n xu n
Sơ lượ ề ả ấ ủ ả ất màn hình điệ
tho i.
ạ
- ng c a c a các s c ng trong nhà máy s n xu t màn
Ảnh hưở ủ ủ ự ố chất lượ ả ấ
hình điệ ạ
n tho i.
- Lý do lựa chọn đề tài
- n s c ng.
Các phương pháp phát hiệ ự ố chất lượ
- Lý thuy t v x lý nh và các ng d ng th s áp d tài.
ế ề ử ả ứ ụ ực tế ẽ ụng trong đề
`
9
- Vai trò c a h
ủ ệ thống giám sát chất lượng đối v i nhà máy s n xu t công
ớ ả ấ
nghi p
ệ
▪ Chương 2. TÍNH TOÁN THI T K
Ế Ế CƠ KHÍ
- tính toán l n Camera cho h ng giám sát ch ng.
Cơ sở ựa chọ ệ thố ấ ợ
t lư
- linh ki n phù h p v i yêu c
Thông số ệ ợ ớ ầu đặt ra.
- ng ho ng c ng giám sát ch ng.
Mô phỏ ạ ộ
t đ ủa hệ thố ấ ợ
t lư
- u sáng.
Phương thức chiế
▪ Chương 3. T K U KHI
THIẾ Ế THUẬT TOÁN ĐIỀ ỂN
- u khi n.
Yêu cầu bài toán điề ể
- u khi n h ng giám sát ch ng.
Xây dựng sơ đồ thuật toán điề ể ệ thố ấ ợ
t lư
- toán tìm ki m d v t ,bóng khí , dán l ch phát sinh d a trên gi
Thuật ế ị ậ ệ ự ải
thuật Template Matching và Subtract background.
- u ki n th m t t áp d
Kiểm thảo tìm điề ệ ực nghiệ ốt nhấ ụng cho đề tài.
g tài v làm vi c cao, k ng cùng
Dù đã cố ắng hoàn thành đề ới cường độ ệ ỹ lưỡ
sự hướng d n r t c
ẫ ấ ụ thể, nhi t tình c a các th y trong
ệ ủ ầ ngành Điều khi n và T
ể ự động
hóa, Khoa T ng hóa ng d ng th c ti n t
ự độ cũng như ứ ụ ự ễ ại cơ quan làm việc, nhưng
do hi u bi t còn h n ch c ng v u ki m th c nghi m còn gi i h n v
ể ế ạ ế ộ ới điề ện đo kiể ự ệ ớ ạ ề
m t thi nên ch c ch n lu c kh t sót
ặ ết bị ắ ắ ận văn này không tránh khỏi đượ ả năng thiế
và b t c p. Vì v y em r t mong s s a ch a và góp ý c a h
ấ ậ ậ ấ ự ử ữ ủ ội đồng, quý thầy cô để
em rút ra kinh nghi cho b
ệ ổ ế ứ
m và b sung thêm ki n th c ản thân.
Hà Nộ tháng 4 năm 2022
i, ngày 01
H hi n:
ọc viên thực ệ
p
Phạm Văn Tiệ
`
10
CHƯƠNG 1. Ổ Ứ
T NG QUAN NGHIÊN C U
Chương ồ ội dung như sau:
1 bao g m các n
- c v quá trình s n xu t c a các nhà máy s n xu n
Sơ lượ ề ả ấ ủ ả ất màn hình điệ
tho i.
ạ
- ng c a c a các s c ng trong nhà máy s n xu t màn
Ảnh hưở ủ ủ ự ố chất lượ ả ấ
hình điệ ạ
n tho i.
- Lý do lựa chọn đề tài
- n s c ng.
Các phương pháp phát hiệ ự ố chất lượ
- Lý thuy t v x lý nh và các ng d ng th s áp d tài.
ế ề ử ả ứ ụ ực tế ẽ ụng trong đề
- Vai trò c a h
ủ ệ thống giám sát chất lượng đối v i nhà máy s n xu t công
ớ ả ấ
nghi p
ệ
1.1. Đặt vấn đề
X c phát tri n và ng d ng r ng rãi
ử lý ảnh là lĩnh vực mà ngày nay đượ ể ứ ụ ất rộ
trong nhiều lĩnh vự ờ ự ể ạ ẽ ủ
c khác nhau nh vào s phát tri n ngày càng m nh m c a các
h ng máy tính, các thu t toán và công trình nghiên c u khác nhau c a nhi u
ệ thố ậ ứ ủ ề
nhà khoa h c trên th
ọ ế giới. Ở Việt Nam, cùng v i s phát tri n c a k nguyên công
ớ ự ể ủ ỷ
nghi p 4.0 các ng d ng v x c tri n khai vô cùng m nh
ệ ứ ụ ề ử lý ảnh đã và đang đượ ể ạ
mẽ trên nhiều lĩnh vực như ứ ụ
ng d ng qu n lý giao thông
ả đô thị [4], ứ ụ
ng d ng quản
lý d u sinh tr c h c , ng d ng trong các h ng giám sát ch ng, h
ữ liệ ắ ọ [5] ứ ụ ệ thố ất lượ ệ
thố ậ ệ ử ỉ ủa con ngườ …
ng nh n di n thông qua c ch c i [12]
Trên đà phát triển đó c a x
ủ ử lý ảnh, ph i k n ng d ng c
ả ể đế ứ ụ ủa nó trong lĩnh
v c ki m tra tr c quan( Visual Inspection) liên quan t i vi c phân tích các s n
ự ể ự ớ ệ ả
ph m ho ng s n xu t khác trên dây chuy n cho m m soát ch
ẩ ặc đối tượ ả ấ ề ục đích kiể ất
lượ ể
ng. Ki m tra trự ể đượ ử ụng để đánh giá bên trong và bên
c quan cũng có th c s d
ngoài c a các thi t b khác nhau trong m s n xu a, bình ch
ủ ế ị ột cơ sở ả ất như bể chứ ịu
áp l ng ng và các thi t b t quá trình di n ra trong kho ng
ực, đườ ố ế ị khác. Đó là mộ ễ ả
thời gian đều đặ ỗ ầ ệ ầ ế ả ế ế
n m i ngày góp ph n phát hi n ra h u h t c khi m khuy t trong
quá trình s n xu m tra tr h u h c c hi n th công,
ả ất. Việc kiể ực quan ầ ết đang đượ thự ệ ủ
đòi hỏ ự ệ ệ ủ ại quan đánh giá và thự ệ
i s hi n di n c a các công nhân ngo c hi n theo các
đào tạ ặ ế ứ ận đượ ừ ớc đó. Mắt thườ ế ố
o ho c ki n th c nh c t trư ng chính là là y u t then
chố ủ ệ ể ự ủ ứ ệ ọ
t c a vi c ki m tra tr c quan th công, tuy nhiên theo nghiên c u vi c l t lõi
`
11
khi ti ng t 20% ~ 30% [6]. M t s khi
ến hành theo phương pháp này dao độ ừ ộ ố ếm
khuy t có th quy cho l i c a công nhân ngo i quan( tâm tr ng, s c kh e,.. t i th
ế ể ỗ ủ ạ ạ ứ ỏ ạ ời
điể ể ộ ố ớ ạ ề
m ki m tra), trong khi m t s khác là do gi i h n v không g ( ánh sáng,
ian
kho ng cách ngo i quan,...); m c dù có th gi m b
ả ạ ặ ể ả ớt được vi c l t l i do công nhân
ệ ọ ỗ
ngo o và th c lo i b hoàn
ại quan thông qua đào tạ ực hành, nhưng không thể đượ ạ ỏ
toàn. Đặc biệt, trong môi trườ ả
ng s n xuất khi con người m t m i có th d n t i k
ệ ỏ ể ẫ ớ ết
qu ngo i quan x y ra nhi u sai sót. L i ki m tra tr c quan trong s n xu ng
ả ạ ả ề ỗ ể ự ả ất thườ
có hai hình th c là u m t khi m khuy t hi n có ho
ứ thiế ộ ế ế ệ ặc xác định không chính xác
m t khi m khuy t t n t i t ví d v h n ch c a m i trong
ộ ế ế ồ ạ , dưới đây là mộ ụ ề ạ ế ủ ắt ngườ
quá trình ki c quan:
ểm tra trự
Hình 1.1 ng song song xu n tr thành con d
Các đườ ất hiệ ở ốc.
1.1.1. Sơ lượ ề ả ấ ạ ả ấ
c v quá trình s n xu t t i các nhà máy s n xu t màn hình
điệ ạ
n tho i.
s n xu t ra m n tho i hoàn ch nh ph i tr i qua r
Để ả ấ ột màn màn hình điệ ạ ỉ ả ả ất
nhi n step by step k thu t l p ráp, dán các t m v t lý v i nhau m
ều công đoạ ỹ ậ ắ ấ ậ ớ ột
cách t m , chính xác nh t. Vi c dán các l p này v
ỉ ỉ ấ ệ ớ ới nhau đượ ế
c ti n hành theo một
chu trình khép kín và hoàn toàn t ng b ng các cánh tay Robot và thi t b t
ự độ ằ ế ị ự
động hóa.
Process s n xu i n tho
ả ất 1 màn hình đ ệ ại như sau:
`
12
Hình 1.2 Process s n xu n tho i
ả ất màn hình điệ ạ
a. L ch s hình thành các l n tho
ị ử ớ ệ
p đi ại như sau :
✓ 2014 tr v n tho i dòng LCD g m 6 l p
ở ề trước : Điệ ạ ồ ớ
p ,màu s c s ng.
+ Ưu điểm : Design tương đố ẹ
i đ ắ ống độ
t dày và n ng ,do c u t o b ng kính nên d v .
+ Nhượ ể
c đi m : Rấ ặ ầ ạ ằ ễ ỡ
✓ 2014 n tho p
– 2020 : Điệ ại dòng AMOLED gồm 4 lớ
m : Thi t k m p ,màu s c s ng
+ Ưu điể ế ế ỏng đẹ ắ ống độ
v ,không có kh p
+ Nhượ ể
c đi m : Dễ ỡ ả năng gậ
✓ →
2020 n tho p
Nay : Điệ ại ong YOUM gồm 4 lớ
+ Ưu điểm : Thi t k p ,màu s c s
ế ế đẹ ắ ống động, tăng độ ể
hi n th ngoài
ị
trời
✓ + Nhượ ể
c đi m : Giá thành cao
Hình 1.3 n tho i
Layer các dòng điệ ạ
`
13
b. M n tho
ỗi lớ ệ
p đi ại có phương thức dán như sau
Hình 1.4 n xu t màn hình
Phương thức sả ấ
Hình 1.5 C u t n c a m t màn hình OLED
ấ ạo cơ bả ủ ộ
c. Quy trình sả ất sơ lượ
n xu c giới hạn trong đề ại công đoạ
tài t n :
Hình 1.6 c process dán
Sơ lượ
`
14
Quy trình s n xu c gi i h tài t n bao g m các khâu
ả ất sơ lượ ớ ạn trong đề ại công đoạ ồ
như sau:
- C p nguyên v u ( Panel, T m dính d n, Window)
ấ ật liệ ấ ẫn điệ
- ) nguyên v t li
Loading( đặt, để ậ ệu lên các Stage( bàn chân không đặt Panel)
- d ng công ngh Vision Aligment )
Dán( Sử ụ ệ
- c) bán thành ph m kh i các Stage( bàn chân không)
Unloading( nhấ ẩ ỏ
- ) bán thành ph m vào Tray( khuôn ch a Panel)
Loading( đặ ể
t, đ ẩ ứ
- conveyer vào máy kh b ng hóa
Loading từ ử ọ ờ
t khí/cư
- Check ngo i quan hàng thành ph n, Window )
ạ ẩm ( Panel ,tấm dính dẫn điệ
- ành ph m vào tray ( khuôn ch a Window )
Loading th ẩ ứ
Hình 1.7 kh t b dán Window v i Panel
Sơ đồ ối thiế ị ớ
1.1.2. Ả ở ủ ự ố ớ ấ ợ ả ẩm trong công đoạ
nh hư ng c a s c t i ch t lư ng s n ph n
S c ng phát sinh trong quá trình s n xu t có th gây ra r t nhi
ự ố chất lượ ả ấ ể ấ ều
l i nghiêm tr ng lên s n ph c bi t là các th h n tho i thông minh s
ỗ ọ ả ẩm, đặ ệ ế ệ điệ ạ ử
d ng t m n c hi n th nh dày m i k n là
ụ ấ ền có kích thướ ể ị ỏ và độ ỏng. Hơn cả phả ể đế
l v l i bóng khí và l n ph
ỗi dị ật, ỗ ỗi dán lệch sả ẩm .
Trung bình s n xu t /tháng : Capa 3,200,000 s n ph m, giá thành m t s
ả ấ ả ẩ ộ ản
ph 100$ ( Công b )
ẩm là ố năm 2021
L i d v t ( T l l i 1.2% ): là l i phát sinh khi có d v t n m gi a m t trong
ỗ ị ậ ỷ ệ ỗ ỗ ị ậ ằ ữ ộ
các l p v t lý c a màn hình, d v t có th phát sinh trong quá trình dán do ô nhi
ớ ậ ủ ị ậ ể ễm
v t li u vào,trong thi t b s n xu m b s ch theo tiêu
ậ ệu đầ ế ị ả ất không đả ảo 100% độ ạ
chuẩ ị ậ ới có kích thướ ớn hơn 0.3 ức là kích thướ ỏ ấ
n. D v t nói t c l mm t c nh nh t mà
mắt thường có thể quan sát được ở c ly s d n tho i. G p l i này không th
ự ử ụng điệ ạ ặ ỗ ể
`
15
tái s d c mà ph i x lý h i v i s
ử ụng đượ ả ử ủy đố ớ ản phẩm. Theo như tính toán thì thiệt
h s n ph t VND/ Tháng
ạị theo giá trị ả ẩm 3,6M ( USD)~ 82.8 ỷ
Hình 1.8 v t
Loại hình dị ậ
L i bóng khí ( t l l i 0.2% ) là l i phát sinh do trong hình thành quá trình
ỗ ỷ ệ ỗ ỗ
dán m n tho i ( Window ) vào b m t Panel d n t s n ph m sau khi hoàn
ặt điệ ạ ề ặ ẫ ới ả ẩ
thành chu trình dán xu t hi n tho i . G p l
ấ ện các bóng khí li ti trên màn hình điệ ạ ặ ỗi
này không th tái s d
ể ử ụng được mà ph i x lý h
ả ử ủy đố ớ
i v i s n ph
ả ẩm Theo như tính
toán thì thi t h
ệ ạị theo giá tr s n ph m 0.6 M ( USD)~ 13.8 t VND/ Tháng
ị ả ẩ ỷ
Hình 1.9 Loại hình bóng khí
L i dán l ch s n ph m ( T l l i 0.1% ): là là l i phát sinh do trong hình
ỗ ệ ả ẩ ỷ ệ ỗ ỗ
thành quá trình dán m i ( Window ) vào b t Panel d i s
ặ ệ ạ
t đi n tho ề ặ
m ẫ ớ
n t ả ẩ
n ph m
sau khi hoàn thành chu trình dán không kh p nhau màn n tho i . D n t
ớ hình điệ ạ ẫ ới
kh p ráp và hi n th màn hình các module phía sau dây chuy n s n xu
ả năng lắ ể ị ở ề ả ất
không đáp ứng được tiêu chí đầ ủ ặ ỗ ể ử
u ra c a nhà máy. G p l i này không th tái s
dụng đượ ả
c mà ph i h i v i s n ph
ủy đố ớ ả ẩm. Theo như tính toán thì thiệt hạị theo giá
trị ả ẩ ỷ
s n ph m 0.3 M ( USD)~ 6.9 t VND/ Tháng
Qua li t kê m t s v nghiêm tr ng do s c gây ra gây ra nêu trên thì
ệ ộ ố ấn đề ọ ự ố
vi c phát tri n m t h ng t ng giám n các s c ng
ệ ể ộ ệ thố ự độ sát và ngăn chặ ự ố chất lượ
t n xu t quan tr u vô cùng c n thi t và c i v i các
ại các bước sả ấ ọng là điề ầ ế ấp bách đố ớ
nhà máy s n xu t màn hình.
ả ấ
`
16
1.1.3. Tính cấ ủa đề
p bách c tài
T quy trình s n xu t s n ph m t trên có th y r ng
ừ ả ấ ả ẩ ại công đoạn đã nêu ở ể thấ ằ
chu trình s n xu t hoàn toàn khép kín, m
ả ấ ỗi 1 quá trình dán đều có thể nguy cơ gây
ra l i hàng lo t ( d v t/ bóng khí / dán l ch s n ph m ) n u không phát hi n và
ỗ ạ ị ậ ệ ả ẩ ế ệ
ngăn ngừ ự ố ỗ ể ệ ạ ấ
a các s c hay các l i phát sinh thì hoàn toàn có th gây ra thi t h i r t
l n cho nhà máy, vì th m m tra liên t c tình
ớ ế ột phương pháp kiể ục, giám sát đượ
trạng c a hàng thành ph
ủ ẩm, trước khi tiến hành công đoạn sau là vô cùng c n thi
ầ ết
nh m phòng tránh l i phát sinh. Áp d ng x lý nh v i ch m t vision camera có
ằ ỗ ụ ử ả ớ ỉ ộ
nhi m phù h
ều ưu điể ợp để áp dụng như sau:
- i gian x lý nhanh, phù h p v i dây chuy n s n xu ng
Thờ ử ợ ớ ề ả ất tự độ
M i s n ph m hi n t i có th i gian hoàn thành ch kho ng 5s, trong th
ỗ ả ẩ ệ ạ ờ ỉ ả ời
gian 5s con ngườ ể ỹ đượ ị ậ ệ
i khó có th quan sát k c d v t/bóng khí/ dán l ch có kích
thướ ỏ
c nh kho ng t 0.3 mm tr lên, tuy nhiên v ng d ng c a x lý nh ch c n
ả ừ ở ới ứ ụ ủ ử ả ỉ ầ
10 camera vision /2 stage cho m thì hoàn toàn có th phát hi n toàn b 3
ỗi thiết bị ể ệ ộ
l i k nh báo kh n c p cho k t viên có th x lý
ỗ ể trên phát sinh, đưa ra các cả ẩ ấ ỹ thuậ ể ử
k p th
ị ời.
- g n, có th p trong thi t b
Kích thước nhỏ ọ ể tích hợ ế ị
c ph n trong thi t b hi n t i khá nh kho ng 800mm x
Kích thướ ầ ế ị ệ ạ ỏ chỉ ả
800mm, v i nhi u chi ti t linh ki n ph c t p; tuy nhiên m i camera vision ch
ớ ề ế ệ ứ ạ ỗ ỉ có
kích thướ ả ể ắp đặ ảnh hưở
c kho ng 50mm x 50mm hoàn toàn có th l t mà không ng
t i v n hành chung c a các chi ti c tính nh g n này th c s phù
ớ ậ ủ ết máy khác. Đặ ỏ ọ ự ự
h p v i thi hi n t
ợ ớ ết bị ệ ại.
- Có th qu c l ch s ng d a trên d
ể ản lý đượ ị ử hoạt độ ự ữ liệu được đưa lên hệ
thống
i v i m i h ng làm vi c thì vi c qu n lý l ch s là r t quan tr ng.
Đố ớ ỗ ệ thố ệ ệ ả ị ử ấ ọ
D a trên d u thu th c v các l i phát hi c hàng ngày chúng ta có
ự ữ liệ ập đượ ề ỗ ện đượ
thể ắ ắt đươc tình trạ ậ ệu đầu vào đang ở xu hướ ố
n m b ng nguyên v t li ng t t lên hay
xấu đi, có thể ểu đượ
hi c t i sao l i phát sinh v i các th
ạ ỗ ớ ời điểm phát hiện được, nắm
b n tr ng ch n,...
ắt chính xác hiệ ạ ấ ợng công đoạ
t lư
ng xây d tài, s l
Bên dưới đây là hình ảnh tưởng minh ý tưở ựng đề ẽ ắp đặt
camera vision t i thi t b nh m quan sát nh m phát hi n phân tích hình nh xem
ạ ế ị ằ ằ ệ ả
có hay không có các l c nh báo cho nhân viên k p th i x lý, v
ỗi hay phát sinh để ả ị ờ ử ị
`
17
trí l t cho phép quan sát rõ b m t s n ph t qu d a trên thu
ắp đặ ề ặ ả ẩm và đưa ra kế ả ự ật
toán x lý
ử ảnh.
Hình 1.10 Ý tưở ệ ự ố
ng Camera Vision giám sát và phát hi n s c
Hình 1.11 l u khi n
Sơ đồ ắp đặt hệ thống điề ể
Các thành ph n c a h u khi n bao g
ầ ủ ệ thống điề ể ồm:
- Camera Vision: ch p nh t trí ch
ụ ả ại vị ỉ định
- u sáng: T ng ánh sáng thu n l nh ch c có
Đèn chiế ạo môi trườ ậ ợi để ả ụp đượ
thể ễ ử lý hơn. Môi trườ ố ả ụp đượ ẽ ử ẫ
d dàng x ng t i thì nh ch c s khó x lý d n
đế ế ả ố
n k t qu không mong mu n.
- u khi m các tham s c u sáng
Controller: Điề ể ố ủa đèn chiế
- Computer: ch a ph m m m h hình c. Ph m m m có ch
ứ ầ ề ỗ trợ ảnh thu đượ ầ ề ức
năng xử lý hình ảnh, phát hi n d v
ệ ị ật và đưa ra cảnh báo sau đó truyền thông
tin v thi
ề ế ị
t b .
`
18
1.2 n ch ng b ng x
Phương pháp phát hiệ ấ ợ
t lư ằ ử lý ảnh
V u xây d ng thu nh ta c n n
ới yêu cầ ự ật toán và viết chương trình xử lý ả ầ ắm
được m t cách v ng ch c các lý thuy t v x lý nh và
ộ ữ ắ ế ề ử ả ứng d ng c a nó trong th
ụ ủ ực
t ng m n n ng và ngu n tài li u tham kh
ế. Dướ ạ
i đây là h ục các lý thuyết cầ ắm vữ ồ ệ ảo
ph n [1], [3].
ục vụ ội dung đề tài
X nh và th c mà ngày n c phát tri n và ng
ử lý ả ị giác máy là lĩnh vự ay đượ ể ứ
d ng r t r ng rãi trong nhi c khác nhau nh vào s phát tri n ngày càng
ụ ấ ộ ều lĩnh vự ờ ự ể
m nh m c a các h
ạ ẽ ủ ệ thố ậ
ng máy tính, các thu t toán và công trình nghiên c u khác
ứ
nhau c a nhi u nhà khoa h gi i .
ủ ề ọc trên thế ớ [16]
Xử lý ảnh là ph n c
ầ ốt lõi c a k thu t th giác máy tính . Nhi m v chính
ủ ỹ ậ ị [13] ệ ụ
c a x nh là nâng cao ch ng thông tin hình nh theo m
ủ ử lý ả ất lượ ả ục đích và xử lý
những thông tin đó đưa ra kế ả ố
t qu , s liệ ằ ụ
u nh m ph c v c k p có th
ụ các bướ ế tiế ể là
hi n th u khi u ch p hành h d u.
ể ị, điề ển cơ cấ ấ ệ thống, lưu trữ vào cơ sở ữ liệ
Quá trình b u t vi c thu nh n nh ngu n ng nh s máy tính. D u
ắt đầ ừ ệ ậ ả ồ (dạ ả ố) ở ữ liệ
ảnh được lưu trữ ở đị ạ ợ ớ ử lý. Ngườ ậ ẽ đưa
nh d ng phù h p v i quá trình x i l p trình s
ra các thu t toán lên d u nh nh i c u trú nh phù h p v i các ng
ậ ữ liệ ả ằm thay đổ ấ c ả ợ ớ ứ
d ng khác nhau. Các thu n nh ng là: Histogram, Canny Edge,
ụ ật toán cơ bả ất thườ
l c màu RGB, l .
ọ ọc màu HSV, …
1.2.1 a các không gian màu
Không gian màu, chuyể ổ
n đ i giữ
Không gian màu là m t mô hình toán h mô t các màu s c trong
ộ ọc dùng để ả ắ
th c t c bi u di i d ng s h c ]. Trên th c t có r t nhi u không gian
ự ế đượ ể ễn dướ ạ ố ọ [7 ự ế ấ ề
màu khác nhau được mô hình để ử ụ ữ ục đích khác nhau. Trong
s d ng vào nh ng m
bài này ta s tìm hi u qua v c nh i và ng
ẽ ể ề ba không gian màu cơ bản hay đượ ắc tớ ứ
d ng nhi không gian màu RGB, HSV và CMYK.
ụ ều, đó là hệ
Không gian màu RGB
RGB là không gian màu r t ph bi h a máy tính và
ấ ổ ến được dùng trong đồ ọ
nhi u thi t b t s ng chính c a không gian màu này là s k
ề ế ị kĩ thuậ ố khác. Ý tưở ủ ự ết
h p c a ba màu s Red), xanh l
ợ ủ ắc cơ bản: màu đỏ (R, ục (G, Green) và xanh lơ (B,
Blue) để ả ấ ả ắ ếu như mộ ả ố đượ ằ
mô t t t c các màu s c khác. N t nh s c mã hóa b ng
24bit, nghĩa là 8 ỗ
bit cho kênh R, 8 bit cho kênh G, 8 bit cho kênh B, thì m i kênh
này màu này s nh n giá tr t 0 t 255. V i m i giá tr khác nhau c a các kênh
ẽ ậ ị ừ ới ớ ỗ ị ủ
`
19
màu k t h p v i nhau ta s c m y ta s có t ng c ng
ế ợ ớ ẽ đượ ột màu khác nhau, như vậ ẽ ổ ộ
255 x 255 x 255 = 1.66 tri u màu s
ệ ắc.
Ví d k t h a các kênh màu (R, G, B) v i giá tr
ụ: màu đen là sự ế ợp củ ớ ị tương
ứ ắ ị ị
ng (0, 0, 0) màu tr ng có giá tr (255, 255, 255), màu vàng có giá tr (255, 255,
0), màu tím đậ ị ế bit để ộ
m có giá tr (64, 0, 128) ...N u ta dùng 16 mã hóa m t kênh
màu tr
(48bit cho toàn b 3 kênh màu) thì d i màu s
ộ ả ẽ ả ộ ớ
i r ng lên t i 3x216
... Một
con số ấ
r t lớn.
Hình 1.12 Không gian màu RGB
Không gian màu CMYK:
CMYK là không gian màu được s d ng ph bi n trong
ử ụ ổ ế ngành công nghi p
ệ
in ấ ởng cơ bả ủ
n. Ý tư n c a hệ ố ắc cơ bản để ụ
không gian này là dùng b n màu s ph c
v cho vi c pha tr n m c in. Trên th c t ,
ụ ệ ộ ự ự ế người ta dùng ba màu là C = Cyan: xanh
lơ, M ồ ẫ Yellow: vàng để ể ễ ắ
= Magenta: h ng x m và Y = bi u di n các màu s c khác
nhau. N u l y màu h ng x m c ng v i vàng s , màu x m k t h p v
ế ấ ồ ẫ ộ ớ ẽ ra màu đỏ ẫ ế ợ ới
xanh lơ sẽ ự ế ợ ủ ẽ đen, tuy
cho xanh lam ... S k t h p c a ba màu trên s cho ra màu
nhiên màu đen ở đây khôn ải là đen tuyệ ối và thường có độ tương phả ớ
g ph t đ n l n,
nên trong ngành in, để ế ệ ực in người ta thêm vào màu đen để ữ
ti t ki m m in nh ng
chi ti t i k p ba màu s y ta có h
ế có màu đen thay vì phả ết hợ ắc trên. Và như vậ ệ màu
CMYK. ch K kí hi ( y c dùng
ữ ở đây là để ệu màu đen Black), như vậ chữ B đã đượ
để ể ễ nên ngườ ấ ữ ối K để ể ễn màu đen.
bi u di n màu Blue i ta l y ch cái cu bi u di
Nguyên lý làm vi c c a h
ệ ủ ệ màu này như sau: trên m t n n gi y tr ng, khi m i màu
ộ ề ấ ắ ỗ
này được in lên sẽ loại b d n
ỏ ầ đi thành ầ
ph n màu tr ng. Ba màu C, M, Y khác nhau
ắ
in theo nh ng t l khác nhau s i b t cách khác nhau và
ữ ỉ ệ ẽ loạ ỏ đi thành phần đó mộ
`
20
cuố ắ ầ ầ màu đen, thay vì phả ả
i cùng cho ta màu s c c n in. Khi c n in i in c ba màu
người ta dùng màu đen để ớ ệ ủ
in lên. Nguyên lý này khác v i nguyên lý làm vi c c a
h RGB
ệ ở ỗ ệ
ch h RGB là s k t h p c a các thành ph n màu, còn h CMYK là s
ự ế ợ ủ ầ ệ ự
lo i b
ạ ỏ ẫ ủ ầ
l n nhau c a các thành ph n màu.
Hình 1.13 Không gian màu YMC
Không gian màu HSV:
HSV và cũng gần tương tự như HSL là không gian màu đượ ề
c dùng nhi u
trong vi c ch nh s
ệ ỉ ửa hình nh, phân tích
ả ảnh và m t ph n c
ộ ầ ủa lĩnh vực th giác máy
ị
tính. H mô t
ệ ự ố sau để
không gian này d a vào ba thông s ả ắ
màu s c H = Hue: màu
s c, s b o hòa, V = value: giá tr
ắc, S = Saturation: độ đậm đặ ự ả ị cường độ sáng.
Không gian c bi u di i d ng hình tr c hình nón.
màu này thường đượ ể ễn dướ ạ ụ hoặ
Theo đó, đi theo vòng tròn từ ớ 360 độ là trườ ể ễ ắ
0 t i ng bi u di n màu s c (Hue).
Trườ ắt đầ ừ màu đỏ đầ ớ ục đầ
ng này b u t u tiên (red primary) t i màu xanh l u tiên
(green primary) n m trong kho ng t 0 t i , t 120 t i là màu xanh
ằ ả ừ ớ 120 độ ừ ớ 240 độ
l c t blue primary). T 240 t i 360 là d i
ụ ới xanh lơ (green primary – ừ ớ ả màu đen tới
lại màu đỏ. Việ ắm rõ đượ
c n c khái ni m c a màu s c, cách th c t o ra các màu s
ệ ủ ắ ứ ạ ắc
trong t t l n trong vi c hi u và chuy i gi
ừng không gian màu có ý nghĩa rấ ớ ệ ể ển đổ ữa
các không gian màu tùy theo t ng tình hu ng bài toán x
ừ ố ử lý ả ầu, dưới đây
nh yêu c
tiế ụ ớ ệ ề ế ển đổ ữ ậ
p t c gi i thi u v lý thuy t chuy i gi a các không gian màu và thu t toán
h trong OpenCV.
ỗ trợ
`
21
Hình 1.14 Không gian màu HSV
Chương trình chuyển đổi các không gian màu
Trong OpenCV, các không gian màu được đượ ển đổ ạ ờ
c chuy i qua l i nh
hàm cvtColor(convert color), nguyên mẫu hàm này như sau:
cv::cvtColor(cv::InputArray src, cv::OutputArray dst, int code)
Trong đó: src, dst là ảnh g c và
ố ảnh thu được sau khi chuyển đổi không gian
màu; code là mã chuy u
ển đổi không gian màu. OpenCV định nghĩa khá nhiề
chuyển đổ ữ ẳ ạn như ẽ
i gi a các không gian màu ch ng h Code = CV_BGR2GRAY s
chuyể ả ở ả ẽ
n nh không gian màu RGB sang nh xám, Code = CV_HSV2 s
BGR
chuyể ả ở không gian màu HSV sang không gian màu RGB …
n nh
1.2.2 phân, nh phân hóa v
Ảnh nhị ị ới ngưỡng động
Ả ị ả ị ủa các điể ả ỉ đượ ể ễ ằ
nh nh phân là nh mà giá tr c m nh ch c bi u di n b ng
hai giá tr 0 ho ng v c tr ng. Nh phân hóa m
ị ặc 255 tương ứ ới hai màu đen hoặ ắ ị ột
ả ế ộ ả ả ị ọ ị ờ
nh là quá trình bi n m t nh xám thành nh nh phân. G i f(x,y) là giá tr cư ng
độ ủ ột điể ả ở ị là ngưỡ ị ị phân. Khi đó, ả
sáng c a m m nh v ,
trí (x,y) T ng nh nh nh
xám s c chuy n thành nh nh phân d a vào công th f(x,y) = 0 n u
f ẽ đượ ể ả ị ự ức ế f(x,y)
≤ T và f(x,y) = 255 n u f(x,y) > T.
ế Hàm để chuy n nh phân hóa
ể ị ảnh trong OpenCV
là hàm threshold(). Nguyên m threshold(cv::InputArray src,
ẫu hàm như sau:
cv::OutputArray dst, double thresh, int maxval, int type). Trong đó, ảnh đầ
src là u
vào m t kênh màu ( d là c nh phân hóa, thresh
ộ ảnh xám …), st ảnh sau khi đượ ị là
`
22
ngưỡ ị ị ớ ấ ảnh (maxval = 255 đố ớ ả
ng nh phân, maxval là giá tr l n nh t trong i v i nh
xám), là ki u nh phân có th là:
type ể ị ể
CV_THRESH_BINARY,CV_THRESH_BINARY_INV,CV_THRESH_OTSU
… lần lượt là nh phân hóa thông
ị thường, nhị phân hóa ngược và nh phân hóa theo
ị
thu t
ật toán Otsu … Kế ả ủ ệ ị ộ
t qu c a vi c nh phân hóa m ả ụ ộc vào ngưỡ
nh ph thu ng
T, có nghĩa là vớ ỗi ngưỡ ữ ả ị
i m ng T khác nhau thì ta có nh ng nh nh phân khác
nhau. Hình sau mô t nh nh ng v ng T = 50, T =100.
ả ba ả ị phân tương ứ ớ ỡ
i ngư
Hình 1.15 nh v i giá tr Threshold khác nhau
Ả ớ ị
1.2.3 , xoay
Phóng to, thu nhỏ ảnh
Ả ố ự ấ ộ ận các điể ảnh, do đó để ể
nh s th c ch t là m t ma tr m có th phóng to,
thu nh t t m
ỏ ộ
hay xoay m ấ ả ể ử ụ ật toán tương ứ
nh ta có th s d ng các thu ng trên ma
trậ ẽ ử ụ ển đổi affine để quay và thay đổ ỉ ệ ỏ ủ ộ
n. Ta s s d ng bi i t l to, nh c a m t ma
trận.
Biến đổi affine:
Giả ử
s ta có vector = [ x, y]T
và ma tr n M 2x2. Phép bi i affine trong
ậ ể ổ
n đ
không gian hai chi u có th
ề ể được định nghĩa p’ = Mp trong đó p’ = [ x’, y’]T
. Viết
m ng minh ta có:
ộ ờ
t cách tư
'
'
x x
y
y

 
    
=
    
  
 
(1.1)
Hay x’ = αx + δy, y’ = γx + βy
Xét ma tr n
ậ
 
 
 
 
 
Nếu δ = γ = 0, khi đó x’ = αx và y’ = βy, phép biến đổi
này làm thay đổ ỉ ệ ủ ậ ế ả ẽ ặ ỏ
i t l c a ma tr n. N u là trong nh nó s phóng to ho c thu nh
ả ả ến đổ ớ ỉ ệ α = β = 2
nh. Hình sau mô t phép bi i v i t l
`
23
Hình 1.16 t toán thu phóng nh
Thuậ ả
N n:
ếu ta định nghĩa ma trậ
cos( )
sin(





sin( )
cos( )


− 


(1.2)
thì phép bi i s
ến đổ ẽ quay p thành p’ với góc quay là θ.
Hình 1.17 t toán xoay
Thuậ ảnh
1.2.4 M phép toán s d ng trong n i dung lu
ột số ử ụ ộ ận văn
Phép giãn n (dilation)
ở
C u trúc ph n t nh (image structuring element) là m t hình kh
ấ ầ ử ả ộ ối được
định nghĩa sẵ ằm tương tác vớ ả ỏ ộ ố ấ
n nh i nh xem nó có th a mãn m t s tính ch t nào
đó không, mộ ố ấ ầ ử ặ ấ ố
t s c u trúc ph n t hay g p là c u trúc theo kh i hình vuông và
hình ch p.
ữ thậ
`
24
Hình 1.18 Phép giãn nở
Ta hãy xét m nh v ng trong c bi u di n b ng màu n n
ột ả ới đối tượ ảnh đượ ể ễ ằ ề
nâu, sau đó dùng cấ ầ ử hình vuông (màu đỏ) để ở ả ế
u trúc ph n t làm giãn n nh, k t
qu ãn n n giãn n u là d u x.
ả là ảnh được gi ở ra và phầ ở ra ta đánh dấ ấ
Hình 1.19 Phép giãn nở
Ứ ụ ủ ở là làm cho đối tượ ảnh được tăng lên
ng d ng c a phép giãn n ng trong
v c, các l trong c l y, n i li ng biên v
ề kích thướ ỗ nhỏ ảnh đượ ấp đầ ố ền đườ ảnh đối ới
nh n r
ững đoạ ời nhỏ …
Tìm biên ả ự ộ ọ
nh d a trên b l c Canny
B l c Canny là s k t h p c a nhi tìm và t
ộ ọ ự ế ợ ủ ều bước khác nhau để ối ưu
đườ ế ả ột đườ ả
ng biên, k t qu là cho ra m ng biên khá m nh và chính xác. Quá trình
tìm biên sử ụng phương pháp canny có thể ợ
d đư c th c hi c sau:
ự ệ ố bướ
n qua b n
Bước 1: i b u trong nh
Loạ ớt nhiễ ả
Ngườ ạ
i ta lo i nhi u trong nh, làm cho nh m ng cách nhân ch p nh
ễ ả ả ờ đi bằ ậ ả
v l c Gause, ch ng h n b l c Gause 5x5 v i h s
ới một bộ ọ ẳ ạ ộ ọ ớ ệ ố σ = 1.4:
`
25
(1.3)
Bước 2: Tính toán giá tr gradient trong
ị ảnh
Vì đườ ảnh là nơi phân cách giữa các đối tượ
ng biên trong ng khác nhau,
nên t a nó s bi i m nh m nh tính toán gradient trong
ại đó gradient củ ẽ ến đổ ạ ẽ ất. Để
ả ể ử ụ ộ ọ ặ ự ế ậ ậ ả ớ
nh, ta có th s d ng b l c Sobel, ho c tr c ti p nhân ch p ma tr n nh v i các
m t n ng x v y, ng h n:
ặ ạ theo hướ à chẳ ạ
(1.4)
Sau đó tính độ ớ ả
l n gradient trong nh:
2 2
x y
G G G
= + và arctan y
x
G
G


= 

(1.5)
Bước 3: Loạ ỏ ị ả ực đạ
i b các giá tr không ph i là c i
Bước này s tìm ra nh
ẽ ững điểm ảnh có khả năng là biên ả ấ
nh nh t b ng cách
ằ
lo trên.
ạ ỏ đi ữ ị ả ực đại trong bướ ả ở
i b nh ng giá tr không ph i là c c tìm gradient nh
Ta th y r ng, v i giá tr c a góc trên thì biên c ng có th tuân theo
ấ ằ ớ ị ủ θ ở ủa đối tượ ể
b ng, và ta có b n kh
ốn hướ ố ả năng sau:
4. N m A s c xem là m m trên biên n
ếu θ = 00, khi đó, điể ẽ đượ ột điể ếu độ
l n gradient t i A l l n gradient c i A3, A7.
ớ ạ ớn hơn độ ớ ủa các điểm tạ
5. N m A s c xem là m m trên biên n
ếu θ = 450, khi đó, điể ẽ đượ ột điể ếu độ
l n gradient t i A l l n gradient c i A4, A8.
ớ ạ ớn hơn độ ớ ủa các điểm tạ
6. N m A s c xem là m m trên biên n
ếu θ = 900, khi đó, điể ẽ đượ ột điể ếu độ
l n gradient t i A l l n gradient c i A1, A5.
ớ ạ ớn hơn độ ớ ủa các điểm tạ
7. Nếu θ = 1350, khi đó, điể ẽ đượ ộ ể ếu độ
m A s c xem là m t đi m trên biên n
l n gradient t i A l l n gradient c i A2, A6.
ớ ạ ớn hơn độ ớ ủa các điểm tạ
`
26
Hình 1.20 Gradient
Bước 4: Chọ ủ ố ợ ả
n ra biên c a đ i tư ng trong nh
Sau bướ ẽ thu đượ ập các điểm tương ứng trên đườ
c trên s c t ng biên khá
m ng. Vì nh m có giá tr gradient l n bao gi t là biên th
ỏ ững điể ị ớ ờ cũng có xác suấ ật
s m có giá tr gradient nh , d
ự hơn những điể ị ỏ o đó để xác định chính xác hơn nữa
biên c ng, ta s d l c canny s s d ng
ủa các đối tượ ử ụng các ngưỡng. Theo đó, bộ ọ ẽ ử ụ
m ng trên (upper threshold) và m i (lower threshold), n u
ột ngưỡ ột ngưỡng dướ ế
gradient t i m m trong nh có giá tr l ng trên thì ta xác nh
ạ ột điể ả ị ớn hơn ngưỡ ận đó
là m i
ộ ể ả ế ị này bé hơn ngưỡng dưới thì đó không phả
t đi m biên trong nh, n u giá tr
điểm biên. Trong trườ ợ ị ằ ữa ngưỡng trên và ngưỡ
ng h p giá tr gradient n m gi ng
dướ ỉ được tính là điểm trên biên khi các điể ế ạ ủ
i thì nó ch m liên k t bên c nh c a nó
có giá tr gradient l ng trên.
ị ớn hơn ngưỡ
Hình 1.21 nh g l c Candy
Ả ốc bộ ọ
`
27
Hình 1.22 Ví dụ ề ộ ọ
v phép tìm biên b l c Candy
Chuyển đổ ện đườ ẳng, đườ ả
i Hough, phát hi ng th ng tròn trong nh
Chuyển đổi Hough (Hough transformation) là một phương pháp được dùng
nhi u trong phân tích và x
ề ử lý ả ục đích chính của phương pháp này là tìm ra
nh, m
nh nh b ng cách chuy i không gian nh ban
ững hình dáng đặc trưng trong ả ằ ển đổ ả
đầu sang m t không gian c a các tham s nh
ộ ủ ố ằm đơn giản quá trình tính toán, trong
bài này ta xét chuy ng th ng tròn.
ển đổ ờ
i Hough cho đư ẳng và đườ
Chuyển đổi Hough cho đườ ẳ
ng th ng.
Ta đã biế ằ ột đườ ẳ ề ể đượ
t r ng, m ng th ng trong không gian hai chi u có th c
bi u di i d ng y = kx + m và c p h s góc k, giá tr có th c ch
ể ễn dướ ạ ặ ệ ố ị m ể đượ ọ ể
n đ
làm đặc trưng cho một đường th ng. Tuy nhiên, cách bi u di n theo c p (k, m) khó
ẳ ể ễ ặ
th t s
ỏa mãn vớ ững đườ ẳ ẳng đứ ệ ố ộ
i nh ng th ng th ng khi mà h s góc là m ố vô cùng.
Để ờ ợ ẽ ể ễn đườ ẳ ệ ọ ộ ự
tránh trư ng h p này, ta s bi u di ng th ng trong h t a đ c c.
Phương trình đườ ẳ ệ ọ ộ ự ạng như sau:
ng th ng trong h t a đ c c có d
cos( ) ysin( )
r x  
= + (1.6)
Trong đó, r là khoả ừ ố ọ ộ ới đườ ẳ ự
ng cách t g c t a đ O t ng th ng, θ là góc c c.
Như vậ ớ ỗi điể ộ ọ các đườ ẳng đi qua thõa mãn
y, v i m m (x0, y0) ta có m t h ng th
phương trình:
cos( ) sin( )
o o o
r x y
 
= + (1.7)
Phương trình này bi u di n m
ể ễ ột đường cong, như vậy trong m t t
ộ ấm ảnh có
n điể ẽ có n các đườ
m (n pixel) ta s ng cong.
`
28
Hình 1.23 i Hough
Chuyển đổ
N ng cong c m này cùng
ếu đườ ủa các điểm khác nhau giao nhau, thì các điể
thu m này, ta s
ộc về ộ ờ ẳ ằng cách tính các giao đ ể
m t đư ng th ng. B i ẽ xác định được
đườ ẳng, đó là nội dung ý tưở ủ ật toán Hough cho đườ ẳ
ng th ng c a thu ng th ng.
Chuyển đổi Hough cho đường tròn
Chuyển đổi Hough cho đường tròn cũng tương tự như với đườ ẳ
ng th ng,
phương trình đường tròn đượ ị ở
c xác đ nh b i:
(1.8)
Trong đó, (u,v) là tâm đường tròn, R là bán kính đường tròn, θ là góc có giá
trị ừ
t 0 t . M ng tròn s
ới 360 độ ột đườ ẽ hoàn toàn được xác đị ế ết đượ ộ
nh n u ta bi c b
ba thông s (u,v,R
ố ). Từ phương trình trên ta có thể chuyển đổi tương đương:
(1.9)
Ta xét v ng h
ới trườ ợp đã biết trướ ị ủ
c giá tr c a R i m nh
. Khi đó, vớ ỗ ể
i đi m ả
(x,y) ta sẽ xác định đượ ộ
c m t giá tr (u,v
ị ) và lưu nó vào mộ ả
t m ng. Tâm của đường
tròn s là giá tr t hi n trong m ng v i t n su t l n nh ng h
ẽ ị xuấ ệ ả ớ ầ ấ ớ ất. Trong trườ ợp R
chưa biết, ta tăng giá trị ủ ừ ột ngưỡ ới ngưỡng max nào đó và tiế
c a R t m ng min t n
hành như với trườ ợp đã biết trướ ị
ng h c giá tr R.
Hình 1.24 ng tròn
Chuyển đổi Hough đườ
`
29
1.3 t toán liên quan và l a ch n
Các thuậ ự ọ
1.3.1 n (Background subtraction)
Phương pháp tách nề
Phương pháp tách cả ề ế
nh n n [15] (Ti ng Anh: Background subtraction) hay
có th g n ti n c nh (Ti ng Anh: foreground detection) là
ể ọi phương pháp phát hiệ ề ả ế
m t k c x nh và th giác máy tính khi mà ti n c nh
ộ ỹ thuật trong lĩnh vự ử lý ả ị ề ả
(foreground) sẽ được tách ra cho nh c x lý ti p theo (ví d
ững bướ ử ế ụ như nhận d ng
ạ
đối tượ ậ ạ ử ỉ ển động, vv). Thông thườ ữ ả
ng, nh n d ng c ch , chuy ng nh ng vùng nh
quan tâm s c vùng ti n c nh c nh, vì v y vi nh n n hi u qu
ẽ thuộ ề ả ủa bức ả ậ ệc tách cả ề ệ ả
và chính xác giúp cho các h c s nh và tính nhanh chóng.
ệ thống này đạt đượ ự ổn đị
Sau bướ ề ử lý, các bướ ử ế ẽ ử ụ ỹ ậ ề
c ti n x c x lý ti p theo s s d ng k thu t tách n n này.
Tách cả ền đượ
nh n c ứ ụ ộ ều lĩnh vực như camera giám sát,
ng d ng r ng rãi trong nhi
nh n d ng, nh n d ng c ng [12]
ậ ạng đối tượ ậ ạ ử chỉ đối tượ , giao thông để theo dõi lưu
lư i các phương pháp ti
ợ ớ
ng xe [10], [11] … v ế ận như:
p c
1.3.1.1 Phương pháp frame diffirencing
Trong t t c
ấ ả các phương pháp background subtraction thì phương pháp
Frame Differencing được xem là phương pháp đơn giả ấ
n nh t. Chi phí tính toán
thấ ốc độ ự
p, t th c thi thu t toán nhanh. Tuy nhiên k t qu c khi ta áp d ng
ậ ế ả đạt đượ ụ
thu i th
ật toán này là tương đố ấp.
|𝐹𝑡+1−𝐹𝑡|<𝑡ℎ (1.10)
Trong đó:
- Ft+1: frame nh th - 1
ả ứ t
- Ft: frame nh th
ả ứ t
- c ch chính xác c a thu t toán ph thu c vào giá tr
th: ngưỡng đượ ọn. Độ ủ ậ ụ ộ ị
ngưỡng này.
1.3.1.2 c trung bình Mean filter
Phương pháp lọ
Lo và Velastin trong xu t s d ng giá tr trung bình c a n frame cu
đề ấ ử ụ ị ủ ối
cùng làm mô hình nền. Bước đầu tiên của phương pháp Median là xây dựng ra mô
hình background qua quá trình h c trên n frame. Giá tr pixel t i v trí (x, y) c
ọ ị ạ ị ủa
mô hình background được xây d ng b ng cách ch n ra giá tr trung v c a n frame
ự ằ ọ ị ị ủ
t trí (x, y).
ại vị
`
30
Giá trị ị được xác đị ằ
trung v nh b ng cách sau:
Ví d , v i m t dãy frame t F1 t i Fn, ta xét pixel
ụ ớ ộ ừ ớ ở v trí (x, y) thì các giá tr F1(x,
ị ị
y), F2(x, y) Fn(x,y) s t o thành m t dãy giá tr c a pixel (x, y) ng v i t ng
,…, ẽ ạ ộ ị ủ ứ ớ ừ
frame ả ớ ầ ắ ế ứ ự tăng dầ
nh. Bư c đ u tiên ta s p x p dãy pixel này theo th t n.
Giá tr trung v chính là ph n t n m chính gi a c p x p
ị ị ầ ử ằ ữ ủa dãy pixel đã sắ ế
th t .
ứ ự Sau khi đã xây dựng được mô hình background theo phương pháp trên thì
nh c th
ững bước sau đượ ực hiện tương tự như thuật toán Running Average.
1.3.1.3 Phương pháp Running Gaussian average
Trong phương pháp frame differencing đã đề ậ ở ệ xác đị
c p trên. Do vi c nh
các đối tượ ỉ
ng ch d a vào s khác bi hai frame liên ti p nhau. Do v
ự ự ệt ở ế ậy độ chính
xác c a thu
ủ ật toán tương đố ấp. Để
i th khắ ục nhược điểm này thì phương pháp
c ph
Running Average đề ra hướ ả ế ự
ng gi i quy t là xây d ng nên mô hình background.
Wrenetal. xu c l i m i v trí pixel(i,j). Giá
đã đề ất mô hình hóa background độ ập tạ ỗ ị
tr i v trí (x,y) c
ị ạ
pixel t ị ủ ợ
a mô hình background này đư c tính bằ ấ
ng cách l y trung
bình c ng c các giá tr pixel t trí (x,y) c
ộ ủa tất cả ị ại vị ủa n frame đã học.
𝐵 𝑥 𝑦 𝑥 𝑦 𝑛
( , )=Σ𝐹𝑖( , )𝑛𝑖=1 (1.11)
B(x, y): giá trị ạ ị ủ
pixel t i v trí (x, y) c a mô hình background
- Fi(x, y): giá tr pixel t i v a frame th
ị ạ ị trí (x, y) củ ứ i
- n: t ng s
ổ ố frame học
Sau khi đã xây dựng đượ ệc xác định ra được đâu là
c mô hình background, vi
đối tượ foreground đượ ự ệ ằ ừ ả ớ
ng c th c hi n b ng cách so sánh t ng frame nh v i mô
hình background. D a vào giá tr c c ch
ự ị ủa ngưỡng đã đượ ọn trước tương tự như
phương pháp frame differencing.
|𝐹𝑡−𝐵|<𝑡ℎ (1.12)
- n là 0.05.
thường được chọ
Như vậy, mô hình background sẽ đượ ậ
c c p nh t liên t c sau m i frame. Vì v
ậ ụ ỗ ậy
s chính xác c
ẽ giúp tăng độ ủa phương pháp.
1.3.1.4 n h p (GMM)
Phương pháp mô hình gausian hỗ ợ
`
31
Phương pháp này do Wren, Azarbayejani, Darrell, Pentland đưa ra vào năm
1997. Phương pháp này đặ ộ ố ự ế ị ủ
t m t phân ph i Gaussian lên s bi n thiên giá tr c a
m n video. Ví d , v i m t dãy frame t F1 t i Fn, ta xét pixel
ỗi pixel trong đoạ ụ ớ ộ ừ ớ ở
v trí (x, y) thì các giá tr t o thành m t dãy giá
ị ị F1(x, y), F2(x, y), …, Fn(x,y) sẽ ạ ộ
trị ủ ứ ớ ừ ả ằng cách tính trung bình và phương
c a pixel(x, y) ng v i t ng frame nh. B
sai c nh c pixel background (giá tr trung bình) và
ủa dãy pixel này ta xác đị đượ ị
ngưỡng (độ ệ ớ ộ ằ ố nào đó).
l ch nhân v i m t h ng s
𝜇𝑡 𝜇𝑡
+1= )
𝛼∗ 𝛼
𝐹𝑡+ (1− ∗ (1.13)
𝜎𝑡 𝜎𝑡
+12= (
𝛼∗ 𝐹𝑡− 𝜇𝑡)2+ (1− 𝛼 ∗
) 2 (1.14)
1.3.2 Phương pháp Template Matching
Template matching [14] là m t x lý hình n t tìm m t
ột kĩ thuậ ử ảnh điệ ử để ộ
hình nh nh trong m t b nh l n sao cho vùng nh này gi ng v nh m
ả ỏ ộ ức ả ớ ả ố ới ả ẫu
(template) nhất. Template matching có thể ứng d ng trong s n xu
ụ ả ất để qu n lý ch
ả ất
lượng s n ph
ả ẩm, dùng để điều khi n mobile robot, ho
ể ặc để tìm ra các c nh c a m t
ạ ủ ộ
b nh. Nh ng th thách l n nh
ức ả ữ ử ớ ất trong phương pháp Template Matching là: tìm
s p, phát hi n các bi i trong hình nh v m t ánh sáng, màu n n, xáo
ự ăn khớ ệ ến đổ ả ề ặ ề
tr i t
ộ ề ảnh và thay đổ
n n n ỷ ệ ủ
l c a c.
ả ố
nh g
Các phương pháp tiế ận phương pháp Template Matching:
p c
1.3.2.1 i Laplacian c a Gaussian
Biế ổ
n đ ủ
M t trong nh ng b phát hi bi n nh
ộ ữ ộ ện blob đầu tiên và cũng phổ ế ất được
d a trên Laplacian of Gaussian (LoG). Cho m t hình
ự ộ ảnh đầu vào f (x, y), hình nh
ả
này đượ ậ ổ ợ ậ ớ ộ
c nhân ma tr n t h p ch p v i m t nhân Gaussian.
𝑔 𝑥 𝑦 𝑡 𝜋𝑡𝑒 𝑥 𝑦 𝑡
( , , )= 12 − 2+ 22 (1.15)
K t qu
ế ả các đốm màu tối cho ra đều r t n i b
ấ ổ ật, các đốm màu t i này có bán
ố
kính 𝑟 = √ (2𝑡) 𝑟 =
( i v i hình nh 2 chi u),
Đố ớ ả ề √ ( )
𝑑𝑡 i v i hình nh nhi u
(Đố ớ ả ề
chiề ế ả hoàn toàn ngượ ạ ới các đốm màu sáng có kích thước tương
u) và k t qu c l i v
t . M
ự ột cách đơn giản để có đượ ộ
c m t b phát hi
ộ ện Blob đa tỷ ệ
l v i vi c l a ch
ớ ệ ự ọn
t l t c xem xét l n hóa.
ỷ ệ ự động đượ các phép tính Laplacian theo tỷ ệ chuẩ
𝛻𝑛𝑜𝑟𝑚 𝐿 𝑡 𝐿𝑥𝑥 𝐿𝑦𝑦
2 = ( + ) (1.16)
`
32
Để phát hi n t l không gian l n nh t/nh nh
ệ ỷ ệ ớ ấ ỏ ất, đó là các điểm mà lần lượt
là l n nh nh t c a phép tính Laplacian 2 ng v i không gian
ớ ất/nhỏ ấ ủ 𝛻𝑛𝑜𝑟𝑚 𝐿 tương ứ ớ
và t l t hình u vào hai chi u
ỷ ệ (Lindeberg 1994, 1998). Do đó, khi cho mộ ảnh đầ ề
r i r c f(x,y) và 3 chi u r i r c v i t l
ờ ạ ề ờ ạ ớ ỷ ệ không gian L(x,y,t) đượ ộ
c tính toán và m t
điểm đượ ột đố ố ế ị ại điể ớn hơn (hoặ ỏ
c coi là m m sáng (t i) n u giá tr t m này l c nh
hơn) giá trị ủ ấ
c a t t c m liên k c l a ch ng th
ả 26 điể ề nó. Do đó, việ ự ọn đồ ời các điểm
c n quan tâm ( ) và t l n theo công th
ầ 𝑥, ỷ ệ 𝑡 được thực hiệ ức.
( , , ( , , 2 , ,
𝑥 𝑦 𝑡)=𝑎𝑟𝑔𝑚𝑎𝑥𝑚𝑖𝑛𝑙𝑜𝑐𝑎𝑙 𝑥 𝑦 𝑡)((𝛻𝑛𝑜𝑟𝑚 𝐿)(𝑥 𝑦 𝑡)) (1.17)
Các thu c tính d a trên s l a ch n t l c a phép bi i Laplacian và
ộ ự ự ự ọ ỷ ệ ủ ến đổ
các phương pháp dò tìm điể ầ ặ ẽ khác đượ
m c n quan tâm có quy mô ch t ch c phân
tích chi tiế ợ
t trong (Lindeberg 2013a). Trong (Lindeberg 2013a, 2015) nó đư c thể
hi n r ng t n t i các b tìm ki m quan tâm trong không gian khác, ch ng h
ệ ằ ồ ạ ộ ếm điể ẳ ạn
như yế ố ết đị ủ ến đổ ạt độ ốt hơn so vớ ử
u t quy nh c a bi i Hessian, ho ng t i toán t
Laplacian hoặc x p x khác bi t c a Gaussians cho phù h p d a trên hình
ấ ỉ ệ ủ ợ ự ảnh b ng
ằ
cách sử ụ ộ ả ảnh như SIFT.
d ng b mô t hình
1.3.2.2 Gaussian
Phương pháp sai lệch
T c t i di
ừ thự ế là các đạ ện không gian quy mô L(x,y,t) đáp ứng các phương
trình khuếch tán.
𝜕𝑡𝐿 𝛻 𝐿
= 12 2 (1.18)
Nó tuân theo đị ậ ủ ến đổ
nh lu t Laplacian c a phép bi i Gausian 2 L (x, y, t)
∇
cũng có thể được tính toán như là trườ ợ ớ ạ ủ ự ệ ữ
ng h p gi i h n c a s khách bi t gi a hai
Gausian hình ảnh đã được làm mị ạ
n (đ i diện quy mô trong không gian).
𝛻𝑛𝑜𝑟𝑚 𝐿 𝑥 𝑦 𝑡 𝑡 𝑡 𝐿 𝑥 𝑦 𝑡 𝑡 𝐿 𝑥 𝑦 𝑡
2 ( , , ) ≈ Δ ( ( , , +Δ )− ( , , ) (1.19)
Trong lý thuy t v giác máy, cách ti p c c g i là s khác bi
ế ề thị ế ận này đượ ọ ự ệt
c a Gaussians (DoG). Bên c t nh , tuy nhiên phép bi i này là
ủ ạnh các kĩ thuậ ỏ ến đổ
trong b n ch p x c a các
ả ất tương tự như Laplacian và có thể được xem như là xấ ỉ ủ
phép bi i Laplacian.
ến đổ
1.3.2.3 c Hessian
Định thứ
`
33
B ng vi c xem xét quy nh quy mô n hoá c
ằ ệ ết đị chuẩ ủa Hessian, cũng được
g i Monge-Ampère.
ọi là phép biến đổ
𝑑𝑒𝑡𝐻𝑛𝑜𝑟𝑚𝐿 𝑡 𝐿𝑥𝑥𝐿𝑦𝑦 𝐿𝑥𝑦
= 2( − 2) (1.20)
T n Hessian c i di n không gian quy mô L và sau
rong đó H l là ma trậ ủa đạ ệ
đó phát hiện quy mô-không gian Maxima của nhà điều hành này, m t trong nh ng
ộ ữ
nh c m t máy dò blob khác bi n v i l a ch n quy mô t ng mà
ận đượ ộ ệt đơn giả ớ ự ọ ự độ
cũng đáp ứ ớ ấ
ng v i yên t m (Lindeberg 1994, 1998)
( , , ( , , , ,
𝑥 𝑦 𝑡)= 𝑎𝑟𝑔𝑚𝑎𝑥𝑙𝑜𝑐𝑎𝑙 𝑥 𝑦 𝑡)((𝑑𝑒𝑡𝐻𝑛𝑜𝑟𝑚𝐿)(𝑥 𝑦 𝑡)) (1.21)
Các blob điể ảy t ^ cũng được xác đị ừ ộ định nghĩa
m (x ^, y ^) và v nh t m t
vi phân ho ng d n mô t blob là bi n th v i các b n d ch, phép quay và
ạt độ ẫn đế ả ế ể ớ ả ị
rescalings trong miề ảnh. Trong điề ệ ự ọn quy mô, các đố
n hình u ki n l a ch m màu
đượ đị ừ ực đoan củ ế ố ế ủ
c xác nh t quy mô không gian c a các y u t quy t c a Hessian
(DoH) cũng ự ọ ốt hơn mộ ộ ến đổ
có quy mô l a ch n t t chút thu c tính theo bi i không
Euclidean afin hơn so với các nhà điều hành Laplacian thường đượ ử ụ
c s d ng
( rong hình th n hóa, y u t quy nh
Lindeberg1994, 1998, 2015). T ức đơn giả ế ố ết đị
quy mô c a Hessian tính t Haar wavele
ủ ừ ts được s d
ử ụng như là nhà điều hành điểm
quan tâm cơ bả ả SURF (bay et al. 2006) để ợ ớ ả
n trong mô t phù h p v i hình nh và
nh n d ng.
ậ ạng đố ợ
i tư
1.3.2.4 Phép lai gi a toán t a toán t Hessian
ữ ử Laplacian và định thức củ ử
Một nhà điều hành lai gi a Laplacian và các y u t quy nh c a các máy
ữ ế ố ết đị ủ
phát hi n các blob Hessian xu a ch n không gian
ệ cũng đã được đề ất, trong đó lự ọ
được ti n hành b i quy
ế ở ết định c a các l a ch
ủ ự ọn Hessian và quy mô đượ ự
c th c hi n
ệ
v i quy mô- n hóa Laplacian (Mikolajczyk và Schmid 2004).
ớ chuẩ
( , ( , , ,
𝑥 𝑦)= 𝑎𝑟𝑔𝑚𝑎𝑥𝑙𝑜𝑐𝑎𝑙 𝑥 𝑦)(( )(
𝑑𝑒𝑡𝐻𝐿 𝑥 𝑦 𝑡)) (1.22)
𝑡 𝑎𝑟𝑔𝑚𝑎𝑥𝑚𝑖𝑛𝑙𝑜𝑐𝑎𝑙 𝑡 𝛻𝑛𝑜𝑟𝑚 𝐿 𝑥 𝑦 𝑡
= ( )(( 2 )( , ,  )) (1.23)
1.3.2.5 Phát hi ng theo vi sai thích nghi v i bi i affine
ệ ối tượ
n đ ớ ế ổ
n đ
Mô tả blob thu đượ ừ
c t các máy dò blob v i l
ớ ựa chọn quy mô t ng là b
ự độ ất
bi d ch, quay và rescalings th ng nh t trong mi n không gian. Tuy nhiên,
ến để ị ố ấ ề
hình nh t
ả ạo thành đầu vào cho h ng t
ệ thố ầm nhìn máy tính, cũng tùy thuộc vào sự
bi n d ng ph c mô t blob m nh m bi i qua m,
ế ạ ối cảnh. Để có đượ ả ạ ẽ hơn để ến đổ n điể
`
34
m t máy dò blob là b t bi bi
ột phương pháp tự nhiên là để đưa ra mộ ấ ến để ến đổi
af e. Trong th c t
fin ự ế, các điểm quan tâm b t bi n aff e có th
ấ ế in ể thu đượ ằ
c b ng cách
áp d ng thích ng v i hình d mô t ng c a h t nhân
ụ ứ ớ ạng afin để ả blob, nơi hình dạ ủ ạ
làm m n là l p l phù h p v i c u trúc hình
ị ặ ại để ợ ớ ấ ảnh địa phương xung quanh blob,
ho t hình
ặc tương đương mộ ảnh địa phương Patch là vào Warped trong khi hình
d ng c t nhân làm m n v n còn ng.
ạ ủa hạ ị ẫ rotationally đối xứ
K n :
ết luậ chương 1
Công ngh x nh vision computer có nhi t tr
ệ ử lý ả ều ưu điểm vượ ội hơn so
v m tra tr c quan b ng m ng do có th phát hi c các
ới phương áp kiể ự ằ ắt thườ ể ện đượ
l i ch ng (d v t, bóng khí, dán l c nh i gian ng
ỗ ất lượ ị ậ ệch) ở kích thướ ỏ hơn, thờ ắn
hơn và tính ổn định cao. Để ể ứ ụ ử ả ệ ố ấ
có th ng d ng x lý nh vào h th ng giám sát ch t
lượng thì c n áp d ng r t nhi u ki n th c lý thuy t liên quan t i vi c ti n x
ầ ụ ấ ề ế ứ ế ớ ệ ề ử lý ảnh
và các thu t toán so sánh hình xây d ng h
ậ ảnh. Chương hai sẽ ự ệ thống cơ
khí(hardware) bao g m vi c ch n camera, chi u sáng phù h t
ồ ệ ọ ế ợp để có thể ối ưu
đượ ộ ủ ậ ử ả
c đ chính xác c a thu t toán x lý nh.
`
35
CHƯƠNG 2. Ế Ế CƠ KHÍ
TÍNH TOÁN THI T K
bao g m các n i dung:
Chương hai ồ ộ
- Cơ sở ự ọ ệ ố ấ ợ
tính toán l a ch n Camera cho h th ng giám sát ch t lư ng.
- Thông số ệ ợ ớ ầu đặ
linh ki n phù h p v i yêu c t ra.
- L c chi u sáng
ựa chọn phương thứ ế
2.1. Cơ sở tính toán l a ch n Camera cho h ng
ự ọ ệ thố ngăn chặn và phát hi n s
ệ ự
cố
V i yêu c u tính toán, l a ch n linh ki n phù h p ta c n ph i tìm hi
ớ ầ ự ọ ệ ợ chúng ầ ả ểu
chi ti t v lý thuy t vision camera và các khái ni m liên quan t i vision camera.
ế ề ế ệ ớ
Trong m t h ng machine vision thì vi c ch nào cho
ộ ệ thố ệ ọn camera, lens như thế
phù h p là c c k quan tr có l a ch n chính xác thì chúng ta c n d a trên
ợ ự ỳ ọng. Để ự ọ ầ ự
nh lý thuy t v ng ch c tiên, chúng ta c n tìm hi u m t s khái
ững cơ sở ế ữ ắc. Trướ ầ ể ộ ố
ni ng khái ni m quan tr ng nh t, liên quan t i tính toán mà
ệm cơ bản, cũng là nhữ ệ ọ ấ ớ
n c khái ni n ph
ội dung luận văn sẽ đề ập. Sau đây là một số ệm cầ ải biết:
Field of view (FOV): là vùng làm vi a camera hay là vùng nh mà camera
ệc củ ả
c n ph i ch l y h t n i dung nh c n x lý. FOV ph c vào kích
ầ ả ụp được để ấ ế ộ ả ầ ử ụ thuộ
thước đối tượ ầ ệ ử lý. FOV thườ ạ ữ ậ ặ
ng c n phát hi n và x ng có d ng hình ch nh t, ho c
hình vuông. Ví d , N u mu n detect( phát hi n) m ng kính là
ụ ế ố ệ ột hình tròn có đườ
3mm thì FOV c n ph
ầ ải có kích thước sao cho l n h
ớ ơn 3mm. Mục đích là để ể
có th
bao h ng c n ch p.
ế ợ ố ợ
t đư c đ i tư ầ ụ
Smallest feature: là kích thước nhỏ nhất ngườ ử
i s d ng mu
ụ ốn detect được trong
ảnh. Thông thường, đây cũng chính là sai số ờ ần đạt đượ ế
mà ngư i dùng c c khi ti n
hành x nh.
ử lý ả
Working distance (hay còn g i là Object Distance là kho ng cách t
ọ ): ả ừ trước
lens t i m
ớ ặ ố ợ ầ ụ
t trên đ i tư ng c n ch p.
`
36
Hình 2.1 Camera vision
Lý thuyết về
Giả Có hai bước tính toán chính để giúp ngườ ử ụ ọn đượ
i pháp: i s d ng ch c
camera có độ ả ợ ọn đúng ự
phân gi i phù h p và ch focal length (tiêu c ):
• 1. phân gi C n bi hai thông s
Tính toán độ ải: ầ ết trước ố đầu vào là độ
chính xác (accuracy) và FOV (field of view).
• 2. L a ch n camera: Khi ch c camera thì c n ph i dùng các
ự ọ ọn đượ ầ ả
thông số camera như sensor size để ự
tính toán l a chọn lens.
Độ ả ả ế ả
phân gi i c m bi n nh (Sensor Resolution):
Độ ả ủ ộ ứ ả ố ố ứ ả ụ
phân gi i c a m t b c nh là s pixels phân b trên b c nh. Ví d ,
camera có độ ả ố ị ủ
phân gi i 5 megapixels thì con s 5 megapixels là giá tr c a phép
tính c a (2592x1944 ho c 2590x2048, v.v ...). V phân gi i ph
ủ ặ ậy là độ ả ụ thuộc
vào hai kích thướ ụ 480. Tính toán độ ả ề ặ ế ầ
c; ví d 640x phân gi i v m t lý thuy t c n
ph c vào c n hóa vi c tính toán khá
ụ thuộ ả hai kích thước đó, nhưng để đơn giả ệ
ph c t ng ch c n dung m tính. Ví d v phân
ứ ạp thì ta thườ ỉ ầ ột kích thước để ụ ới độ
gi i là 2592x1944 thì s l y giá tr 2592 tính (chú ý l y giá tr l
ả ẽ ấ ị ấ ị ớn hơn, vì nếu
`
37
l y nh , l s ng
ấ ỏ hơn thì có thể không đủ ớn hơn có thể dư nhưng ẽ chắc chắn đáp ứ
đượ ầu bài toán đặ
c yêu c t ra).
Để đả ả ột phép đo chính xác trên bứ ả ầ ố ể
m b o m c nh, ta c n dùng t i thi u hai
pixels trên độ chính xác (smallest feature) mà b n mu
ạ ốn phát hi n. Hay hi
ệ ểu đơn
gi n là c n ít nh t hai pixels thì m c kho tính toán
ả ầ ấ ới xác định đượ ảng cách. Để
được độ ả ố
phân gi i t i thi u c
ể ủa camera (pixels/smallest feature), kích thước thật
(in real-world units) c chính xác. Thông s linh ki n phù
ủa FOV chia cho độ ố ệ
h p v i yêu c u bài toán.
ợ ớ ầ
D a trên tình hình th c t và u ki n thi t b hi n có,
ự ự ế điề ệ ế ị ệ đã chọn các linh ki n
ệ
để ợ ớ ầ ử ụng như bả ổ ợp dưới đây:
phù h p v i nhu c u s d ng t ng h
Danh sách linh ki a ch n
ện lự ọ Chi tiết giá
ESC Vision Image 2 port)
Unit Price $ (1 thiết bị
Cable
AG2500M-14R
850*10 $ = 8,500 $
LEN
TV1614-5MP
1125*10 $ = 11,250 $
Đèn LED
CDL-200 White
344*2 = 688 $
Light controller
CDP-4ch
314 $
IMAGE Grabber card
T vi d
ự ết chương trình sử ụng thư
viên nh Open CV có s n
ả ẵ
`
38
Dongle Key
T vi d
ự ết chương trình sử ụng thư
viên nh Open CV có s n
ả ẵ
PC
S d ng cây vision sub robot
ử ụ
0 $
Thông số ế ạ
ch t o Camera:
General Information
Order Number 105392
Product Line ace classic
Sensor
Sensor Vendor ON Semiconductor
Sensor MT9P031
Shutter Rolling Shutter
Max. Image Circle 1/2.5"
Sensor Type CMOS
Sensor Size 5.7 mm x 4.3 mm
Resolution (HxV) 2592 px x 1944 px
Resolution 5 MP
Pixel Size (H x V) 2.2 µm x 2.2 µm
Frame Rate 14 fps
Mono/Color Mono
EMVA Data
EMVA Quantum
Efficiency (typical)
57.2 %
`
39
EMVA Data
Dark Noise (typical) 6.4 e¯
Saturation Capacity
(typical)
6.7 ke¯
Dynamic Range (typical) 60.3 dB
Signal- -Noise Ratio
to
(typical)
38.3 dB
Camera Data
Interface GigE
Pixel Bit Depth 12 bits
Synchronization hardware trigger
free run
-
Ethernet connection
Exposure Control programmable via the camera API
hardware trigger
Digital Input 1
Digital Output 1
Power Requirements PoE or 12 VDC
Power Consumption (typical) 2.2 W
Power Consumption PoE 2.7 W
Housing
Housing Type Box
Housing Size (L x W x H) 42 mm x 29 mm x 29 mm
Lens Mount C-mount
`
40
Housing
Operating Temperature 0 - 50°C
Weight (typical) 90g
Conformity
Conformity CE
RoHS
GenICam
GigE Vision
IP30
UL
FCC
IEEE 802.3af (PoE)
KC
2.1.1 Th c nghi m l a ch c l i n phát hi n
ự ệ ự ọn kích thướ ỗ nhỏ nhất cầ ệ
Để ể đưa ra giá trị kích thướ ị ậ ệ ỏ ấ
có th c d v t, bóng khí, dán l ch nh nh t mà
nó có thể ảnh hưở ớ ạ
ng t i ngo i quan b ng m ng thì ta c n làm ti
ằ ắt thườ ầ ến hành đánh
giá th c nghi m v l phát sinh l i cho t ng giá tr c nh
ự ệ ề nguy cơ và tỷ ệ ỗ ừ ị kích thướ ằm
có nh c t nh t. Ti n hành l a ch c m i l i có giá
ững đánh giá thự ế ấ ế ự ọn các kích thướ ỗ ỗ
tr i v
ị ừ ồ ể ứ ỗ ề ệ ẫu xem đố
t 0.1 mm r i ki m ch ng m i đi u ki n 100 m ớ ừng kích thướ
i t c
thì t l l
ỷ ệ ỗi công đoạn phát sinh tương ứng là bao nhiêu nhằm qua đó xác định kích
thướ ố
c t i thiể ầ ắ ủ ế
u c n b t c a vision camera thì k t quả ự ệm như bả
th c nghi ng sau:
Lần thực
nghiệm
Kích thước
m < mm>
ẫu
Số lượng mẫu Ngoại quan
Tỷ lệ lỗi
Tương < %>
1 0.1 100 OK (0) 0
2 0.15 100 OK (0) 0
3 0.2 100 OK (0) 0
4 0.25 100 OK (0) 0
5 0.3 100 OK (0) 0
6 0.35 100 NG 100%
7 0.4 100 NG 100%
`
41
8 0.45 100 NG 100%
9 0.5 100 NG 100%
D a trên k t qu y t kích th c t 0.3 mm tr nên thì d
ự ế ả đánh giá có thể thấ ừ ứ ừ ở ị
v bóng khí, dán l
ật, ệch đã bắt đầu gây ra l i trên s n ph
ỗ ả ẩm, kích thướ ỗ
c l i càng lớn
thì thì l gây l i sau ngo i quan b n m n ph i phát hi n ra d
ệ ỗ ạ ằ ắt càng cao, do đó cầ ả ệ ị
v bóng khí, dán l ch có c nh nh t là 0.3 m b o ch ng
ật, ệ kích thướ ỏ ấ mm để đả ả ất lượ
c n.
ủ ạ
a công đo
T s n xu c Pixcel:
ừ thông số ả ất ta tính toán Fov và kích thướ
Theo công thức: Focal Length x FOV =Sensor Size x Working Distance
x= (5.7 *800)/25 = 182.4 (mm)
y= (4.3 *800)/25 = 137.6 (mm)
Như vậy FOV (x, y) = 182.2 mm x 137.6 mm
Độ phân giải: 2592 x 1944 điểm ảnh của camera cho ta tính được kích thước
nh nh i pixel:
ỏ ất của mỗ
Kích thước pixel: (182.4 mm / 2592) x (137.6 mm/ 1944)
Suy ra, kích thướ ỗ ấ ỉ
c m i pixel = 0.00498 mm, x p x 4.98 (um)
Kích thướ ỏ ầu đặt ra là kích thướ ị ậ ỏ
c pixel 4.98um th a mãn yêu c c d v t nh
nh t c n phát hi n ít nh t l l phát sinh ra l i t
ấ ầ ệ ấ ớn hơn 0.3 mm (mức độ đủ ớn để ỗ ại
công đoạn), như vậ ỗ ị ật có kích thướ ỏ ấ ầ ệ ẽ tương
y m i d v c nh nh t c n phát hi n s
đương vớ ớ ả ớ ể ể
i kích thư c kho ng 70 pixels t i 78 pixels, ta hoàn toàn có th chuy n
đổ ừ kích thướ ả ố pixel để nâng cao độ
i t c theo mm tính kho ng cách sang s chính
xác cho thuật toán sau này.
2.2. Thông s thi , v t Camera
ố ết bị ị trí lắp đặ
Trướ ầ ểu sơ đồ ạt độ ủ ế ị ị
c tiên chúng ta c n tìm hi ho ng c a thi t b và các v trí phù
h l mô t quy trình ho ng
ợp để ắp đặt Camera Vision, bên dưới đây là sơ đồ ả ạt độ
c a m t thi t b ng và v trí phù h l t ph
ủ ộ ế ị dán thông thườ ị ợp để ắp đặ ần cơ khí cho hệ
giám sát ch ng . Các b ph n chính c a h c a h ng giám sát bao
ất lượ ộ ầ ủ ệ cơ khí ủ ệ thố
gồm các Stage( bàn đặ ả
t s n phẩm lên), cơ cấ ển độ
u chuy ng linear motion guide sử
d m bi n quang( photo sensor) nh m chính xác t
ụng động cơ servo, các cả ế ằ ối đa
chuyển độ ủ
ng c a s n ph
ả ẩm và các cơ cấu ch p hành khác nh m m
ấ ằ ục đích gia công
s n ph
ả ẩm.
`
42
Hình 2.2 và v p t Camera Vision
Sơ đồ thiết bị ị trí lắ đặ
Không gian làm việc của Camera vision:
Hình 2.3 Khu vự ệ
c làm vi c của Camera
Chi tiế ạt độ ủ
t nguyên lý ho ng c a hệ ố
th ng giám sát:
Hình 2.4 nguyên lý ho ng c ng
Sơ đồ ạ ộ
t đ ủa hệ thố
Robot loading sample t conveyer vào Base Light ( Jig)
Bước 1: ừ
`
43
Base Light đượ ậ ể ằng động cơ servo dẫn hướ ở
c v n chuy n( transfer) b ng b i
các trụ ẫn hướ ả ến photo sensor đị ị
c d ng( linear motion guide) và có các c m bi nh v
chính xác các v t t m màn hình ( sensor 1), v trí ti n hành vision camera(
ị trí đặ ấ ị ế
sensor 2) và vị ả ẩ
trí gia công s n ph m ( sensor 3).
Hình 2.5 Robot loading màn hình từ conveyer vào Base Light( Jig)
Bước 2: t lên Base, Robot quay tr l i l y màn hình
Màn hình đã được đặ ở ạ ấ
tiếp theo chu n b
ẩ ị cho chu trình mới, màn hình được mang vào v trí ki m tra vision
ị ể
phát hi n có d v t/b t khí / dán l trí sensor 2).
ệ ị ậ ọ ệch hay không ( vị
Hình 2.6 Step 2 c a chu trình làm vi c
ủ ệ
T i Step 2 camera vision s p nh màn hình và tr c trong
ạ ẽ chụ ả ải qua các bướ
sơ đồ ậ ử ả ẽ đề ậ ở chương sau bao gồ ề ử ọ
thu t toán x lý hình nh s c p m: ti n x lý, l c
nhi a d v t khí ,dán l ch...
ễu, tính toán kích thước vị trí củ ị ật,bọ ệ
Bước 3: ng h
Được chia thành hai trườ ợp như sau:
`
44
- N u step 2 phát hi n màn hình có l i d v t, b t khí, dán l ch thì t b
ế ệ ỗ ị ậ ọ ệ thiế ị
c nh báo( Alarm), c nh báo cho k t viên t i x lý (5ea ). Khi ti
ả ả ỹ thuậ ớ ử ếp
c n thi p ki m tra hi n tr ng l a màn
ậ ết bị các kỹ thuật viên sẽ trực tiế ể ệ ạ ỗi củ
hình xem d v t khí ,dán l ch phát sinh v
ị ật, bọ ệ ở ị trí nào
Màn hình có d v t
ị ậ
+ Màn hình có d v c check code xem thi t b nào, sau dó
ị ật sẽ đượ ở ế ị
cho d ng thi t b m tra nguyên v t li u, thi t b và v sinh
ừ ế ị để kiể ậ ệ ế ị ệ
3D5S
+ L y m n g sau
ấ ẫu để mang đi phân tích, tìm ra nguồ ốc phát sinh để
này có th l n alarm.
ể ngăn chặn trước giảm số ầ
Màn hình có bóng khí, ch
dán lệ
+ Màn hình có bóng khí, dán l ch s c check code xem
ệ ẽ đượ ở thiết
b nào, sau dó cho d ng thi t b
ị ừ ế ị để ể
ki m tra lo i hình gây ra l
ạ ỗi và cơ
chế phát sinh
+ X lý t ng lo i hình l o t
ử ừ ạ ỗi theo cơ chế, SOP đã được đào tạ ừ
trước.
Sau khi k t viên c ch n là d v bóng khí,
ỹ thuậ đã chắ ắ ị ật, align được
x lý thì s kh ng l i thi t b p t c s n xu t các chu trình ti
ử ẽ ởi độ ạ ế ị tiế ụ ả ấ ếp
theo, Base light sẽ được quay lạ ị ạ ị
i ngay v trí Step 1 t i v trí sensor 1
để ắ ầ ậ ế ệ ử ị ậ ệ
b t đ u nh n phôi ti p theo. Vi c x lý d v t, bóng khí, dán l ch
và lưu trữ ạ
l i m u là vô cùng quan tr ng vì k t qu phân tích s giúp
ẫ ọ ế ả ẽ
tìm ra ngu n g
ồ ốc chính xác để có thể ngăn chặn từ xa, đây cũng chính
là m t c tài.
ụ ớ ấ
c tiêu l n nh ủ ề
a đ
Hình 2.7 ng h p phát sinh d v t bóng khí, dán l
Step 3 trườ ợ ị ậ ệch
`
45
- N u step 3 không phát hi n có d v b t khí, dán l ch thì t i step 4 ( t
ế ệ ị ật, ọ ệ ớ ại
v 3).
ị trí sensor số
Bước 4: c Vision ki m tra xong thì s c chuy n t i v
Màn hình đượ ể ẽ đượ ể ớ ị trí
công đ ạ ớ ị ố Đồ ờ ể ề
o n sau ( t i v trí sensor s 3 ). ng th i Base Light di chuy n v
v 1, l p l i chu trình ti p theo.
ị trí step để ặ ạ ế
Hình 2.8 L p l i chu trình làm vi c
ặ ạ ệ
Trong trườ ợ ị ậ ệ ệ ố ả
ng h p phát sinh d v t, bóng khí, dán l ch do h th ng c nh báo
thì sẽ phát sinh ra hai trường h p nh khác là c nh báo th t (phát sinh th t) và c nh
ợ ỏ ả ậ ậ ả
báo gi sinh do tính toán sai ho c do nhi u c a camera). ng h p th
ả (phát ặ ễ ủ Ở trườ ợ ứ
hai sẽ tiến hành đăng ký ngoạ ệ
i l cho các nhi l n sau camera s không l p
ễu sai để ầ ẽ ặ
l nh báo gi này n
ại cả ả ữa.
2.3. Ch u sáng (lightning)
ọn phương án chiế
Có bốn phương án lắp đặt đèn chiếu sáng như bên dướ ố
i th ng kê trong hình
2.9 u ph và
, nhưng trong phạm vi đề tài do yêu cầ ải tìm chính xác biên của sample
biên của các đặc điể ố
m c hữu nên phương án lắp đặt đèn chiếu hướng ngượ ẽ
c s hỗ
tr t nhi
ợ ấ
r ề ả năng hoạ ộ ủ ậ
u và nâng cao kh t đ ng chính xác c a thu t toán.
B u sáng bao g
ốn phương pháp lắp đặt chiế ồm:
- ánh sánh chi u t i v t th lên trên, phù h p cho
Lightning ngược: ế ừ dướ ậ ể ợ
đo đạc kích thước, đây là phương pháp lự ọ ễ ắ ợ
a ch n do d b t biên, phù h p
v i yêu c t ra. Ngoài ra, trong không gian thi t b thì góc
ớ ầu bài toán đặ ế ị
chiếu sáng này cũng rấ ậ ệ ệ ắp đặ ế
t thu n ti n cho vi c l t đèn chi u sáng
- a ch n do d b t biên, d l
Lightning góc: đây là phương pháp lự ọ ễ ắ ễ ắp đặt
nhưng bị ụ …
lóa khi áp d ng cho màn hình cong
`
46
- c bi n th r t nh
Lightning góc hẹp: phương pháp này phát hiện đượ ế ể ấ ỏ
trên b m n hành t i thi t b thì d gây va ch m v i các
ề ặt nhưng khi tiế ạ ế ị ễ ạ ớ
chi tiế ển độ
t chuy ng trong máy.
- i b sáng cao không gây méo
Lightning chuẩ ự
n tr c: loạ ỏ được bóng, độ
hình nhưng trùng với hướ ắp đặ ủ ể ế
ng l t c a camera nên không th ti n hành
trong phạm vi đề tài.
Hình 2.9 u sáng
Các phương thức chiế
Hình 2.10 u sáng
Thực nghiệm phương thức chiế
Kết luận chương II:
Việ ự ế ế ắp đặ ần cơ khí của đề ự
c xây d ng và tính toán thi t k l t ph tài d a trên
thiết b s n có t i nhà máy nên g p nhi
ị ẵ ạ ặ ều khó khăn do một số kích thướ ạt độ
c ho ng
là không th i ho c h n ch (ph m vi ho ng c
ể thay đổ ặ ạ ế ạ ạt độ ủa camera, không gian độ
sáng), tuy nhiên qua quá trình nghiên cứu và đưa ra các phương án như trên hệ
thống đã hoạ ộ ổn đị
t đ ng chính xác và nh.
`
47
CHƯƠNG 3. Ế Ế ẬT TOÁN ĐIỀ Ể
THI T K THU U KHI N
▪ N bao g
ội dung chương 3 ồm:
- u khi n.
Yêu cầu bài toán điề ể
- Xây d u khi n h ng giám sát ch
ựng sơ đồ thuật toán điề ể ệ thố ất lượng
Panel.
- t toán tìm ki m d v t, bóng khí, dán l ch phát sinh d a trên gi
Thuậ ế ị ậ ệ ự ải
thuật Template Matching và Subtract Background.
- Các k t qu
ế ả thự ệ
c nghi m và ki m th u ki u ki n t
ể ảo điề ện DOE tìm điề ệ ốt
nhất
3.1. Yêu cầu bài toán điều khiển.
Bài toán: T n hành l t tính toán
ừ mô hình cơ khí đã tiế ắp đặ ở chương hai,
viết chương trình thuật toán Vision xử lý hình ảnh thu được, xác định chính xác sự
c ng phát sinh ( d v t , bóng khí / dán l nh báo cho k
ố chất lượ ị ậ ệch ) và đưa ra cả ỹ
thuậ ử ố ị ời. Qua đó thiế ậ
t viên x lý tình hu ng k p th t l p quy trình( process) hoàn
chỉnh cho toàn b chu trình làm vi c t
ộ ệ ừ đưa ra cảnh báo t i ki m tra, x lý các tình
ớ ể ử
hu ng phát sinh trong quá trình ho ng c lý
ố ạt độ ủa Vision camera stage như là xử
c nh báo o, x lý d v t/bóng khí/ dán l ch th c t ng h p phát sinh
ả ả ử ị ậ ệ ự ế, ...Trong trườ ợ
quá nhi u c nh báo c u ch nh l c d v t /bóng khí . dán
ề ả ảo cũng sẽ ần điề ỉ ại kích thướ ị ậ
l cân b ng và s ng c a nhà máy.
ệch cảnh báo để ằng được giữa chất lượ ản lượ ủ
Kích thướ ị ậ ầ ệ ầ ự ế đặ
c d v t c n phát hi n ( yêu c u th c t t ra): > 0.3 mm ( ~ 300 µm).
Kích thước bóng khí c n phát hi n( yêu c u c t
ầ ệ ầ thự ế đặt ra): > 0.3 mm ( ~ 300 µm).
Kích thướ ệ ầ ệ ầ ự ế đặ
c dán l ch c n phát hi n( yêu c u th c t t ra): > 0.3 mm ( ~ 300µm).
Thờ ử ố ỗ ả
i gian x lý t i đa m i hình nh: < 5s ( tacttime s n ph m trong nhà máy ~ 5s/
ả ẩ
s n ph
ả ẩm)
Hình 3.1 l u khi n
Sơ đồ ắp đặt hệ thống điề ể
Các thành ph n c a h ng u khi n bao g
ầ ủ ệ thố điề ể ồm:
`
48
- Camera Vision: ch p nh t trí ch
ụ ả ại vị ỉ định
- u sáng: T ng ánh sáng thu n l nh ch c có
Đèn chiế ạo môi trườ ậ ợi để ả ụp đượ
thể ễ ử lý hơn. Môi trườ ố ả ụp đượ ẽ ử ẫ
d dàng x ng t i thì nh ch c s khó x lý d n
đế ế ả ố
n k t qu không mong mu n.
- u khi m các tham s c u sáng
Controller: Điề ể ố ủa đèn chiế
- Computer: ch a ph m m m h hình c. Ph m m m có ch
ứ ầ ề ỗ trợ ảnh thu đượ ầ ề ức
năng xử lý hình ảnh, phát hi n d v
ệ ị ật và đưa ra cảnh báo sau đó truyền thông
tin v thi
ề ế ị
t b .
3.2. Xây d thu u khi n h ng giám sát ch .
ựng sơ đồ ật toán điề ể ệ thố ấ ợ
t lư ng
T yêu c t ra ta c n xây d ng logic làm vi c c a thu
ừ ầu bài toán đặ ầ ự lưu đồ ệ ủ ật
toán. T u hoàn toàn không có d v bóng khí, dán l ch c n
ừ màn hình ban đầ ị ật, ệ ầ
được lưu lại ả ạng thái đó để
nh tr so sánh v i các
ớ ả ế
nh ti p theo c a màn hình trong
ủ
quá trình s n xu t, do các màn hình liên t c c p vào nên vi c camera ki
ả ấ ục đượ ấ ệ ểm
tra đượ ỗ ị ậ ệ ả ấ ể ả ấ
c l i d v t, bóng khí ,án l ch trong quá trình s n xu t là có th x y ra b t
c lúc nào vì th sau m i l n c p màn hình vào ki m tra, nh tr
ứ ế ỗ ầ ấ ể ả ạng thái lúc đó của
màn hình s t so sánh v i tìm ra
ẽ được cậ ậ
p nh ớ ả ỗi ban đầu để
nh màn hình không l
các điể ệ ờ ị ậ ệch. Để làm chính xác điề
m khác bi t nghi ng là d v t, bóng khí, dán l u
này c n ph i l m c h
ầ ải đăng ký ngoạ ệ cho các đặc điể ố ữu trên màn hình như vị trí
các Mark Panel và Glass có kích thước và biên d ng c
ạ ố định Ø0.6 mm và 0.8 mm,
các v c c
ế ớ ẵ ới kích thướ
t xư c có s n v ố đị ột vài phương pháp xử ả
nh,... Có m lý nh
để ợc chính xác điều này như:
làm đư
- L y nh màn hình không
Partern matching ( hay Template matching): ấ ả
có d v t làm g c. So sánh nh ch p m i v nh g c. N u giá tr so sánh
ị ậ ố ả ụ ớ ới ả ố ế ị
nh v bóng khí, dán l
ỏ hơn ngưỡng đưa ra thì là có dị ật, ệch.
- i toàn b v trí c a Mark trên màn hình.
Check postition partical: Lưu lạ ộ ị ủ
Ả ớ ụp đượ ẽ xác đinh tấ ả ậ ể ể ả ỗ ẫ
nh m i ch c s t c v t th k c các l i l n Mark. So
sánh t ng v t th v i v u không trùng vào
ừ ậ ể ớ ị trí được training trước đó. Nế
nh ng v n ki
ữ ị trí đó là lỗi cầ ểm tra.
- L y nh màn hình không có d v t bóng khí, dán
Subtract background: ấ ả ị ậ
l ch làm g c. Tr t
ệ ố ừ ừng điểm ả ớ
nh m i l c cho
ấy đượ ả ố
nh g c ả ủ
nh th đượ ẽ
c s
là t, t,
ả ền đen và dị ậ
nh n v bóng khí và dán l ch. B nh d v
ệ ắt blob để xác đị ị ậ
bóng khí, dán lệch.
`
49
Để đạt được độ chính xác cao, nh m gi m t
ằ ả ối đa thời gian lãng phí (losstime)
cho vi c xác nh n các d v bóng khí, dán l ch nghi v n, c p c
ệ ậ ị ật, ệ ấ ần kết hợ ả phương
pháp check position partical và subtract background.
Dướ lưu đồ ả ậ
i đây là mô t thu t toán:
Hình 3.2 t toán
Lưu đồ thuậ
Như vậ ấ ả sáu bướ ể ả ế ấn đề đặ
y có t t c c đ gi i quy t v t ra:
Bước 1: nh màn hình không có d v t/ bóng khí/ dán l ch, ti n x lý nh
Chụp ả ị ậ ệ ề ử ả
g c
ố
Các n i dung ti n x lý bao g
ộ ề ử ồm:
- nh thành nh xám ( nh ch p b i camera Basler là nh xám)
Chuyển đổi ả ả ả ụ ở ả
- n hành l c nhi c tính c a hình nh s d ng b l c Median
Tiế ọ ễu các đặ ủ ả ử ụ ộ ọ (lọc
mu i tiêu), Gaussian
ố u nhi u hình d ng).
(lọc các nhiễ ề ạ
- Đăng ký ngoạ ệ
i l các t v t Mark trên t m n n b ng thu t toán tìm biên
ọa độ ệ ấ ề ằ ậ
Canny.
Hình 3.3 n x nh
Tiề ử lý ả
Bước 2: c tính hình nh s n có.
Đăng ký ngoại lệ cho các đặ ả ẵ
ROI: X= X0, Y= Y0, Width = W, Height = H
`
50
Sub Pattern 1: (X1, Y1):
Sub Pattern 2: (X2, Y2):
Main Pattern 1: (X3, Y3):
• Chọn vùng ROI cần xử lý
• Chọn hai điểm Sub Pattern để tìm ra độ lệch theo góc ø của ảnh mới so với ảnh
gốc (origin).
Ø = arctan [(X2 – X1)/ –
(Y2 Y1)]
• Chọn Main Pattern để tìm ra độ lệch theo trục X, Y củ ảnh LIVE so vớ ảnh
a i
ORIGIN
Offset_X = X3 – X1
Offset_Y = Y3 – Y1
Hình 3.4 Điểm đăng kí ngoại lệ ặ ả
dung làm d c tính hình nh
c 3: Ch p hình nh live, ti n x lý
Bướ ụ ả ề ử ảnh…
Sau khi ch p nh live vi u tiên ta c n là ph i ti n x
ụ ả ệc đầ ầ ả ề ử lý ảnh live tương
t nh g
ự như ả ốc:
- nh thành nh xám
Chuyển đổi ả ả
- n hành l c nhi u, l c tính c a hình nh s d ng b l
Tiế ọ ễ ọc biên các đặ ủ ả ử ụ ộ ọc
Median
- i l các t l chân không, v c c nh b ng thu
Đăng ký ngoạ ệ ọa độ ỗ ết xướ ố đị ằ ật
toán tìm biên Candy
`
51
Sau đó ta cầ ậ ạ ủ ả
n, xác nh n l i vùng ROI (read of image) c a nh live do trong
quá trình ch p thì nh b xoay m t góc r t nh , góc l c này có th làm sai l ch các
ụ ả ị ộ ấ ỏ ệ ể ệ
giá tr tính toán.
ị
Hình 3.5 nh live b xoay trong quá trình loading
Ả ị
D c góc
ự ểm Pattern đăng ký sẵn ta xác định đượ
a vào các đi Ø củ ảnh live:
a
Ø’ = arctan [(X2 – X1)/ – Y1)]
(Y2
Góc xoay củ ảnh live so vớ ảnh gốc (ogirin) đượ ằng công thứ
a i c tính b c:
∆ –
Ø: = Ø Ø’
Sử dụng thuật toán xoay ảnh theo góc ∆Ø sau đó dịch chuyển (shift) ảnh
theo các giá trị OFFSET tính toán ban đầu ta tìm được vị trí gốc P (X0, Y0) của
vùng ROI mới.
X0 = X3 - Offset_X
Y0 = Y3 Offset_Y
Sau khi xác định được chính xác vùng ROI cho ả ớ
nh m i ta ti n hành ti n x
ế ề ử lý ảnh
live:
c 4: X nh dùng gi i thu t Template matching và Subtract
Bướ ử lý ả ả ậ
Background.
< giải thích>
`
52
Hình 3.6 Giải thích ý t toán
tưở ậ
ng thu
l i
Bước 5: Đưa ra các điểm nghi ngờ ỗ
So sánh các t c c trên nh live và nh g
ọa độ ủa các đặc tính thu đượ ả ả ốc để
tìm ra các tọ ộ đặ
a đ c tính khác nhau.
Các t c chính là các nghi ng l
ọ ộ
a đ thu đượ ờ ỗi.
c 6: Phát c nh báo t b - Confirm
Bướ ả (Alarm) từ thiế ị
Nếu Vision camera tìm ra các điểm nghi ng là l i trên màn hình s l p t c ti n
ờ ỗ ẽ ậ ứ ế
hành d ng kh n c p thi và phát chuông c nh báo cho các k
ừ ẩ ấ ết bị ả ỹ thuật viên nhanh
chóng n m b t hi n tr ng. Thông qua màn hình hi n th , hình nh l i s c các
ắ ắ ệ ạ ể ị ả ỗ ẽ đượ
k thu t viên ki m tra tính chính xác c a Visicon camera. N u không ph i là l
ỹ ậ ể ủ ế ả ỗi
thì s b qua, ti p t c cho thi t b ho ng; n i s n hành x lý sau
ẽ ỏ ế ụ ế ị ạt độ ếu đúng là lỗ ẽ tiế ử
đó mớ ợ ế ụ ậ ế ị
i đư c ti p t c v n hành thi t b .
3.3. K t qu t i mô hình thi t b m
ế ả thực tế ạ ế ị thử nghiệ
Sau khi ti n hành l nghi
ế ắp đặt hệ thống cơ khí và thử ệm thuật toán đã cho ra
các k t qu
ế ả tương đối chính xác v i t l phát hi n l i ch
ớ ỷ ệ ệ ỗ ất lượ ới độ
ng v chính xác
`
53
~ 92.59%; th i gian x lý ng n ( 1 ~ 2 s m i chu trình) không ng t
ờ ử ắ ỗ ảnh hưở ới
tacttime chung của toàn bộ công đoạn s n xu
ả ất. Dưới đây là hình ảnh mô hình thiết
b nghi m và các k ki m ch ng th c t :
ị thử ệ ết quả ể ứ ự ế
Hình 3.7 Thiết bị đánh giá chương trình Vision
K c nghi m ki ng 35 m u s n ph m:
ết quả thự ệ ểm chứ ẫ ả ẩ
No K t qu
ế ả Hình ảnh NG Kích thước
1 OK
2 OK
3 OK
4 NG 0.47 mm
5 OK
6 OK
7 OK
8 OK
9 OK
10 OK
`
54
11 OK
12 OK
13 OK
14 OK
15 OK
16 OK
17 OK
18 OK
19 OK
20 OK
21 OK
22 OK
23 OK
24 OK
25 OK
26 OK
27 OK
28 NG 0.28 mm
29 NG 0.56 mm
30 OK
31 OK
32 OK
33 OK
34 NG 0.6 mm
35 NG 0.64 mm
`
55
T l chính xác ng theo ngày:
ỷ ệ đánh giá tăng lượ
Day Input Qty NG Qty Confirm result Rate
1 1,457 16 14 87.5%
2 1,862 20 18 90.00%
3 2,219 22 19 86.36%
4 2,097 19 18 94.74%
5 2,743 29 25 86.21%
6 1,634 17 15 88.24%
7 2,019 26 24 92.31%
8 2,230 28 25 89.29%
9 1,020 11 10 90.91%
10 1,534 13 12 92.31%
Ave 18,815 201 180 89.55%
T l chính xác c a Vision camera là ~ 89.55% sau khi ki m ch
ỷ ệ ủ ể ứng mười
ngày liên p v i s ng s n ph 18815.
tiế ớ ố lượ ả ẩm
C a Vision Camera
ần đánh giá DOE kiểm thảo năng lực củ
+ ng h p d v t/ dán l gây s c t i nhà máy
Trườ ợ ị ậ ệch size (0.73*0.27) thực tế ự ố ạ
Threshold Grey Pixel Pixel Vision check Pixel (%) Alarm (YES/NO) EQP
1 0 0.00% B1LAM27N_U11
25 20 74 NO
2 0 0.00% B1LAM27N_U11
25 25 74 NO
3 13.51% B1LAM27N_U11
25 30 74 10 NO
4 24.32% YES B1LAM27N_U11
25 40 74 18
5 36.49% YES B1LAM27N_U11
25 50 74 27
6 48.65% YES B1LAM27N_U11
25 60 74 36
7 0 0.00% B1LAM27N_U11
40 20 74 NO
8 0 0.00% B1LAM27N_U11
40 25 74 NO
9 0 0.00% B1LAM27N_U11
40 30 74 NO
10 40 40 74 10 13.51% B1LAM27N_U11
NO
11 40 50 74 17 22.97% YES B1LAM27N_U11
12 40 60 74 22 29.73% YES B1LAM27N_U11
13 50 20 74 0 0.00% B1LAM27N_U11
NO
14 50 25 74 0 0.00% B1LAM27N_U11
NO
15 50 30 74 0 0.00% B1LAM27N_U11
NO
16 50 40 74 0 0.00% B1LAM27N_U11
NO
17 50 50 74 12 16.22% B1LAM27N_U11
NO
18 50 60 74 17 22.97% YES B1LAM27N_U11
19 70 20 74 0 0.00% B1LAM27N_U11
NO
20 70 25 74 0 0.00% B1LAM27N_U11
NO
21 70 30 74 0 0.00% B1LAM27N_U11
NO
22 70 40 74 0 0.00% B1LAM27N_U11
NO
23 70 50 74 10 13.51% B1LAM27N_U11
NO
24 70 60 74 11 14.86% B1LAM27N_U11
NO
25 90 20 74 0 0.00% B1LAM27N_U11
NO
DOE đánh giá Vision
No
Đầu vào ( 0.73*0.27 ) Đầu ra
`
56
Hình 3.8 Data đánh giá DOE kích thước lỗi 0.73*0.27
Kiểm th t t nh
ảo Minitab thu được kế qu u ki n t
ả điề ệ ố ất là Grey (50~60), threshold
nhỏ hơn 40.
Hình 3.9 K tính toán DOE
ết quả
K t qu u ki c m u khác (0.73*0.4) và
ế ả tương tự khi dánh giá các điề ện kích thướ ẫ
(0.956*0.776) đề ấ ỏ hơn 40 là ố ấ
u cho th y (50~60), threshold nh
Grey t t nh t.
26 90 25 74 0 0.00% B1LAM27N_U11
NO
27 90 30 74 0 0.00% B1LAM27N_U11
NO
28 90 40 74 0 0.00% B1LAM27N_U11
NO
29 90 50 74 0 0.00% B1LAM27N_U11
NO
30 90 60 74 0 0.00% B1LAM27N_U11
NO
31 100 20 74 0 0.00% B1LAM27N_U11
NO
32 100 25 74 0 0.00% B1LAM27N_U11
NO
33 100 30 74 0 0.00% B1LAM27N_U11
NO
34 100 40 74 0 0.00% B1LAM27N_U11
NO
35 100 50 74 0 0.00% B1LAM27N_U11
NO
36 100 60 74 0 0.00% B1LAM27N_U11
NO
37 120 20 74 0 0.00% B1LAM27N_U11
NO
38 120 25 74 0 0.00% B1LAM27N_U11
NO
39 120 30 74 0 0.00% B1LAM27N_U11
NO
40 120 40 74 0 0.00% B1LAM27N_U11
NO
41 120 50 74 0 0.00% B1LAM27N_U11
NO
42 120 60 74 0 0.00% B1LAM27N_U11
NO
`
57
Hình 3.10 Data đánh giá kích thước lỗi 0.73*0.4
Hình 3.11 Data dánh giá kích thước lỗi 0.956*0.776
Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf
Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf
Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf
Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf
Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf
Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf
Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf

More Related Content

Similar to Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf

Luận văn thạc sĩ vật lý hạt nhân mô phỏng máy gia tốc tuyến tính dùng trong x...
Luận văn thạc sĩ vật lý hạt nhân mô phỏng máy gia tốc tuyến tính dùng trong x...Luận văn thạc sĩ vật lý hạt nhân mô phỏng máy gia tốc tuyến tính dùng trong x...
Luận văn thạc sĩ vật lý hạt nhân mô phỏng máy gia tốc tuyến tính dùng trong x...https://www.facebook.com/garmentspace
 
Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng công nghệ thị giác máy ...
Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng công nghệ thị giác máy ...Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng công nghệ thị giác máy ...
Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng công nghệ thị giác máy ...Man_Ebook
 
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoa
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoaThiết kế hệ thống nhúng cho thiết bị nội soi nha khoa
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoahttps://www.facebook.com/garmentspace
 
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoa
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoaThiết kế hệ thống nhúng cho thiết bị nội soi nha khoa
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoahttps://www.facebook.com/garmentspace
 
Nghiên cứu mạng nơ ron nhân tạo và ứng dụng vào dự báo lạm phát.pdf
Nghiên cứu mạng nơ ron nhân tạo và ứng dụng vào dự báo lạm phát.pdfNghiên cứu mạng nơ ron nhân tạo và ứng dụng vào dự báo lạm phát.pdf
Nghiên cứu mạng nơ ron nhân tạo và ứng dụng vào dự báo lạm phát.pdfMan_Ebook
 
Điều khiển nghịch lưu ba pha bốn nhánh cho bộ điều áp liên tục.pdf
Điều khiển nghịch lưu ba pha bốn nhánh cho bộ điều áp liên tục.pdfĐiều khiển nghịch lưu ba pha bốn nhánh cho bộ điều áp liên tục.pdf
Điều khiển nghịch lưu ba pha bốn nhánh cho bộ điều áp liên tục.pdfMan_Ebook
 
Điều khiển và quản lý hệ năng lượng lai trên xe điện.pdf
Điều khiển và quản lý hệ năng lượng lai trên xe điện.pdfĐiều khiển và quản lý hệ năng lượng lai trên xe điện.pdf
Điều khiển và quản lý hệ năng lượng lai trên xe điện.pdfMan_Ebook
 
Báo Cáo thực tập _ system hacking
Báo Cáo thực tập _ system hackingBáo Cáo thực tập _ system hacking
Báo Cáo thực tập _ system hackingAnhh Hữu
 
Kiểm chứng dịch vụ Web với logic thời gian.pdf
Kiểm chứng dịch vụ Web với logic thời gian.pdfKiểm chứng dịch vụ Web với logic thời gian.pdf
Kiểm chứng dịch vụ Web với logic thời gian.pdfNuioKila
 
PHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ b1be2dab
PHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ b1be2dabPHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ b1be2dab
PHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ b1be2dabnataliej4
 
gGiaotrinhlaprapcaidatmaytinhnew2013 140119205441-phpapp01
gGiaotrinhlaprapcaidatmaytinhnew2013 140119205441-phpapp01gGiaotrinhlaprapcaidatmaytinhnew2013 140119205441-phpapp01
gGiaotrinhlaprapcaidatmaytinhnew2013 140119205441-phpapp01Anh Lê Công
 
Khóa luận tốt nghiệp Xây dựng hệ thống hỗ trợ tương tác trong quá trình điều ...
Khóa luận tốt nghiệp Xây dựng hệ thống hỗ trợ tương tác trong quá trình điều ...Khóa luận tốt nghiệp Xây dựng hệ thống hỗ trợ tương tác trong quá trình điều ...
Khóa luận tốt nghiệp Xây dựng hệ thống hỗ trợ tương tác trong quá trình điều ...https://www.facebook.com/garmentspace
 

Similar to Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf (20)

Luận văn thạc sĩ vật lý hạt nhân mô phỏng máy gia tốc tuyến tính dùng trong x...
Luận văn thạc sĩ vật lý hạt nhân mô phỏng máy gia tốc tuyến tính dùng trong x...Luận văn thạc sĩ vật lý hạt nhân mô phỏng máy gia tốc tuyến tính dùng trong x...
Luận văn thạc sĩ vật lý hạt nhân mô phỏng máy gia tốc tuyến tính dùng trong x...
 
Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng công nghệ thị giác máy ...
Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng công nghệ thị giác máy ...Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng công nghệ thị giác máy ...
Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng công nghệ thị giác máy ...
 
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoa
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoaThiết kế hệ thống nhúng cho thiết bị nội soi nha khoa
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoa
 
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoa
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoaThiết kế hệ thống nhúng cho thiết bị nội soi nha khoa
Thiết kế hệ thống nhúng cho thiết bị nội soi nha khoa
 
Luận văn: Nghiên cứu, thiết kế, chế tạo mobile robot tự hành tích hợp
Luận văn: Nghiên cứu, thiết kế, chế tạo mobile robot tự hành tích hợpLuận văn: Nghiên cứu, thiết kế, chế tạo mobile robot tự hành tích hợp
Luận văn: Nghiên cứu, thiết kế, chế tạo mobile robot tự hành tích hợp
 
Luận văn: Mô phỏng sự tạo bóng của vật thể từ một nguồn sáng, 9 ĐIỂM
Luận văn: Mô phỏng sự tạo bóng của vật thể từ một nguồn sáng, 9 ĐIỂMLuận văn: Mô phỏng sự tạo bóng của vật thể từ một nguồn sáng, 9 ĐIỂM
Luận văn: Mô phỏng sự tạo bóng của vật thể từ một nguồn sáng, 9 ĐIỂM
 
Nghiên cứu mạng nơ ron nhân tạo và ứng dụng vào dự báo lạm phát.pdf
Nghiên cứu mạng nơ ron nhân tạo và ứng dụng vào dự báo lạm phát.pdfNghiên cứu mạng nơ ron nhân tạo và ứng dụng vào dự báo lạm phát.pdf
Nghiên cứu mạng nơ ron nhân tạo và ứng dụng vào dự báo lạm phát.pdf
 
Điều khiển nghịch lưu ba pha bốn nhánh cho bộ điều áp liên tục.pdf
Điều khiển nghịch lưu ba pha bốn nhánh cho bộ điều áp liên tục.pdfĐiều khiển nghịch lưu ba pha bốn nhánh cho bộ điều áp liên tục.pdf
Điều khiển nghịch lưu ba pha bốn nhánh cho bộ điều áp liên tục.pdf
 
Luận văn: Xây dựng hệ thống dịch tự động giúp dự báo thời tiết, HAY
Luận văn: Xây dựng hệ thống dịch tự động giúp dự báo thời tiết, HAYLuận văn: Xây dựng hệ thống dịch tự động giúp dự báo thời tiết, HAY
Luận văn: Xây dựng hệ thống dịch tự động giúp dự báo thời tiết, HAY
 
Luận án: Quá trình phát triển loại hình lớp ghép tiểu học, HAY
Luận án: Quá trình phát triển loại hình lớp ghép tiểu học, HAYLuận án: Quá trình phát triển loại hình lớp ghép tiểu học, HAY
Luận án: Quá trình phát triển loại hình lớp ghép tiểu học, HAY
 
Điều khiển và quản lý hệ năng lượng lai trên xe điện.pdf
Điều khiển và quản lý hệ năng lượng lai trên xe điện.pdfĐiều khiển và quản lý hệ năng lượng lai trên xe điện.pdf
Điều khiển và quản lý hệ năng lượng lai trên xe điện.pdf
 
Phương pháp tối ưu trong giai đoạn phát triển phần mềm nhũng
Phương pháp tối ưu trong giai đoạn phát triển phần mềm nhũngPhương pháp tối ưu trong giai đoạn phát triển phần mềm nhũng
Phương pháp tối ưu trong giai đoạn phát triển phần mềm nhũng
 
Báo Cáo thực tập _ system hacking
Báo Cáo thực tập _ system hackingBáo Cáo thực tập _ system hacking
Báo Cáo thực tập _ system hacking
 
Ứng dụng công nghệ cốp pha bay trong thi công sàn nhà cao tầng
Ứng dụng công nghệ cốp pha bay trong thi công sàn nhà cao tầngỨng dụng công nghệ cốp pha bay trong thi công sàn nhà cao tầng
Ứng dụng công nghệ cốp pha bay trong thi công sàn nhà cao tầng
 
Đề tài: Chương trình quản lý đăng ký tham gia hoạt động giải trí
Đề tài: Chương trình quản lý đăng ký tham gia hoạt động giải tríĐề tài: Chương trình quản lý đăng ký tham gia hoạt động giải trí
Đề tài: Chương trình quản lý đăng ký tham gia hoạt động giải trí
 
Kiểm chứng dịch vụ Web với logic thời gian.pdf
Kiểm chứng dịch vụ Web với logic thời gian.pdfKiểm chứng dịch vụ Web với logic thời gian.pdf
Kiểm chứng dịch vụ Web với logic thời gian.pdf
 
PHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ b1be2dab
PHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ b1be2dabPHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ b1be2dab
PHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ b1be2dab
 
gGiaotrinhlaprapcaidatmaytinhnew2013 140119205441-phpapp01
gGiaotrinhlaprapcaidatmaytinhnew2013 140119205441-phpapp01gGiaotrinhlaprapcaidatmaytinhnew2013 140119205441-phpapp01
gGiaotrinhlaprapcaidatmaytinhnew2013 140119205441-phpapp01
 
Luận án: Tái cơ cấu tổ chức các doanh nghiệp may của Tập đoàn Dệt May VN
Luận án: Tái cơ cấu tổ chức các doanh nghiệp may của Tập đoàn Dệt May VNLuận án: Tái cơ cấu tổ chức các doanh nghiệp may của Tập đoàn Dệt May VN
Luận án: Tái cơ cấu tổ chức các doanh nghiệp may của Tập đoàn Dệt May VN
 
Khóa luận tốt nghiệp Xây dựng hệ thống hỗ trợ tương tác trong quá trình điều ...
Khóa luận tốt nghiệp Xây dựng hệ thống hỗ trợ tương tác trong quá trình điều ...Khóa luận tốt nghiệp Xây dựng hệ thống hỗ trợ tương tác trong quá trình điều ...
Khóa luận tốt nghiệp Xây dựng hệ thống hỗ trợ tương tác trong quá trình điều ...
 

More from Man_Ebook

BÀI GIẢNG MÔN HỌC CƠ SỞ NGÔN NGỮ, Dùng cho hệ Cao đẳng chuyên nghiệp.pdf
BÀI GIẢNG MÔN HỌC CƠ SỞ NGÔN NGỮ, Dùng cho hệ Cao đẳng chuyên nghiệp.pdfBÀI GIẢNG MÔN HỌC CƠ SỞ NGÔN NGỮ, Dùng cho hệ Cao đẳng chuyên nghiệp.pdf
BÀI GIẢNG MÔN HỌC CƠ SỞ NGÔN NGỮ, Dùng cho hệ Cao đẳng chuyên nghiệp.pdfMan_Ebook
 
TL Báo cáo Thực tập tại Nissan Đà Nẵng.doc
TL Báo cáo Thực tập tại Nissan Đà Nẵng.docTL Báo cáo Thực tập tại Nissan Đà Nẵng.doc
TL Báo cáo Thực tập tại Nissan Đà Nẵng.docMan_Ebook
 
Giáo trình thực vật học 2 - Trường ĐH Cần Thơ.pdf
Giáo trình thực vật học 2 - Trường ĐH Cần Thơ.pdfGiáo trình thực vật học 2 - Trường ĐH Cần Thơ.pdf
Giáo trình thực vật học 2 - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình mô động vật - Trường ĐH Cần Thơ.pdf
Giáo trình mô động vật - Trường ĐH Cần Thơ.pdfGiáo trình mô động vật - Trường ĐH Cần Thơ.pdf
Giáo trình mô động vật - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình ngôn ngữ hệ thống A - Trường ĐH Cần Thơ.pdf
Giáo trình ngôn ngữ hệ thống A - Trường ĐH Cần Thơ.pdfGiáo trình ngôn ngữ hệ thống A - Trường ĐH Cần Thơ.pdf
Giáo trình ngôn ngữ hệ thống A - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình ngôn ngữ mô hình hóa UML - Trường ĐH Cần Thơ.pdf
Giáo trình ngôn ngữ mô hình hóa UML - Trường ĐH Cần Thơ.pdfGiáo trình ngôn ngữ mô hình hóa UML - Trường ĐH Cần Thơ.pdf
Giáo trình ngôn ngữ mô hình hóa UML - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình nguyên lý máy học - Trường ĐH Cần Thơ.pdf
Giáo trình nguyên lý máy học - Trường ĐH Cần Thơ.pdfGiáo trình nguyên lý máy học - Trường ĐH Cần Thơ.pdf
Giáo trình nguyên lý máy học - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình mô hình hóa quyết định - Trường ĐH Cần Thơ.pdf
Giáo trình mô hình hóa quyết định - Trường ĐH Cần Thơ.pdfGiáo trình mô hình hóa quyết định - Trường ĐH Cần Thơ.pdf
Giáo trình mô hình hóa quyết định - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình Linux và phần mềm nguồn mở.pdf
Giáo trình Linux và phần mềm nguồn mở.pdfGiáo trình Linux và phần mềm nguồn mở.pdf
Giáo trình Linux và phần mềm nguồn mở.pdfMan_Ebook
 
Giáo trình logic học đại cương - Trường ĐH Cần Thơ.pdf
Giáo trình logic học đại cương - Trường ĐH Cần Thơ.pdfGiáo trình logic học đại cương - Trường ĐH Cần Thơ.pdf
Giáo trình logic học đại cương - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình lý thuyết điều khiển tự động.pdf
Giáo trình lý thuyết điều khiển tự động.pdfGiáo trình lý thuyết điều khiển tự động.pdf
Giáo trình lý thuyết điều khiển tự động.pdfMan_Ebook
 
Giáo trình mạng máy tính - Trường ĐH Cần Thơ.pdf
Giáo trình mạng máy tính - Trường ĐH Cần Thơ.pdfGiáo trình mạng máy tính - Trường ĐH Cần Thơ.pdf
Giáo trình mạng máy tính - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình lý thuyết xếp hàng và ứng dụng đánh giá hệ thống.pdf
Giáo trình lý thuyết xếp hàng và ứng dụng đánh giá hệ thống.pdfGiáo trình lý thuyết xếp hàng và ứng dụng đánh giá hệ thống.pdf
Giáo trình lý thuyết xếp hàng và ứng dụng đánh giá hệ thống.pdfMan_Ebook
 
Giáo trình lập trình cho thiết bị di động.pdf
Giáo trình lập trình cho thiết bị di động.pdfGiáo trình lập trình cho thiết bị di động.pdf
Giáo trình lập trình cho thiết bị di động.pdfMan_Ebook
 
Giáo trình lập trình web - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình web  - Trường ĐH Cần Thơ.pdfGiáo trình lập trình web  - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình web - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình lập trình .Net - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình .Net  - Trường ĐH Cần Thơ.pdfGiáo trình lập trình .Net  - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình .Net - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình lập trình song song - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình song song  - Trường ĐH Cần Thơ.pdfGiáo trình lập trình song song  - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình song song - Trường ĐH Cần Thơ.pdfMan_Ebook
 
Giáo trình lập trình hướng đối tượng.pdf
Giáo trình lập trình hướng đối tượng.pdfGiáo trình lập trình hướng đối tượng.pdf
Giáo trình lập trình hướng đối tượng.pdfMan_Ebook
 
Giáo trình lập trình hướng đối tượng Java.pdf
Giáo trình lập trình hướng đối tượng Java.pdfGiáo trình lập trình hướng đối tượng Java.pdf
Giáo trình lập trình hướng đối tượng Java.pdfMan_Ebook
 
Giáo trình kỹ thuật phản ứng - Trường ĐH Cần Thơ.pdf
Giáo trình kỹ thuật phản ứng  - Trường ĐH Cần Thơ.pdfGiáo trình kỹ thuật phản ứng  - Trường ĐH Cần Thơ.pdf
Giáo trình kỹ thuật phản ứng - Trường ĐH Cần Thơ.pdfMan_Ebook
 

More from Man_Ebook (20)

BÀI GIẢNG MÔN HỌC CƠ SỞ NGÔN NGỮ, Dùng cho hệ Cao đẳng chuyên nghiệp.pdf
BÀI GIẢNG MÔN HỌC CƠ SỞ NGÔN NGỮ, Dùng cho hệ Cao đẳng chuyên nghiệp.pdfBÀI GIẢNG MÔN HỌC CƠ SỞ NGÔN NGỮ, Dùng cho hệ Cao đẳng chuyên nghiệp.pdf
BÀI GIẢNG MÔN HỌC CƠ SỞ NGÔN NGỮ, Dùng cho hệ Cao đẳng chuyên nghiệp.pdf
 
TL Báo cáo Thực tập tại Nissan Đà Nẵng.doc
TL Báo cáo Thực tập tại Nissan Đà Nẵng.docTL Báo cáo Thực tập tại Nissan Đà Nẵng.doc
TL Báo cáo Thực tập tại Nissan Đà Nẵng.doc
 
Giáo trình thực vật học 2 - Trường ĐH Cần Thơ.pdf
Giáo trình thực vật học 2 - Trường ĐH Cần Thơ.pdfGiáo trình thực vật học 2 - Trường ĐH Cần Thơ.pdf
Giáo trình thực vật học 2 - Trường ĐH Cần Thơ.pdf
 
Giáo trình mô động vật - Trường ĐH Cần Thơ.pdf
Giáo trình mô động vật - Trường ĐH Cần Thơ.pdfGiáo trình mô động vật - Trường ĐH Cần Thơ.pdf
Giáo trình mô động vật - Trường ĐH Cần Thơ.pdf
 
Giáo trình ngôn ngữ hệ thống A - Trường ĐH Cần Thơ.pdf
Giáo trình ngôn ngữ hệ thống A - Trường ĐH Cần Thơ.pdfGiáo trình ngôn ngữ hệ thống A - Trường ĐH Cần Thơ.pdf
Giáo trình ngôn ngữ hệ thống A - Trường ĐH Cần Thơ.pdf
 
Giáo trình ngôn ngữ mô hình hóa UML - Trường ĐH Cần Thơ.pdf
Giáo trình ngôn ngữ mô hình hóa UML - Trường ĐH Cần Thơ.pdfGiáo trình ngôn ngữ mô hình hóa UML - Trường ĐH Cần Thơ.pdf
Giáo trình ngôn ngữ mô hình hóa UML - Trường ĐH Cần Thơ.pdf
 
Giáo trình nguyên lý máy học - Trường ĐH Cần Thơ.pdf
Giáo trình nguyên lý máy học - Trường ĐH Cần Thơ.pdfGiáo trình nguyên lý máy học - Trường ĐH Cần Thơ.pdf
Giáo trình nguyên lý máy học - Trường ĐH Cần Thơ.pdf
 
Giáo trình mô hình hóa quyết định - Trường ĐH Cần Thơ.pdf
Giáo trình mô hình hóa quyết định - Trường ĐH Cần Thơ.pdfGiáo trình mô hình hóa quyết định - Trường ĐH Cần Thơ.pdf
Giáo trình mô hình hóa quyết định - Trường ĐH Cần Thơ.pdf
 
Giáo trình Linux và phần mềm nguồn mở.pdf
Giáo trình Linux và phần mềm nguồn mở.pdfGiáo trình Linux và phần mềm nguồn mở.pdf
Giáo trình Linux và phần mềm nguồn mở.pdf
 
Giáo trình logic học đại cương - Trường ĐH Cần Thơ.pdf
Giáo trình logic học đại cương - Trường ĐH Cần Thơ.pdfGiáo trình logic học đại cương - Trường ĐH Cần Thơ.pdf
Giáo trình logic học đại cương - Trường ĐH Cần Thơ.pdf
 
Giáo trình lý thuyết điều khiển tự động.pdf
Giáo trình lý thuyết điều khiển tự động.pdfGiáo trình lý thuyết điều khiển tự động.pdf
Giáo trình lý thuyết điều khiển tự động.pdf
 
Giáo trình mạng máy tính - Trường ĐH Cần Thơ.pdf
Giáo trình mạng máy tính - Trường ĐH Cần Thơ.pdfGiáo trình mạng máy tính - Trường ĐH Cần Thơ.pdf
Giáo trình mạng máy tính - Trường ĐH Cần Thơ.pdf
 
Giáo trình lý thuyết xếp hàng và ứng dụng đánh giá hệ thống.pdf
Giáo trình lý thuyết xếp hàng và ứng dụng đánh giá hệ thống.pdfGiáo trình lý thuyết xếp hàng và ứng dụng đánh giá hệ thống.pdf
Giáo trình lý thuyết xếp hàng và ứng dụng đánh giá hệ thống.pdf
 
Giáo trình lập trình cho thiết bị di động.pdf
Giáo trình lập trình cho thiết bị di động.pdfGiáo trình lập trình cho thiết bị di động.pdf
Giáo trình lập trình cho thiết bị di động.pdf
 
Giáo trình lập trình web - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình web  - Trường ĐH Cần Thơ.pdfGiáo trình lập trình web  - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình web - Trường ĐH Cần Thơ.pdf
 
Giáo trình lập trình .Net - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình .Net  - Trường ĐH Cần Thơ.pdfGiáo trình lập trình .Net  - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình .Net - Trường ĐH Cần Thơ.pdf
 
Giáo trình lập trình song song - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình song song  - Trường ĐH Cần Thơ.pdfGiáo trình lập trình song song  - Trường ĐH Cần Thơ.pdf
Giáo trình lập trình song song - Trường ĐH Cần Thơ.pdf
 
Giáo trình lập trình hướng đối tượng.pdf
Giáo trình lập trình hướng đối tượng.pdfGiáo trình lập trình hướng đối tượng.pdf
Giáo trình lập trình hướng đối tượng.pdf
 
Giáo trình lập trình hướng đối tượng Java.pdf
Giáo trình lập trình hướng đối tượng Java.pdfGiáo trình lập trình hướng đối tượng Java.pdf
Giáo trình lập trình hướng đối tượng Java.pdf
 
Giáo trình kỹ thuật phản ứng - Trường ĐH Cần Thơ.pdf
Giáo trình kỹ thuật phản ứng  - Trường ĐH Cần Thơ.pdfGiáo trình kỹ thuật phản ứng  - Trường ĐH Cần Thơ.pdf
Giáo trình kỹ thuật phản ứng - Trường ĐH Cần Thơ.pdf
 

Recently uploaded

Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXH
Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXHTư tưởng Hồ Chí Minh về độc lập dân tộc và CNXH
Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXHThaoPhuong154017
 
VẬN DỤNG KIẾN THỨC LIÊN MÔN TRONG GIẢI BÀI TẬP ÔN THI THPTQG MÔN SINH HỌC - H...
VẬN DỤNG KIẾN THỨC LIÊN MÔN TRONG GIẢI BÀI TẬP ÔN THI THPTQG MÔN SINH HỌC - H...VẬN DỤNG KIẾN THỨC LIÊN MÔN TRONG GIẢI BÀI TẬP ÔN THI THPTQG MÔN SINH HỌC - H...
VẬN DỤNG KIẾN THỨC LIÊN MÔN TRONG GIẢI BÀI TẬP ÔN THI THPTQG MÔN SINH HỌC - H...Nguyen Thanh Tu Collection
 
Xem sim phong thủy luận Hung - Cát số điện thoại chính xác nhất.pdf
Xem sim phong thủy luận Hung - Cát số điện thoại chính xác nhất.pdfXem sim phong thủy luận Hung - Cát số điện thoại chính xác nhất.pdf
Xem sim phong thủy luận Hung - Cát số điện thoại chính xác nhất.pdfXem Số Mệnh
 
Xem tử vi miễn phí trực tuyến cho kết quả chính xác cùng luậ...
Xem tử vi miễn phí trực tuyến cho kết quả chính xác cùng luậ...Xem tử vi miễn phí trực tuyến cho kết quả chính xác cùng luậ...
Xem tử vi miễn phí trực tuyến cho kết quả chính xác cùng luậ...Xem Số Mệnh
 
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )lamdapoet123
 
1第一课:你好.pptx. Chinese lesson 1: Hello.Nỉ hao
1第一课:你好.pptx. Chinese lesson 1: Hello.Nỉ hao1第一课:你好.pptx. Chinese lesson 1: Hello.Nỉ hao
1第一课:你好.pptx. Chinese lesson 1: Hello.Nỉ haoBookoTime
 
2第二课:汉语不太难.pptx. Chinese lesson 2: Chinese not that hard
2第二课:汉语不太难.pptx. Chinese lesson 2: Chinese not that hard2第二课:汉语不太难.pptx. Chinese lesson 2: Chinese not that hard
2第二课:汉语不太难.pptx. Chinese lesson 2: Chinese not that hardBookoTime
 
Gieo quẻ kinh dịch, xin xăm,Xin lộc thánh.pdf
Gieo quẻ kinh dịch, xin xăm,Xin lộc thánh.pdfGieo quẻ kinh dịch, xin xăm,Xin lộc thánh.pdf
Gieo quẻ kinh dịch, xin xăm,Xin lộc thánh.pdfXem Số Mệnh
 
ĐỀ CƯƠNG + TEST ÔN TẬP CUỐI KÌ 2 TIẾNG ANH 11 - GLOBAL SUCCESS (THEO CHUẨN MI...
ĐỀ CƯƠNG + TEST ÔN TẬP CUỐI KÌ 2 TIẾNG ANH 11 - GLOBAL SUCCESS (THEO CHUẨN MI...ĐỀ CƯƠNG + TEST ÔN TẬP CUỐI KÌ 2 TIẾNG ANH 11 - GLOBAL SUCCESS (THEO CHUẨN MI...
ĐỀ CƯƠNG + TEST ÔN TẬP CUỐI KÌ 2 TIẾNG ANH 11 - GLOBAL SUCCESS (THEO CHUẨN MI...Nguyen Thanh Tu Collection
 
cuộc cải cách của Lê Thánh Tông - Sử 11
cuộc cải cách của Lê Thánh Tông -  Sử 11cuộc cải cách của Lê Thánh Tông -  Sử 11
cuộc cải cách của Lê Thánh Tông - Sử 11zedgaming208
 
200 câu hỏi trắc nghiệm ôn tập PLDC.pdf
200 câu hỏi trắc nghiệm ôn tập  PLDC.pdf200 câu hỏi trắc nghiệm ôn tập  PLDC.pdf
200 câu hỏi trắc nghiệm ôn tập PLDC.pdfdong92356
 
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...Nguyen Thanh Tu Collection
 
bài 5.1.docx Sinh học di truyền đại cương năm nhất của học sinh y đa khoa
bài 5.1.docx Sinh học di truyền đại cương năm nhất của học sinh y đa khoabài 5.1.docx Sinh học di truyền đại cương năm nhất của học sinh y đa khoa
bài 5.1.docx Sinh học di truyền đại cương năm nhất của học sinh y đa khoa2353020138
 
Bai 1 cong bo mot cong trinh nghien cuu khoa hoc
Bai 1 cong bo mot cong trinh nghien cuu khoa hocBai 1 cong bo mot cong trinh nghien cuu khoa hoc
Bai 1 cong bo mot cong trinh nghien cuu khoa hocVnPhan58
 
Hệ phương trình tuyến tính và các ứng dụng trong kinh tế
Hệ phương trình tuyến tính và các ứng dụng trong kinh tếHệ phương trình tuyến tính và các ứng dụng trong kinh tế
Hệ phương trình tuyến tính và các ứng dụng trong kinh tếngTonH1
 
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...Nguyen Thanh Tu Collection
 
Sơ đồ tư duy môn sinh học bậc THPT.pdf
Sơ đồ tư duy môn sinh học bậc THPT.pdfSơ đồ tư duy môn sinh học bậc THPT.pdf
Sơ đồ tư duy môn sinh học bậc THPT.pdftohoanggiabao81
 
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA GIỮA HỌC KÌ + CUỐI HỌC KÌ 2 NĂ...
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA GIỮA HỌC KÌ + CUỐI HỌC KÌ 2 NĂ...ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA GIỮA HỌC KÌ + CUỐI HỌC KÌ 2 NĂ...
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA GIỮA HỌC KÌ + CUỐI HỌC KÌ 2 NĂ...Nguyen Thanh Tu Collection
 
Mạch điện tử - Điện tử số sáng tạo VN-new.pdf
Mạch điện tử - Điện tử số sáng tạo VN-new.pdfMạch điện tử - Điện tử số sáng tạo VN-new.pdf
Mạch điện tử - Điện tử số sáng tạo VN-new.pdfXem Số Mệnh
 
10 ĐỀ KIỂM TRA + 6 ĐỀ ÔN TẬP CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO C...
10 ĐỀ KIỂM TRA + 6 ĐỀ ÔN TẬP CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO C...10 ĐỀ KIỂM TRA + 6 ĐỀ ÔN TẬP CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO C...
10 ĐỀ KIỂM TRA + 6 ĐỀ ÔN TẬP CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO C...Nguyen Thanh Tu Collection
 

Recently uploaded (20)

Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXH
Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXHTư tưởng Hồ Chí Minh về độc lập dân tộc và CNXH
Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXH
 
VẬN DỤNG KIẾN THỨC LIÊN MÔN TRONG GIẢI BÀI TẬP ÔN THI THPTQG MÔN SINH HỌC - H...
VẬN DỤNG KIẾN THỨC LIÊN MÔN TRONG GIẢI BÀI TẬP ÔN THI THPTQG MÔN SINH HỌC - H...VẬN DỤNG KIẾN THỨC LIÊN MÔN TRONG GIẢI BÀI TẬP ÔN THI THPTQG MÔN SINH HỌC - H...
VẬN DỤNG KIẾN THỨC LIÊN MÔN TRONG GIẢI BÀI TẬP ÔN THI THPTQG MÔN SINH HỌC - H...
 
Xem sim phong thủy luận Hung - Cát số điện thoại chính xác nhất.pdf
Xem sim phong thủy luận Hung - Cát số điện thoại chính xác nhất.pdfXem sim phong thủy luận Hung - Cát số điện thoại chính xác nhất.pdf
Xem sim phong thủy luận Hung - Cát số điện thoại chính xác nhất.pdf
 
Xem tử vi miễn phí trực tuyến cho kết quả chính xác cùng luậ...
Xem tử vi miễn phí trực tuyến cho kết quả chính xác cùng luậ...Xem tử vi miễn phí trực tuyến cho kết quả chính xác cùng luậ...
Xem tử vi miễn phí trực tuyến cho kết quả chính xác cùng luậ...
 
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )
 
1第一课:你好.pptx. Chinese lesson 1: Hello.Nỉ hao
1第一课:你好.pptx. Chinese lesson 1: Hello.Nỉ hao1第一课:你好.pptx. Chinese lesson 1: Hello.Nỉ hao
1第一课:你好.pptx. Chinese lesson 1: Hello.Nỉ hao
 
2第二课:汉语不太难.pptx. Chinese lesson 2: Chinese not that hard
2第二课:汉语不太难.pptx. Chinese lesson 2: Chinese not that hard2第二课:汉语不太难.pptx. Chinese lesson 2: Chinese not that hard
2第二课:汉语不太难.pptx. Chinese lesson 2: Chinese not that hard
 
Gieo quẻ kinh dịch, xin xăm,Xin lộc thánh.pdf
Gieo quẻ kinh dịch, xin xăm,Xin lộc thánh.pdfGieo quẻ kinh dịch, xin xăm,Xin lộc thánh.pdf
Gieo quẻ kinh dịch, xin xăm,Xin lộc thánh.pdf
 
ĐỀ CƯƠNG + TEST ÔN TẬP CUỐI KÌ 2 TIẾNG ANH 11 - GLOBAL SUCCESS (THEO CHUẨN MI...
ĐỀ CƯƠNG + TEST ÔN TẬP CUỐI KÌ 2 TIẾNG ANH 11 - GLOBAL SUCCESS (THEO CHUẨN MI...ĐỀ CƯƠNG + TEST ÔN TẬP CUỐI KÌ 2 TIẾNG ANH 11 - GLOBAL SUCCESS (THEO CHUẨN MI...
ĐỀ CƯƠNG + TEST ÔN TẬP CUỐI KÌ 2 TIẾNG ANH 11 - GLOBAL SUCCESS (THEO CHUẨN MI...
 
cuộc cải cách của Lê Thánh Tông - Sử 11
cuộc cải cách của Lê Thánh Tông -  Sử 11cuộc cải cách của Lê Thánh Tông -  Sử 11
cuộc cải cách của Lê Thánh Tông - Sử 11
 
200 câu hỏi trắc nghiệm ôn tập PLDC.pdf
200 câu hỏi trắc nghiệm ôn tập  PLDC.pdf200 câu hỏi trắc nghiệm ôn tập  PLDC.pdf
200 câu hỏi trắc nghiệm ôn tập PLDC.pdf
 
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
 
bài 5.1.docx Sinh học di truyền đại cương năm nhất của học sinh y đa khoa
bài 5.1.docx Sinh học di truyền đại cương năm nhất của học sinh y đa khoabài 5.1.docx Sinh học di truyền đại cương năm nhất của học sinh y đa khoa
bài 5.1.docx Sinh học di truyền đại cương năm nhất của học sinh y đa khoa
 
Bai 1 cong bo mot cong trinh nghien cuu khoa hoc
Bai 1 cong bo mot cong trinh nghien cuu khoa hocBai 1 cong bo mot cong trinh nghien cuu khoa hoc
Bai 1 cong bo mot cong trinh nghien cuu khoa hoc
 
Hệ phương trình tuyến tính và các ứng dụng trong kinh tế
Hệ phương trình tuyến tính và các ứng dụng trong kinh tếHệ phương trình tuyến tính và các ứng dụng trong kinh tế
Hệ phương trình tuyến tính và các ứng dụng trong kinh tế
 
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...
 
Sơ đồ tư duy môn sinh học bậc THPT.pdf
Sơ đồ tư duy môn sinh học bậc THPT.pdfSơ đồ tư duy môn sinh học bậc THPT.pdf
Sơ đồ tư duy môn sinh học bậc THPT.pdf
 
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA GIỮA HỌC KÌ + CUỐI HỌC KÌ 2 NĂ...
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA GIỮA HỌC KÌ + CUỐI HỌC KÌ 2 NĂ...ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA GIỮA HỌC KÌ + CUỐI HỌC KÌ 2 NĂ...
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA GIỮA HỌC KÌ + CUỐI HỌC KÌ 2 NĂ...
 
Mạch điện tử - Điện tử số sáng tạo VN-new.pdf
Mạch điện tử - Điện tử số sáng tạo VN-new.pdfMạch điện tử - Điện tử số sáng tạo VN-new.pdf
Mạch điện tử - Điện tử số sáng tạo VN-new.pdf
 
10 ĐỀ KIỂM TRA + 6 ĐỀ ÔN TẬP CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO C...
10 ĐỀ KIỂM TRA + 6 ĐỀ ÔN TẬP CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO C...10 ĐỀ KIỂM TRA + 6 ĐỀ ÔN TẬP CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO C...
10 ĐỀ KIỂM TRA + 6 ĐỀ ÔN TẬP CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO C...
 

Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf

  • 1. ` 1 TRƯỜ Ạ Ọ Ộ NG Đ I H C BÁCH KHOA HÀ N I LUẬN VĂN THẠC SĨ Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại PHẠM VĂN TIỆP gacon0211bk@gmail.com Ngành K thu ỹ ật điề ể ự độ u khi n và T ng hóa Khoa T ng hóa ự độ Giảng viên hướ ẫ ng d n: TS. Đào Quý Thịnh Trường: Đi Đi ệ – n ệ ử n t HÀ NỘI, 04/2022 ký c a GVHD Chữ ủ
  • 2. ` 2 Lời cảm ơn Đề Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng tài “ trong công nghệ sản xuất màn hình điện thoại” là ộ n i dung tôi ch nghiên c ọn để ứu và làm lu t nghi p cao h c chuyên ngành T ng hóa t ận văn tố ệ ọ ự độ ại trường đại học Bách Khoa Hà N Tôi xin chân thành c n TS. nh ội. ảm ơn sâu sắc đế Đào Quý Thị ngành Kỹ thuật điều khi n và T ể ự động hóa, Khoa Tự độ , Trườ ệ ệ ng hóa ng Đi n-Đi n t i h c Bách Khoa Hà N i. Th c ti p ch b o ng d ử – Trường đạ ọ ộ ầy đã trự ế ỉ ả và hướ ẫn tôi trong su t quá trình nghiên c ố ứu để tôi hoàn thi n lu ệ ận văn. Ngoài ra tôi xin chân thành c y, Cô trong B ng ý ki n quý báu cho ảm ơn các Thầ ộ môn đã đóng góp nhữ ế luận văn. ọ ảm ơn! Trân tr ng c Tóm tắt nội dung luận văn N i dung lu bày v vi c phát hi n các s c ng ộ ận văn trình ề ệ ệ ự ố chất lượ liên quan t i các l i ngo ng hay x y v t, bóng khí, dán l ch trong ớ ỗ ại quan thườ ả ra như dị ậ ệ công đoạ ắ ằ ị ời ngăn chặ ả ỗ ả n l p ráp. Nh m k p th n và c nh báo l i trong quá trình s n xu n tho i t i nhà máy s n xu n tho i thông minh. ất màn hình điệ ạ ạ ả ất điệ ạ M m thi u m t cách t i liên quan t s c ng ục đích: Giả ể ộ ối đa lỗ ới ự ố chất lượ nh m chi phí phát sinh, t n, gi m giá thành s n ph ằm giả ối đa hóa lợi nhuậ ả ả ẩm. M c tiêu: Phát hi n các l i ngo i quan ụ ệ ỗ ạ sau đó đưa ra cảnh báo b ng cách s ằ ử d ng công c trong x t v vi ụ ụ ử lý ảnh để đưa ra những phán đoán chính xác nhấ ề ệc có hay không có l i trong quá trình s n xu nh báo. ỗ ả ất và đưa ra cả Phương pháp thự ệ ử ụ ậ ừ ả c hi n: S d ng thu t toán tr nh btrack background) (su nh m phát hi n các d v i trong quá trình s n xu ằ ệ ị ật phát sinh mớ ả ất. Công cụ ử ụng: Microsoft Visual 2017, Office 2013, OpenCV… s d K xây d ng thành công h ng áp d ng vào nhà máy. ết quả đạt được: ự ệ thố ụ Định hướ ển đề ở ộ ệ ỗi khác như đứt, gãy… ng phát tri tài: M r ng phát hi n các l Học viên Phạm Văn Tiệp
  • 3. ` 3 M C ỤC LỤ CHƯƠNG 1. Ổ Ứ T NG QUAN NGHIÊN C U...................................................... 10 1.1. t v ........................................................................................... 10 Đặ ấn đề 1.1.1. c v quá trình s n xu t t i các nhà máy s n xu t màn hình Sơ lượ ề ả ấ ạ ả ấ điệ ạ n tho i.................................................................................. 11 1.1.2. ng c a s c t i ch ng s n ph n .. Ảnh hưở ủ ự ố ớ ất lượ ả ẩm trong công đoạ ................................................................................................. 14 1.1.3. Tính c p bách c ................................................................ 16 ấ ủ ề a đ tài 1.2 n ch ng b ng x nh............................ 18 . Phương pháp phát hiệ ấ ợ t lư ằ ử lý ả 1.2. Không gian màu, chuy i gi a các không gian màu ............... 18 1. ển đổ ữ 1.2.2 nh nh phân, nh phân hóa v ng.............................. 21 . Ả ị ị ới ngưỡng độ 1.2.3 Phóng to, thu nh , xoay nh.......................................................... 22 . ỏ ả 1.2.4 M phép toán s d ng trong n i dung lu ...................... 23 . ột số ử ụ ộ ận văn 1.3 Các thu t toán liên quan và l n ................................................. 29 . ậ ựa chọ 1.3.1 n (Background subtraction)......................... 29 . Phương pháp tách nề 1.3.2. ................................................. 31 Phương pháp Template Matching CHƯƠNG 2. Ế Ế CƠ KHÍ TÍNH TOÁN THI T K ................................................ 35 2.1. tính toán l a ch n Camera cho h n và phát hi n Cơ sở ự ọ ệ thống ngăn chặ ệ s c .................................................................................................... 35 ự ố 2.1.1. c nghi a ch i nh n phát hi n...... 40 Thự ệm lự ọn kích thước lỗ nhỏ ất cầ ệ 2.2. Thông s , v .............................................. 41 ố thiết bị ị trí lắp đặt Camera 2.3. u sáng( lightning)............................................. 45 Chọn phương án chiế CHƯƠNG 3. Ế Ế ẬT TOÁN ĐIỀ Ể THI T K THU U KHI N................................... 47 3.1. u khi n. .............................................................. 47 Yêu cầu bài toán điề ể 3.2. Xây d thu u khi n h ng giám sát ch ng ựng sơ đồ ật toán điề ể ệ thố ất lượ ................... ......................................................................................... 48 3.3. K t i mô hình thi t b nghi m ................................ 52 ết quả thực tế ạ ế ị thử ệ K N.......................................................................................................... 61 ẾT LUẬ TÀI LIỆ Ả U THAM KH O.................................................................................... 63
  • 4. ` 4 DANH M NH Ụ Ả C HÌNH Hình 1.1 Các đườ ấ ng song song xu t hiệ ở ố n tr thành con d c.................. 11 Hình 1.2 Process s n xu n tho i...................................... 12 ả ất màn hình điệ ạ Hình 1.3 Layer các dòng điệ ạ n tho i........................................................ 12 Hình 1.4 n xu t màn hình............................................... 13 Phương thức sả ấ Hình 1.5 C u t n c a màn hình OLED ....................................... 13 ấ ạo cơ bả ủ Hình 1.6 Sơ lược process dán ................................................................. 13 Hình 1.7 Sơ đồ ố kh i thiế ị ớ t b dán Window v i Panel.............................. 14 Hình 1.8 Loại hình dị ậ v t........................................................................ 15 Hình 1.9 Loại hình bóng khí................................................................... 15 Hình 1.10 Ý tưở ệ ự ố ng camera giám sát và phát hi n s c ........................... 17 Hình 1.11 l u khi n............................................ 17 Sơ đồ ắp đặt hệ thống điề ể Hình 1. Không gian màu RGB 12 ............................................................. 19 Hình 1. Không gian màu YMC 13 ............................................................. 20 Hình 1. Không gian màu HSV 14 .............................................................. 21 Hình 1.15 nh v i giá tr Threshold khác nhau ....................................... 22 Ả ớ ị Hình 1.16 t toán thu phóng nh ........................................................ 23 Thuậ ả Hình 1.17 t toán xoay ................................................................. 23 Thuậ ảnh Hình 1.18 Phép giãn n ............................................................................ 24 ở Hình 1.19 Phép giãn n ............................................................................ 24 ở Hình 1. Gradient 20 ................................................................................... 26 Hình 1.21 nh g l c Candy ............................................................. 26 Ả ốc bộ ọ Hình Ví d 1.22 ụ ề v phép tìm biên Candy ................................................. 27 Hình 1.23 i Hough................................................................... 28 Chuyển đổ Hình 1.24 ng tròn ................................................ 28 Chuyển đổi Hough đườ Hình 2.1 camera Vision..................................................... 36 Lý thuyết về Hình 2.2 và v Camera vision .......................... 42 Sơ đồ thiết bị ị trí lắp đặt Hình Khu v 2.3 ự ệ c làm vi c của Camera................................................. 42 Hình 2.4 Sơ đồ ạ ộ ủ nguyên lý ho t đ ng c a hệ ố th ng................................. 42 Hình 2.5 Base light............... 43 Robot loading màn hình từ conveyer vào
  • 5. ` 5 Hình 2.6 Step 2 c a chu trình làm vi c................................................... 43 ủ ệ Hình 2.7 ng h p phát sinh l ng ............................. 44 Step 3 trườ ợ ỗi chấ ợ t lư Hình 2.8 L p l chu trình làm vi c ........................................................ 45 ặ ại ệ Hình 2.9 u sáng.................................................... 46 Các phương thức chiế Hình 2.10 u sáng..................................... 46 Thực nghiệm phương thức chiế Hình 3.1 Sơ đồ ắp đặ l t hệ ống điề ể th u khi n............................................ 47 Hình 3.2 Sơ đồ ậ thu t toán ....................................................................... 49 Hình 3.3 Tiề ử ả n x lý nh.......................................................................... 49 Hình 3.4 Điểm đăng kí ngoại lệ dùng làm đặ ả ………… c tính hình nh ..50 Hình 3.5 Ả ị nh live b xoay trong quá trình loading................................. 51 Hình 3.6 Giả ở ậ i thích ý tư ng thu t toán ................................................... 52 Hình 3.7 Thiết bị đánh giá chương trình Vision..................................... 53 Hình 3.8 Data đánh giá DOE kích thước lỗi 0.73*0.27 ......................... 56 Hình 3.9 K tính toán DOE ............................................................ 56 ết quả Hình 3.10 Data đánh giá kích thước lỗi 0.73*0.4..................................... 57 Hình 3.11 Data đánh giá kích thước lỗi 0.956*0.776............................... 57 Hình 3.12 Biểu đồ ỷ ệ so sánh các phương pháp ngoạ t l i quan................. 60 Hình 3.13 Ả ả ẩ nh s n ph m bị xoay trước khi Vision check........................ 60 Hình 3.14 Camera check d v c 0.24mm................. 61 ị ật bóng khí kích thướ Hình 3.15 Camera check d v c 0.23mm................. 62 ị ật bóng khí kích thướ
  • 6. ` 6 DANH M C T NG ANH Ụ Ừ Ế TI Visual Inspection Kiểm tra trực quan Process Công đoạn Step by step Bước trong bước Liquid Crystal Display (LCD) Màn hình tinh thể lỏng Active Matrix Organic Light Emitting Diode (AMOLED) DDiot phát sáng hữu cơ ma trận động (Plane, Rollable, Bended, Foldable ( ) YOUM Phẳng, cuộn tròn, uốn cong, gập Curved Rolling Cán cong Flat Rolling Cán phẳng Sheet Rolling Cán dính Section Mặt cắt Auto Clave Nồi hấp Loading Mang Unloading Dỡ Stage Bàn đặt (để) Black light Đèn chiếu sáng Alarm Lỗi thiết bị Controller Bộ điều khiển Computer Máy tính Red, Green, Blue (RGB) Đỏ, xanh, vàng Hue, Saturation, Value (HSV) Màu sắc, sự bão hòa, giá trị cường độ Cyan, Megenta, Yellow, Black ( ) CMYK Xanh lơ, hồng sẫm, vàng, đen Threshold Ngưỡng cửa Dilation Giãn nở Image structuring element Cấu trúc phần tử ảnh Upper threshold Ngưỡng trên Lower threshold Ngưỡng dưới Background subtraction Phương pháp tách nền Template matching So sánh mẫu Field of view (FOV) Vùng làm việc Working distance Khoảng cách từ Lén tới đối tượng
  • 7. ` 7 L U ỜI NÓI ĐẦ c s ng ngày càng hi i g n li n v i t ng hóa, công ngh s thì Cuộ ố ện đạ ắ ề ớ ự độ ệ ố nhu c u v s d ng các thi t b n t , s n ph m công ngh cao và g n li n v ầ ề ử ụ ế ị điệ ử ả ẩ ệ ắ ề ới đờ ố ạ ủa con ngườ ều hơn. Vì thế ệ ế ế ả i s ng sinh ho t c i ngày càng nhi vi c thi t k , s n xu và liên t c c i ti a các thi t b n t ph c v nhu c u cu ất ụ ả ến hơn nữ ế ị điện, điệ ử ụ ụ ầ ộc s ng hàng ngày c ố ủa con người là r t c n thi t và không ng ng di n ra quanh chúng ấ ầ ế ừ ễ ta. Nh chính sách m c a c c nên các công ngh ững năm gần đây, nhờ ở ử ủa nhà nướ ệ s n xu t, thi t b hi i ph c v s n xu t t c nh p kh u tr c ti p, ả ấ ế ị ện đạ ụ ụ ả ấ ự động hóa đượ ậ ẩ ự ế ho c nh ặ ận đầu tư rất l n t các t ớ ừ ập đoàn công nghệ hàng đầu th gi ế ới tăng lên đáng k c bi t ph i k t i nh ng t n v công ngh n t t B n, Hàn ể, đặ ệ ả ể ớ ữ ập đoàn lớ ề ệ đế ừ Nhậ ả Quố ốc… Hưở ợ ừ ệ ậ ẩ ệ ả ấ c, Trung Qu ng l i t vi c nh p kh u linh ki n máy móc s n xu t thiế ị điệ ử đượ ả ất trong nướ ớ ấ ạo cơ hộ ệ t b n t c s n xu c v i chi phí th p và t i vi c làm cho nh ng nhân l c h c h i, trau d i công ngh t các ữ ực trong nước, qua đó đượ ọ ỏ ồ ệ ừ đối tác nước ngoài ngày càng tr nên thu n ti n. Trong nh ng ngành s n xu t thi ở ậ ệ ữ ả ấ ết b n t nói chung ngành s n xu t màn hình, thi t b s d ng màn hình hi n ị điệ ử thì ả ấ ế ị ử ụ ể thị ngày càng phát tri n t i ể ạ Việ , đặ ệt theo xu hướ t Nam c bi ng ngày m t hoàn thi n ộ ệ hơn và chất lượ ử ụng cao hơn hướ ớ ầ ủ ị trường. Do đó, ng s d ng t i nhu c u cao c a th v ki m soát t t c ch ng s n ph m trong quá trình s n xu t s giúp ấn đề ể ố đượ ất lượ ả ẩ ả ấ ẽ gi m thi u t nhi nh tranh c a s n ph c s ả ể chi phí đi rấ ều, giúp tăng tính cạ ủ ả ẩm đượ ản xu c và k thu t c a nhân l c s n xu t lên m cách ất trong nướ nâng cao trình độ ỹ ậ ủ ự ả ấ ột đáng kể. Hơn nữa, xu hướ ủ ả ấ ế ị ử ng c a các công ty s n xu t màn hình và các thi t b s d ng màn hình là ngày càng m ụ ỏng hơn và có thể ậ g p, u n cong nh ố ằm đáp ứng nhu c u th ng nên vi c s n xu t hàng lo t trong khi v n ph m b o ch ng ầ ị trườ ệ ả ấ ạ ẫ ải đả ả ất lượ đòi hỏi công đoạn giám sát chất lượ ả ng ph i ngày một chính xác hơn và nhanh hơn. Việc kiể ấ ợ ả ẩ m soát ch t lư ng s n ph m b ng các công nhân ngo ằ ại quan do đó không còn đáp ứng đượ ầ ả ấ ế ầ ả ệ ế ỗ c nhu c u s n xu t vì th c n ph i có các công ngh tiên ti n h trợ để ể tăng cao độ ả ối đa thờ ể ỗ ị có th xác và gi chính m t i gian ki m tra hàng l i, k p thời x lý trong quá trình s n xu t nh m gi m t ử ả ấ ằ ả ối đa thiệt h i và th i gian s n xu t. ạ ờ ả ấ M t trong nh ng công ngh tiên ti n h r t t t cho quy trình giám sát ch ộ ữ ệ ế ỗ trợ ấ ố ất lượng đượ ể ạ ẽ năm gần đây phả ể đế ệ c phát tri n m nh m trong vài i k n công ngh
  • 8. ` 8 Computer Vision ( giác máy tính). Công ngh này n u phát tri n t t và thị ệ ế ể ố ứng d ng ụ phù h p thì hoàn toàn có th thay th i trong vi c t ng phát hi n các ợ ể ế con ngườ ệ ự độ ệ l i nh nh t v i th i gian nhanh nh t do vi c ki m soát hoàn toàn t ng và các ỗ ỏ ấ ớ ờ ấ ệ ể ự độ camera đang ngày càng hoàn thiện hơn cho phép phát hiệ ậ ể ớ n ra các v t th v i kích thước c c nh mà m ự ỏ ắt người cũng không thể nhìn thấy được. M t trong nh ng y ộ ữ ếu t c c k quan tr ng, mang tính s ng còn c n giám sát trong các công ty s n xu ố ự ỳ ọ ố ầ ả ất màn hình hi i chính là d v t bóng khí và dán l , m ng s n ện đạ ị ậ ệch ặc dù môi trườ ả xu t là phòng s v t và các l i bóng khí, dán l c nh ấ ạch nhưng dị ậ ỗ ệch có kích thướ ỏ khó ki m soát m t khi l t vào quy trình s n xu t s l p t c gây l ể ộ ọ ả ấ ẽ ậ ứ ỗi đặc tính cho s n ả ph m. Thông qua hình th c ki m soát hình nh trong th i gian th c b ng cách s ẩ ứ ể ả ờ ự ẳ ử d phân gi i cao k p v i thu lý tín hi u hình ụng camera có độ ả ết hợ ớ ật toán xử ệ ảnh để phân tích, cho ra k t qu chính xác giúp nh có hay không d v t hay các l ế ả phán đị ị ậ ỗi ch ch ất lượ ả ấ ẽ ấ ố ự ố ng các quy trình s trong n xu t s giúp phòng tránh r t t t các s c ất lượ Độ ủa phương pháp xử ả ờ ự ụ ộ ấ ng. chính xác c lý nh th i gian th c này ph thu c r t nhi u vào ph n c ng c a thi t b ề ầ ứ ủ ế ị như vi xử lý, card đồ h a c a máy tính hay camera ọ ủ ghi l i hình nh thu ạ ả cũng như là phụ thuộc vào ật toán tối ưu hay không… Trướ ầ ầ ủ ự ễ ận văn đã lên ý tưở ề ệ ế c yêu c u c u c a th c ti n, lu ng v vi c ti n hành l t h ng giám sát ch n tho i thông qua vi c phát ắp đặ ệ thố ấ ợng trên màn hình điệ t lư ạ ệ hi n, nh báo khi xu t hi n các s c liên quan t i l i ch ệ ngăn chặn và đưa ra cả ấ ệ ự ố ớ ỗ ất lượ ị ậ ệ ng (có d v t, bóng khí, dán l ch). “Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại” Thuyết minh đồ ồm 3 chương, nội dung như sau: án g ▪ Chương 1. T NG QUAN NGHIÊN C U Ổ Ứ - c v quá trình s n xu t c a các nhà máy s n xu n Sơ lượ ề ả ấ ủ ả ất màn hình điệ tho i. ạ - ng c a c a các s c ng trong nhà máy s n xu t màn Ảnh hưở ủ ủ ự ố chất lượ ả ấ hình điệ ạ n tho i. - Lý do lựa chọn đề tài - n s c ng. Các phương pháp phát hiệ ự ố chất lượ - Lý thuy t v x lý nh và các ng d ng th s áp d tài. ế ề ử ả ứ ụ ực tế ẽ ụng trong đề
  • 9. ` 9 - Vai trò c a h ủ ệ thống giám sát chất lượng đối v i nhà máy s n xu t công ớ ả ấ nghi p ệ ▪ Chương 2. TÍNH TOÁN THI T K Ế Ế CƠ KHÍ - tính toán l n Camera cho h ng giám sát ch ng. Cơ sở ựa chọ ệ thố ấ ợ t lư - linh ki n phù h p v i yêu c Thông số ệ ợ ớ ầu đặt ra. - ng ho ng c ng giám sát ch ng. Mô phỏ ạ ộ t đ ủa hệ thố ấ ợ t lư - u sáng. Phương thức chiế ▪ Chương 3. T K U KHI THIẾ Ế THUẬT TOÁN ĐIỀ ỂN - u khi n. Yêu cầu bài toán điề ể - u khi n h ng giám sát ch ng. Xây dựng sơ đồ thuật toán điề ể ệ thố ấ ợ t lư - toán tìm ki m d v t ,bóng khí , dán l ch phát sinh d a trên gi Thuật ế ị ậ ệ ự ải thuật Template Matching và Subtract background. - u ki n th m t t áp d Kiểm thảo tìm điề ệ ực nghiệ ốt nhấ ụng cho đề tài. g tài v làm vi c cao, k ng cùng Dù đã cố ắng hoàn thành đề ới cường độ ệ ỹ lưỡ sự hướng d n r t c ẫ ấ ụ thể, nhi t tình c a các th y trong ệ ủ ầ ngành Điều khi n và T ể ự động hóa, Khoa T ng hóa ng d ng th c ti n t ự độ cũng như ứ ụ ự ễ ại cơ quan làm việc, nhưng do hi u bi t còn h n ch c ng v u ki m th c nghi m còn gi i h n v ể ế ạ ế ộ ới điề ện đo kiể ự ệ ớ ạ ề m t thi nên ch c ch n lu c kh t sót ặ ết bị ắ ắ ận văn này không tránh khỏi đượ ả năng thiế và b t c p. Vì v y em r t mong s s a ch a và góp ý c a h ấ ậ ậ ấ ự ử ữ ủ ội đồng, quý thầy cô để em rút ra kinh nghi cho b ệ ổ ế ứ m và b sung thêm ki n th c ản thân. Hà Nộ tháng 4 năm 2022 i, ngày 01 H hi n: ọc viên thực ệ p Phạm Văn Tiệ
  • 10. ` 10 CHƯƠNG 1. Ổ Ứ T NG QUAN NGHIÊN C U Chương ồ ội dung như sau: 1 bao g m các n - c v quá trình s n xu t c a các nhà máy s n xu n Sơ lượ ề ả ấ ủ ả ất màn hình điệ tho i. ạ - ng c a c a các s c ng trong nhà máy s n xu t màn Ảnh hưở ủ ủ ự ố chất lượ ả ấ hình điệ ạ n tho i. - Lý do lựa chọn đề tài - n s c ng. Các phương pháp phát hiệ ự ố chất lượ - Lý thuy t v x lý nh và các ng d ng th s áp d tài. ế ề ử ả ứ ụ ực tế ẽ ụng trong đề - Vai trò c a h ủ ệ thống giám sát chất lượng đối v i nhà máy s n xu t công ớ ả ấ nghi p ệ 1.1. Đặt vấn đề X c phát tri n và ng d ng r ng rãi ử lý ảnh là lĩnh vực mà ngày nay đượ ể ứ ụ ất rộ trong nhiều lĩnh vự ờ ự ể ạ ẽ ủ c khác nhau nh vào s phát tri n ngày càng m nh m c a các h ng máy tính, các thu t toán và công trình nghiên c u khác nhau c a nhi u ệ thố ậ ứ ủ ề nhà khoa h c trên th ọ ế giới. Ở Việt Nam, cùng v i s phát tri n c a k nguyên công ớ ự ể ủ ỷ nghi p 4.0 các ng d ng v x c tri n khai vô cùng m nh ệ ứ ụ ề ử lý ảnh đã và đang đượ ể ạ mẽ trên nhiều lĩnh vực như ứ ụ ng d ng qu n lý giao thông ả đô thị [4], ứ ụ ng d ng quản lý d u sinh tr c h c , ng d ng trong các h ng giám sát ch ng, h ữ liệ ắ ọ [5] ứ ụ ệ thố ất lượ ệ thố ậ ệ ử ỉ ủa con ngườ … ng nh n di n thông qua c ch c i [12] Trên đà phát triển đó c a x ủ ử lý ảnh, ph i k n ng d ng c ả ể đế ứ ụ ủa nó trong lĩnh v c ki m tra tr c quan( Visual Inspection) liên quan t i vi c phân tích các s n ự ể ự ớ ệ ả ph m ho ng s n xu t khác trên dây chuy n cho m m soát ch ẩ ặc đối tượ ả ấ ề ục đích kiể ất lượ ể ng. Ki m tra trự ể đượ ử ụng để đánh giá bên trong và bên c quan cũng có th c s d ngoài c a các thi t b khác nhau trong m s n xu a, bình ch ủ ế ị ột cơ sở ả ất như bể chứ ịu áp l ng ng và các thi t b t quá trình di n ra trong kho ng ực, đườ ố ế ị khác. Đó là mộ ễ ả thời gian đều đặ ỗ ầ ệ ầ ế ả ế ế n m i ngày góp ph n phát hi n ra h u h t c khi m khuy t trong quá trình s n xu m tra tr h u h c c hi n th công, ả ất. Việc kiể ực quan ầ ết đang đượ thự ệ ủ đòi hỏ ự ệ ệ ủ ại quan đánh giá và thự ệ i s hi n di n c a các công nhân ngo c hi n theo các đào tạ ặ ế ứ ận đượ ừ ớc đó. Mắt thườ ế ố o ho c ki n th c nh c t trư ng chính là là y u t then chố ủ ệ ể ự ủ ứ ệ ọ t c a vi c ki m tra tr c quan th công, tuy nhiên theo nghiên c u vi c l t lõi
  • 11. ` 11 khi ti ng t 20% ~ 30% [6]. M t s khi ến hành theo phương pháp này dao độ ừ ộ ố ếm khuy t có th quy cho l i c a công nhân ngo i quan( tâm tr ng, s c kh e,.. t i th ế ể ỗ ủ ạ ạ ứ ỏ ạ ời điể ể ộ ố ớ ạ ề m ki m tra), trong khi m t s khác là do gi i h n v không g ( ánh sáng, ian kho ng cách ngo i quan,...); m c dù có th gi m b ả ạ ặ ể ả ớt được vi c l t l i do công nhân ệ ọ ỗ ngo o và th c lo i b hoàn ại quan thông qua đào tạ ực hành, nhưng không thể đượ ạ ỏ toàn. Đặc biệt, trong môi trườ ả ng s n xuất khi con người m t m i có th d n t i k ệ ỏ ể ẫ ớ ết qu ngo i quan x y ra nhi u sai sót. L i ki m tra tr c quan trong s n xu ng ả ạ ả ề ỗ ể ự ả ất thườ có hai hình th c là u m t khi m khuy t hi n có ho ứ thiế ộ ế ế ệ ặc xác định không chính xác m t khi m khuy t t n t i t ví d v h n ch c a m i trong ộ ế ế ồ ạ , dưới đây là mộ ụ ề ạ ế ủ ắt ngườ quá trình ki c quan: ểm tra trự Hình 1.1 ng song song xu n tr thành con d Các đườ ất hiệ ở ốc. 1.1.1. Sơ lượ ề ả ấ ạ ả ấ c v quá trình s n xu t t i các nhà máy s n xu t màn hình điệ ạ n tho i. s n xu t ra m n tho i hoàn ch nh ph i tr i qua r Để ả ấ ột màn màn hình điệ ạ ỉ ả ả ất nhi n step by step k thu t l p ráp, dán các t m v t lý v i nhau m ều công đoạ ỹ ậ ắ ấ ậ ớ ột cách t m , chính xác nh t. Vi c dán các l p này v ỉ ỉ ấ ệ ớ ới nhau đượ ế c ti n hành theo một chu trình khép kín và hoàn toàn t ng b ng các cánh tay Robot và thi t b t ự độ ằ ế ị ự động hóa. Process s n xu i n tho ả ất 1 màn hình đ ệ ại như sau:
  • 12. ` 12 Hình 1.2 Process s n xu n tho i ả ất màn hình điệ ạ a. L ch s hình thành các l n tho ị ử ớ ệ p đi ại như sau : ✓ 2014 tr v n tho i dòng LCD g m 6 l p ở ề trước : Điệ ạ ồ ớ p ,màu s c s ng. + Ưu điểm : Design tương đố ẹ i đ ắ ống độ t dày và n ng ,do c u t o b ng kính nên d v . + Nhượ ể c đi m : Rấ ặ ầ ạ ằ ễ ỡ ✓ 2014 n tho p – 2020 : Điệ ại dòng AMOLED gồm 4 lớ m : Thi t k m p ,màu s c s ng + Ưu điể ế ế ỏng đẹ ắ ống độ v ,không có kh p + Nhượ ể c đi m : Dễ ỡ ả năng gậ ✓ → 2020 n tho p Nay : Điệ ại ong YOUM gồm 4 lớ + Ưu điểm : Thi t k p ,màu s c s ế ế đẹ ắ ống động, tăng độ ể hi n th ngoài ị trời ✓ + Nhượ ể c đi m : Giá thành cao Hình 1.3 n tho i Layer các dòng điệ ạ
  • 13. ` 13 b. M n tho ỗi lớ ệ p đi ại có phương thức dán như sau Hình 1.4 n xu t màn hình Phương thức sả ấ Hình 1.5 C u t n c a m t màn hình OLED ấ ạo cơ bả ủ ộ c. Quy trình sả ất sơ lượ n xu c giới hạn trong đề ại công đoạ tài t n : Hình 1.6 c process dán Sơ lượ
  • 14. ` 14 Quy trình s n xu c gi i h tài t n bao g m các khâu ả ất sơ lượ ớ ạn trong đề ại công đoạ ồ như sau: - C p nguyên v u ( Panel, T m dính d n, Window) ấ ật liệ ấ ẫn điệ - ) nguyên v t li Loading( đặt, để ậ ệu lên các Stage( bàn chân không đặt Panel) - d ng công ngh Vision Aligment ) Dán( Sử ụ ệ - c) bán thành ph m kh i các Stage( bàn chân không) Unloading( nhấ ẩ ỏ - ) bán thành ph m vào Tray( khuôn ch a Panel) Loading( đặ ể t, đ ẩ ứ - conveyer vào máy kh b ng hóa Loading từ ử ọ ờ t khí/cư - Check ngo i quan hàng thành ph n, Window ) ạ ẩm ( Panel ,tấm dính dẫn điệ - ành ph m vào tray ( khuôn ch a Window ) Loading th ẩ ứ Hình 1.7 kh t b dán Window v i Panel Sơ đồ ối thiế ị ớ 1.1.2. Ả ở ủ ự ố ớ ấ ợ ả ẩm trong công đoạ nh hư ng c a s c t i ch t lư ng s n ph n S c ng phát sinh trong quá trình s n xu t có th gây ra r t nhi ự ố chất lượ ả ấ ể ấ ều l i nghiêm tr ng lên s n ph c bi t là các th h n tho i thông minh s ỗ ọ ả ẩm, đặ ệ ế ệ điệ ạ ử d ng t m n c hi n th nh dày m i k n là ụ ấ ền có kích thướ ể ị ỏ và độ ỏng. Hơn cả phả ể đế l v l i bóng khí và l n ph ỗi dị ật, ỗ ỗi dán lệch sả ẩm . Trung bình s n xu t /tháng : Capa 3,200,000 s n ph m, giá thành m t s ả ấ ả ẩ ộ ản ph 100$ ( Công b ) ẩm là ố năm 2021 L i d v t ( T l l i 1.2% ): là l i phát sinh khi có d v t n m gi a m t trong ỗ ị ậ ỷ ệ ỗ ỗ ị ậ ằ ữ ộ các l p v t lý c a màn hình, d v t có th phát sinh trong quá trình dán do ô nhi ớ ậ ủ ị ậ ể ễm v t li u vào,trong thi t b s n xu m b s ch theo tiêu ậ ệu đầ ế ị ả ất không đả ảo 100% độ ạ chuẩ ị ậ ới có kích thướ ớn hơn 0.3 ức là kích thướ ỏ ấ n. D v t nói t c l mm t c nh nh t mà mắt thường có thể quan sát được ở c ly s d n tho i. G p l i này không th ự ử ụng điệ ạ ặ ỗ ể
  • 15. ` 15 tái s d c mà ph i x lý h i v i s ử ụng đượ ả ử ủy đố ớ ản phẩm. Theo như tính toán thì thiệt h s n ph t VND/ Tháng ạị theo giá trị ả ẩm 3,6M ( USD)~ 82.8 ỷ Hình 1.8 v t Loại hình dị ậ L i bóng khí ( t l l i 0.2% ) là l i phát sinh do trong hình thành quá trình ỗ ỷ ệ ỗ ỗ dán m n tho i ( Window ) vào b m t Panel d n t s n ph m sau khi hoàn ặt điệ ạ ề ặ ẫ ới ả ẩ thành chu trình dán xu t hi n tho i . G p l ấ ện các bóng khí li ti trên màn hình điệ ạ ặ ỗi này không th tái s d ể ử ụng được mà ph i x lý h ả ử ủy đố ớ i v i s n ph ả ẩm Theo như tính toán thì thi t h ệ ạị theo giá tr s n ph m 0.6 M ( USD)~ 13.8 t VND/ Tháng ị ả ẩ ỷ Hình 1.9 Loại hình bóng khí L i dán l ch s n ph m ( T l l i 0.1% ): là là l i phát sinh do trong hình ỗ ệ ả ẩ ỷ ệ ỗ ỗ thành quá trình dán m i ( Window ) vào b t Panel d i s ặ ệ ạ t đi n tho ề ặ m ẫ ớ n t ả ẩ n ph m sau khi hoàn thành chu trình dán không kh p nhau màn n tho i . D n t ớ hình điệ ạ ẫ ới kh p ráp và hi n th màn hình các module phía sau dây chuy n s n xu ả năng lắ ể ị ở ề ả ất không đáp ứng được tiêu chí đầ ủ ặ ỗ ể ử u ra c a nhà máy. G p l i này không th tái s dụng đượ ả c mà ph i h i v i s n ph ủy đố ớ ả ẩm. Theo như tính toán thì thiệt hạị theo giá trị ả ẩ ỷ s n ph m 0.3 M ( USD)~ 6.9 t VND/ Tháng Qua li t kê m t s v nghiêm tr ng do s c gây ra gây ra nêu trên thì ệ ộ ố ấn đề ọ ự ố vi c phát tri n m t h ng t ng giám n các s c ng ệ ể ộ ệ thố ự độ sát và ngăn chặ ự ố chất lượ t n xu t quan tr u vô cùng c n thi t và c i v i các ại các bước sả ấ ọng là điề ầ ế ấp bách đố ớ nhà máy s n xu t màn hình. ả ấ
  • 16. ` 16 1.1.3. Tính cấ ủa đề p bách c tài T quy trình s n xu t s n ph m t trên có th y r ng ừ ả ấ ả ẩ ại công đoạn đã nêu ở ể thấ ằ chu trình s n xu t hoàn toàn khép kín, m ả ấ ỗi 1 quá trình dán đều có thể nguy cơ gây ra l i hàng lo t ( d v t/ bóng khí / dán l ch s n ph m ) n u không phát hi n và ỗ ạ ị ậ ệ ả ẩ ế ệ ngăn ngừ ự ố ỗ ể ệ ạ ấ a các s c hay các l i phát sinh thì hoàn toàn có th gây ra thi t h i r t l n cho nhà máy, vì th m m tra liên t c tình ớ ế ột phương pháp kiể ục, giám sát đượ trạng c a hàng thành ph ủ ẩm, trước khi tiến hành công đoạn sau là vô cùng c n thi ầ ết nh m phòng tránh l i phát sinh. Áp d ng x lý nh v i ch m t vision camera có ằ ỗ ụ ử ả ớ ỉ ộ nhi m phù h ều ưu điể ợp để áp dụng như sau: - i gian x lý nhanh, phù h p v i dây chuy n s n xu ng Thờ ử ợ ớ ề ả ất tự độ M i s n ph m hi n t i có th i gian hoàn thành ch kho ng 5s, trong th ỗ ả ẩ ệ ạ ờ ỉ ả ời gian 5s con ngườ ể ỹ đượ ị ậ ệ i khó có th quan sát k c d v t/bóng khí/ dán l ch có kích thướ ỏ c nh kho ng t 0.3 mm tr lên, tuy nhiên v ng d ng c a x lý nh ch c n ả ừ ở ới ứ ụ ủ ử ả ỉ ầ 10 camera vision /2 stage cho m thì hoàn toàn có th phát hi n toàn b 3 ỗi thiết bị ể ệ ộ l i k nh báo kh n c p cho k t viên có th x lý ỗ ể trên phát sinh, đưa ra các cả ẩ ấ ỹ thuậ ể ử k p th ị ời. - g n, có th p trong thi t b Kích thước nhỏ ọ ể tích hợ ế ị c ph n trong thi t b hi n t i khá nh kho ng 800mm x Kích thướ ầ ế ị ệ ạ ỏ chỉ ả 800mm, v i nhi u chi ti t linh ki n ph c t p; tuy nhiên m i camera vision ch ớ ề ế ệ ứ ạ ỗ ỉ có kích thướ ả ể ắp đặ ảnh hưở c kho ng 50mm x 50mm hoàn toàn có th l t mà không ng t i v n hành chung c a các chi ti c tính nh g n này th c s phù ớ ậ ủ ết máy khác. Đặ ỏ ọ ự ự h p v i thi hi n t ợ ớ ết bị ệ ại. - Có th qu c l ch s ng d a trên d ể ản lý đượ ị ử hoạt độ ự ữ liệu được đưa lên hệ thống i v i m i h ng làm vi c thì vi c qu n lý l ch s là r t quan tr ng. Đố ớ ỗ ệ thố ệ ệ ả ị ử ấ ọ D a trên d u thu th c v các l i phát hi c hàng ngày chúng ta có ự ữ liệ ập đượ ề ỗ ện đượ thể ắ ắt đươc tình trạ ậ ệu đầu vào đang ở xu hướ ố n m b ng nguyên v t li ng t t lên hay xấu đi, có thể ểu đượ hi c t i sao l i phát sinh v i các th ạ ỗ ớ ời điểm phát hiện được, nắm b n tr ng ch n,... ắt chính xác hiệ ạ ấ ợng công đoạ t lư ng xây d tài, s l Bên dưới đây là hình ảnh tưởng minh ý tưở ựng đề ẽ ắp đặt camera vision t i thi t b nh m quan sát nh m phát hi n phân tích hình nh xem ạ ế ị ằ ằ ệ ả có hay không có các l c nh báo cho nhân viên k p th i x lý, v ỗi hay phát sinh để ả ị ờ ử ị
  • 17. ` 17 trí l t cho phép quan sát rõ b m t s n ph t qu d a trên thu ắp đặ ề ặ ả ẩm và đưa ra kế ả ự ật toán x lý ử ảnh. Hình 1.10 Ý tưở ệ ự ố ng Camera Vision giám sát và phát hi n s c Hình 1.11 l u khi n Sơ đồ ắp đặt hệ thống điề ể Các thành ph n c a h u khi n bao g ầ ủ ệ thống điề ể ồm: - Camera Vision: ch p nh t trí ch ụ ả ại vị ỉ định - u sáng: T ng ánh sáng thu n l nh ch c có Đèn chiế ạo môi trườ ậ ợi để ả ụp đượ thể ễ ử lý hơn. Môi trườ ố ả ụp đượ ẽ ử ẫ d dàng x ng t i thì nh ch c s khó x lý d n đế ế ả ố n k t qu không mong mu n. - u khi m các tham s c u sáng Controller: Điề ể ố ủa đèn chiế - Computer: ch a ph m m m h hình c. Ph m m m có ch ứ ầ ề ỗ trợ ảnh thu đượ ầ ề ức năng xử lý hình ảnh, phát hi n d v ệ ị ật và đưa ra cảnh báo sau đó truyền thông tin v thi ề ế ị t b .
  • 18. ` 18 1.2 n ch ng b ng x Phương pháp phát hiệ ấ ợ t lư ằ ử lý ảnh V u xây d ng thu nh ta c n n ới yêu cầ ự ật toán và viết chương trình xử lý ả ầ ắm được m t cách v ng ch c các lý thuy t v x lý nh và ộ ữ ắ ế ề ử ả ứng d ng c a nó trong th ụ ủ ực t ng m n n ng và ngu n tài li u tham kh ế. Dướ ạ i đây là h ục các lý thuyết cầ ắm vữ ồ ệ ảo ph n [1], [3]. ục vụ ội dung đề tài X nh và th c mà ngày n c phát tri n và ng ử lý ả ị giác máy là lĩnh vự ay đượ ể ứ d ng r t r ng rãi trong nhi c khác nhau nh vào s phát tri n ngày càng ụ ấ ộ ều lĩnh vự ờ ự ể m nh m c a các h ạ ẽ ủ ệ thố ậ ng máy tính, các thu t toán và công trình nghiên c u khác ứ nhau c a nhi u nhà khoa h gi i . ủ ề ọc trên thế ớ [16] Xử lý ảnh là ph n c ầ ốt lõi c a k thu t th giác máy tính . Nhi m v chính ủ ỹ ậ ị [13] ệ ụ c a x nh là nâng cao ch ng thông tin hình nh theo m ủ ử lý ả ất lượ ả ục đích và xử lý những thông tin đó đưa ra kế ả ố t qu , s liệ ằ ụ u nh m ph c v c k p có th ụ các bướ ế tiế ể là hi n th u khi u ch p hành h d u. ể ị, điề ển cơ cấ ấ ệ thống, lưu trữ vào cơ sở ữ liệ Quá trình b u t vi c thu nh n nh ngu n ng nh s máy tính. D u ắt đầ ừ ệ ậ ả ồ (dạ ả ố) ở ữ liệ ảnh được lưu trữ ở đị ạ ợ ớ ử lý. Ngườ ậ ẽ đưa nh d ng phù h p v i quá trình x i l p trình s ra các thu t toán lên d u nh nh i c u trú nh phù h p v i các ng ậ ữ liệ ả ằm thay đổ ấ c ả ợ ớ ứ d ng khác nhau. Các thu n nh ng là: Histogram, Canny Edge, ụ ật toán cơ bả ất thườ l c màu RGB, l . ọ ọc màu HSV, … 1.2.1 a các không gian màu Không gian màu, chuyể ổ n đ i giữ Không gian màu là m t mô hình toán h mô t các màu s c trong ộ ọc dùng để ả ắ th c t c bi u di i d ng s h c ]. Trên th c t có r t nhi u không gian ự ế đượ ể ễn dướ ạ ố ọ [7 ự ế ấ ề màu khác nhau được mô hình để ử ụ ữ ục đích khác nhau. Trong s d ng vào nh ng m bài này ta s tìm hi u qua v c nh i và ng ẽ ể ề ba không gian màu cơ bản hay đượ ắc tớ ứ d ng nhi không gian màu RGB, HSV và CMYK. ụ ều, đó là hệ Không gian màu RGB RGB là không gian màu r t ph bi h a máy tính và ấ ổ ến được dùng trong đồ ọ nhi u thi t b t s ng chính c a không gian màu này là s k ề ế ị kĩ thuậ ố khác. Ý tưở ủ ự ết h p c a ba màu s Red), xanh l ợ ủ ắc cơ bản: màu đỏ (R, ục (G, Green) và xanh lơ (B, Blue) để ả ấ ả ắ ếu như mộ ả ố đượ ằ mô t t t c các màu s c khác. N t nh s c mã hóa b ng 24bit, nghĩa là 8 ỗ bit cho kênh R, 8 bit cho kênh G, 8 bit cho kênh B, thì m i kênh này màu này s nh n giá tr t 0 t 255. V i m i giá tr khác nhau c a các kênh ẽ ậ ị ừ ới ớ ỗ ị ủ
  • 19. ` 19 màu k t h p v i nhau ta s c m y ta s có t ng c ng ế ợ ớ ẽ đượ ột màu khác nhau, như vậ ẽ ổ ộ 255 x 255 x 255 = 1.66 tri u màu s ệ ắc. Ví d k t h a các kênh màu (R, G, B) v i giá tr ụ: màu đen là sự ế ợp củ ớ ị tương ứ ắ ị ị ng (0, 0, 0) màu tr ng có giá tr (255, 255, 255), màu vàng có giá tr (255, 255, 0), màu tím đậ ị ế bit để ộ m có giá tr (64, 0, 128) ...N u ta dùng 16 mã hóa m t kênh màu tr (48bit cho toàn b 3 kênh màu) thì d i màu s ộ ả ẽ ả ộ ớ i r ng lên t i 3x216 ... Một con số ấ r t lớn. Hình 1.12 Không gian màu RGB Không gian màu CMYK: CMYK là không gian màu được s d ng ph bi n trong ử ụ ổ ế ngành công nghi p ệ in ấ ởng cơ bả ủ n. Ý tư n c a hệ ố ắc cơ bản để ụ không gian này là dùng b n màu s ph c v cho vi c pha tr n m c in. Trên th c t , ụ ệ ộ ự ự ế người ta dùng ba màu là C = Cyan: xanh lơ, M ồ ẫ Yellow: vàng để ể ễ ắ = Magenta: h ng x m và Y = bi u di n các màu s c khác nhau. N u l y màu h ng x m c ng v i vàng s , màu x m k t h p v ế ấ ồ ẫ ộ ớ ẽ ra màu đỏ ẫ ế ợ ới xanh lơ sẽ ự ế ợ ủ ẽ đen, tuy cho xanh lam ... S k t h p c a ba màu trên s cho ra màu nhiên màu đen ở đây khôn ải là đen tuyệ ối và thường có độ tương phả ớ g ph t đ n l n, nên trong ngành in, để ế ệ ực in người ta thêm vào màu đen để ữ ti t ki m m in nh ng chi ti t i k p ba màu s y ta có h ế có màu đen thay vì phả ết hợ ắc trên. Và như vậ ệ màu CMYK. ch K kí hi ( y c dùng ữ ở đây là để ệu màu đen Black), như vậ chữ B đã đượ để ể ễ nên ngườ ấ ữ ối K để ể ễn màu đen. bi u di n màu Blue i ta l y ch cái cu bi u di Nguyên lý làm vi c c a h ệ ủ ệ màu này như sau: trên m t n n gi y tr ng, khi m i màu ộ ề ấ ắ ỗ này được in lên sẽ loại b d n ỏ ầ đi thành ầ ph n màu tr ng. Ba màu C, M, Y khác nhau ắ in theo nh ng t l khác nhau s i b t cách khác nhau và ữ ỉ ệ ẽ loạ ỏ đi thành phần đó mộ
  • 20. ` 20 cuố ắ ầ ầ màu đen, thay vì phả ả i cùng cho ta màu s c c n in. Khi c n in i in c ba màu người ta dùng màu đen để ớ ệ ủ in lên. Nguyên lý này khác v i nguyên lý làm vi c c a h RGB ệ ở ỗ ệ ch h RGB là s k t h p c a các thành ph n màu, còn h CMYK là s ự ế ợ ủ ầ ệ ự lo i b ạ ỏ ẫ ủ ầ l n nhau c a các thành ph n màu. Hình 1.13 Không gian màu YMC Không gian màu HSV: HSV và cũng gần tương tự như HSL là không gian màu đượ ề c dùng nhi u trong vi c ch nh s ệ ỉ ửa hình nh, phân tích ả ảnh và m t ph n c ộ ầ ủa lĩnh vực th giác máy ị tính. H mô t ệ ự ố sau để không gian này d a vào ba thông s ả ắ màu s c H = Hue: màu s c, s b o hòa, V = value: giá tr ắc, S = Saturation: độ đậm đặ ự ả ị cường độ sáng. Không gian c bi u di i d ng hình tr c hình nón. màu này thường đượ ể ễn dướ ạ ụ hoặ Theo đó, đi theo vòng tròn từ ớ 360 độ là trườ ể ễ ắ 0 t i ng bi u di n màu s c (Hue). Trườ ắt đầ ừ màu đỏ đầ ớ ục đầ ng này b u t u tiên (red primary) t i màu xanh l u tiên (green primary) n m trong kho ng t 0 t i , t 120 t i là màu xanh ằ ả ừ ớ 120 độ ừ ớ 240 độ l c t blue primary). T 240 t i 360 là d i ụ ới xanh lơ (green primary – ừ ớ ả màu đen tới lại màu đỏ. Việ ắm rõ đượ c n c khái ni m c a màu s c, cách th c t o ra các màu s ệ ủ ắ ứ ạ ắc trong t t l n trong vi c hi u và chuy i gi ừng không gian màu có ý nghĩa rấ ớ ệ ể ển đổ ữa các không gian màu tùy theo t ng tình hu ng bài toán x ừ ố ử lý ả ầu, dưới đây nh yêu c tiế ụ ớ ệ ề ế ển đổ ữ ậ p t c gi i thi u v lý thuy t chuy i gi a các không gian màu và thu t toán h trong OpenCV. ỗ trợ
  • 21. ` 21 Hình 1.14 Không gian màu HSV Chương trình chuyển đổi các không gian màu Trong OpenCV, các không gian màu được đượ ển đổ ạ ờ c chuy i qua l i nh hàm cvtColor(convert color), nguyên mẫu hàm này như sau: cv::cvtColor(cv::InputArray src, cv::OutputArray dst, int code) Trong đó: src, dst là ảnh g c và ố ảnh thu được sau khi chuyển đổi không gian màu; code là mã chuy u ển đổi không gian màu. OpenCV định nghĩa khá nhiề chuyển đổ ữ ẳ ạn như ẽ i gi a các không gian màu ch ng h Code = CV_BGR2GRAY s chuyể ả ở ả ẽ n nh không gian màu RGB sang nh xám, Code = CV_HSV2 s BGR chuyể ả ở không gian màu HSV sang không gian màu RGB … n nh 1.2.2 phân, nh phân hóa v Ảnh nhị ị ới ngưỡng động Ả ị ả ị ủa các điể ả ỉ đượ ể ễ ằ nh nh phân là nh mà giá tr c m nh ch c bi u di n b ng hai giá tr 0 ho ng v c tr ng. Nh phân hóa m ị ặc 255 tương ứ ới hai màu đen hoặ ắ ị ột ả ế ộ ả ả ị ọ ị ờ nh là quá trình bi n m t nh xám thành nh nh phân. G i f(x,y) là giá tr cư ng độ ủ ột điể ả ở ị là ngưỡ ị ị phân. Khi đó, ả sáng c a m m nh v , trí (x,y) T ng nh nh nh xám s c chuy n thành nh nh phân d a vào công th f(x,y) = 0 n u f ẽ đượ ể ả ị ự ức ế f(x,y) ≤ T và f(x,y) = 255 n u f(x,y) > T. ế Hàm để chuy n nh phân hóa ể ị ảnh trong OpenCV là hàm threshold(). Nguyên m threshold(cv::InputArray src, ẫu hàm như sau: cv::OutputArray dst, double thresh, int maxval, int type). Trong đó, ảnh đầ src là u vào m t kênh màu ( d là c nh phân hóa, thresh ộ ảnh xám …), st ảnh sau khi đượ ị là
  • 22. ` 22 ngưỡ ị ị ớ ấ ảnh (maxval = 255 đố ớ ả ng nh phân, maxval là giá tr l n nh t trong i v i nh xám), là ki u nh phân có th là: type ể ị ể CV_THRESH_BINARY,CV_THRESH_BINARY_INV,CV_THRESH_OTSU … lần lượt là nh phân hóa thông ị thường, nhị phân hóa ngược và nh phân hóa theo ị thu t ật toán Otsu … Kế ả ủ ệ ị ộ t qu c a vi c nh phân hóa m ả ụ ộc vào ngưỡ nh ph thu ng T, có nghĩa là vớ ỗi ngưỡ ữ ả ị i m ng T khác nhau thì ta có nh ng nh nh phân khác nhau. Hình sau mô t nh nh ng v ng T = 50, T =100. ả ba ả ị phân tương ứ ớ ỡ i ngư Hình 1.15 nh v i giá tr Threshold khác nhau Ả ớ ị 1.2.3 , xoay Phóng to, thu nhỏ ảnh Ả ố ự ấ ộ ận các điể ảnh, do đó để ể nh s th c ch t là m t ma tr m có th phóng to, thu nh t t m ỏ ộ hay xoay m ấ ả ể ử ụ ật toán tương ứ nh ta có th s d ng các thu ng trên ma trậ ẽ ử ụ ển đổi affine để quay và thay đổ ỉ ệ ỏ ủ ộ n. Ta s s d ng bi i t l to, nh c a m t ma trận. Biến đổi affine: Giả ử s ta có vector = [ x, y]T và ma tr n M 2x2. Phép bi i affine trong ậ ể ổ n đ không gian hai chi u có th ề ể được định nghĩa p’ = Mp trong đó p’ = [ x’, y’]T . Viết m ng minh ta có: ộ ờ t cách tư ' ' x x y y         =           (1.1) Hay x’ = αx + δy, y’ = γx + βy Xét ma tr n ậ           Nếu δ = γ = 0, khi đó x’ = αx và y’ = βy, phép biến đổi này làm thay đổ ỉ ệ ủ ậ ế ả ẽ ặ ỏ i t l c a ma tr n. N u là trong nh nó s phóng to ho c thu nh ả ả ến đổ ớ ỉ ệ α = β = 2 nh. Hình sau mô t phép bi i v i t l
  • 23. ` 23 Hình 1.16 t toán thu phóng nh Thuậ ả N n: ếu ta định nghĩa ma trậ cos( ) sin(      sin( ) cos( )   −    (1.2) thì phép bi i s ến đổ ẽ quay p thành p’ với góc quay là θ. Hình 1.17 t toán xoay Thuậ ảnh 1.2.4 M phép toán s d ng trong n i dung lu ột số ử ụ ộ ận văn Phép giãn n (dilation) ở C u trúc ph n t nh (image structuring element) là m t hình kh ấ ầ ử ả ộ ối được định nghĩa sẵ ằm tương tác vớ ả ỏ ộ ố ấ n nh i nh xem nó có th a mãn m t s tính ch t nào đó không, mộ ố ấ ầ ử ặ ấ ố t s c u trúc ph n t hay g p là c u trúc theo kh i hình vuông và hình ch p. ữ thậ
  • 24. ` 24 Hình 1.18 Phép giãn nở Ta hãy xét m nh v ng trong c bi u di n b ng màu n n ột ả ới đối tượ ảnh đượ ể ễ ằ ề nâu, sau đó dùng cấ ầ ử hình vuông (màu đỏ) để ở ả ế u trúc ph n t làm giãn n nh, k t qu ãn n n giãn n u là d u x. ả là ảnh được gi ở ra và phầ ở ra ta đánh dấ ấ Hình 1.19 Phép giãn nở Ứ ụ ủ ở là làm cho đối tượ ảnh được tăng lên ng d ng c a phép giãn n ng trong v c, các l trong c l y, n i li ng biên v ề kích thướ ỗ nhỏ ảnh đượ ấp đầ ố ền đườ ảnh đối ới nh n r ững đoạ ời nhỏ … Tìm biên ả ự ộ ọ nh d a trên b l c Canny B l c Canny là s k t h p c a nhi tìm và t ộ ọ ự ế ợ ủ ều bước khác nhau để ối ưu đườ ế ả ột đườ ả ng biên, k t qu là cho ra m ng biên khá m nh và chính xác. Quá trình tìm biên sử ụng phương pháp canny có thể ợ d đư c th c hi c sau: ự ệ ố bướ n qua b n Bước 1: i b u trong nh Loạ ớt nhiễ ả Ngườ ạ i ta lo i nhi u trong nh, làm cho nh m ng cách nhân ch p nh ễ ả ả ờ đi bằ ậ ả v l c Gause, ch ng h n b l c Gause 5x5 v i h s ới một bộ ọ ẳ ạ ộ ọ ớ ệ ố σ = 1.4:
  • 25. ` 25 (1.3) Bước 2: Tính toán giá tr gradient trong ị ảnh Vì đườ ảnh là nơi phân cách giữa các đối tượ ng biên trong ng khác nhau, nên t a nó s bi i m nh m nh tính toán gradient trong ại đó gradient củ ẽ ến đổ ạ ẽ ất. Để ả ể ử ụ ộ ọ ặ ự ế ậ ậ ả ớ nh, ta có th s d ng b l c Sobel, ho c tr c ti p nhân ch p ma tr n nh v i các m t n ng x v y, ng h n: ặ ạ theo hướ à chẳ ạ (1.4) Sau đó tính độ ớ ả l n gradient trong nh: 2 2 x y G G G = + và arctan y x G G   =   (1.5) Bước 3: Loạ ỏ ị ả ực đạ i b các giá tr không ph i là c i Bước này s tìm ra nh ẽ ững điểm ảnh có khả năng là biên ả ấ nh nh t b ng cách ằ lo trên. ạ ỏ đi ữ ị ả ực đại trong bướ ả ở i b nh ng giá tr không ph i là c c tìm gradient nh Ta th y r ng, v i giá tr c a góc trên thì biên c ng có th tuân theo ấ ằ ớ ị ủ θ ở ủa đối tượ ể b ng, và ta có b n kh ốn hướ ố ả năng sau: 4. N m A s c xem là m m trên biên n ếu θ = 00, khi đó, điể ẽ đượ ột điể ếu độ l n gradient t i A l l n gradient c i A3, A7. ớ ạ ớn hơn độ ớ ủa các điểm tạ 5. N m A s c xem là m m trên biên n ếu θ = 450, khi đó, điể ẽ đượ ột điể ếu độ l n gradient t i A l l n gradient c i A4, A8. ớ ạ ớn hơn độ ớ ủa các điểm tạ 6. N m A s c xem là m m trên biên n ếu θ = 900, khi đó, điể ẽ đượ ột điể ếu độ l n gradient t i A l l n gradient c i A1, A5. ớ ạ ớn hơn độ ớ ủa các điểm tạ 7. Nếu θ = 1350, khi đó, điể ẽ đượ ộ ể ếu độ m A s c xem là m t đi m trên biên n l n gradient t i A l l n gradient c i A2, A6. ớ ạ ớn hơn độ ớ ủa các điểm tạ
  • 26. ` 26 Hình 1.20 Gradient Bước 4: Chọ ủ ố ợ ả n ra biên c a đ i tư ng trong nh Sau bướ ẽ thu đượ ập các điểm tương ứng trên đườ c trên s c t ng biên khá m ng. Vì nh m có giá tr gradient l n bao gi t là biên th ỏ ững điể ị ớ ờ cũng có xác suấ ật s m có giá tr gradient nh , d ự hơn những điể ị ỏ o đó để xác định chính xác hơn nữa biên c ng, ta s d l c canny s s d ng ủa các đối tượ ử ụng các ngưỡng. Theo đó, bộ ọ ẽ ử ụ m ng trên (upper threshold) và m i (lower threshold), n u ột ngưỡ ột ngưỡng dướ ế gradient t i m m trong nh có giá tr l ng trên thì ta xác nh ạ ột điể ả ị ớn hơn ngưỡ ận đó là m i ộ ể ả ế ị này bé hơn ngưỡng dưới thì đó không phả t đi m biên trong nh, n u giá tr điểm biên. Trong trườ ợ ị ằ ữa ngưỡng trên và ngưỡ ng h p giá tr gradient n m gi ng dướ ỉ được tính là điểm trên biên khi các điể ế ạ ủ i thì nó ch m liên k t bên c nh c a nó có giá tr gradient l ng trên. ị ớn hơn ngưỡ Hình 1.21 nh g l c Candy Ả ốc bộ ọ
  • 27. ` 27 Hình 1.22 Ví dụ ề ộ ọ v phép tìm biên b l c Candy Chuyển đổ ện đườ ẳng, đườ ả i Hough, phát hi ng th ng tròn trong nh Chuyển đổi Hough (Hough transformation) là một phương pháp được dùng nhi u trong phân tích và x ề ử lý ả ục đích chính của phương pháp này là tìm ra nh, m nh nh b ng cách chuy i không gian nh ban ững hình dáng đặc trưng trong ả ằ ển đổ ả đầu sang m t không gian c a các tham s nh ộ ủ ố ằm đơn giản quá trình tính toán, trong bài này ta xét chuy ng th ng tròn. ển đổ ờ i Hough cho đư ẳng và đườ Chuyển đổi Hough cho đườ ẳ ng th ng. Ta đã biế ằ ột đườ ẳ ề ể đượ t r ng, m ng th ng trong không gian hai chi u có th c bi u di i d ng y = kx + m và c p h s góc k, giá tr có th c ch ể ễn dướ ạ ặ ệ ố ị m ể đượ ọ ể n đ làm đặc trưng cho một đường th ng. Tuy nhiên, cách bi u di n theo c p (k, m) khó ẳ ể ễ ặ th t s ỏa mãn vớ ững đườ ẳ ẳng đứ ệ ố ộ i nh ng th ng th ng khi mà h s góc là m ố vô cùng. Để ờ ợ ẽ ể ễn đườ ẳ ệ ọ ộ ự tránh trư ng h p này, ta s bi u di ng th ng trong h t a đ c c. Phương trình đườ ẳ ệ ọ ộ ự ạng như sau: ng th ng trong h t a đ c c có d cos( ) ysin( ) r x   = + (1.6) Trong đó, r là khoả ừ ố ọ ộ ới đườ ẳ ự ng cách t g c t a đ O t ng th ng, θ là góc c c. Như vậ ớ ỗi điể ộ ọ các đườ ẳng đi qua thõa mãn y, v i m m (x0, y0) ta có m t h ng th phương trình: cos( ) sin( ) o o o r x y   = + (1.7) Phương trình này bi u di n m ể ễ ột đường cong, như vậy trong m t t ộ ấm ảnh có n điể ẽ có n các đườ m (n pixel) ta s ng cong.
  • 28. ` 28 Hình 1.23 i Hough Chuyển đổ N ng cong c m này cùng ếu đườ ủa các điểm khác nhau giao nhau, thì các điể thu m này, ta s ộc về ộ ờ ẳ ằng cách tính các giao đ ể m t đư ng th ng. B i ẽ xác định được đườ ẳng, đó là nội dung ý tưở ủ ật toán Hough cho đườ ẳ ng th ng c a thu ng th ng. Chuyển đổi Hough cho đường tròn Chuyển đổi Hough cho đường tròn cũng tương tự như với đườ ẳ ng th ng, phương trình đường tròn đượ ị ở c xác đ nh b i: (1.8) Trong đó, (u,v) là tâm đường tròn, R là bán kính đường tròn, θ là góc có giá trị ừ t 0 t . M ng tròn s ới 360 độ ột đườ ẽ hoàn toàn được xác đị ế ết đượ ộ nh n u ta bi c b ba thông s (u,v,R ố ). Từ phương trình trên ta có thể chuyển đổi tương đương: (1.9) Ta xét v ng h ới trườ ợp đã biết trướ ị ủ c giá tr c a R i m nh . Khi đó, vớ ỗ ể i đi m ả (x,y) ta sẽ xác định đượ ộ c m t giá tr (u,v ị ) và lưu nó vào mộ ả t m ng. Tâm của đường tròn s là giá tr t hi n trong m ng v i t n su t l n nh ng h ẽ ị xuấ ệ ả ớ ầ ấ ớ ất. Trong trườ ợp R chưa biết, ta tăng giá trị ủ ừ ột ngưỡ ới ngưỡng max nào đó và tiế c a R t m ng min t n hành như với trườ ợp đã biết trướ ị ng h c giá tr R. Hình 1.24 ng tròn Chuyển đổi Hough đườ
  • 29. ` 29 1.3 t toán liên quan và l a ch n Các thuậ ự ọ 1.3.1 n (Background subtraction) Phương pháp tách nề Phương pháp tách cả ề ế nh n n [15] (Ti ng Anh: Background subtraction) hay có th g n ti n c nh (Ti ng Anh: foreground detection) là ể ọi phương pháp phát hiệ ề ả ế m t k c x nh và th giác máy tính khi mà ti n c nh ộ ỹ thuật trong lĩnh vự ử lý ả ị ề ả (foreground) sẽ được tách ra cho nh c x lý ti p theo (ví d ững bướ ử ế ụ như nhận d ng ạ đối tượ ậ ạ ử ỉ ển động, vv). Thông thườ ữ ả ng, nh n d ng c ch , chuy ng nh ng vùng nh quan tâm s c vùng ti n c nh c nh, vì v y vi nh n n hi u qu ẽ thuộ ề ả ủa bức ả ậ ệc tách cả ề ệ ả và chính xác giúp cho các h c s nh và tính nhanh chóng. ệ thống này đạt đượ ự ổn đị Sau bướ ề ử lý, các bướ ử ế ẽ ử ụ ỹ ậ ề c ti n x c x lý ti p theo s s d ng k thu t tách n n này. Tách cả ền đượ nh n c ứ ụ ộ ều lĩnh vực như camera giám sát, ng d ng r ng rãi trong nhi nh n d ng, nh n d ng c ng [12] ậ ạng đối tượ ậ ạ ử chỉ đối tượ , giao thông để theo dõi lưu lư i các phương pháp ti ợ ớ ng xe [10], [11] … v ế ận như: p c 1.3.1.1 Phương pháp frame diffirencing Trong t t c ấ ả các phương pháp background subtraction thì phương pháp Frame Differencing được xem là phương pháp đơn giả ấ n nh t. Chi phí tính toán thấ ốc độ ự p, t th c thi thu t toán nhanh. Tuy nhiên k t qu c khi ta áp d ng ậ ế ả đạt đượ ụ thu i th ật toán này là tương đố ấp. |𝐹𝑡+1−𝐹𝑡|<𝑡ℎ (1.10) Trong đó: - Ft+1: frame nh th - 1 ả ứ t - Ft: frame nh th ả ứ t - c ch chính xác c a thu t toán ph thu c vào giá tr th: ngưỡng đượ ọn. Độ ủ ậ ụ ộ ị ngưỡng này. 1.3.1.2 c trung bình Mean filter Phương pháp lọ Lo và Velastin trong xu t s d ng giá tr trung bình c a n frame cu đề ấ ử ụ ị ủ ối cùng làm mô hình nền. Bước đầu tiên của phương pháp Median là xây dựng ra mô hình background qua quá trình h c trên n frame. Giá tr pixel t i v trí (x, y) c ọ ị ạ ị ủa mô hình background được xây d ng b ng cách ch n ra giá tr trung v c a n frame ự ằ ọ ị ị ủ t trí (x, y). ại vị
  • 30. ` 30 Giá trị ị được xác đị ằ trung v nh b ng cách sau: Ví d , v i m t dãy frame t F1 t i Fn, ta xét pixel ụ ớ ộ ừ ớ ở v trí (x, y) thì các giá tr F1(x, ị ị y), F2(x, y) Fn(x,y) s t o thành m t dãy giá tr c a pixel (x, y) ng v i t ng ,…, ẽ ạ ộ ị ủ ứ ớ ừ frame ả ớ ầ ắ ế ứ ự tăng dầ nh. Bư c đ u tiên ta s p x p dãy pixel này theo th t n. Giá tr trung v chính là ph n t n m chính gi a c p x p ị ị ầ ử ằ ữ ủa dãy pixel đã sắ ế th t . ứ ự Sau khi đã xây dựng được mô hình background theo phương pháp trên thì nh c th ững bước sau đượ ực hiện tương tự như thuật toán Running Average. 1.3.1.3 Phương pháp Running Gaussian average Trong phương pháp frame differencing đã đề ậ ở ệ xác đị c p trên. Do vi c nh các đối tượ ỉ ng ch d a vào s khác bi hai frame liên ti p nhau. Do v ự ự ệt ở ế ậy độ chính xác c a thu ủ ật toán tương đố ấp. Để i th khắ ục nhược điểm này thì phương pháp c ph Running Average đề ra hướ ả ế ự ng gi i quy t là xây d ng nên mô hình background. Wrenetal. xu c l i m i v trí pixel(i,j). Giá đã đề ất mô hình hóa background độ ập tạ ỗ ị tr i v trí (x,y) c ị ạ pixel t ị ủ ợ a mô hình background này đư c tính bằ ấ ng cách l y trung bình c ng c các giá tr pixel t trí (x,y) c ộ ủa tất cả ị ại vị ủa n frame đã học. 𝐵 𝑥 𝑦 𝑥 𝑦 𝑛 ( , )=Σ𝐹𝑖( , )𝑛𝑖=1 (1.11) B(x, y): giá trị ạ ị ủ pixel t i v trí (x, y) c a mô hình background - Fi(x, y): giá tr pixel t i v a frame th ị ạ ị trí (x, y) củ ứ i - n: t ng s ổ ố frame học Sau khi đã xây dựng đượ ệc xác định ra được đâu là c mô hình background, vi đối tượ foreground đượ ự ệ ằ ừ ả ớ ng c th c hi n b ng cách so sánh t ng frame nh v i mô hình background. D a vào giá tr c c ch ự ị ủa ngưỡng đã đượ ọn trước tương tự như phương pháp frame differencing. |𝐹𝑡−𝐵|<𝑡ℎ (1.12) - n là 0.05. thường được chọ Như vậy, mô hình background sẽ đượ ậ c c p nh t liên t c sau m i frame. Vì v ậ ụ ỗ ậy s chính xác c ẽ giúp tăng độ ủa phương pháp. 1.3.1.4 n h p (GMM) Phương pháp mô hình gausian hỗ ợ
  • 31. ` 31 Phương pháp này do Wren, Azarbayejani, Darrell, Pentland đưa ra vào năm 1997. Phương pháp này đặ ộ ố ự ế ị ủ t m t phân ph i Gaussian lên s bi n thiên giá tr c a m n video. Ví d , v i m t dãy frame t F1 t i Fn, ta xét pixel ỗi pixel trong đoạ ụ ớ ộ ừ ớ ở v trí (x, y) thì các giá tr t o thành m t dãy giá ị ị F1(x, y), F2(x, y), …, Fn(x,y) sẽ ạ ộ trị ủ ứ ớ ừ ả ằng cách tính trung bình và phương c a pixel(x, y) ng v i t ng frame nh. B sai c nh c pixel background (giá tr trung bình) và ủa dãy pixel này ta xác đị đượ ị ngưỡng (độ ệ ớ ộ ằ ố nào đó). l ch nhân v i m t h ng s 𝜇𝑡 𝜇𝑡 +1= ) 𝛼∗ 𝛼 𝐹𝑡+ (1− ∗ (1.13) 𝜎𝑡 𝜎𝑡 +12= ( 𝛼∗ 𝐹𝑡− 𝜇𝑡)2+ (1− 𝛼 ∗ ) 2 (1.14) 1.3.2 Phương pháp Template Matching Template matching [14] là m t x lý hình n t tìm m t ột kĩ thuậ ử ảnh điệ ử để ộ hình nh nh trong m t b nh l n sao cho vùng nh này gi ng v nh m ả ỏ ộ ức ả ớ ả ố ới ả ẫu (template) nhất. Template matching có thể ứng d ng trong s n xu ụ ả ất để qu n lý ch ả ất lượng s n ph ả ẩm, dùng để điều khi n mobile robot, ho ể ặc để tìm ra các c nh c a m t ạ ủ ộ b nh. Nh ng th thách l n nh ức ả ữ ử ớ ất trong phương pháp Template Matching là: tìm s p, phát hi n các bi i trong hình nh v m t ánh sáng, màu n n, xáo ự ăn khớ ệ ến đổ ả ề ặ ề tr i t ộ ề ảnh và thay đổ n n n ỷ ệ ủ l c a c. ả ố nh g Các phương pháp tiế ận phương pháp Template Matching: p c 1.3.2.1 i Laplacian c a Gaussian Biế ổ n đ ủ M t trong nh ng b phát hi bi n nh ộ ữ ộ ện blob đầu tiên và cũng phổ ế ất được d a trên Laplacian of Gaussian (LoG). Cho m t hình ự ộ ảnh đầu vào f (x, y), hình nh ả này đượ ậ ổ ợ ậ ớ ộ c nhân ma tr n t h p ch p v i m t nhân Gaussian. 𝑔 𝑥 𝑦 𝑡 𝜋𝑡𝑒 𝑥 𝑦 𝑡 ( , , )= 12 − 2+ 22 (1.15) K t qu ế ả các đốm màu tối cho ra đều r t n i b ấ ổ ật, các đốm màu t i này có bán ố kính 𝑟 = √ (2𝑡) 𝑟 = ( i v i hình nh 2 chi u), Đố ớ ả ề √ ( ) 𝑑𝑡 i v i hình nh nhi u (Đố ớ ả ề chiề ế ả hoàn toàn ngượ ạ ới các đốm màu sáng có kích thước tương u) và k t qu c l i v t . M ự ột cách đơn giản để có đượ ộ c m t b phát hi ộ ện Blob đa tỷ ệ l v i vi c l a ch ớ ệ ự ọn t l t c xem xét l n hóa. ỷ ệ ự động đượ các phép tính Laplacian theo tỷ ệ chuẩ 𝛻𝑛𝑜𝑟𝑚 𝐿 𝑡 𝐿𝑥𝑥 𝐿𝑦𝑦 2 = ( + ) (1.16)
  • 32. ` 32 Để phát hi n t l không gian l n nh t/nh nh ệ ỷ ệ ớ ấ ỏ ất, đó là các điểm mà lần lượt là l n nh nh t c a phép tính Laplacian 2 ng v i không gian ớ ất/nhỏ ấ ủ 𝛻𝑛𝑜𝑟𝑚 𝐿 tương ứ ớ và t l t hình u vào hai chi u ỷ ệ (Lindeberg 1994, 1998). Do đó, khi cho mộ ảnh đầ ề r i r c f(x,y) và 3 chi u r i r c v i t l ờ ạ ề ờ ạ ớ ỷ ệ không gian L(x,y,t) đượ ộ c tính toán và m t điểm đượ ột đố ố ế ị ại điể ớn hơn (hoặ ỏ c coi là m m sáng (t i) n u giá tr t m này l c nh hơn) giá trị ủ ấ c a t t c m liên k c l a ch ng th ả 26 điể ề nó. Do đó, việ ự ọn đồ ời các điểm c n quan tâm ( ) và t l n theo công th ầ 𝑥, ỷ ệ 𝑡 được thực hiệ ức. ( , , ( , , 2 , , 𝑥 𝑦 𝑡)=𝑎𝑟𝑔𝑚𝑎𝑥𝑚𝑖𝑛𝑙𝑜𝑐𝑎𝑙 𝑥 𝑦 𝑡)((𝛻𝑛𝑜𝑟𝑚 𝐿)(𝑥 𝑦 𝑡)) (1.17) Các thu c tính d a trên s l a ch n t l c a phép bi i Laplacian và ộ ự ự ự ọ ỷ ệ ủ ến đổ các phương pháp dò tìm điể ầ ặ ẽ khác đượ m c n quan tâm có quy mô ch t ch c phân tích chi tiế ợ t trong (Lindeberg 2013a). Trong (Lindeberg 2013a, 2015) nó đư c thể hi n r ng t n t i các b tìm ki m quan tâm trong không gian khác, ch ng h ệ ằ ồ ạ ộ ếm điể ẳ ạn như yế ố ết đị ủ ến đổ ạt độ ốt hơn so vớ ử u t quy nh c a bi i Hessian, ho ng t i toán t Laplacian hoặc x p x khác bi t c a Gaussians cho phù h p d a trên hình ấ ỉ ệ ủ ợ ự ảnh b ng ằ cách sử ụ ộ ả ảnh như SIFT. d ng b mô t hình 1.3.2.2 Gaussian Phương pháp sai lệch T c t i di ừ thự ế là các đạ ện không gian quy mô L(x,y,t) đáp ứng các phương trình khuếch tán. 𝜕𝑡𝐿 𝛻 𝐿 = 12 2 (1.18) Nó tuân theo đị ậ ủ ến đổ nh lu t Laplacian c a phép bi i Gausian 2 L (x, y, t) ∇ cũng có thể được tính toán như là trườ ợ ớ ạ ủ ự ệ ữ ng h p gi i h n c a s khách bi t gi a hai Gausian hình ảnh đã được làm mị ạ n (đ i diện quy mô trong không gian). 𝛻𝑛𝑜𝑟𝑚 𝐿 𝑥 𝑦 𝑡 𝑡 𝑡 𝐿 𝑥 𝑦 𝑡 𝑡 𝐿 𝑥 𝑦 𝑡 2 ( , , ) ≈ Δ ( ( , , +Δ )− ( , , ) (1.19) Trong lý thuy t v giác máy, cách ti p c c g i là s khác bi ế ề thị ế ận này đượ ọ ự ệt c a Gaussians (DoG). Bên c t nh , tuy nhiên phép bi i này là ủ ạnh các kĩ thuậ ỏ ến đổ trong b n ch p x c a các ả ất tương tự như Laplacian và có thể được xem như là xấ ỉ ủ phép bi i Laplacian. ến đổ 1.3.2.3 c Hessian Định thứ
  • 33. ` 33 B ng vi c xem xét quy nh quy mô n hoá c ằ ệ ết đị chuẩ ủa Hessian, cũng được g i Monge-Ampère. ọi là phép biến đổ 𝑑𝑒𝑡𝐻𝑛𝑜𝑟𝑚𝐿 𝑡 𝐿𝑥𝑥𝐿𝑦𝑦 𝐿𝑥𝑦 = 2( − 2) (1.20) T n Hessian c i di n không gian quy mô L và sau rong đó H l là ma trậ ủa đạ ệ đó phát hiện quy mô-không gian Maxima của nhà điều hành này, m t trong nh ng ộ ữ nh c m t máy dò blob khác bi n v i l a ch n quy mô t ng mà ận đượ ộ ệt đơn giả ớ ự ọ ự độ cũng đáp ứ ớ ấ ng v i yên t m (Lindeberg 1994, 1998) ( , , ( , , , , 𝑥 𝑦 𝑡)= 𝑎𝑟𝑔𝑚𝑎𝑥𝑙𝑜𝑐𝑎𝑙 𝑥 𝑦 𝑡)((𝑑𝑒𝑡𝐻𝑛𝑜𝑟𝑚𝐿)(𝑥 𝑦 𝑡)) (1.21) Các blob điể ảy t ^ cũng được xác đị ừ ộ định nghĩa m (x ^, y ^) và v nh t m t vi phân ho ng d n mô t blob là bi n th v i các b n d ch, phép quay và ạt độ ẫn đế ả ế ể ớ ả ị rescalings trong miề ảnh. Trong điề ệ ự ọn quy mô, các đố n hình u ki n l a ch m màu đượ đị ừ ực đoan củ ế ố ế ủ c xác nh t quy mô không gian c a các y u t quy t c a Hessian (DoH) cũng ự ọ ốt hơn mộ ộ ến đổ có quy mô l a ch n t t chút thu c tính theo bi i không Euclidean afin hơn so với các nhà điều hành Laplacian thường đượ ử ụ c s d ng ( rong hình th n hóa, y u t quy nh Lindeberg1994, 1998, 2015). T ức đơn giả ế ố ết đị quy mô c a Hessian tính t Haar wavele ủ ừ ts được s d ử ụng như là nhà điều hành điểm quan tâm cơ bả ả SURF (bay et al. 2006) để ợ ớ ả n trong mô t phù h p v i hình nh và nh n d ng. ậ ạng đố ợ i tư 1.3.2.4 Phép lai gi a toán t a toán t Hessian ữ ử Laplacian và định thức củ ử Một nhà điều hành lai gi a Laplacian và các y u t quy nh c a các máy ữ ế ố ết đị ủ phát hi n các blob Hessian xu a ch n không gian ệ cũng đã được đề ất, trong đó lự ọ được ti n hành b i quy ế ở ết định c a các l a ch ủ ự ọn Hessian và quy mô đượ ự c th c hi n ệ v i quy mô- n hóa Laplacian (Mikolajczyk và Schmid 2004). ớ chuẩ ( , ( , , , 𝑥 𝑦)= 𝑎𝑟𝑔𝑚𝑎𝑥𝑙𝑜𝑐𝑎𝑙 𝑥 𝑦)(( )( 𝑑𝑒𝑡𝐻𝐿 𝑥 𝑦 𝑡)) (1.22) 𝑡 𝑎𝑟𝑔𝑚𝑎𝑥𝑚𝑖𝑛𝑙𝑜𝑐𝑎𝑙 𝑡 𝛻𝑛𝑜𝑟𝑚 𝐿 𝑥 𝑦 𝑡 = ( )(( 2 )( , ,  )) (1.23) 1.3.2.5 Phát hi ng theo vi sai thích nghi v i bi i affine ệ ối tượ n đ ớ ế ổ n đ Mô tả blob thu đượ ừ c t các máy dò blob v i l ớ ựa chọn quy mô t ng là b ự độ ất bi d ch, quay và rescalings th ng nh t trong mi n không gian. Tuy nhiên, ến để ị ố ấ ề hình nh t ả ạo thành đầu vào cho h ng t ệ thố ầm nhìn máy tính, cũng tùy thuộc vào sự bi n d ng ph c mô t blob m nh m bi i qua m, ế ạ ối cảnh. Để có đượ ả ạ ẽ hơn để ến đổ n điể
  • 34. ` 34 m t máy dò blob là b t bi bi ột phương pháp tự nhiên là để đưa ra mộ ấ ến để ến đổi af e. Trong th c t fin ự ế, các điểm quan tâm b t bi n aff e có th ấ ế in ể thu đượ ằ c b ng cách áp d ng thích ng v i hình d mô t ng c a h t nhân ụ ứ ớ ạng afin để ả blob, nơi hình dạ ủ ạ làm m n là l p l phù h p v i c u trúc hình ị ặ ại để ợ ớ ấ ảnh địa phương xung quanh blob, ho t hình ặc tương đương mộ ảnh địa phương Patch là vào Warped trong khi hình d ng c t nhân làm m n v n còn ng. ạ ủa hạ ị ẫ rotationally đối xứ K n : ết luậ chương 1 Công ngh x nh vision computer có nhi t tr ệ ử lý ả ều ưu điểm vượ ội hơn so v m tra tr c quan b ng m ng do có th phát hi c các ới phương áp kiể ự ằ ắt thườ ể ện đượ l i ch ng (d v t, bóng khí, dán l c nh i gian ng ỗ ất lượ ị ậ ệch) ở kích thướ ỏ hơn, thờ ắn hơn và tính ổn định cao. Để ể ứ ụ ử ả ệ ố ấ có th ng d ng x lý nh vào h th ng giám sát ch t lượng thì c n áp d ng r t nhi u ki n th c lý thuy t liên quan t i vi c ti n x ầ ụ ấ ề ế ứ ế ớ ệ ề ử lý ảnh và các thu t toán so sánh hình xây d ng h ậ ảnh. Chương hai sẽ ự ệ thống cơ khí(hardware) bao g m vi c ch n camera, chi u sáng phù h t ồ ệ ọ ế ợp để có thể ối ưu đượ ộ ủ ậ ử ả c đ chính xác c a thu t toán x lý nh.
  • 35. ` 35 CHƯƠNG 2. Ế Ế CƠ KHÍ TÍNH TOÁN THI T K bao g m các n i dung: Chương hai ồ ộ - Cơ sở ự ọ ệ ố ấ ợ tính toán l a ch n Camera cho h th ng giám sát ch t lư ng. - Thông số ệ ợ ớ ầu đặ linh ki n phù h p v i yêu c t ra. - L c chi u sáng ựa chọn phương thứ ế 2.1. Cơ sở tính toán l a ch n Camera cho h ng ự ọ ệ thố ngăn chặn và phát hi n s ệ ự cố V i yêu c u tính toán, l a ch n linh ki n phù h p ta c n ph i tìm hi ớ ầ ự ọ ệ ợ chúng ầ ả ểu chi ti t v lý thuy t vision camera và các khái ni m liên quan t i vision camera. ế ề ế ệ ớ Trong m t h ng machine vision thì vi c ch nào cho ộ ệ thố ệ ọn camera, lens như thế phù h p là c c k quan tr có l a ch n chính xác thì chúng ta c n d a trên ợ ự ỳ ọng. Để ự ọ ầ ự nh lý thuy t v ng ch c tiên, chúng ta c n tìm hi u m t s khái ững cơ sở ế ữ ắc. Trướ ầ ể ộ ố ni ng khái ni m quan tr ng nh t, liên quan t i tính toán mà ệm cơ bản, cũng là nhữ ệ ọ ấ ớ n c khái ni n ph ội dung luận văn sẽ đề ập. Sau đây là một số ệm cầ ải biết: Field of view (FOV): là vùng làm vi a camera hay là vùng nh mà camera ệc củ ả c n ph i ch l y h t n i dung nh c n x lý. FOV ph c vào kích ầ ả ụp được để ấ ế ộ ả ầ ử ụ thuộ thước đối tượ ầ ệ ử lý. FOV thườ ạ ữ ậ ặ ng c n phát hi n và x ng có d ng hình ch nh t, ho c hình vuông. Ví d , N u mu n detect( phát hi n) m ng kính là ụ ế ố ệ ột hình tròn có đườ 3mm thì FOV c n ph ầ ải có kích thước sao cho l n h ớ ơn 3mm. Mục đích là để ể có th bao h ng c n ch p. ế ợ ố ợ t đư c đ i tư ầ ụ Smallest feature: là kích thước nhỏ nhất ngườ ử i s d ng mu ụ ốn detect được trong ảnh. Thông thường, đây cũng chính là sai số ờ ần đạt đượ ế mà ngư i dùng c c khi ti n hành x nh. ử lý ả Working distance (hay còn g i là Object Distance là kho ng cách t ọ ): ả ừ trước lens t i m ớ ặ ố ợ ầ ụ t trên đ i tư ng c n ch p.
  • 36. ` 36 Hình 2.1 Camera vision Lý thuyết về Giả Có hai bước tính toán chính để giúp ngườ ử ụ ọn đượ i pháp: i s d ng ch c camera có độ ả ợ ọn đúng ự phân gi i phù h p và ch focal length (tiêu c ): • 1. phân gi C n bi hai thông s Tính toán độ ải: ầ ết trước ố đầu vào là độ chính xác (accuracy) và FOV (field of view). • 2. L a ch n camera: Khi ch c camera thì c n ph i dùng các ự ọ ọn đượ ầ ả thông số camera như sensor size để ự tính toán l a chọn lens. Độ ả ả ế ả phân gi i c m bi n nh (Sensor Resolution): Độ ả ủ ộ ứ ả ố ố ứ ả ụ phân gi i c a m t b c nh là s pixels phân b trên b c nh. Ví d , camera có độ ả ố ị ủ phân gi i 5 megapixels thì con s 5 megapixels là giá tr c a phép tính c a (2592x1944 ho c 2590x2048, v.v ...). V phân gi i ph ủ ặ ậy là độ ả ụ thuộc vào hai kích thướ ụ 480. Tính toán độ ả ề ặ ế ầ c; ví d 640x phân gi i v m t lý thuy t c n ph c vào c n hóa vi c tính toán khá ụ thuộ ả hai kích thước đó, nhưng để đơn giả ệ ph c t ng ch c n dung m tính. Ví d v phân ứ ạp thì ta thườ ỉ ầ ột kích thước để ụ ới độ gi i là 2592x1944 thì s l y giá tr 2592 tính (chú ý l y giá tr l ả ẽ ấ ị ấ ị ớn hơn, vì nếu
  • 37. ` 37 l y nh , l s ng ấ ỏ hơn thì có thể không đủ ớn hơn có thể dư nhưng ẽ chắc chắn đáp ứ đượ ầu bài toán đặ c yêu c t ra). Để đả ả ột phép đo chính xác trên bứ ả ầ ố ể m b o m c nh, ta c n dùng t i thi u hai pixels trên độ chính xác (smallest feature) mà b n mu ạ ốn phát hi n. Hay hi ệ ểu đơn gi n là c n ít nh t hai pixels thì m c kho tính toán ả ầ ấ ới xác định đượ ảng cách. Để được độ ả ố phân gi i t i thi u c ể ủa camera (pixels/smallest feature), kích thước thật (in real-world units) c chính xác. Thông s linh ki n phù ủa FOV chia cho độ ố ệ h p v i yêu c u bài toán. ợ ớ ầ D a trên tình hình th c t và u ki n thi t b hi n có, ự ự ế điề ệ ế ị ệ đã chọn các linh ki n ệ để ợ ớ ầ ử ụng như bả ổ ợp dưới đây: phù h p v i nhu c u s d ng t ng h Danh sách linh ki a ch n ện lự ọ Chi tiết giá ESC Vision Image 2 port) Unit Price $ (1 thiết bị Cable AG2500M-14R 850*10 $ = 8,500 $ LEN TV1614-5MP 1125*10 $ = 11,250 $ Đèn LED CDL-200 White 344*2 = 688 $ Light controller CDP-4ch 314 $ IMAGE Grabber card T vi d ự ết chương trình sử ụng thư viên nh Open CV có s n ả ẵ
  • 38. ` 38 Dongle Key T vi d ự ết chương trình sử ụng thư viên nh Open CV có s n ả ẵ PC S d ng cây vision sub robot ử ụ 0 $ Thông số ế ạ ch t o Camera: General Information Order Number 105392 Product Line ace classic Sensor Sensor Vendor ON Semiconductor Sensor MT9P031 Shutter Rolling Shutter Max. Image Circle 1/2.5" Sensor Type CMOS Sensor Size 5.7 mm x 4.3 mm Resolution (HxV) 2592 px x 1944 px Resolution 5 MP Pixel Size (H x V) 2.2 µm x 2.2 µm Frame Rate 14 fps Mono/Color Mono EMVA Data EMVA Quantum Efficiency (typical) 57.2 %
  • 39. ` 39 EMVA Data Dark Noise (typical) 6.4 e¯ Saturation Capacity (typical) 6.7 ke¯ Dynamic Range (typical) 60.3 dB Signal- -Noise Ratio to (typical) 38.3 dB Camera Data Interface GigE Pixel Bit Depth 12 bits Synchronization hardware trigger free run - Ethernet connection Exposure Control programmable via the camera API hardware trigger Digital Input 1 Digital Output 1 Power Requirements PoE or 12 VDC Power Consumption (typical) 2.2 W Power Consumption PoE 2.7 W Housing Housing Type Box Housing Size (L x W x H) 42 mm x 29 mm x 29 mm Lens Mount C-mount
  • 40. ` 40 Housing Operating Temperature 0 - 50°C Weight (typical) 90g Conformity Conformity CE RoHS GenICam GigE Vision IP30 UL FCC IEEE 802.3af (PoE) KC 2.1.1 Th c nghi m l a ch c l i n phát hi n ự ệ ự ọn kích thướ ỗ nhỏ nhất cầ ệ Để ể đưa ra giá trị kích thướ ị ậ ệ ỏ ấ có th c d v t, bóng khí, dán l ch nh nh t mà nó có thể ảnh hưở ớ ạ ng t i ngo i quan b ng m ng thì ta c n làm ti ằ ắt thườ ầ ến hành đánh giá th c nghi m v l phát sinh l i cho t ng giá tr c nh ự ệ ề nguy cơ và tỷ ệ ỗ ừ ị kích thướ ằm có nh c t nh t. Ti n hành l a ch c m i l i có giá ững đánh giá thự ế ấ ế ự ọn các kích thướ ỗ ỗ tr i v ị ừ ồ ể ứ ỗ ề ệ ẫu xem đố t 0.1 mm r i ki m ch ng m i đi u ki n 100 m ớ ừng kích thướ i t c thì t l l ỷ ệ ỗi công đoạn phát sinh tương ứng là bao nhiêu nhằm qua đó xác định kích thướ ố c t i thiể ầ ắ ủ ế u c n b t c a vision camera thì k t quả ự ệm như bả th c nghi ng sau: Lần thực nghiệm Kích thước m < mm> ẫu Số lượng mẫu Ngoại quan Tỷ lệ lỗi Tương < %> 1 0.1 100 OK (0) 0 2 0.15 100 OK (0) 0 3 0.2 100 OK (0) 0 4 0.25 100 OK (0) 0 5 0.3 100 OK (0) 0 6 0.35 100 NG 100% 7 0.4 100 NG 100%
  • 41. ` 41 8 0.45 100 NG 100% 9 0.5 100 NG 100% D a trên k t qu y t kích th c t 0.3 mm tr nên thì d ự ế ả đánh giá có thể thấ ừ ứ ừ ở ị v bóng khí, dán l ật, ệch đã bắt đầu gây ra l i trên s n ph ỗ ả ẩm, kích thướ ỗ c l i càng lớn thì thì l gây l i sau ngo i quan b n m n ph i phát hi n ra d ệ ỗ ạ ằ ắt càng cao, do đó cầ ả ệ ị v bóng khí, dán l ch có c nh nh t là 0.3 m b o ch ng ật, ệ kích thướ ỏ ấ mm để đả ả ất lượ c n. ủ ạ a công đo T s n xu c Pixcel: ừ thông số ả ất ta tính toán Fov và kích thướ Theo công thức: Focal Length x FOV =Sensor Size x Working Distance x= (5.7 *800)/25 = 182.4 (mm) y= (4.3 *800)/25 = 137.6 (mm) Như vậy FOV (x, y) = 182.2 mm x 137.6 mm Độ phân giải: 2592 x 1944 điểm ảnh của camera cho ta tính được kích thước nh nh i pixel: ỏ ất của mỗ Kích thước pixel: (182.4 mm / 2592) x (137.6 mm/ 1944) Suy ra, kích thướ ỗ ấ ỉ c m i pixel = 0.00498 mm, x p x 4.98 (um) Kích thướ ỏ ầu đặt ra là kích thướ ị ậ ỏ c pixel 4.98um th a mãn yêu c c d v t nh nh t c n phát hi n ít nh t l l phát sinh ra l i t ấ ầ ệ ấ ớn hơn 0.3 mm (mức độ đủ ớn để ỗ ại công đoạn), như vậ ỗ ị ật có kích thướ ỏ ấ ầ ệ ẽ tương y m i d v c nh nh t c n phát hi n s đương vớ ớ ả ớ ể ể i kích thư c kho ng 70 pixels t i 78 pixels, ta hoàn toàn có th chuy n đổ ừ kích thướ ả ố pixel để nâng cao độ i t c theo mm tính kho ng cách sang s chính xác cho thuật toán sau này. 2.2. Thông s thi , v t Camera ố ết bị ị trí lắp đặ Trướ ầ ểu sơ đồ ạt độ ủ ế ị ị c tiên chúng ta c n tìm hi ho ng c a thi t b và các v trí phù h l mô t quy trình ho ng ợp để ắp đặt Camera Vision, bên dưới đây là sơ đồ ả ạt độ c a m t thi t b ng và v trí phù h l t ph ủ ộ ế ị dán thông thườ ị ợp để ắp đặ ần cơ khí cho hệ giám sát ch ng . Các b ph n chính c a h c a h ng giám sát bao ất lượ ộ ầ ủ ệ cơ khí ủ ệ thố gồm các Stage( bàn đặ ả t s n phẩm lên), cơ cấ ển độ u chuy ng linear motion guide sử d m bi n quang( photo sensor) nh m chính xác t ụng động cơ servo, các cả ế ằ ối đa chuyển độ ủ ng c a s n ph ả ẩm và các cơ cấu ch p hành khác nh m m ấ ằ ục đích gia công s n ph ả ẩm.
  • 42. ` 42 Hình 2.2 và v p t Camera Vision Sơ đồ thiết bị ị trí lắ đặ Không gian làm việc của Camera vision: Hình 2.3 Khu vự ệ c làm vi c của Camera Chi tiế ạt độ ủ t nguyên lý ho ng c a hệ ố th ng giám sát: Hình 2.4 nguyên lý ho ng c ng Sơ đồ ạ ộ t đ ủa hệ thố Robot loading sample t conveyer vào Base Light ( Jig) Bước 1: ừ
  • 43. ` 43 Base Light đượ ậ ể ằng động cơ servo dẫn hướ ở c v n chuy n( transfer) b ng b i các trụ ẫn hướ ả ến photo sensor đị ị c d ng( linear motion guide) và có các c m bi nh v chính xác các v t t m màn hình ( sensor 1), v trí ti n hành vision camera( ị trí đặ ấ ị ế sensor 2) và vị ả ẩ trí gia công s n ph m ( sensor 3). Hình 2.5 Robot loading màn hình từ conveyer vào Base Light( Jig) Bước 2: t lên Base, Robot quay tr l i l y màn hình Màn hình đã được đặ ở ạ ấ tiếp theo chu n b ẩ ị cho chu trình mới, màn hình được mang vào v trí ki m tra vision ị ể phát hi n có d v t/b t khí / dán l trí sensor 2). ệ ị ậ ọ ệch hay không ( vị Hình 2.6 Step 2 c a chu trình làm vi c ủ ệ T i Step 2 camera vision s p nh màn hình và tr c trong ạ ẽ chụ ả ải qua các bướ sơ đồ ậ ử ả ẽ đề ậ ở chương sau bao gồ ề ử ọ thu t toán x lý hình nh s c p m: ti n x lý, l c nhi a d v t khí ,dán l ch... ễu, tính toán kích thước vị trí củ ị ật,bọ ệ Bước 3: ng h Được chia thành hai trườ ợp như sau:
  • 44. ` 44 - N u step 2 phát hi n màn hình có l i d v t, b t khí, dán l ch thì t b ế ệ ỗ ị ậ ọ ệ thiế ị c nh báo( Alarm), c nh báo cho k t viên t i x lý (5ea ). Khi ti ả ả ỹ thuậ ớ ử ếp c n thi p ki m tra hi n tr ng l a màn ậ ết bị các kỹ thuật viên sẽ trực tiế ể ệ ạ ỗi củ hình xem d v t khí ,dán l ch phát sinh v ị ật, bọ ệ ở ị trí nào Màn hình có d v t ị ậ + Màn hình có d v c check code xem thi t b nào, sau dó ị ật sẽ đượ ở ế ị cho d ng thi t b m tra nguyên v t li u, thi t b và v sinh ừ ế ị để kiể ậ ệ ế ị ệ 3D5S + L y m n g sau ấ ẫu để mang đi phân tích, tìm ra nguồ ốc phát sinh để này có th l n alarm. ể ngăn chặn trước giảm số ầ Màn hình có bóng khí, ch dán lệ + Màn hình có bóng khí, dán l ch s c check code xem ệ ẽ đượ ở thiết b nào, sau dó cho d ng thi t b ị ừ ế ị để ể ki m tra lo i hình gây ra l ạ ỗi và cơ chế phát sinh + X lý t ng lo i hình l o t ử ừ ạ ỗi theo cơ chế, SOP đã được đào tạ ừ trước. Sau khi k t viên c ch n là d v bóng khí, ỹ thuậ đã chắ ắ ị ật, align được x lý thì s kh ng l i thi t b p t c s n xu t các chu trình ti ử ẽ ởi độ ạ ế ị tiế ụ ả ấ ếp theo, Base light sẽ được quay lạ ị ạ ị i ngay v trí Step 1 t i v trí sensor 1 để ắ ầ ậ ế ệ ử ị ậ ệ b t đ u nh n phôi ti p theo. Vi c x lý d v t, bóng khí, dán l ch và lưu trữ ạ l i m u là vô cùng quan tr ng vì k t qu phân tích s giúp ẫ ọ ế ả ẽ tìm ra ngu n g ồ ốc chính xác để có thể ngăn chặn từ xa, đây cũng chính là m t c tài. ụ ớ ấ c tiêu l n nh ủ ề a đ Hình 2.7 ng h p phát sinh d v t bóng khí, dán l Step 3 trườ ợ ị ậ ệch
  • 45. ` 45 - N u step 3 không phát hi n có d v b t khí, dán l ch thì t i step 4 ( t ế ệ ị ật, ọ ệ ớ ại v 3). ị trí sensor số Bước 4: c Vision ki m tra xong thì s c chuy n t i v Màn hình đượ ể ẽ đượ ể ớ ị trí công đ ạ ớ ị ố Đồ ờ ể ề o n sau ( t i v trí sensor s 3 ). ng th i Base Light di chuy n v v 1, l p l i chu trình ti p theo. ị trí step để ặ ạ ế Hình 2.8 L p l i chu trình làm vi c ặ ạ ệ Trong trườ ợ ị ậ ệ ệ ố ả ng h p phát sinh d v t, bóng khí, dán l ch do h th ng c nh báo thì sẽ phát sinh ra hai trường h p nh khác là c nh báo th t (phát sinh th t) và c nh ợ ỏ ả ậ ậ ả báo gi sinh do tính toán sai ho c do nhi u c a camera). ng h p th ả (phát ặ ễ ủ Ở trườ ợ ứ hai sẽ tiến hành đăng ký ngoạ ệ i l cho các nhi l n sau camera s không l p ễu sai để ầ ẽ ặ l nh báo gi này n ại cả ả ữa. 2.3. Ch u sáng (lightning) ọn phương án chiế Có bốn phương án lắp đặt đèn chiếu sáng như bên dướ ố i th ng kê trong hình 2.9 u ph và , nhưng trong phạm vi đề tài do yêu cầ ải tìm chính xác biên của sample biên của các đặc điể ố m c hữu nên phương án lắp đặt đèn chiếu hướng ngượ ẽ c s hỗ tr t nhi ợ ấ r ề ả năng hoạ ộ ủ ậ u và nâng cao kh t đ ng chính xác c a thu t toán. B u sáng bao g ốn phương pháp lắp đặt chiế ồm: - ánh sánh chi u t i v t th lên trên, phù h p cho Lightning ngược: ế ừ dướ ậ ể ợ đo đạc kích thước, đây là phương pháp lự ọ ễ ắ ợ a ch n do d b t biên, phù h p v i yêu c t ra. Ngoài ra, trong không gian thi t b thì góc ớ ầu bài toán đặ ế ị chiếu sáng này cũng rấ ậ ệ ệ ắp đặ ế t thu n ti n cho vi c l t đèn chi u sáng - a ch n do d b t biên, d l Lightning góc: đây là phương pháp lự ọ ễ ắ ễ ắp đặt nhưng bị ụ … lóa khi áp d ng cho màn hình cong
  • 46. ` 46 - c bi n th r t nh Lightning góc hẹp: phương pháp này phát hiện đượ ế ể ấ ỏ trên b m n hành t i thi t b thì d gây va ch m v i các ề ặt nhưng khi tiế ạ ế ị ễ ạ ớ chi tiế ển độ t chuy ng trong máy. - i b sáng cao không gây méo Lightning chuẩ ự n tr c: loạ ỏ được bóng, độ hình nhưng trùng với hướ ắp đặ ủ ể ế ng l t c a camera nên không th ti n hành trong phạm vi đề tài. Hình 2.9 u sáng Các phương thức chiế Hình 2.10 u sáng Thực nghiệm phương thức chiế Kết luận chương II: Việ ự ế ế ắp đặ ần cơ khí của đề ự c xây d ng và tính toán thi t k l t ph tài d a trên thiết b s n có t i nhà máy nên g p nhi ị ẵ ạ ặ ều khó khăn do một số kích thướ ạt độ c ho ng là không th i ho c h n ch (ph m vi ho ng c ể thay đổ ặ ạ ế ạ ạt độ ủa camera, không gian độ sáng), tuy nhiên qua quá trình nghiên cứu và đưa ra các phương án như trên hệ thống đã hoạ ộ ổn đị t đ ng chính xác và nh.
  • 47. ` 47 CHƯƠNG 3. Ế Ế ẬT TOÁN ĐIỀ Ể THI T K THU U KHI N ▪ N bao g ội dung chương 3 ồm: - u khi n. Yêu cầu bài toán điề ể - Xây d u khi n h ng giám sát ch ựng sơ đồ thuật toán điề ể ệ thố ất lượng Panel. - t toán tìm ki m d v t, bóng khí, dán l ch phát sinh d a trên gi Thuậ ế ị ậ ệ ự ải thuật Template Matching và Subtract Background. - Các k t qu ế ả thự ệ c nghi m và ki m th u ki u ki n t ể ảo điề ện DOE tìm điề ệ ốt nhất 3.1. Yêu cầu bài toán điều khiển. Bài toán: T n hành l t tính toán ừ mô hình cơ khí đã tiế ắp đặ ở chương hai, viết chương trình thuật toán Vision xử lý hình ảnh thu được, xác định chính xác sự c ng phát sinh ( d v t , bóng khí / dán l nh báo cho k ố chất lượ ị ậ ệch ) và đưa ra cả ỹ thuậ ử ố ị ời. Qua đó thiế ậ t viên x lý tình hu ng k p th t l p quy trình( process) hoàn chỉnh cho toàn b chu trình làm vi c t ộ ệ ừ đưa ra cảnh báo t i ki m tra, x lý các tình ớ ể ử hu ng phát sinh trong quá trình ho ng c lý ố ạt độ ủa Vision camera stage như là xử c nh báo o, x lý d v t/bóng khí/ dán l ch th c t ng h p phát sinh ả ả ử ị ậ ệ ự ế, ...Trong trườ ợ quá nhi u c nh báo c u ch nh l c d v t /bóng khí . dán ề ả ảo cũng sẽ ần điề ỉ ại kích thướ ị ậ l cân b ng và s ng c a nhà máy. ệch cảnh báo để ằng được giữa chất lượ ản lượ ủ Kích thướ ị ậ ầ ệ ầ ự ế đặ c d v t c n phát hi n ( yêu c u th c t t ra): > 0.3 mm ( ~ 300 µm). Kích thước bóng khí c n phát hi n( yêu c u c t ầ ệ ầ thự ế đặt ra): > 0.3 mm ( ~ 300 µm). Kích thướ ệ ầ ệ ầ ự ế đặ c dán l ch c n phát hi n( yêu c u th c t t ra): > 0.3 mm ( ~ 300µm). Thờ ử ố ỗ ả i gian x lý t i đa m i hình nh: < 5s ( tacttime s n ph m trong nhà máy ~ 5s/ ả ẩ s n ph ả ẩm) Hình 3.1 l u khi n Sơ đồ ắp đặt hệ thống điề ể Các thành ph n c a h ng u khi n bao g ầ ủ ệ thố điề ể ồm:
  • 48. ` 48 - Camera Vision: ch p nh t trí ch ụ ả ại vị ỉ định - u sáng: T ng ánh sáng thu n l nh ch c có Đèn chiế ạo môi trườ ậ ợi để ả ụp đượ thể ễ ử lý hơn. Môi trườ ố ả ụp đượ ẽ ử ẫ d dàng x ng t i thì nh ch c s khó x lý d n đế ế ả ố n k t qu không mong mu n. - u khi m các tham s c u sáng Controller: Điề ể ố ủa đèn chiế - Computer: ch a ph m m m h hình c. Ph m m m có ch ứ ầ ề ỗ trợ ảnh thu đượ ầ ề ức năng xử lý hình ảnh, phát hi n d v ệ ị ật và đưa ra cảnh báo sau đó truyền thông tin v thi ề ế ị t b . 3.2. Xây d thu u khi n h ng giám sát ch . ựng sơ đồ ật toán điề ể ệ thố ấ ợ t lư ng T yêu c t ra ta c n xây d ng logic làm vi c c a thu ừ ầu bài toán đặ ầ ự lưu đồ ệ ủ ật toán. T u hoàn toàn không có d v bóng khí, dán l ch c n ừ màn hình ban đầ ị ật, ệ ầ được lưu lại ả ạng thái đó để nh tr so sánh v i các ớ ả ế nh ti p theo c a màn hình trong ủ quá trình s n xu t, do các màn hình liên t c c p vào nên vi c camera ki ả ấ ục đượ ấ ệ ểm tra đượ ỗ ị ậ ệ ả ấ ể ả ấ c l i d v t, bóng khí ,án l ch trong quá trình s n xu t là có th x y ra b t c lúc nào vì th sau m i l n c p màn hình vào ki m tra, nh tr ứ ế ỗ ầ ấ ể ả ạng thái lúc đó của màn hình s t so sánh v i tìm ra ẽ được cậ ậ p nh ớ ả ỗi ban đầu để nh màn hình không l các điể ệ ờ ị ậ ệch. Để làm chính xác điề m khác bi t nghi ng là d v t, bóng khí, dán l u này c n ph i l m c h ầ ải đăng ký ngoạ ệ cho các đặc điể ố ữu trên màn hình như vị trí các Mark Panel và Glass có kích thước và biên d ng c ạ ố định Ø0.6 mm và 0.8 mm, các v c c ế ớ ẵ ới kích thướ t xư c có s n v ố đị ột vài phương pháp xử ả nh,... Có m lý nh để ợc chính xác điều này như: làm đư - L y nh màn hình không Partern matching ( hay Template matching): ấ ả có d v t làm g c. So sánh nh ch p m i v nh g c. N u giá tr so sánh ị ậ ố ả ụ ớ ới ả ố ế ị nh v bóng khí, dán l ỏ hơn ngưỡng đưa ra thì là có dị ật, ệch. - i toàn b v trí c a Mark trên màn hình. Check postition partical: Lưu lạ ộ ị ủ Ả ớ ụp đượ ẽ xác đinh tấ ả ậ ể ể ả ỗ ẫ nh m i ch c s t c v t th k c các l i l n Mark. So sánh t ng v t th v i v u không trùng vào ừ ậ ể ớ ị trí được training trước đó. Nế nh ng v n ki ữ ị trí đó là lỗi cầ ểm tra. - L y nh màn hình không có d v t bóng khí, dán Subtract background: ấ ả ị ậ l ch làm g c. Tr t ệ ố ừ ừng điểm ả ớ nh m i l c cho ấy đượ ả ố nh g c ả ủ nh th đượ ẽ c s là t, t, ả ền đen và dị ậ nh n v bóng khí và dán l ch. B nh d v ệ ắt blob để xác đị ị ậ bóng khí, dán lệch.
  • 49. ` 49 Để đạt được độ chính xác cao, nh m gi m t ằ ả ối đa thời gian lãng phí (losstime) cho vi c xác nh n các d v bóng khí, dán l ch nghi v n, c p c ệ ậ ị ật, ệ ấ ần kết hợ ả phương pháp check position partical và subtract background. Dướ lưu đồ ả ậ i đây là mô t thu t toán: Hình 3.2 t toán Lưu đồ thuậ Như vậ ấ ả sáu bướ ể ả ế ấn đề đặ y có t t c c đ gi i quy t v t ra: Bước 1: nh màn hình không có d v t/ bóng khí/ dán l ch, ti n x lý nh Chụp ả ị ậ ệ ề ử ả g c ố Các n i dung ti n x lý bao g ộ ề ử ồm: - nh thành nh xám ( nh ch p b i camera Basler là nh xám) Chuyển đổi ả ả ả ụ ở ả - n hành l c nhi c tính c a hình nh s d ng b l c Median Tiế ọ ễu các đặ ủ ả ử ụ ộ ọ (lọc mu i tiêu), Gaussian ố u nhi u hình d ng). (lọc các nhiễ ề ạ - Đăng ký ngoạ ệ i l các t v t Mark trên t m n n b ng thu t toán tìm biên ọa độ ệ ấ ề ằ ậ Canny. Hình 3.3 n x nh Tiề ử lý ả Bước 2: c tính hình nh s n có. Đăng ký ngoại lệ cho các đặ ả ẵ ROI: X= X0, Y= Y0, Width = W, Height = H
  • 50. ` 50 Sub Pattern 1: (X1, Y1): Sub Pattern 2: (X2, Y2): Main Pattern 1: (X3, Y3): • Chọn vùng ROI cần xử lý • Chọn hai điểm Sub Pattern để tìm ra độ lệch theo góc ø của ảnh mới so với ảnh gốc (origin). Ø = arctan [(X2 – X1)/ – (Y2 Y1)] • Chọn Main Pattern để tìm ra độ lệch theo trục X, Y củ ảnh LIVE so vớ ảnh a i ORIGIN Offset_X = X3 – X1 Offset_Y = Y3 – Y1 Hình 3.4 Điểm đăng kí ngoại lệ ặ ả dung làm d c tính hình nh c 3: Ch p hình nh live, ti n x lý Bướ ụ ả ề ử ảnh… Sau khi ch p nh live vi u tiên ta c n là ph i ti n x ụ ả ệc đầ ầ ả ề ử lý ảnh live tương t nh g ự như ả ốc: - nh thành nh xám Chuyển đổi ả ả - n hành l c nhi u, l c tính c a hình nh s d ng b l Tiế ọ ễ ọc biên các đặ ủ ả ử ụ ộ ọc Median - i l các t l chân không, v c c nh b ng thu Đăng ký ngoạ ệ ọa độ ỗ ết xướ ố đị ằ ật toán tìm biên Candy
  • 51. ` 51 Sau đó ta cầ ậ ạ ủ ả n, xác nh n l i vùng ROI (read of image) c a nh live do trong quá trình ch p thì nh b xoay m t góc r t nh , góc l c này có th làm sai l ch các ụ ả ị ộ ấ ỏ ệ ể ệ giá tr tính toán. ị Hình 3.5 nh live b xoay trong quá trình loading Ả ị D c góc ự ểm Pattern đăng ký sẵn ta xác định đượ a vào các đi Ø củ ảnh live: a Ø’ = arctan [(X2 – X1)/ – Y1)] (Y2 Góc xoay củ ảnh live so vớ ảnh gốc (ogirin) đượ ằng công thứ a i c tính b c: ∆ – Ø: = Ø Ø’ Sử dụng thuật toán xoay ảnh theo góc ∆Ø sau đó dịch chuyển (shift) ảnh theo các giá trị OFFSET tính toán ban đầu ta tìm được vị trí gốc P (X0, Y0) của vùng ROI mới. X0 = X3 - Offset_X Y0 = Y3 Offset_Y Sau khi xác định được chính xác vùng ROI cho ả ớ nh m i ta ti n hành ti n x ế ề ử lý ảnh live: c 4: X nh dùng gi i thu t Template matching và Subtract Bướ ử lý ả ả ậ Background. < giải thích>
  • 52. ` 52 Hình 3.6 Giải thích ý t toán tưở ậ ng thu l i Bước 5: Đưa ra các điểm nghi ngờ ỗ So sánh các t c c trên nh live và nh g ọa độ ủa các đặc tính thu đượ ả ả ốc để tìm ra các tọ ộ đặ a đ c tính khác nhau. Các t c chính là các nghi ng l ọ ộ a đ thu đượ ờ ỗi. c 6: Phát c nh báo t b - Confirm Bướ ả (Alarm) từ thiế ị Nếu Vision camera tìm ra các điểm nghi ng là l i trên màn hình s l p t c ti n ờ ỗ ẽ ậ ứ ế hành d ng kh n c p thi và phát chuông c nh báo cho các k ừ ẩ ấ ết bị ả ỹ thuật viên nhanh chóng n m b t hi n tr ng. Thông qua màn hình hi n th , hình nh l i s c các ắ ắ ệ ạ ể ị ả ỗ ẽ đượ k thu t viên ki m tra tính chính xác c a Visicon camera. N u không ph i là l ỹ ậ ể ủ ế ả ỗi thì s b qua, ti p t c cho thi t b ho ng; n i s n hành x lý sau ẽ ỏ ế ụ ế ị ạt độ ếu đúng là lỗ ẽ tiế ử đó mớ ợ ế ụ ậ ế ị i đư c ti p t c v n hành thi t b . 3.3. K t qu t i mô hình thi t b m ế ả thực tế ạ ế ị thử nghiệ Sau khi ti n hành l nghi ế ắp đặt hệ thống cơ khí và thử ệm thuật toán đã cho ra các k t qu ế ả tương đối chính xác v i t l phát hi n l i ch ớ ỷ ệ ệ ỗ ất lượ ới độ ng v chính xác
  • 53. ` 53 ~ 92.59%; th i gian x lý ng n ( 1 ~ 2 s m i chu trình) không ng t ờ ử ắ ỗ ảnh hưở ới tacttime chung của toàn bộ công đoạn s n xu ả ất. Dưới đây là hình ảnh mô hình thiết b nghi m và các k ki m ch ng th c t : ị thử ệ ết quả ể ứ ự ế Hình 3.7 Thiết bị đánh giá chương trình Vision K c nghi m ki ng 35 m u s n ph m: ết quả thự ệ ểm chứ ẫ ả ẩ No K t qu ế ả Hình ảnh NG Kích thước 1 OK 2 OK 3 OK 4 NG 0.47 mm 5 OK 6 OK 7 OK 8 OK 9 OK 10 OK
  • 54. ` 54 11 OK 12 OK 13 OK 14 OK 15 OK 16 OK 17 OK 18 OK 19 OK 20 OK 21 OK 22 OK 23 OK 24 OK 25 OK 26 OK 27 OK 28 NG 0.28 mm 29 NG 0.56 mm 30 OK 31 OK 32 OK 33 OK 34 NG 0.6 mm 35 NG 0.64 mm
  • 55. ` 55 T l chính xác ng theo ngày: ỷ ệ đánh giá tăng lượ Day Input Qty NG Qty Confirm result Rate 1 1,457 16 14 87.5% 2 1,862 20 18 90.00% 3 2,219 22 19 86.36% 4 2,097 19 18 94.74% 5 2,743 29 25 86.21% 6 1,634 17 15 88.24% 7 2,019 26 24 92.31% 8 2,230 28 25 89.29% 9 1,020 11 10 90.91% 10 1,534 13 12 92.31% Ave 18,815 201 180 89.55% T l chính xác c a Vision camera là ~ 89.55% sau khi ki m ch ỷ ệ ủ ể ứng mười ngày liên p v i s ng s n ph 18815. tiế ớ ố lượ ả ẩm C a Vision Camera ần đánh giá DOE kiểm thảo năng lực củ + ng h p d v t/ dán l gây s c t i nhà máy Trườ ợ ị ậ ệch size (0.73*0.27) thực tế ự ố ạ Threshold Grey Pixel Pixel Vision check Pixel (%) Alarm (YES/NO) EQP 1 0 0.00% B1LAM27N_U11 25 20 74 NO 2 0 0.00% B1LAM27N_U11 25 25 74 NO 3 13.51% B1LAM27N_U11 25 30 74 10 NO 4 24.32% YES B1LAM27N_U11 25 40 74 18 5 36.49% YES B1LAM27N_U11 25 50 74 27 6 48.65% YES B1LAM27N_U11 25 60 74 36 7 0 0.00% B1LAM27N_U11 40 20 74 NO 8 0 0.00% B1LAM27N_U11 40 25 74 NO 9 0 0.00% B1LAM27N_U11 40 30 74 NO 10 40 40 74 10 13.51% B1LAM27N_U11 NO 11 40 50 74 17 22.97% YES B1LAM27N_U11 12 40 60 74 22 29.73% YES B1LAM27N_U11 13 50 20 74 0 0.00% B1LAM27N_U11 NO 14 50 25 74 0 0.00% B1LAM27N_U11 NO 15 50 30 74 0 0.00% B1LAM27N_U11 NO 16 50 40 74 0 0.00% B1LAM27N_U11 NO 17 50 50 74 12 16.22% B1LAM27N_U11 NO 18 50 60 74 17 22.97% YES B1LAM27N_U11 19 70 20 74 0 0.00% B1LAM27N_U11 NO 20 70 25 74 0 0.00% B1LAM27N_U11 NO 21 70 30 74 0 0.00% B1LAM27N_U11 NO 22 70 40 74 0 0.00% B1LAM27N_U11 NO 23 70 50 74 10 13.51% B1LAM27N_U11 NO 24 70 60 74 11 14.86% B1LAM27N_U11 NO 25 90 20 74 0 0.00% B1LAM27N_U11 NO DOE đánh giá Vision No Đầu vào ( 0.73*0.27 ) Đầu ra
  • 56. ` 56 Hình 3.8 Data đánh giá DOE kích thước lỗi 0.73*0.27 Kiểm th t t nh ảo Minitab thu được kế qu u ki n t ả điề ệ ố ất là Grey (50~60), threshold nhỏ hơn 40. Hình 3.9 K tính toán DOE ết quả K t qu u ki c m u khác (0.73*0.4) và ế ả tương tự khi dánh giá các điề ện kích thướ ẫ (0.956*0.776) đề ấ ỏ hơn 40 là ố ấ u cho th y (50~60), threshold nh Grey t t nh t. 26 90 25 74 0 0.00% B1LAM27N_U11 NO 27 90 30 74 0 0.00% B1LAM27N_U11 NO 28 90 40 74 0 0.00% B1LAM27N_U11 NO 29 90 50 74 0 0.00% B1LAM27N_U11 NO 30 90 60 74 0 0.00% B1LAM27N_U11 NO 31 100 20 74 0 0.00% B1LAM27N_U11 NO 32 100 25 74 0 0.00% B1LAM27N_U11 NO 33 100 30 74 0 0.00% B1LAM27N_U11 NO 34 100 40 74 0 0.00% B1LAM27N_U11 NO 35 100 50 74 0 0.00% B1LAM27N_U11 NO 36 100 60 74 0 0.00% B1LAM27N_U11 NO 37 120 20 74 0 0.00% B1LAM27N_U11 NO 38 120 25 74 0 0.00% B1LAM27N_U11 NO 39 120 30 74 0 0.00% B1LAM27N_U11 NO 40 120 40 74 0 0.00% B1LAM27N_U11 NO 41 120 50 74 0 0.00% B1LAM27N_U11 NO 42 120 60 74 0 0.00% B1LAM27N_U11 NO
  • 57. ` 57 Hình 3.10 Data đánh giá kích thước lỗi 0.73*0.4 Hình 3.11 Data dánh giá kích thước lỗi 0.956*0.776