Download luận văn đồ án tốt nghiệp ngành công nghệ điện với đề tài: Ứng dụng xử lý ảnh nhận dạng cử chỉ bàn tay điều khiển robot di động, cho các bạn tham khảo

1. TRƯỜNG ĐH CÔNG NGHIỆP THỰC PHẨM TP. HCM
KHOA CÔNG NGHỆ ĐIỆN – ĐIỆN TỬ
--------
KHÓA LUẬN TỐT NGHIỆP
ỨNG DỤNG XỬ LÝ ẢNH NHẬN DẠNG
CỬ CHỈ BÀN TAY ĐIỀU KHIỂN ROBOT DI ĐỘNG
GVHD: ThS. TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT
LỚP: 07DHDT4
MSSV: 2002160185
TP. HỒ CHÍ MINH, NĂM 2020

2. TRƯỜNG ĐH CÔNG NGHIỆP THỰC PHẨM TP. HCM
KHOA CÔNG NGHỆ ĐIỆN – ĐIỆN TỬ
--------
KHÓA LUẬN TỐT NGHIỆP
ỨNG DỤNG XỬ LÝ ẢNH NHẬN DẠNG
CỬ CHỈ BÀN TAY ĐIỀU KHIỂN ROBOT DI ĐỘNG
GVHD: ThS. TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT
LỚP: 07DHDT4
MSSV: 2002160185
TP. HỒ CHÍ MINH, NĂM 2020

3. PHIẾU GIAO NHIỆM VỤ
(Phiếu này phải đóng vào trang đầu tiên của báo cáo)
1. Họ và tên sinh viên được giao đề tài (Số lượng sinh viên: 1)
(1) Nguyễn Văn Đạt MSSV: 2002160185 Lớp: 07DHDT4
2. Tên đề tài: Ứng dụng xử lý ảnh nhận dạng cử chỉ bàn tay điều khiển robot di động
3. Nhiệm vụ của đề tài:
_ Thực hiện chức năng: nhận dạng cử chỉ bàn tay điều khiển bobot di chuyển: đi thẳng, rẽ
trái, rẽ phải, lùi, dừng lại.
_ Cài đặt hệ điều hành và thư viện OpenCV cho Raspberry Pi
_ Nghiên cứu lý thuyết lập trình python, OpenCV
_ Tìm hiểu lý thuyết xử lý ảnh
_ Xây dựng giải thuật nhận dạng cử chỉ bàn tay
_ Chất lượng thực hiện nhận diện bàn tay đáp ứng tốt không bị nhiễu
4. Ngày giao nhiệm vụ đồ án tốt nghiệp: 29/02/2020
5. Ngày hoàn thành và nộp về khoa:
TP.Hồ Chí Minh, ngày 29 tháng 02 năm 2020
Trưởng khoa Trưởng bộ môn Giảng viên hướng dẫn
Lê Thành Tới Nguyễn Phú Công Trần Hoàn
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP
THỰC PHẨM TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc

4. NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................

5. NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................
.................................................................................................................................................

6. LỜI CÁM ƠN
Trước hết chúng em xin gửi lời cảm ơn chân thành đến quý thầy cô trường Đại
học Công Nghiệp Thực Phẩm thành phố Hồ Chí Minh nói chung và quý thầy cô ở
khoa Điện - Điện tử và chuyên ngành Tự Động Hóa nói riêng đã tận tình truyền đạt
những kiến thức quý giá trong khoảng thời gian em học đại học.
Em xin được gửi lời cảm ơn đến thầy Trần Hoàn, thầy đã hướng dẫn và giúp đỡ
tận tình em nghiên cứu và hoàn thành luận văn tốt nghệp này. Những lời nhận xét, góp
ý và hướng dẫn của thầy đã giúp em có định hướng đúng đắn trong quá trình thực hiện
đề tài, giúp em nhìn ra được ưu khuyết điểm của đề tài và từng bước khắc phục để có
được kết quả tốt nhất. Xin gửi đến thầy lời chúc sức khỏe và ngày càng thành công
trên trên mục giảng.
Em xin gửi lời cảm ơn chân thành đến quý Thầy/Cô đã dành thời gian quý báu để
nhận xét và chấm Luận văn tốt nghiệp. Đây sẽ là nhưng đóng góp rất quý giá cho em
để hoàn thiện và phát triển đề tài ngày một tốt hơn.
Sau cùng, con xin bày tỏ lòng biết ơn sâu sắc tới Mẹ, Ba, Chị, Em những người
đã luôn luôn động viên, ở bên con trong những lúc khó khăn nhất, là động lực cho con
nỗ lực cố gắng trong suốt những năm tháng học tập tại trường và trên những bước
đường tiếp theo trong cuộc sống.
TP. Hồ Chí Minh, ngày 14 tháng 08 năm 2020
Tác giả
Nguyễn Văn Đạt

7. TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP
THỰC PHẨM TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc
TP. HCM, ngày….tháng…..năm……..
TÓM TẮT ĐỀ TÀI
Ngày nay, các mô hình xe, máy bay và robot đang ngày càng phổ biến trong
nghiên cứu và đào tạo. Các thiết bị này thường được vận hành tự động hoặc điều khiển
trực tiếp bởi con người. Nhờ vào sự tiến bộ của công nghệ xử lý hình ảnh, ngày càng
nhiều các thiết bị có khả năng ghi nhận cử chỉ tay và chuyển đổi thành các tín
hiệu có thể xử lý bằng máy tính. Đề tài “Ứng dụng xử lý ảnh nhận dạng cử chỉ bàn
tay điều khiển robot di động” là mô hình dựa theo ngôn ngữ python với thư viện chính
là Opencv và được thực hiện trên Kit Raspberry và Kit Arduino Wifi ESP826 WeMos
D1. Xử lý ảnh ở đây sẽ được nhận dạng theo ngưỡng của bàn tay để điều khiển robot
thông qua cử chỉ tay. Kết quả nghiên cứu cho thấy cho thấy tính ổn định trong việc
điều khiển các mô hình robot bằng cử chỉ tay.

8. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT i
MỤC LỤC
MỤC LỤC.............................................................................................................................i
DANH MỤC KÝ HIỆU, CỤM TỪ VIẾT TẮT ............................................................ iv
DANH MỤC BẢNG BIỂU ................................................................................................v
DANH MỤC HÌNH ẢNH ................................................................................................ vi
Chương 1: TỔNG QUAN VỀ ĐỀ TÀI ............................................................................1
1.1 Đặt vấn đề..................................................................................................................... 1
1.2 Mục tiêu........................................................................................................................ 1
1.3 Phạm vi của luận văn tốt nghiệp .................................................................................. 1
1.4 Tổng quan về các nghiên cứu liên quan....................................................................... 2
1.4.1 Nhận dạng bàn tay dựa vào màu sắc và hình dáng.............................................. 2
1.4.2 Nhận dạng dựa vào ngưỡng trên mỗi kênh màu.................................................. 2
1.4.3 Optical Flow ........................................................................................................ 3
1.4.4 Phương pháp trừ nền ........................................................................................... 3
1.5 Ý nghĩa khoa học và thực tiễn của đề tài ..................................................................... 3
Chương 2: CƠ SỞ LÝ THUYẾT......................................................................................5
2.1 Giới thiệu về hệ thống xử lý ảnh.................................................................................. 5
2.2 Những vấn đề cơ bản trong hệ thống xử lý ảnh..........Error! Bookmark not defined.
2.2.1 Điểm ảnh (Picture Element) ...............................Error! Bookmark not defined.
2.2.2 Độ phân giải của ảnh..........................................Error! Bookmark not defined.
2.2.3 Mức xám của ảnh ...............................................Error! Bookmark not defined.
2.2.4 Định nghĩa ảnh số...............................................Error! Bookmark not defined.
2.2.5 Chỉnh mức xám ..................................................Error! Bookmark not defined.
2.2.6 Kỹ thuật năng cao chất lượng ảnh ......................Error! Bookmark not defined.
2.2.7 Kỹ thuật biến đổi ảnh .........................................Error! Bookmark not defined.
2.2.8 Kỹ thuật phân tích ảnh........................................Error! Bookmark not defined.
2.2.9 Kỹ thuật nhận dạng ảnh......................................Error! Bookmark not defined.
2.3 Các phương pháp xử lý ảnh số....................................Error! Bookmark not defined.
2.3.1 Chuyển ảnh màu RGB thành ảnh mức xám ( Gray level)Error! Bookmark not
defined.
2.3.2 Phương pháp lọc nhiễu ảnh ................................Error! Bookmark not defined.
2.3.3 Phân vùng ảnh ....................................................Error! Bookmark not defined.
2.3.4 Phương pháp phân vùng ảnh ..............................Error! Bookmark not defined.

9. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT ii
2.3.5 Khái niệm biên ...................................................Error! Bookmark not defined.
2.4 Máy tính nhúng Raspberry Pi......................................Error! Bookmark not defined.
2.4.1 Giới thiệu về Raspberry Pi 3 ..............................Error! Bookmark not defined.
2.4.2 Màn hình LCD 3,5 inch Raspberry Pi................Error! Bookmark not defined.
2.4.3 Module camera (Camera Module 5MP Raspberry Pi )Error! Bookmark not
defined.
2.5 Ngôn ngữ python và thư viện Opencv ........................Error! Bookmark not defined.
2.5.1 Giới thiệu ngôn ngữ lập trình python ( python 2.7)Error! Bookmark not defined.
2.5.2 Thư viện Opencv................................................Error! Bookmark not defined.
2.5.2.1 Chức năng có trong thư viện OpenCV ...........Error! Bookmark not defined.
2.5.2.2 Ứng dụng OpenCV trong thực tế....................Error! Bookmark not defined.
2.6 Board UNO WIFI - WeMos D1..................................Error! Bookmark not defined.
2.6.1 Giới thiệu board UNO WIFI ..............................Error! Bookmark not defined.
2.6.2 Lập trình cho board Arduino UNO WiFi ...........Error! Bookmark not defined.
2.7 Module điều khiển động cơ L298 ...............................Error! Bookmark not defined.
2.7.1 Module điều khiển động cơ L298.......................Error! Bookmark not defined.
2.7.2 Nguyên lý hoạt động ..........................................Error! Bookmark not defined.
2.8 Động cơ giảm tốc ........................................................Error! Bookmark not defined.
2.9 Bánh xe........................................................................Error! Bookmark not defined.
Chương 3: CƠ SỞ THỰC HIỆN..................................Error! Bookmark not defined.
3.1 Thiết kế sơ đồ khối hệ thống.......................................Error! Bookmark not defined.
3.2 Sơ đồ kết nối hệ thống.................................................Error! Bookmark not defined.
3.3 Lưu đồ giải thuật .........................................................Error! Bookmark not defined.
3.3.1 Các bước truy cập và lập trình trên python ........Error! Bookmark not defined.
3.3.1.1 Hiển thị lên màng hình laptop qua Wifi .........Error! Bookmark not defined.
3.3.1.2 Hiển thị qua cáp ethernet ................................Error! Bookmark not defined.
3.3.2 Lưu đồ giải thuật nhận dạng cử chỉ bàn tay .......Error! Bookmark not defined.
3.3.3 Lưu đồ giải thuật điều khiển robot di động ........Error! Bookmark not defined.
3.4 Bảng vẽ cơ khí.............................................................Error! Bookmark not defined.
Chương 4: KẾT QUẢ THỰC NGHIỆM ....................Error! Bookmark not defined.
Chương 5: KẾT LUẬN VÀ ĐỊNH HƯỚNG ĐỀ TÀIError! Bookmark not defined.
5.1 Kết quả đạt được .........................................................Error! Bookmark not defined.
5.2 Hạn chế........................................................................Error! Bookmark not defined.
5.3 Hướng phát triển của đề tài .........................................Error! Bookmark not defined.
PHỤ LỤC........................................................................Error! Bookmark not defined.

10. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT iii
Code chương trình nhận diện bàn tay.................................Error! Bookmark not defined.
Code điều khiển robot ........................................................Error! Bookmark not defined.
Giới thiệu phần mềm sử dụng: phần mềm ARDUINO IDEError! Bookmark not defined.
Hướng dẫn cài đặt phần mềm.............................................Error! Bookmark not defined.
TÀI LIỆU THAM KHẢO.............................................Error! Bookmark not defined.

11. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT iv
DANH MỤC KÝ HIỆU, CỤM TỪ VIẾT TẮT
KÍ HIỆU THUẬT NGỮ
RGB Red Green Blue
IDE Integrated Development Environment
OpenCV Open Source Computer Vision
PEL (Picture Element) hay gọi tắt là Pixel

12. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT v
DANH MỤC BẢNG BIỂU

13. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT vi
DANH MỤC HÌNH ẢNH
Hình 1.1: Hình minh họa kết quả thuật toán trừ nền ...........................................................3
Hình 2.1: Các bước cơ bản trong xử lý ảnh..........................................................................6
Hình 2.2: Điểm ảnh (pixel - picture element).................Error! Bookmark not defined.
Hình 2.3: Minh họa mức xám sau khi mã hóa................Error! Bookmark not defined.
Hình 2.4: Minh họa ảnh nhị phân sau khi mã hóa .........Error! Bookmark not defined.
Hình 2.5: Không gian màu HSV ......................................Error! Bookmark not defined.
Hình 2.6: Không gian màu RGB ......................................Error! Bookmark not defined.
Hình 2.7: Raspberry Pi 3 Model B...................................Error! Bookmark not defined.
Hình 2.8: Sơ đồ của Raspberry Pi 3.................................Error! Bookmark not defined.
Hình 2.9: Màn hình cảm ứng 3.5 inch .............................Error! Bookmark not defined.
Hình 2.10: Module camera raspberry pi..........................Error! Bookmark not defined.
Hình 2.11: Ngôn ngữ lập trình python trên Raspberry..Error! Bookmark not defined.
Hình 2.12: Hệ thống tên lửa tích hợp quang hồng ngoạiError! Bookmark not
defined.
Hình 2.13: Ứng dụng opencv trong lĩnh vực hàng khôngError! Bookmark not
defined.
Hình 2.14: Xử lý ảnh trong phòng chống tội phạm .......Error! Bookmark not defined.
Hình 2.15: Board UNO WiFi (WeMos D1)....................Error! Bookmark not defined.
Hình 2.16: Sơ đồ chân ESP8266MOD............................Error! Bookmark not defined.
Hình 2.17: Phần mềm Arduino IDE ................................Error! Bookmark not defined.
Hình 2.18: Mạch điều khiển động cơ DC L298 .............Error! Bookmark not defined.
Hình 2.19: Nguyên lý hoạt động ......................................Error! Bookmark not defined.
Hình 2.20: Trường hợp thứ nhất A ở mức LOW và B ở mức HIGHError! Bookmark
not defined.
Hình 2.21: Trường hợp thứ hai A ở mức HIGH và B ở mức LOWError! Bookmark
not defined.
Hình 2.22: Động cơ giảm tốc GA25 12V 280 rpm........Error! Bookmark not defined.
Hình 2.23: Bánh xe 65mm khớp lục giác........................Error! Bookmark not defined.
Hình 3.1: Sơ đồ khối phần cứng.......................................Error! Bookmark not defined.

14. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT vii
Hình 3.2: Sơ đồ kết nối thực tế Raspberry Pi .................Error! Bookmark not defined.
Hình 3.3: Gắn thẻ nhớ vào khe thực tế............................Error! Bookmark not defined.
Hình 3.4: Sơ đồ đấu dây ....................................................Error! Bookmark not defined.
Hình 3.5: Tìm IP của Raspberry Pi..................................Error! Bookmark not defined.
Hình 3.6: Nhập IP của Raspberry vào Putty...................Error! Bookmark not defined.
Hình 3.7: Màng hình Terminal xuất hiện........................Error! Bookmark not defined.
Hình 3.8: Nhập thông tin đăng nhập................................Error! Bookmark not defined.
Hình 3.9: Kết nối từ xa dành cho máy chủ Desktop......Error! Bookmark not defined.
Hình 3.10: Mở Remote Desktop Connection có sẵn trong windowsError! Bookmark
not defined.
Hình 3.11: Connect vào Raspberry ..................................Error! Bookmark not defined.
Hình 3.12: Đăng nhập vào màng hình Raspberry ..........Error! Bookmark not defined.
Hình 3.13: Raspberry hiển thị lên màng hình laptop.....Error! Bookmark not defined.
Hình 3.14: Hiển thị Raspberry lên màng hình laptop qua cáp ethernet ..................Error!
Bookmark not defined.
Hình 3.15: Kết nối ethernet với laptop ở IP động..........Error! Bookmark not defined.
Hình 3.16: Tìm IP ethernet................................................Error! Bookmark not defined.
Hình 3.17: Connect vào Raspberry qua cáp ethernet.....Error! Bookmark not defined.
Hình 3.18: Gọi chương trình python qua cửa sổ TerminalError! Bookmark not
defined.
Hình 3.19: Lưu đồ giải thuật nhận dạng cử chỉ bàn tay Error! Bookmark not defined.
Hình 3.20: Khung hình đầu vào .......................................Error! Bookmark not defined.
Hình 3.21: Cắt một góc khung hình chứa phần bàn tay (top, bottom, left, right)..Error!
Bookmark not defined.
Hình 3.22: Vẽ ô màu có kích thước (top, bottom, left, right) ra màng hình...........Error!
Bookmark not defined.
Hình 3.23: Chuyển đổi ảnh BGR sang dạng ảnh xám...Error! Bookmark not defined.
Hình 3.24: Lọc GaussianBlur làm mờ ảnh......................Error! Bookmark not defined.
Hình 3.25: Lấy ảnh theo ngưỡng......................................Error! Bookmark not defined.
Hình 3.26: Đóng khung chữ nhật vùng xuất hiện bàn tayError! Bookmark not
defined.
Hình 3.27: Tim đường viền...............................................Error! Bookmark not defined.

15. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT viii
Hình 3.28: Biến đổi khoảng cách để phát hiện tâm và số ngón tayError! Bookmark
not defined.
Hình 3.29: Vẽ tâm C ..........................................................Error! Bookmark not defined.
Hình 3.30: Vẽ đường tròn tâm C......................................Error! Bookmark not defined.
Hình 3.31: Tìm các đoạn cắt nhau để tìm số ngón tay (cv2.bitwise_and) ..............Error!
Bookmark not defined.
Hình 3.32: Vẽ đường viền để tìm số khe giữa các ngónError! Bookmark not defined.
Hình 3.33: Vẽ bao lồi xung quanh ngón tay ...................Error! Bookmark not defined.
Hình 3.34: Điều kiện để tính khe giữa các ngón tay......Error! Bookmark not defined.
Hình 3.35: Tìm khuyết tật lồi............................................Error! Bookmark not defined.
Hình 3.36: Gửi và nhận giao tiếp UDP ESP8266 ..........Error! Bookmark not defined.
Hình 3.37: Lưu đồ giải thuật điều khiển robot di động.Error! Bookmark not defined.
Hình 3.38: Gửi và nhận tín hiệu cho robot: (a) là cử chỉ bàn tay dừng...................Error!
Bookmark not defined.
Hình 3.39: Gửi và nhận tín hiệu cho robot: (a) là cử chỉ bàn tay tiếnError! Bookmark
not defined.
Hình 3.40: Gửi và nhận tín hiệu cho robot: (a) là cử chỉ bàn tay lùiError! Bookmark
not defined.
Hình 3.41: Gửi và nhận tín hiệu cho robot: (a) là cử chỉ bàn tay rẽ trái .................Error!
Bookmark not defined.
Hình 3.42: Gửi và nhận tín hiệu cho robot: (a) là cử chỉ bàn tay rẽ phải................Error!
Bookmark not defined.
Hình 3.43: Bảng vẽ cơ khí ................................................Error! Bookmark not defined.
Hình 4.1: Kết quả cử chỉ tay robot dừng (stop)..............Error! Bookmark not defined.
Hình 4.2: Kết quả cử chỉ tay robot tiến (up) ...................Error! Bookmark not defined.
Hình 4.3: Kết quả cử chỉ tay robot lùi (down)................Error! Bookmark not defined.
Hình 4.4: Kết quả cử chỉ tay robot rẽ trái (left)..............Error! Bookmark not defined.
Hình 4.5: Kết quả cử chỉ tay robot rẽ phải (right)..........Error! Bookmark not defined.
Hình 4.6: Mô hình khi hoàn thành ...................................Error! Bookmark not defined.

16. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT ix

17. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT Trang 1
Chương 1: TỔNG QUAN VỀ ĐỀ TÀI
1.1 Đặt vấn đề
Trong những năm gần đây, các ứng dụng về trí tuệ nhân tạo ngày càng phát
triển và được đánh giá cao. Một lĩnh vực đang được quan tâm của trí tuệ nhân tạo
nhằm tạo ra các ứng dụng thông minh, mang tính tri thức con người đó là nhận dạng.
Với sự phát triển mạnh mẽ của công nghệ và nhu cầu của con người ngày càng cao.
Một bài toán được đặt ra là: Làm sao có thể điều khiển máy tính, các thiết bị giải trí,
robot…bằng những cử chỉ, hành động và lời nói của con người. Nhận dạng hình ảnh
và âm thanh là một giải pháp để giải quyết bài toán này và một phần nhỏ trong lĩnh
vực đó là nhận dạng cử chỉ bàn tay.
Lý do chủ quan khi chọn đề tài: Những năm gần đây robot là một trong những
thế mạnh của Khoa. Và em muốn làm sao để trở nên mạnh hơn nữa về công nghệ chế
tạo robot thông minh. Để lại một cái gì đó quý báu cho những sinh viên khóa sau của
trường phát triển tốt hơn về các công nghệ cao và các ngành khác liên quan.
1.2 Mục tiêu
 Nhận dạng cử chỉ tay xây dựng chương trình điều khiển như sau:
 No hand: Không có bàn tay (Robot không di chuyển)
 “Up”: Ngón tay thứ nhất trong bàn tay (Robot di chuyển về phía trước)
 “Down”: Ngón tay thứ hai trong bàn tay (Robot di chuyển về phía sau)
 “Left”: Ngón tay thứ ba trong bàn tay (Robot di chuyển sang trái)
 “Right”: Ngón tay thứ tư trong bàn tay (Robot di chuyển sang phải)
 Nghiên cứu lý thuyết lập trình python, OpenCV.
 Tìm hiểu lý thuyết xử lý ảnh.
 Xây dựng giải thuật nhận dạng cử chỉ bàn tay.
1.3 Phạm vi của luận văn tốt nghiệp
Đề tài được nghiên cứu dựa trên nền tảng các kiến thức cơ bản về ngôn ngữ lập
trình và vi điều khiển được học ở trường, cùng với việc tự tìm hiểu và học hỏi của các
tài liệu đi trước. Hệ thống điều khiển của robot được thực hiện dựa trên máy tính
nhúng Raspberry pi 3 kết nối với camera pi và chương trình được viết bằng Python.

18. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT Trang 2
Do giới hạn về kiến thức của bản thân nên mục tiêu hướng đến đề tài là làm sao để
robot di động một cách cơ bản nhất có thể.
1.4 Tổng quan về các nghiên cứu liên quan
Bàn tay con người có cấu trúc xương phức tạp bao gồm rất nhiều khớp nối với
nhau. Vì số bậc tự do của bàn tay người là rất lớn nên việc nhận dạng cử chỉ bàn tay
trở nên một thách thức lớn. Có nhiều nghiên cứu về nhận dạng cử chỉ với các giải
thuật khác nhau như: nhận dạng phép trừ nền, dựa vào màu sắc, hình dáng, các đặc
trưng của bàn tay, optical flow, mean shift….
1.4.1 Nhận dạng bàn tay dựa vào màu sắc và hình dáng
Màu da là một đặc trưng quan trọng để định vị và tracking bàn tay người. Tuy
nhiên thuật toán dựa trên màu da phải đối mặt với khó khăn đó là phải phân biệt đối
tượng có màu tương tự với bàn tay như khuôn mặt và cánh tay người. Để giải quyết
vấn đề này, người sử dụng phải mặc áo sơ mi dài và phải hạn chế trong khung nền
trong đó màu sắc các đối tượng không được tương đồng với màu da người. Thuật toán
này cũng rất nhạy với các điều kiện chiếu sáng khác nhau. Khi điều kiện ánh sáng
không đáp ứng yêu cầu thì bộ nhận dạng thường không nhận ra bàn tay.
Wuetal đã đề xuất thuật toán bám theo đối tượng dựa trên màu sắc không ổn
định bằng cách học hai phương pháp biểu diễn khác nhau cho sự phân bố màu sắc và
gọi thuật toán mới này là structure adaptive self-organizing map (SASOM). Kết quả
trong việc định vị bàn tay đã chỉ ra rằng thuật toán có thể kiểm soát tốt một vài điểm
khó trong tracking đối tượng có màu sắc không ổn định.
1.4.2 Nhận dạng dựa vào ngưỡng trên mỗi kênh màu
Thuật toán dựa trên đặc trưng bàn tay trích xuất đặc trưng trong một vùng ảnh
nhất định như đầu ngón tay hoặc biên bàn tay, và sử dụng một vài phương pháp suy
luận để tìm ra hình dạng hoặc kết hợp những đặc trưng cụ thể để tạo nên một cử chỉ
bàn tay.
Đối với cách tiếp cận dựa trên đặc trưng bàn tay, việc phân đoạn những ảnh
không bị nhiễu là bước cần thiết để phục hồi những đặc trưng của bàn tay. Đây không
phải là nhiệm vụ dễ dàng khi gặp phải những ảnh nền phức tạp.

19. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT Trang 3
1.4.3 Optical Flow
Optical flow là thuật toán dựa trên phân tích chuyển động của bàn tay. Việc
bám theo bàn tay dựa vào quỹ đạo chuyển động và kết hợp với bộ phát hiện màu da.
Bộ lọc theo thời gian dùng thuật toán Viterbi để nhận dạng quỹ đạo của bàn tay và
thuật toán kiểm tra phụ được bổ sung vào thuật toán Viterbi để đảm bảo chắc chắn quỹ
đạo trích xuất sẽ chứa vị trí bàn tay của cùng một bàn tay đã được nhận dạng trước đó.
Những kết quả thực tế cho thấy hệ thống có khả năng bám theo bàn tay ổn định.
1.4.4 Phương pháp trừ nền
Bàn tay được phát hiện bằng phương pháp trừ nền, sử dụng thuật toán
“codebook” của thư viện OpenCV.
Các điểm đầu mút được phát hiện bằng thuật toán “convex hull 2”, các điểm
lõm được phát hiện bằng thuật toán “convexity defect”.
Dựa vào số điểm lồi và lõm người ta sẽ biết được số ngón tay được đưa lên.
Hình 1.1: Hình minh họa kết quả thuật toán trừ nền
1.5 Ý nghĩa khoa học và thực tiễn của đề tài
Đưa ra một bản lý thuyết với các nội dung tìm hiểu, các phép toán hình thái
trong xử lý ảnh và nhận dạng cử chỉ bàn tay của con người. Nhằm mục đích góp một
phần vào lĩnh vực ứng dụng của nhận dạng, cụ thể hơn ở đây là có thể ứng dụng vào

20. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT Trang 4
việc điều khiển di chuyển robot… Ứng với mỗi cử chỉ bàn tay thì robot sẽ xử lý tiến,
lùi, qua phải hay qua trái.

21. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT Trang 5
Chương 2: CƠ SỞ LÝ THUYẾT
2.1 Giới thiệu về hệ thống xử lý ảnh
Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ. Nó là một ngành
khoa học mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát triển của nó rất
nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chuyên
dụng riêng cho nó.
Xử lý ảnh được đưa vào giảng dạy ở bậc đại học ở nước ta khoảng chục năm
nay. Nó là môn học liên quan đến nhiều lĩnh vực và cần nhiều kiến thức cơ sở khác.
Đầu tiên phải kể đến xử lý tín hiệu số là một môn học hết sức cơ bản cho xử lý tín hiệu
chung, các khái niệm về tích chập, các biến đổi Fourier, biến đổi Laplace, các bộ lọc
hữu hạn… Thứ hai, các công cụ toán như đại số tuyến tính, xác suất thống kê. Một số
kiến thứ cần thiết như trí tuệ nhân tạo, mạng nơron nhân tạo cũng được đề cập trong
quá trình phân tích và nhận dạng ảnh.
Để dễ tưởng tượng, xét các bước cần thiết trong xử lý ảnh. Đầu tiên, ảnh tự
nhiên từ thế giới ngoài được thu nhận qua các thiết bị thu (như camera, máy chụp ảnh).
Trước đây, ảnh thu qua camera là các ảnh tương tự (loại camera ống kiểu CCIR). Gần
đây, với sự phát triển của công nghệ, ảnh màu hoặc đen trắng được lấy ra từ camera,
sau đó nó được chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo (máy
ảnh số hiện nay là một thí dụ gần gũi).
Mặt khác, ảnh cũng có thể tiếp nhận từ vệ tinh; có thể quét từ ảnh chụp bằng
máy quét ảnh.

22. LUẬN VĂN TỐT NGHIỆP GVHD: TRẦN HOÀN
SVTH: NGUYỄN VĂN ĐẠT Trang 6
Hình 2.1: Các bước cơ bản trong xử lý ảnh
DOWNLOAD ĐỂ XEM ĐẦY ĐỦ NỘI DUNG
MÃ TÀI LIỆU: 52038
DOWNLOAD: + Link tải: tailieumau.vn
Hoặc : + ZALO: 0932091562