Xây dựng Robot tự hành dạng Nonholonomic và tổng hợp bộ điều khiển bám quỹ đạo Xem đầy đủ: https://1drv.ms/f/s!AnR3XNNgwgZpnQwoICHXugJY_n9q?e=69SBqc

1. 1
MỤC LỤC
MỤC LỤC ......................................................................................................................1
DANH MỤC HÌNH VẼ ...............................................................................................3
Danh mục các ký hiệu và chữ viết tắt..........................................................................6
MỞ ĐẦU.........................................................................................................................7
1. Tính cấp thiết của luận án.....................................................................................7
2. Mục tiêu của luận án .............................................................................................9
3. Đối tượng và phạm vi nghiên cứu của luận án ...................................................9
4. Ý nghĩa khoa học và thực tiễn của luận án .......................................................10
5. Nội dung của luận án...........................................................................................11
CHƯƠNG 1. ĐẶT VẤN ĐỀ NGHIÊN CỨU VÀ XÂY DỰNG MÔ HÌNH
ROBOT THÍ NGHIỆM ..............................................................................................13
1.1. Nghiên cứu tổng quan về hệ thống robot có gắn camera..............................13
1.1.1 Tổng quan về một hệ robot có gắn camera bám mục tiêu di động...............13
1.1.2. Tổng quan tình hình nghiên cứu trong và ngoài nước.................................17
1.2.3. Kết luận và lựa chọn hướng nghiên cứu, phát triển Luận án......................21
1.2. Xây dựng mô hình robot tự hành....................................................................22
1.2.1. Xây dựng cấu trúc của hệ robot tự hành .....................................................22
1.2.2. Xây dựng phần cứng cho mạch chủ điều khiển robot: ................................24
1.3. Kết luận chương 1.............................................................................................27
CHƯƠNG 2. THIẾT KẾ CHẾ TẠO CẢM BIẾN VỊ TRÍ TRÊN CƠ SỞ XỬ LÝ
ẢNH CHO BÀI TOÁN BÁM MỤC TIÊU DI ĐỘNG .............................................29
2.1. Tổng quan về hệ thống bám ảnh tự động.......................................................29
2.1.1. Tổng thể hệ bám...........................................................................................29
2.1.2. Kiến trúc tổng thể hệ bám............................................................................30
2.2. Lập trình xử lý ảnh bám mục tiêu chuyển động............................................32
2.2.1. Phương pháp bám theo các đặc điểm của ảnh (Thuật toán KLT)...............32
2.2.2. Thuật toán bám ảnh Camshift......................................................................35
2.2.3. Kết hợp bộ lọc Kalman với thuật toán bám ảnh Camshift...........................36
2.3. Kết luận chương 2.............................................................................................43
CHƯƠNG 3: MÔ HÌNH HÓA HỆ ROBOT TỰ HÀNHGẮN CAMERA.............44
3.1. Mô hình hóa hệ thống Pan/Tilt........................................................................44
3.2. Quy chiếu tọa độ mục tiêu và camera về tọa độ tâm robot .........................48

2. 2
3.3. Mô hình động học, động lực học robot di động .............................................50
3.4. Kết luận chương 3.............................................................................................55
CHƯƠNG 4: THIẾT KẾ BỘ ĐIỀU KHIỂN THÍCH NGHI ĐIỀU KHIỂN BÁM
QUỸ ĐẠO CHO ROBOT TỰ HÀNH.......................................................................56
4.1. Các phương pháp điều khiển bám quỹ đạo cho robot tự hành....................57
4.1.1. Điều khiển bám sử dụng trực tiếp hàm điều khiển Lyapunov......................58
4.1.2. Các phương pháp dựa trên điều khiển trượt................................................60
4.1.3. Một số thuật toán khác.................................................................................62
4.2. Thuật toán thích nghi theo mô hình mẫu để điều khiển bám quỹ đạo cho
robot tự hành khi robot có tham số m, I là bất định ............................................63
4.3. Thuật toán điều khiển bám quỹ đạo thích nghi robot tự hành khi có các
tham số m, I thay đổi và chịu tác động bởi nhiễu. ................................................68
4.3.1. Mô hình động học, động lực học: ................................................................69
4.3.2. Cấu trúc của hệ điều khiển ..........................................................................70
4.3.3. Tổng hợp bộ điều khiển thích nghi theo mô hình mẫu.................................71
4.3.3.1. Bộ điều khiển động học vòng ngoài..........................................................72
4.3.3.2. Tổng hợp bộ điều khiển vòng trong ..........................................................72
A. Xây dựng mô hình động học mẫu ......................................................................72
B. Giải thuật điều khiển thích nghi theo mô hình mẫu ..........................................74
C. Tính ổn định của toàn hệ:..................................................................................77
4.4. Kết quả mô phỏng............................................................................................79
4.4.1. Khi quỹ đạo đặt là đường thẳng ..................................................................81
4.4.2 Khi quỹ đạo đặt là đường tròn có tâm tại gốc tọa độ (0,0), bán kính bằng 5
................................................................................................................................84
4.5 Kết quả chạy thực nghiệm ...............................................................................88
4.6. Kết Luận chương 4 ...........................................................................................89
KẾT LUẬN ..................................................................................................................91
1. Các kết quả đạt được của Luận án ....................................................................91
2. Hướng phát triển của Luận án...........................................................................93
TÀI LIỆU THAM KHẢO ..........................................................................................94
CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA TÁC GIẢ LUẬN ÁN........................101

3. 3
DANH MỤC HÌNH VẼ
Hình 1.1. Sơ đồ tổng quan của một hệ thống tích hợp quang điện tử...........................15
Hình 1.2. Sơ đồ hệ thống robot và camera cố định......................................................16
Hình 1.3. Sơ đồ hệ thống robot và camera di chuyển ...................................................17
Hình 1.4. Ảnh một số sản phẩm hệ quang điện tử tích hợp cố định trên thế giới.........18
Hình 1.5. PAN robot, robot Pops, MIDbo ...................................................................18
Hình 1.6. robot Talon, robot MARRS và robot Spirit thám hiểm sao hỏa của NASA 19
Hình 1.7. Sơ đồ tổng quan của hệ thống robot tự hành bám mục tiêu di động ............22
Hình 1.8. Cấu trúc tổng thể phần cứng khi gắn liền bộ xử lý trung tâm trên xe robot.23
Hình 1.9. Cấu trúc tổng thể phần cứng khi tách bộ xử lý trung tâm đặt riêng tại trung
tâm điều khiển................................................................................................................23
Hình 1.10. Ảnh chụp toàn bộ hệ robot tự hành sản phẩm ............................................26
Hình 1.11. Ảnh chụp bên trong và bên ngoài robot......................................................27
Hình 2.1. Cảm biến ảnh, gimbal và bộ xử lý.................................................................30
Hình 2.2. Cửa sổ mục tiêu khử nhiễu ...........................................................................31
Hình 2.3. Kiến trúc toàn thể hệ thống bám ..................................................................32
Hình 2.4. Lưu đồ thuật toán Camshift..........................................................................36
Hình 2.5. Sơ đồ kết hợp bộ lọc Kalman và Camshift ....................................................37
Hình 2.6. Sơ đồ tóm tắt của bộ lọc Kalman ..................................................................38
Hình 2.7. Kết quả dự đoán vị trí với bộ lọc Kalman.....................................................39
Hình 2.8. Bộ lọc Kalman khi bị che khuất.....................................................................40
Hình 2.9. Sơ đồ tóm tắt của bộ lọc Kalman mở rộng....................................................41
Hình 2.10. Việc theo dõi các chuyển động phức tạp sử dụng bộ lọc Kalman mở rộng 42
Hình 2.11. Chụp các frame chạy thực nghiệm thuật toán bám Camshift không có
Kalman...........................................................................................................................42
Hình 2.12. Chụp các frame chạy thực nghiệm với thuật toán bám Camshift có Kalman
.......................................................................................................................................43
Hình 3.1. Mô hình hóa hệ đế xoay Pan/Tilt ..................................................................44
Hình 3.2. Mô hình robot tự hành có gắn đế xoay Pan/Tilt ..........................................48
Hình 3.3. Tính toán vị trí đối tượng theo tọa độ robot..................................................49

4. 4
Hình 3.4. Tính toán động học ngược cho vị trí thực camera ........................................50
Hình 3.5. Phối cảnh của robot tự hành dạng non-honolomic cơ bản...........................51
Hình 3.6. Phối cảnh của robot di động .........................................................................53
Hình 4.1. Phối cảnh của hệ robot gắn camera bám mục tiêu di động..........................56
Hình 4.2. Cấu trúc điều khiển bám sử dụng hàm Lyapunov.........................................58
Hình 4.3. Cấu trúc rút gọn điều khiển bám sử dụng hàm Lyapunov ...........................59
Hình 4.4. Cấu trúc điều bám khiển thích nghi tách mô hình động học và động lực học
.......................................................................................................................................63
Hình 4.5. Cấu trúc hai vòng điều khiển.........................................................................70
Hình 4.6. Sơ đồ khối tổng thể của hệ thống điều khiển thích nghi đề xuất...................77
Hình 4.7. Sơ đồ cấu trúc hệ thống điều khiển ..............................................................79
Hình 4.8. Sơ đồ mô phỏng trêm Simulink hệ thống khi sử dụng bộ điều khiển thường80
Hình 4.9. Sơ đồ mô phỏng trêm Simulink hệ thống khi sử dụng bộ điều khiển thích nghi
theo mô hình mẫu đề xuất..............................................................................................80
Hình 4.10. (a) Hội tụ của các biến sai lệch; (b) Vận tốc tịnh tiến và vận tốc quay khi
sử dụng bộ điều khiển thường. ......................................................................................81
Hình 4.11. (a) Hội tụ của các biến sai lệch; (b) Vận tốc tịnh tiến và vận tốc quay khi
sử dụng MRAS. ..............................................................................................................82
Hình 4.12. (a) Hội tụ của các biến sai lệch; (b) Vận tốc tịnh tiến và vận tốc quay khi
sử dụng bộ điều khiển thường khi tham số robot thay đổi. ...........................................83
Hình 4.13. (a) Hội tụ của các biến sai lệch; (b) Vận tốc tịnh tiến và vận tốc quay khi
sử dụng bộ điều khiển MRAS khi tham số robot thay đổi. ............................................84
Hình 4.14. (a) Quỹ đạo bám các biến sai lệch; (b) Vận tốc tịnh tiến và vận tốc quay
khi sử dụng bộ điều khiển thường. ................................................................................85
Hình 4.15. (a) Quỹ đạo bám các biến sai lệch; (b) Vận tốc tịnh tiến và vận tốc quay
khi sử dụng MRAS. ........................................................................................................86
Hình 4.16. (a) Quỹ đạo bám; (b) Vận tốc tịnh tiến và vận tốc quay khi sử dụng bộ điều
khiển thường khi tham số robot thay đổi......................................................................87
Hình 4.17. (a) Quỹ đạo bám; (b) Vận tốc tịnh tiến và vận tốc quay khi sử dụng bộ
điều khiển MRAS khi tham số robot thay đổi ...............................................................87
Hình 4.18. Sơ đồ khối cấu trúc tổng thể của hệ thống..................................................88

5. 5
Hình 4.19. Giao diện HMI trên máy tính PC ...............................................................88
Hình 4.20. Một số hình ảnh chạy thực nghiệm robot tự hành bám và gắp đối tượng là
quả bóng màu đỏ R=5cm. Kết quả robot bám và gắp vật tốt, tuy nhiên mới chỉ thử
nghiệm trong phạm vi <1m2
, bối cảnh (nền và nhiễu) ảnh hưởng rất lớn đến kết quả.
.......................................................................................................................................89
Hình 4.21. Một số hình ảnh chạy thực nghiệm robot tự hành bám đối tượng là quả
bóng màu vàng R=5cm. Tốc độ bám chậm (<10 hình/giây) và phụ thuộc nhiều vào
nền và nhiễu xung quanh...............................................................................................89

6. 6
Danh mục các ký hiệu và chữ viết tắt
Chữ viết tắt Tiếng anh Tiếng việt
ASIC
Application-Specific Integrated
Circuit
Mạch tích hợp ứng dụng chuyên
biệt (hay IC chuyên dụng)
DSP Digital Signal Processor Bộ xử lý tín hiệu số.
HSV Hue, Saturation and Value
không gian màu HSV, là một
không gian màu dựa trên ba số liệu:
(Hue) vùng màu; (Saturation) độ
bão hòa màu; (Value) độ sáng.
I/O In/Out Vào/Ra
KLT Kanade–Lucas–Tomasi Feature
Tracker
Bám theo đặc trưng ảnh
LED Light-emitting Diod Đi ốt phát quang
LCD Liquid Crystal Display Màn hình tinh thể lỏng
MCU Micro Control Unit Vi điều khiển
MIMO
Multiple-Inputs and Multiple-
Outputs
Hệ nhiều đầu vào-nhiều đầu ra
MRAS
Model Reference Adaptive
Systems
Hệ thích nghi mô hình mẫu
MISO Multi Input –Single Output Hệ nhiều đầu vào- một đầu ra
FLS Fuzzy Logic System Hệ logic mờ
FMRLC
Fuzzy Model Reference
Learning Control
Điều khiển mờ thích nghi mô hình
mẫu
PID
Proportional–Integral–
Derivative
Bộ điều khiển tỷ lệ vi tích phân
PC Persional Computer Máy tính cá nhân
PWM Pulse Wide Modulation Điều chế độ rộng xung
SISO Single Input- Single Output Hệ một đầu vào-một đầu ra

7. 7
MỞ ĐẦU
1. Tính cấp thiết của luận án
Robot đang là tâm điểm của một cuộc cách mạng lớn sau Internet, ngày càng
được ứng dụng rộng rãi trong công nghiệp, cuộc sống, an ninh quốc phòng, và thám
hiểm không gian. Các nghiên cứu tập trung vào cải thiện, tăng tính linh hoạt, khả năng
thích ứng khi làm việc ở những vị trí và các ứng dụng khác nhau cho robot tự hành
đang thu hút các nhà nghiên cứu. Bên cạnh ứng dụng các cải tiến các thiết kế cơ khí,
cơ cấu chấp hành chuyển động linh hoạt thì việc ứng dụng “mắt máy” và phần mềm
xử lý, điều khiển sẽ đem lại cho robot tính linh hoạt và thông minh. Các robot tự hành
có gắn camera và các thiết bị kỹ thuật khác nhằm thực hiện một nhiệm vụ đặt trước, ví
dụ như các hệ thống phát hiện lỗi của vật liệu sử dụng camera, các hệ thống dò đường,
hệ thống phát hiện lỗi và hàn tự động, vận chuyển hàng hóa trong kho bãi, các hệ phát
hiện và bám mục tiêu di động,…Trong các hệ phát hiện và bám mục tiêu di động,
camera được trang bị để có thể nhận biết mục tiêu, kết hợp với các thuật toán xử lý ảnh
để xác định chính xác vị trí của mục tiêu (có chức năng như một mắt thần) để từ đó
điều chỉnh cơ cấu chấp hành sao cho tâm của mắt bám đúng mục tiêu. Trong những
năm gần đây, các hệ thống bám mục tiêu di động được quan tâm nghiên cứu rất rộng
rãi, nhất là trong lĩnh vực quốc phòng. Luận án đề cập đến việc nghiên cứu thiết kế và
chế tạo robot tự hành dạng non-holonomic bám mục tiêu di động trong phòng thí
nghiệm cơ điện tử với mục đích phục vụ cho công tác nghiên cứu các thuật toán xử lý
ảnh và điều khiển hiện đại làm tiền đề cho việc chế tạo các sản phẩm phục vụ đào tạo,
y tế, công nghiệp và xa hơn nữa là ứng dụng cho an ninh, quốc phòng. Sản phẩm trông
đợi của luận án là một robot tự hành tự động bám mục tiêu di động trong phòng thí
nghiệm.
Ngày nay, với sự phát triển của công nghệ điện tử, tốc độ tính toán của vi xử lý
tăng vượt trội, các chức năng hỗ trợ giao tiếp với các ngoại vi cũng được tích hợp trên
một chip, nhờ vậy mà các phương pháp xử lý ảnh hiện đại và các phương pháp điều
khiển phức tạp như điều khiển thích nghi bền vững có thể thực thi một cách dễ dàng
hơn, chính vì thế các hệ thống bám mục tiêu di động được cải thiện rất nhiều về mặt
chất lượng. Vì thế, các nghiên cứu phát triển thuật toán xử lý ảnh hiện đại và các thuật
toán điều khiển bám thích nghi, bền vững ngày càng trở nên cấp thiết do khả năng thực

8. 8
hiện các thuật toán này trong thực tế sẽ giúp cho các hệ thống điều khiển bám mục tiêu
ổn định, chính xác và bền vững hơn khi hệ thống hoạt động trong môi trường thực tế
có nhiễu tác động và có sự thay đổi của tham số mô hình.
Các robot thông minh có trang bị camera thường có hai loại: loại đặt cố định
thường là một bệ đế xoay Pan/Tilt có gắn camera (robot hai bậc tự do) và loại thứ hai
là robot tự hành có gắn camera. Trên thế giới, các hệ thống bám đặt cố định thường
được phát triển bởi các tập đoàn sản xuất chế tạo vũ khí, thiết bị an ninh trên thế giới,
đó đều là những tập đoàn, công ty có nhiều năm kinh nghiệm trong lĩnh vực sản xuất
chế tạo vũ khí, thiết bị an ninh. Cũng đã có một số công trình công bố liên quan
[35,36,37,38] tuy nhiên đa số là những bài nghiên cứu, giới thiệu tổng quan không hề
có các kết quả cụ thể, chi tiết hay là bí quyết công nghệ mới trong đó. Vì đây là các hệ
thống tích hợp ứng dụng nhiều cho an ninh, quốc phòng nên có tính nhạy cảm rất cao,
do vậy việc bí mật các bí quyết công nghệ là tất yếu. Đã có rất nhiều loại sản phẩm
được thương mại hóa, tuy nhiên giá của một hệ thống robot tích hợp tự động bám mục
tiêu (ứng dụng cho an ninh, quốc phòng) tùy theo các tính năng kèm theo có giá từ vài
trăm nghìn, hàng triệu đến vài chục triệu USD (đặc biệt là Việt Nam không thể mua
được đồng bộ vì thường bị cấm xuất khẩu). Do đó, việc nghiên cứu về lĩnh vực này trở
nên cấp thiết, cũng đã có một số cơ quan nghiên cứu của Việt Nam đã và đang phát
triển các nhiệm vụ nghiên cứu theo hướng này và đã đạt được một số thành quả nhất
định [13,14,15,20].
Thời gian gần đây, các robot tự động bám mục tiêu đang thu hút sự tập trung
nghiên cứu. Trên thế giới, các hệ thống này được trang bị trên các tàu chiến, xe tăng,
máy bay chiến đấu, máy bay không người lái, hay là các robot chiến binh để dò phá
bom mìn, tình báo, hoạt động trong các môi trường độc hại, các địa hình hiểm trở,….
Với hệ thống bám di động thì độ phức tạp đã tăng lên, các công bố khoa học liên quan
lại rất ít, đặc biệt là các công trình liên quan đến việc thiết kế, chế tạo thì hầu như
không có [70,77]. Tại Việt Nam, các kết quả nghiên cứu ở lĩnh vực này chưa nhiều,
đặc biệt các cơ sở nghiên cứu không trực thuộc bộ quốc phòng chưa được hỗ trợ kinh
phí để phát triển nghiên cứu và chế tạo thử nghiệm các sản phẩm nên khả năng tiếp
cận trình độ thế giới còn nhiều khó khăn.
Xuất phát từ những luận điểm đã nêu trên, nghiên cứu sinh đã lựa chọn đề tài cho
luận án của mình là:
“Xây dựng Robot tự hành dạng Non-holonomic và tổng hợp bộ điều khiển bám quỹ
đạo”

9. 9
Nội dung nghiên cứu của luận án này sẽ tập trung vào việc xây dựng và phát
triển một hệ robot tự hành dạng non-holonomic có gắn camera, có khả năng bám theo
mục tiêu di động. Để thực hiện được nội dung này cần phải tiến hành các bước: chế
tạo phần cứng cho robot tự hành, mô hình hóa và mô phỏng hệ robot đã xây dựng,
nghiên cứu các thuật toán xử lý bám ảnh tự động và nâng cao chất lượng bám, nghiên
cứu các thuật toán điều khiển bám cho robot để từ đó đề xuất thuật toán điều khiển
thích nghi nâng cao chất lượng bám cho hệ phi tuyến có mô hình bất định, và cuối
cùng là hiện thực hóa các nghiên cứu bằng sản phẩm của luận án, một robot tự hành
bám mục tiêu di động, nhằm mục đích kiểm tra tính đúng đắn của các thuật toán được
đề xuất và làm cơ sở phát triển các nghiên cứu tiếp theo.
2. Mục tiêu của luận án
Mục tiêu của luận án là nghiên cứu, đề xuất thuật toán điều khiển thích nghi cho
robot tự hành bám quỹ đạo trên cơ sở hệ phi tuyến bất định, đặc biệt chú ý đến chất
lượng bám và sự thay đổi của các tham số của robot (bởi mục đích ứng dụng của robot
là tương tác với đối tượng và môi trường khác nhau) và chịu tác động của nhiễu khi
hoạt động trên các địa hình khác nhau.
Một yếu tố cũng cần chú ý là thuật toán đó phải hướng đến lập trình nhúng trên
vi xử lý và chạy thử nghiệm thực tế các thuật toán mới đề xuất, do đó nhiệm vụ là phải
thiết kế, chế tạo một robot tự hành có gắn camera tự động bám mục tiêu di động trong
phòng thí nghiệm để kiểm chứng. Bên cạnh việc tập trung nghiên cứu thuật toán điều
khiển mới, việc nghiên cứu và đề xuất thuật toán trong xử lý ảnh để cải thiện chất
lượng phát hiện và định vị mục tiêu phải tiến hành song song, bởi tốc độ, độ chính xác
tổng thể của toàn hệ thống gắn liền với độ chính xác của “sensor ảnh”.
3. Đối tượng và phạm vi nghiên cứu của luận án
Về lý thuyết:
 Nghiên cứu tổng quan về hệ thống quang điện tử tích hợp, robot tự hành, tình
hình nghiên cứu trong và ngoài nước, từ đó rút ra các hướng nghiên cứu thích hợp cho
luận án.
 Nghiên cứu các thuật toán xử lý ảnh bám bắt mục tiêu di động, đề xuất các
phương pháp cải thiện nâng cao chất lượng và tốc độ bám.
 Mô hình hóa và mô phỏng động học, động lực học, động học ngược của mô
hình robot tự hành, các bài toán quy đổi các tọa độ, trục tọa độ của bài toán điều khiển
bám robot theo ảnh.

10. 10
 Nghiên cứu các thuật toán điều khiển thích nghi robot, mục đích là nâng cao
chất lượng bám và khả năng thích nghi khi robot có các tham số thay đổi và có nhiễu
tác động khi hoạt động trong môi trường thực tế và tương tác với mục tiêu (có các
tham số khối lượng và mô men quán tính thay đổi và chịu tác động của nhiễu sai lệch
mô hình).
 Thiết kế một cấu trúc phần mềm điều khiển hoàn chỉnh, đồng bộ hóa và có khả
năng cài đặt cho robot thực tế để kiểm định các kết quả nghiên cứu lý thuyết chuyên sâu
vào sản phẩm robot.
Về thực hành:
 Với mục tiêu sản phẩm phải có khả năng ứng dụng, do đó công việc khảo sát,
đánh giá các sản phẩm đã có trong và ngoài nước nhằm rút ra các tiêu chuẩn cho sản
phẩm của luận án là công việc đầu tiên.
 Thiết kế và chế tạo đồng bộ phần cứng và các thiết bị ngoại vi với phần cơ khí
theo đúng tiêu chuẩn công nghiệp, thuận tiện cho người sử dụng, dễ dàng lắp ghép
thao tác và nâng cấp. Chế tạo các mạch điện tử, điều khiển, giao tiếp ngoại vi với mục
tiêu đủ nhanh, mạnh theo hướng có thể mở rộng và nâng cấp.
 Nghiên cứu, thiết kế và chế tạo cảm biến định vị mục tiêu trên cơ sở công
nghệ xử lý ảnh kết hợp với bộ lọc Kalman.
 Thiết kế cấu trúc, lập trình, cài đặt các thuật toán đã nghiên cứu cho robot,
chạy thử nghiệm và đánh giá kết quả.
4. Ý nghĩa khoa học và thực tiễn của luận án
Ý nghĩa khoa học:
 Một thuật toán thích nghi theo mô hình mẫu mới được đề xuất để điều
khiển bám quỹ đạo cho robot tự hành khi robot có tham số m, I là bất định và có tác
động của nhiễu. Thuật toán này chưa được cài đặt trên bất cứ robot nào trước đó trong
và ngoài nước, có tính linh hoạt cao, cấu trúc đơn giản, dễ dàng cho việc lập trình cài
đặt trên vi xử lý, có khả năng thích nghi khi có nhiễu tác động hoặc khi tham số m và I
của robot thay đổi đặc biệt thích hợp với mô hình robot sản phẩm của luận án. Bộ điều
khiển đề xuất là sự kết hợp giữa hai khâu: bộ điều khiển phi tuyến cho mô hình động
học và bộ điều khiển thích nghi mô hình mẫu cho mô hình động lực học sử dụng thông
tin phản hồi từ cơ cấu chấp hành của robot tự hành.
Ý nghĩa về mặt công nghệ thực tiễn:

11. 11
 Thiết kế, chế tạo và chạy thử nghiệm thành công robot tự hành có gắn
camera. Sản phẩm này có thể sử dụng trong đào tạo thực tiễn cho sinh viên, học viên
cao học các ngành robot, tự động hóa, điều khiển và cơ điện tử… hiện đang rất cần tại
Việt Nam. Sản phẩm cũng đang được sử dụng để phục vụ đào tạo và nghiên cứu khoa
học cho sinh viên ngành điều khiển tự động, trường Đại học Bách khoa HN, Đại học
KH&CN – Viện Hàn lâm Khoa học và Công nghệ Việt Nam, ngành cơ điện tử, Điện
tử trường Đại học Công nghiệp Hà Nội và trường Cao đẳng nghề Công nghệ cao Hà
Nội. Hướng phát triển đến các ứng dụng thực tiễn như chế tạo các robot dò tìm lỗi và
hàn tự động, dò đường và trải thảm nhựa đường tự động, robot quan trắc môi trường
tại các nơi có điều kiện môi trường độc hại, robot phục vụ chăm sóc y tế, robot dò phá
bom mìn…
5. Nội dung của luận án
Bố cục của luận án bao gồm 5 Chương:
Chương 1: "Đặt vấn đề nghiên cứu và xây dựng robot tự hành", nghiên cứu
tổng quan về hệ thống robot tự hành có gắn camera tự động bám theo mục tiêu di động,
các nghiên cứu liên quan đến lĩnh vực này trong và ngoài nước nhằm định hướng
nghiên cứu phát triển cho luận án bao gồm các yêu cầu về phần cứng, phần mềm,
nghiên cứu và phát triển thuật toán xử lý ảnh, thuật toán điều khiển mới phù hợp cho
sản phẩm của luận án được đề xuất.
Chương 2: " Thiết kế chế tạo cảm biến vị trí trên cơ sở xử lý ảnh cho bài toán
bám bắt mục tiêu di động" đi sâu nghiên cứu các vấn đề về lý thuyết xử lý ảnh bám
bắt: cấu trúc của một vòng xử lý và điều khiển bám bắt mục tiêu di động, các thuật
toán xử lý ảnh bám bắt mục tiêu di động như KLT, Corelation Template, MeanShif,
Camshif. Đề xuất một giải pháp mới là kết hợp thuật toán Camshift với bộ lọc Kalman
để cải thiện chất lượng ảnh nhằm nâng cao độ chính xác của cảm biến bắt mục tiêu.
Chương 3: "Mô hình hóa hệ robot tự hành có gắn camera" đi sâu nghiên cứu
các phương pháp mô hình hóa, mô phỏng hệ robot tự hành có gắn camera, đồng bộ hệ
trục tọa độ về tọa độ tâm robot nhằm phục vụ cho bài toán thiết kế thuật toán điều
khiển bám quĩ đạo, xây dựng mô hình mô tả động học, động lực học, động học ngược
của robot tự hành có gắn camera, sản phẩm của luận án, đã được thiết kế và chế tạo ở
Chương 1 và quy đổi hệ tọa độ về tâm của robot sản phẩm được kết hợp với các thuật
toán xử lý ảnh ở chương 2 để xác định quỹ đạo đặt cho bài toán điều khiển bám quỹ
đạo của robot tự hành được nghiên cứu ở chương tiếp theo sau.

12. 12
Chương 4: "Thiết kế bộ điều khiển thích nghi điều khiển bám quỹ đạo robot tự
hành". Đây là đóng góp chính của luận án. Trong chương này, ngoài việc trình bày
một số phương pháp điều khiển bám quỹ đạo cho robot tự hành đã được công bố,
nghiên cứu về thuật toán thích nghi theo mô hình mẫu bám quỹ đạo cho robot tự hành
mới công bố [60] được trình bày. Từ các phân tích ưu nhược điểm của thuật toán này,
một đề xuất mới nhằm mở rộng thuật toán thích nghi theo mô hình mẫu bám quỹ đạo
cho robot tự hành ngoài các tham số khối lượng m,và moment quán tính I là bất định
còn có thêm tác động của nhiễu. Bộ điều khiển đề xuất được thực hiện trên cơ sở cấu
trúc điều khiển cascade gồm hai khâu: bộ điều khiển phi tuyến cho mô hình động học
và bộ điều khiển thích nghi mô hình mẫu cho mô hình động lực học sử dụng thông tin
phản hồi từ cơ cấu chấp hành của robot tự hành. Tính ổn định của hệ kín được khảo sát
và thỏa mãn bởi việc lựa chọn hàm Lyapunov tương thích. Các kết quả mô phỏng,
chạy thử nghiệm cho thấy tính đúng đắn của các phân tích lý thuyết, hiệu quả của của
bộ điều khiển đề xuất và khả năng ứng dụng trong thực tế.
Chương 5: “Kết luận” trình bày tóm tắt các đóng góp chính của luận án và
hướng phát triển của luận án trong tương lai.

13. 13
CHƯƠNG 1. ĐẶT VẤN ĐỀ NGHIÊN CỨU VÀ XÂY DỰNG MÔ
HÌNH ROBOT TỰ HÀNH
Các hệ quang điện tử tích hợp hay robot thông minh có trang bị camera thường
có hai loại: loại đặt cố định thường là một bệ đế xoay Pan/Tilt có gắn camera (robot
hai bậc tự do) và loại thứ hai là robot tự hành có gắn camera. Loại thứ nhất được tập
trung nghiên cứu và có nhiều sản phẩm nổi bật đã được sử dụng cho các hệ thống an
ninh, quốc phòng đặc biệt là các hệ thống khí tài trang bị cho phòng không không
quân, hải quân, và cảnh giới bờ biển… Ngoài việc hệ Pan/Tilt cố định có tích hợp
camera như trên, hiện hướng nghiên cứu các robot tự hành có gắn camera cũng đang là
hướng nghiên cứu tập trung của các nhà nghiên cứu. Một hệ thống robot thông minh
có gắn vũ khí cũng được sử dụng nhiều trong y tế, công nghiệp, an ninh quốc phòng và
có khả năng thay thế con người làm việc trong các điều kiện khắc nghiệt và nguy hiểm
hoặc khám phá không gian. Các robot tự hành loại này trước đây thường hoạt động
bằng các cảm biến như cảm biến màu sắc, hồng ngoại, cảm biến dò đường, siêu âm.
Gần đây các robot loại này được phát triển và tích hợp thêm “thị giác”, việc tích hợp
trên robot hệ thống camera thông minh ứng dụng công nghệ xử lý ảnh sẽ tăng khả
năng cơ động, và “thông minh” cho robot.
Nội dung của chương 1 tập trung vào việc nghiên cứu tổng quan về một hệ robot
tự hành có gắn camera, phân tích tình hình nghiên cứu trong và ngoài nước nhằm rút
ra hướng nghiên cứu trọng tâm của luận án. Chương này cũng trình bày việc xây dựng
và phát triển hoàn thiện phần cứng cho một robot tự hành có gắn camera nhằm mục
đích vào việc thử nghiệm lý thuyết, thuật toán nghiên cứu của luận án.
1.1. Nghiên cứu tổng quan về hệ thống robot có gắn camera
1.1.1 Tổng quan về một hệ robot có gắn camera bám mục tiêu di động
Thông tin hình ảnh nhận được từ đôi mắt có vai trò rất quan trọng đối với con
người, nó là kênh thông tin chủ yếu để đưa ra các quyết định của con người, có cấu tạo
không quá phức tạp song lại chứa một lượng thông tin khổng lồ. Do đó việc nghiên
cứu và đưa các ứng dụng của thị giác vào ứng dụng trong thực tế đã được đưa ra từ
khá lâu, tuy nhiên chỉ mới mấy thập kỷ gần đây, với sự phát triển mạnh của các ngành
công nghệ cao liên quan như toán – công nghệ thông tin, công nghệ vi điện tử – xử lý

14. 14
tín hiệu số, đầu thu quang lượng tử, laser, vi cơ - quang - điện tử MEMS, OMEMS thì
những ý tưởng đó mới dần trở thành hiện thực và “thị giác máy” trở thành một ngành
khoa học mới với đầy những hứa hẹn. Xin nêu một số ứng dụng cụ thể [19]:
1/. Trong quân sự: Các hệ thống tích hợp nhìn ngày và quang hồng ngoại nhìn
đêm có khả năng quan sát và tự động điều khiển dàn hỏa lực (pháo, tên lửa) được lắp
đặt cho các chốt điểm trên đất liền, cho chốt canh của các hải đảo, trận địa cao xạ, trên
xe tăng, tàu chiến, máy bay, tên lửa hoặc vệ tinh. Chúng được thay thế và hỗ trợ các
dàn rada dễ bị nhiễu trong việc tự động phát hiện, cảnh giới, bám bắt mục tiêu. Đặc
biệt có những loại lắp trên máy bay có khả năng điều khiển hỏa lực đánh phá hàng
chục mục tiêu một lúc. Ngoài ra còn phải kể đến các đầu tự dẫn tên lửa và đạn thông
minh
2/. Trong an ninh, phòng chống tội phạm, bảo vệ pháp luật: Các hệ thống camera
nhận dạng khuôn mặt vân tay tự động cũng như phát hiện, theo dõi, cảnh báo các âm
mưu và hoạt động khủng bố. Các xe robot tự hành có gắn các camera cũng được ứng
dụng trong các môi trường độc hại, dò phá bom mìn.
3/. Trong lĩnh vực hàng không vũ trụ: Các hệ thống ống kính chụp ảnh viễn thám
(remote sensing) lắp trên các vệ tinh bay quanh trái đất có thể chụp và quan sát được
các vật kích cỡ 0,5 m từ độ cao 750 km trong mọi điều kiện thời tiết... Việc nối ghép
các ống kính này với hệ thống GPS sẽ cho phép xây dựng các bản đồ số có những lĩnh
vực ứng dụng cực kỳ quan trọng trong quốc phòng an ninh, phát triển kinh tế, xã hội....
Các robot tự hành thám hiểm các hành tinh mà con người chưa thể tới được.
4/. Trong công nghiệp, giao thông, xây dựng: Hệ thống quang điện tử đóng vai
trò của các thị giác máy (machine vision) có khả năng tự động đo đạc kiểm tra chất
lượng sản phẩm trong các dây chuyền sản xuất: phân loại hạt ngũ cốc, cà phê; tìm lỗi
lắp ráp linh kiện các bản vi mạch và khuyết tật các mối hàn và động cơ. Các hệ thống
này cũng được ứng dụng như các robot hàn tự động, vận chuyển kho bãi, trải thảm
nhựa, aphal trong xây dựng đường giao thông... Các hệ thống quang điện tử cũng được
ứng dụng ngày càng nhiều trong giao thông như đo tốc độ, tự động kiểm soát điều
khiển và phân luồng giao thông.
5/. Trong nghiên cứu y sinh dược học: Các kính hiển vi có khả năng tự động
nhận dạng và đo đếm các tế bào với độ chính xác cao. Các kính hiển vi có hệ thống
dẫn đường laser cho phép thực hiện những phẫu thuật rất phức tạp như mổ u não, nơi

15. 15
mà một sự không chính xác cỡ m cũng gây tổn hại đến các dây thần kinh chằng chịt
xung quanh...
6/. Trong công nghiệp giải trí truyền hình: Các hệ thống tích hợp có thể điều
khiển các camera kích thước và khối lượng lớn dễ dàng tự động bám theo các đối
tượng chuyển động nhanh như bóng đang bay, đua xe..
- Cấu tạo và nguyên lý hoạt động
Qua những ứng dụng trên cho thấy: một hệ robot có gắn camera (hệ quang điện
tử tích hợp) là một chu trình khép kín từ lúc phát tín hiệu hình ảnh (đối tượng, nguồn
sáng sử dụng...) qua khâu truyền tải và biến đổi tín hiệu quang học (các ống kính...)
cho đến việc thu nhận (CCD...) xử lý và điều khiển các cơ cấu chấp hành. Trong mọi
khâu ta đều thấy sự tích hợp của nhiều lĩnh vực công nghệ cao như toán-tin học, vi
điện tử-máy tính, đầu thu quang lượng tử, laser, cơ khí chính xác, quang học, MEMS,
OMEMS, điều khiển điện tự động, robot, xử lý nhận dạng ảnh...
Hình 1.1. Sơ đồ tổng quan của một hệ robot có tích hợp camera.
Sơ đồ nguyên lý hoạt động của hệ robot có tích hợp camera được biểu diễn qua
Hình 1.1 [19] nó bao gồm những cụm chức năng chính sau:
1/- Hệ thu nhận tín hiệu hình ảnh: bao gồm các camera, ống kính.
Số hóa ảnh
A/D
Xử lý và
nhận dạng
ảnh
Các đèn chiếu
sáng phụ
Hiển thị ảnh
Điều khiển
các động cơ
Đầu thu
CCD, IR
Cảm biến hỗ trợ
khác
Lưu trữ ảnh
Máy in
Các tín hiệu
cảnh báo
Truyền tín hiệu
điều khiển cho
các trạm khác
Thiết bị điều
khiển (PLC,
vi điều khiển
)
truyền
thông

16. 16
2/- Bộ chuyển đổi tín hiệu A/D: mạch vi điện tử frame grabber để số hóa tín hiệu
hình ảnh cho máy tính, bộ vi xử lý, bộ xử lý tín hiệu số.
3/- Hệ thống điều khiển trung tâm: sự phát triển vũ bão của công nghệ sản xuất vi
mạch đã đưa ra những công nghệ vi xử lý mới dựa trên xử lý tín hiệu số có tốc độ và
hiệu năng tính toán cao như ARM, DSP, FPGA và mạch ASICs (custom aplication-
specific intergrated circuits) không chỉ làm tăng tốc độ xử lý tính toán điều khiển mà
còn thu nhỏ được kích thước thiết bị gấp nhiều lần.
4/- Máy tính và chương trình phần mềm nhận dạng và xử lý ảnh tự động: có thể
viết bằng ngôn ngữ nhúng trên vi xử lý, DSP, FPGA, ASIC hoặc trên ngôn ngữ bậc
cao như C, C++, VisualC, Labview, Matlab…để chạy trên máy tính PC hoặc máy tính
nhúng.
5/- Hệ sensor hỗ trợ khác: đo xa laser (YAG-Neodym hoặc laser diode), Gyro
sensor, la bàn số, cảm biến từ trường, sensor siêu âm…vv có thể ghép nối máy tính, vi
xử lý thông qua giao tiếp nối tiếp, hoặc RF, 3G …vv.
6/- Hệ thống truyền động (các động cơ): thường dùng là các đông cơ servo AC
và DC. Nếu đặt trên phương tiện di động (xe, tàu thủy, máy bay, vệ tinh...) thì cần phải
có bộ ổn định trên cơ sở các con quay hồi chuyển (gyroscope).
7/- Hệ thống các thiết bị ngoại vi và và kết nối với trạm khác.
8/- Hệ thống cung cấp điện: ổn áp và dòng cung cấp cho toàn bộ hệ thống
Hình 1.2. Sơ đồ hệ thống robot và camera cố định.
Camera
Robot
Tín hiệu điều
khiển
Máy
tính
Đối tượng

17. 17
Hệ thống quang điện tử tích hợp có thể phân thành 2 lớp, theo như cấu trúc của
hệ, đó là hệ đặt cố định (tay máy robot cố định và có camera gắn cố định Hình 1.2) và
hệ di động (có camera gắn trên robot tự hành Hình 1.3). Trong hệ camera cố định,
camera được gắn cố định so với hệ trục tọa độ thực, thu thập ảnh của cả mục tiêu và cả
môi trường. Mục tiêu của hệ camera cố định này là cung cấp tín hiệu điều khiển sao
cho robot có thể tương tác với đối tượng theo một bài toán mong muốn, hệ thống này
thường được ứng dụng trong các dây chuyền sản xuất, phân loại sản phẩm, trong công
nghiệp, bám mục tiêu trong an ninh quốc phòng.
Hình 1.3. Sơ đồ hệ thống robot tự hành gắn camera di chuyển
Trong Hình 1.3 là hệ có camera gắn trên robot và cả hệ robot và camera sẽ di
chuyển. Mục đích của cấu trúc này là điều khiển robot sao cho ảnh của mục tiêu di
động hoặc cố định được duy trì ở vị trí mong muốn trên mặt phẳng ảnh thu được.
Mục đích của hệ thống bám tự động là để duy trì một “đường ngắm” viết tắt là
LOS (Line Of Sight) cảm biến - mục tiêu một cách ổn định và hoàn toàn tự động trong
khi tồn tại cả chuyển động tương đối của mục tiêu và chuyển động của đế gắn cảm
biến làm nhiễu loạn tới dữ liệu cảm biến hình ảnh. Mục tiêu thường được định vị ban
đầu, bởi hoặc là người điều khiển hoặc là hệ thống nhận dạng mục tiêu tự động. Sau
đó, hệ thống bám sẽ khoá chặt mục tiêu và duy trì LOS tự động.
1.1.2. Tổng quan tình hình nghiên cứu trong và ngoài nước
1.1.2.1. Tình hình nghiên cứu ngoài nước
Trên thế giới có một số tài liệu như: [35, 36, 37,38, 73, 74]. Đây là một số công
bố rất ít liên đến hệ thống quang tích hợp trên thế giới. Tuy nhiên đây đa số là những
bài nghiên cứu, giới thiệu tổng quan không hề có công bố cụ thể, chi tiết hay là bí
quyết công nghệ mới trong đó. Vì đây là các hệ thống tích hợp có tính chất đa ngành,
robot tự hành
camera
Vật thể cần giám sát

18. 18
ứng dụng nhiều cho an ninh, quốc phòng do đó việc bí mật các bí quyết công nghệ là
tất yếu.
Với các tập đoàn, công ty chuyên sản xuất các thiết bị cho An ninh, Quốc phòng
lớn trên thế giới như: NASA, Northrop Grumman, Lockheed Martin, Kollmorgen,
Santa Barbara, Raytheon, Radamec, Newcon Optics, Flir…thì chỉ công bố các tính
năng kỹ thuật, chức năng hoạt động của các hệ thống quang điện tử tích hợp sản phẩm
của mình, tất cả các tài liệu nghiên cứu, thiết kế, tích hợp chuyên sâu đều không được
đề cập. Việc nghiên cứu và đi đến thiết kế chế tạo hệ quang điện tử bám bắt theo ảnh
là rất có ý nghĩa, nếu chúng ta chủ động được các khâu từ nghiên cứu, phát triển cho
đến công nghệ chế tạo thì ngoài tính kinh tế còn bảo đảm tính bí mật bất ngờ. Công
nghệ này có tính lưỡng dụng nên sẽ có thể mở ra và phát triển nhiều ứng dụng trong
các lĩnh vực khác như công nghiệp, giao thông, y tế, nghiên cứu, truyền hình...
Hình 1.4. Ảnh một số sản phẩm hệ quang điện tử tích hợp cố định trên thế giới
Hình 1.5. PAN robot, robot Pops, MIDbo (nguồn: www.mobilerobot.org)

19. 19
Thời gian gần đây, các nghiên cứu về dân sự và tập trung ở hướng robot tự hành
có gắn camera (Hình 1.6) và bám theo mục tiêu di động, các công trình nghiên cứu từ
[44÷66] đều tập trung vào hướng nghiên cứu này.
Hình 1.6. robot Talon, robot MARRS và robot Spirit thám hiểm sao hỏa của NASA
Trên thế giới, các hệ thống quang điện tử tích hợp được phát triển bởi số ít các
tập đoàn sản xuất chế tạo vũ khí, thiết bị an ninh, đó đều là những tập đoàn, công ty có
nhiều năm kinh nghiệm trong lĩnh vực sản xuất chế tạo vũ khí, thiết bị an ninh. Nhìn
chung, các bộ điều khiển này rất đa dạng về chủng loại, mục đích sử dụng, hình dáng,
kích thước và tính năng, có thể rút ra một số đặc điểm chính của các bộ điều khiển đó
như sau:
+ Về phần cứng:
Hình thức: rất đa dạng, gọn, chắc chắn, dễ lắp đặt tùy từng loại ứng dụng, tầm
quan sát, và đảm bảo các yêu cầu về an ninh, quân sự: kín khít, chống ăn mòn, chịu
được thời tiết khắc nghiệt như mưa, gió, khí hậu biển….
Mạch in được thiết kế nhiều lớp, được nhiệt đới hóa để bảo đảm hoạt động an
toàn tin cậy, có khả năng chỗng nhiễu. Các bộ điều khiển sử dụng nguồn điện điện áp
một chiều 24V hoặc 12V. Nguồn điện luôn luôn sử dụng các mạch bảo vệ quá điện áp
và quá dòng. Vi xử lý và tất cả các linh kiện điện tử đều là loại đặc chủng dành cho
quân sự.
Tùy theo mục đích từng loại và ứng dụng mà hệ có các đầu vào ra thích hợp với
các ứng dụng để tiết kiệm chi phí và kích thước sản phẩm. Tuy nhiên, các đầu vào, ra
dễ dàng giao tiếp, ghép nối với các thiêt bị ngoại vi khác cũng như có khả năng mở
rộng với thiết bị bên ngoài như hệ xoay súng, pháo, tên lửa…..
+ Về phần mềm:
Đa số đều giống nhau, có chức năng chính như sau:

20. 20
- Đọc ảnh, video từ camera truyền về, hiển thị, lưu trữ ảnh thu được, truyền hình
ảnh qua cáp, mạng truyền thông không dây, Wifi…
- Có các chức năng điều khiển hệ đế xoay, các thiết bị ngoại vi.
- Giao tiếp với Module Joystick để điều khiển.
- Hiển thị vị trí, vận tốc và góc quay.
- Có khả năng bám mục tiêu tự động.
1.1.2.2. Tình hình nghiên cứu trong nước
Từ nhiều năm nay, một số cơ quan nghiên cứu chủ yếu thuộc Bộ Quốc phòng đã
đặt vấn đề nghiên cứu xây dựng hệ thống, có thể kể ra:
- Viện Nghiên cứu Tự động hóa Quân sự đã nghiên cứu và chế tạo thành công hệ
quang điện tử tích hợp ứng dụng cho hỏa lực tên lửa phòng không không quân. Đây là
Đề tài đã đoạt giải thưởng Hồ Chí Minh về Khoa học công nghệ. Đây cũng là công
trình mang tính chất tuyệt mật.
- Viện Vũ khí và Phân Viện Vật lý Kỹ thuật thuộc Viện Khoa học Công nghệ và
Kỹ thuật Quân sự - Bộ Quốc phòng cũng đã nghiên cứu triển khai hệ tích hợp ứng
dụng cho pháo phòng không.
- Viện Nghiên cứu ứng dụng công nghệ Bộ Khoa học và Công nghệ... đã đặt vấn
đề nghiên cứu chế tạo hệ thống quang điện tử tích hợp tự động bám mục tiêu dựa trên
hình ảnh và đã đạt được một số kết quả nhất định, và đây cũng là hệ thống ứng dụng
cho Phòng không không quân, tầm quan sát xa.
- Ngoài ra còn phải kế đến một số cơ quan khác như Học viện kỹ thuật quân sự,
quân chủng phòng không không quân cũng đã nghiên cứu triển khai, tuy nhiên các kết
quả do đặc thù quân sự mà thông tin không được công bố nhiều.
Đánh giá chung là đa số các hệ thống này đều là các sản phẩm phục vụ bám mục
tiêu bay, là các hệ quang điện tử tích hợp đặt cố định, phục vụ cho phòng không, có
tầm quan sát bám bắt xa (>2Km). Mặc dù các nghiên cứu đã có các kết quả đã được
khẳng định, tuy nhiên vì đây là một hệ thống đòi hỏi sự kết hợp của rất nhiều lĩnh vực
khoa học công nghệ cao và đặc biệt là lĩnh vực ứng dụng cho quốc phòng do đó các
thông tin là rất hạn chế.
Đối với các hệ robot tự hành gắn camera bám mục tiêu di động, cũng đã có một
số công trình thuộc các cơ quan nghiên cứu ngoài Bộ Quốc phòng được công bố [13,
14, 15, 16, 17, 18,19, 20] và cũng như đang được phát triển: như Viện Công nghệ

21. 21
thông tin, Đại học Công nghệ, Đại Học Bách Khoa Hà Nội và TP HCM. Tuy nhiên có
thể nhận thấy đối với hệ robot tự hành có gắn camera hiện tại các kết quả nghiên cứu
trong nước là rất ít.
1.2.3. Kết luận và lựa chọn hướng nghiên cứu, phát triển Luận án
Sau những phân tích tổng hợp tình hình nghiên cứu của các hệ robot có tích hợp
camera (cả hệ cố định và hệ di động) trong và ngoài nước ở trên, hướng nghiên cứu
của luận án là sẽ tập trung vào hệ robot tự hành có gắn camera có khả năng tự động
bám mục tiêu cỡ nhỏ trong phòng thí nghiệm. Cụ thể các nhiệm vụ cần phải thực hiện
của luận án:
- Xây dựng một robot tự hành có gắn camera: đây là công việc đầu tiên và cần
thiết, là cơ sở cho việc hiện thực hóa các kết quả nghiên cứu về các thuật toán của luận
án. Lý do khác cho việc lựa chọn nhiệm vụ này là việc mua một sản phẩm robot tự
hành có sẵn sẽ tốn kinh phí không nhỏ và đặc biệt là sự không chủ động trong cấu hình
cứng, nâng cấp. Ngoài ra, thực sự việc xây dựng, chế tạo một robot cũng có ý nghĩa
thực tiễn bởi hiện các robot loại này ở các trường đại học, cao đẳng, đơn vị nghiên cứu
ngoài quân sự là rất thiếu, ứng dụng đầu tiên của sản phẩm này là sẽ trang bị cho các
phòng thí nghiệm cơ điện tử của các cơ sở đào tạo.
- Về phần xây dựng cảm biến từ camera (xử lý ảnh, xác định vị trí mục tiêu):
ngoài việc nghiên cứu và ứng dụng các thuật toán xử lý ảnh đã có, vấn đề nâng cao
chất lượng, bền vững của quá trình bám ảnh là nhiệm vụ nghiên cứu. Đề xuất đưa bộ
lọc Kalman vào việc nâng cao chất lượng bám là một gợi ý, bởi các công trình công bố
trước đã có một số kết quả tuy nhiên hoặc là mới chỉ dừng ở kết quả mô phỏng, hoặc
là mới chỉ áp dụng cho các hệ cố định.
- Về phần thiết kế hệ thống điều khiển:
+ Trước tiên là mô hình hóa và mô phỏng tổng thể hệ thống robot tự hành đã xây
dựng từ vị trí của mục tiêu, vị trí robot quy về hệ trục tọa độ nằm trên tâm robot. Tính
toán động học thuận, động học ngược của hệ để phục vụ cho bài toán điều khiển.
Nghiên cứu một thuật toán điều khiển thích nghi bám quỹ đạo cho robot tự hành khi có
tham số: khối lượng, moment thay đổi và có nhiễu ma sát khi robot di chuyển trên các
địa hình khác nhau, đây là việc thường xuyên xảy ra đối với robot tự hành. Một yêu
cầu là thuật toán có cấu trúc đơn giản và bền vững nhằm mục đích có thể lập trình
nhúng và thử nghiệm trên robot.

22. 22
1.2. Xây dựng mô hình robot tự hành.
Như trong kết luận phần 1.2 về mục tiêu và nhiệm vụ của luận án, công việc đầu
tiên là xây dựng một robot di động: thiết kế cấu trúc, xây dựng phần cứng, lập trình
phần mềm cho lõi vi xử lý, lập trình phần mềm trên PC để giám sát hoạt động của
robot.
1.2.1. Xây dựng cấu trúc của hệ robot tự hành
1.2.1.1 Cấu trúc tổng quan của hệ robot tự hành bám mục tiêu chuyển động.
Hệ thống tổng quan bao gồm có 3 bộ phận chính [18, 19, 37] Hình 1.7: (1) Máy
tính PC, hình ảnh thu được từ cảm biến hình ảnh (camera) và các tín hiệu phản hồi vị
trí và tốc độ của robot sẽ được xử lý và tính toán tọa độ của mục tiêu. Từ đó tính toán
ngược và sử dụng các phép đổi trục để xác định quỹ đạo chuyển động mẫu cho bài
toán bám của robot tự hành, (2) Vi xử lý ARM là bộ tính toán các giá trị điều khiển tốc
độ, vị trí và momen (dòng cấp) cho cơ cấu chấp hành của robot (là hai động cơ điện
một chiều). Đầu vào của phần này là tín hiệu quỹ đạo đặt do máy tính PC gửi xuống và
các tín hiệu phản hồi từ cơ cấu chấp hành. (3) robot tự hành là robot hai bánh sau chủ
động, bánh trước tự lựa, thuộc dạng non-hononomic. Đặc điểm là bệ giá đỡ camera là
một hệ đế xoay hai bậc tự do Pan/Tilt được gắn có trục tâm thẳng với tọa độ tâm của
robot tự hành.
Hình 1.7. Sơ đồ tổng quan của hệ thống robot tự hành bám mục tiêu di động
(1) Máy tính PC
(2) Vi xử lý ARM
(3) robot tự hành
x
q y

 

 
 
 
 
 
 

 

 
Cơ cấu
chấp hành
(DC Motor)
1
a


 

 
 
 


  robot
tự
hành
Thuật
toán điều
khiển bám
quỹ đạo
w
v
 

 
 
 

 
r
r r
r
x
q y

 
 
  
 
 
Xác định quỹ
Lập phương
án chuyển
động
(Path
Xác định quỹ
đạo
(SLAM)
Xử lý ảnh
xác định vị
trí mục tiêu

e
e e
e
x
q y

 
 
  
 
 

23. 23
1.2.1.2 Cấu trúc phần cứng robot tự hành bám mục tiêu chuyển động.
Hình 1.8. Cấu trúc tổng thể phần cứng khi gắn liền bộ xử lý trung tâm trên xe robot
Hình 1.9. Cấu trúc tổng thể phần cứng khi tách bộ xử lý trung tâm đặt riêng tại trung tâm
điều khiển

24. 24
Cấu trúc của hệ điều khiển gồm hai phần chính:
- Phần 1: Máy tính PC với nhiệm vụ thu nhận ảnh và xử lý ảnh dựa vào chuỗi
hình ảnh thu được từ camera để nhận dạng và tính toán vị trí của đối tượng mục tiêu.
Cung cấp dữ liệu vị trí này cho mạch chủ điều khiển đặt trên robot (công đoạn này
mang tính chất như một cảm biến phản hồi cho mạch chủ điều khiển robot)
- Phần 2: Là mạch chủ điều khiển đặt trên robot, là phần chứa các thuật toán
điều khiển cho hoạt động của robot: dựa vào thông số vị trí đối tượng nhận được từ
phần một trên PC (cảm biến hình ảnh), tính toán tín hiệu điều khiển robot bám theo
sao cho đối tượng di chuyển được duy trì ở một vị trí nhất định trên mặt phẳng ảnh và
ở một khoảng cách nhất định, hoặc giao tiếp với đối tượng.
1.2.2. Xây dựng phần cứng cho mạch chủ điều khiển robot:
NCS đã xây dựng một board mạch chủ điều khiển trung tâm và các giao tiếp
ngoại vi, cụ thể mạch chủ điều khiển có các khối đã được xây dựng như sau:
- Khối xử lý trung tâm: Chíp vi xử lý được sử dụng cho mạch chủ điều khiển
trung tâm phải có tốc độ tính toán cao để có thể xử lý các thuật toán có độ phức tạp,
đồng thời có khả năng mở để có thể nâng cấp sau này, có độ tin cậy cao, khả năng
kháng nhiễu tốt. Với những yêu cầu đó, NCS đã lựa chọn lõi vi xử lý ARM Cortex M3
LM3S8971 của Texas Intruments (TI). Đây là dòng vi điều khiển 32 bit ARM Cortex-
M3, kiến trúc Harvard, có khả năng tính toán hiệu suất cao phù hợp trong các ứng
dụng vi điều khiển nhúng linh hoạt. Một số thông số của lõi LM3S8971:
- Kiến trúc được tối ưu hóa với chân linh kiện bé cho các ứng dụng nhúng.
- Tần số hoạt động: 50MHz.
- Bộ nhớ trong: 256Kb flash, và 64 Kb SRAM.
- GPIOs (General Purpose Input/Outputs, vào/ra mục đích chung): 4-38 GPIOs
tùy thuộc vào việc cấu hình, lập trình điều khiển ngắt cho GPIOs.
- Bốn bộ Timer GPTM (General Purpose Timer Modules): mỗi bộ cung cấp 2 bộ
Timer/Counter 16 bit, và mỗi bộ có thể được cấu hình để hoạt động độc lập như: 1 bộ
Timer đơn 32 bit, 1 đồng hồ thời gian thực 32 bit để nắm bắt sự kiện, bộ điều chế độ
rộng xung PWM, để kích hoạt chuyển đổi tương tự-số.
- ADC: 8 kênh đầu vào tương tự, tốc độ lấy mẫu là một triệu mẫu trong 1 giây,
dễ dàng cấu hình chuyển đối tương tự-số.

25. 25
- UART: có thể lập trình cho phép tốc độ baud-rate lên tới 3.125 Mbps; chuẩn
giao tiếp không đồng bộ với các bit: bắt đầu, dừng, tính chẵn lẻ; cho phép phát hiện và
sửa lỗi đường truyền.
- PWM: gồm 3 khối phát PWM, mỗi khối gồm một Counter 16 bit, 2 bộ so sánh
PWM, 1 bộ phát tín hiệu PWM, một bộ phát tín hiệu băng tần chết, một bộ lựa chọn
ngắt, kích hoạt ADC.
- Nguồn cấp: mạch chủ điều khiển trung tâm được nuôi bởi nguồn Acquy 24V,
sử dụng các IC nguồn chuyên dụng của TI UA7812, UA7805, TLV1117-33 cho ra các
điện áp một chiều +3.3V, 5V, 12V. Nguồn cấp được bảo vệ quá điện áp và quá dòng.
- Các đầu vào
Đầu vào Counter: mạch chủ điều khiển được thiết kế có 08 đầu vào đếm tốc độ
cao có thể đếm được xung vuông 0÷5V tần số cực đại 65Kz. Đầu vào đếm xung này
sử dụng cho các cảm biến mà tín hiệu ra là xung như encoder phản hồi. Khả năng mở
rộng thêm đầu vào đếm xung tốc độ cao có thể lên tối đa là 16.
Đầu vào số: mạch chủ điều khiển được thiết kế có 32 đầu vào số với mức tín
hiệu chuẩn 24V, với mục đính đọc các tín hiệu logic như công tắc hành trình, công tắc,
nút bấm. Khả năng mở rộng của đầu vào số loại này tối đa là 48 đầu vào số logic.
Đầu vào tương tự: mạch chủ điều khiển được thiết kế có 08 đầu vào tương tự
0÷5V và 2 đầu vào 0÷10V, 1 đầu vào 0÷20mA, 1 đầu vào 0÷40mV.
Đầu vào giao tiếp I2C, UART: mạch chủ điều khiển được thiết kế có 08 đầu giao
tiếp I2C hoặc UART. Các chuẩn kết nối này giúp giao tiếp với giữa vi xử lý với các tín
hiệu từ các cảm biến ngoại vi của robot như: cảm biến siêu âm như PIR, IR của Sharp,
cảm biến gia tốc và độ nghiêng Gyro sensor, ADXL203 và MMA7455…
- Các đầu ra:
Đầu ra số: bộ điều khiển có 16 đầu ra số kiểu rơle 24V, dòng tối đa 1A. Dùng
cho các mục đích đóng mở các cơ cấu chấp hành kiểu logic. Đầu ra số có thể mở rộng
tối lên tối đa 48.
Đầu ra xung: đầu ra số dạng xung PWM, với biên độ 0÷5V, tần số 0÷100Kz,
Đầu ra xung PWM có thể mở rộng tối đa lên 08.
Đầu ra tương tự: tín hiệu ra tương tự: bộ điều khiển có 04 đầu ra tương tự 0÷5V;
2 đầu ra 0÷10V, dòng lớn nhất là 1A. Các đầu ra này nhằm mục đích điều khiển các cơ
cấp chấp hành kiểu như val lưu lượng, val khí nén…

26. 26
- Khối Driver điều khiển động cơ: lựa chọn sử dụng các IC cầu chuyên dụng
của TI để điều khiển các động cơ của robot để có thể kiểm soát tốc độ và góc quay một
cách chính xác. Trên mạch chủ có để 06 đầu ra điều khiển động cơ (ở đây là các động
cơ DC Servo có Encorder 1000ppr). Một số đặc tính của IC cầu DRV8842, DRV8829,
DRV8825, DRV8432:
Driver động cơ điều khiển dòng cầu H đơn.
Dòng điều khiển lớn nhất là 5A (tại điện áp 24V, 25 độ c).
Tuân thủ giao diện chuẩn công nghiệp PWM.
Dải điện áp làm việc rộng, từ 8.2V đến 45V.
- Bàn phím: ở đây bộ mạch chủ điều khiển được thiết kế bàn phím 16 nút 4x4,
điều này sẽ giúp người sử dụng tương tác dễ dàng hơn.
- Màn hình hiển thị LCD: mạch chủ có thể giao tiếp với hai loại hiển thị thường
dùng ở các bộ điều khiển là LCD và LCD Graphic.
- Cổng giao tiếp RS232-RS485: mạch chủ điều khiển trung tâm có thể được kết
nối với máy tính hoặc các thiết bị khác qua cổng nối tiếp RS232 hoặc RS485. Kết nối
theo chuẩn RS232 đơn giản, thuận tiện nhưng vẫn đảm bảo được tính tin cậy cần thiết.
Kết nối chuẩn RS485 một mặt cho phép kết nối khi bộ điều khiển đặt ở xa máy tính
giám sát. Kèm theo các câu lệnh chuẩn cung cấp cho phần mềm giám sát trên máy tính
sẽ giúp người sử dụng tương tác với robot thuận tiện hơn, đồng thời cũng dễ dàng theo
dõi quá trình điều khiển.
- Cổng giao tiếp mạng không dây RF: sử dụng bộ truyền thông không dây
chuyên dụng 2.4 GHz của TI là CC2500
Hình 1.10. Ảnh chụp toàn bộ hệ robot tự hànhsản phẩm

27. 27
Hình 1.11. Ảnh chụp bên trong và bên ngoài robot
1.3. Kết luận chương 1
Chương 1 trình bày nghiên cứu tổng quan về một hệ quang điện tử tích hợp, phân
tích và tổng hợp tình hình nghiên cứu trong và ngoài nước nhằm rút ra hướng nghiên
cứu trọng tâm của luận án. Trong chương này cũng đã trình bày các kết quả đầu tiên
trong nhiệm vụ mục tiêu đề ra đó là:
 Xây dựng cấu trúc tổng quan của hệ robot tự hành bám mục tiêu chuyển động.
 Thiết kế và chế tạo hoàn thiện phần cứng cơ khí và mạch điện tử điều khiển cho
một robot tự hành có gắn camera nhằm mục đích cho việc thử nghiệm các lý thuyết,
thuật toán nghiên cứu của luận án sau này. Robot được chế tạo đảm bảo các yêu cầu
kỹ thuật, mạch điện tử điều khiển được thiết kế và chế tạo theo hướng mở, có khả năng
nâng cấp và ứng dụng cho đa dạng robot các loại khác nhau cho các ứng dụng nâng
cấp phát triển tiếp theo.

28. 28
Các nhiệm vụ sẽ được nghiên cứu ở chương tiếp theo là:
- Phần cảm biến “mắt máy”: nghiên cứu và ứng dụng các thuật toán xử lý ảnh
bám bắt mục tiêu di động, xác định vị trí mục tiêu. Chú ý vào việc nâng cao tốc độ và
chất lượng bám.
- Mô hình hóa và mô phỏng tổng thể hệ thống robot tự hành đã xây dựng từ vị trí
của mục tiêu, vị trí robot quy về hệ trục tọa độ nằm trên tâm robot, tính toán động học
thuận, động học ngược của hệ để phục vụ cho bài toán điều khiển.
- Phần thuật toán điều khiển: nghiên cứu và đề xuất thuật toán điều khiển thích
nghi bám quỹ đạo cho robot tự hành khi có tham số khối lượng, moment thay đổi, đặc
biệt chú ý tới tác động của nhiễu ma sát. Đây là những trường hợp thường xuyên xảy
ra đối với robot tự hành khi nó hoạt động trong môi trường khác nhau về địa hình và
tương tác với đối tượng bám. Thuật toán đòi hỏi phải có cấu trúc đơn giản, bền vững
nhằm mục đích cài đặt lập trình nhúng và thử nghiệm trên robot đảm bảo tính thời gian
thực cho toàn hệ.

29. 29
CHƯƠNG 2. THIẾT KẾ CHẾ TẠO CẢM BIẾN VỊ TRÍ TRÊN
CƠ SỞ XỬ LÝ ẢNH CHO BÀI TOÁN BÁM MỤC TIÊU DI
ĐỘNG
Chương 2 trình bày các kết quả nghiên cứu, mô phỏng và thực nghiệm về xử lý
ảnh xác định vị trí mục tiêu (xem hình 1.7), đây là vòng xử lý trên máy tính PC phục
vụ việc tính toán quỹ đạo đặt cho bài toán điều khiển bám của robot di động, được
trình bày chi tiết.
Xử lý ảnh bám mục tiêu di động là một hướng nghiên cứu không mới, hiện đã có
rất nhiều các công trình, thuật toán được công bố và ứng dụng vào thực tế. Nhưng áp
dụng các kết quả nghiên cứu này cho từng ứng dụng cụ thể như thế nào cho phù hợp
lại là vấn đề luôn luôn mới. Một điều chắc chắn là không thể có một thuật toán hay
một phần mềm nào có thể đảm bảo bám ảnh cho tất cả các đối tượng như máy bay, tàu
thủy, xe tăng, xe máy, người, quả bóng đá, quả bóng bàn … hay có thể bám một đối
tượng nào đó như kể trên khi nó hoạt động trong các môi trường hay địa hình bất kỳ.
Chính vì vậy, mục tiêu nghiên cứu phát triển và nâng cao khả năng bám mục tiêu di
động trong phòng thí nghiệm (khoảng cách tối đa đến mục tiêu là  3m, kích thước
mục tiêu là 2 2
2 10
Taget
cm S cm
  ) cho robot tự hành được quan tâm nghiên cứu trong
chương này. Bao gồm các nghiên cứu tổng quan về cấu trúc của một hệ thống bám sử
dụng xử lý ảnh và áp dụng các thuật toán xử lý ảnh đã có vào bài toán bám quả bóng
bàn trong phạm vi phòng thí nghiệm. Các kết quả nghiên cứu mới nhằm nâng cao chất
lượng xử lý ảnh bằng việc kết hợp phần mềm xử lý ảnh Camshift với bộ lọc Kalman
được đề xuất và kiểm chứng bằng thực nghiệm.
2.1. Tổng quan về hệ thống bám ảnh tự động
2.1.1. Tổng thể hệ bám
Mục đích của hệ thống bám video tự động là để duy trì một “đường ngắm” viết
tắt là LOS (Line Of Sight) cảm biến - mục tiêu một cách ổn định và hoàn toàn tự động
trong khi tồn tại cả chuyển động tương đối của mục tiêu và chuyển động của đế gắn
cảm biến làm nhiễu loạn tới dữ liệu cảm biến hình ảnh [35, 36, 37, 38]. Mục tiêu
thường được định vị ban đầu, bởi hoặc là người điều khiển hoặc là hệ thống nhận dạng
mục tiêu tự động. Sau đó, hệ thống bám sẽ khoá chặt mục tiêu và duy trì LOS tự động.

30. 30
Hệ thống bám hình ảnh tự động thông thường bao gồm 3 phần chính (hình 2.1):
(1) bộ cảm biến ảnh (camera chẳng hạn), (2) bộ chấp hành thường là các trục khớp
quay (gimbal) có gắn động cơ hoặc khí nén, và (3) bộ xử lý. Một vòng điều khiển phản
hồi, được gọi là vòng bám, liên tục hiệu chỉnh bộ chấp hành để giữ mục tiêu vào tâm
của trường nhìn viết tắt là FOV (Field Of View) bộ cảm biến. Bộ xử lý sẽ khép kín
vòng này bằng cách tính toán độ lệch để điều khiển bộ chấp hành. Các thành phần hoạt
động theo thứ tự sau: (1) bộ xử lý định vị tín hiệu mục tiêu trong dòng hình ảnh từ bộ
cảm biến, (2) bộ xử lý ước lượng trạng thái mục tiêu và tạo ra các lệnh điều khiển cơ
cấu chấp hành trên cơ sở các thông tin trạng thái, (3) lệnh điều khiển được áp dụng vào
LOS cảm biến, (4) bộ cảm biến tạo ra một dòng video mới, và (5) quá trình được lặp
lại.
Hình 2.1. Cảm biến ảnh, gimbal và bộ xử lý
Mặc dù có 3 thành phần thông dụng trong tất cả hệ thống bám, nhưng mỗi phần
có thể có các thể hiện khác nhau trong một ứng dụng thực tế, phụ thuộc vào các yêu
cầu hệ thống. Chẳng hạn, các bộ bám trọng tâm tương tự trước kia dùng các bộ so
sánh tương tự và bộ đếm số để đo hoặc ước lượng vị trí của trọng tâm mục tiêu trong
dòng ảnh. Trong các hệ thống này, LOS mục tiêu duy nhất dựa trên trọng tâm của nó,
và luật điều khiển được thực hiện bởi giá trị trung bình của một vòng điều khiển tỉ lệ
đơn giản. Ngược lại, các hệ thống bám hiện nay được thiết kế để bám chuyển động của
xe cộ trên mặt đất trong một môi trường lộn xộn, có thể sử dụng phương pháp tiếp cận
đa kiểu dựa trên thuật toán tương quan và trọng tâm. Những ví dụ khác có tỉ lệ động
lực học cao như thông tin bệ phóng máy bay, tàu sân bay được sử dụng như là dữ liệu
phụ thuộc trong việc xác định LOS. Thông thường hệ thống này yêu cầu nhiều máy
tính, bộ xử lý ảnh tinh vi, và một giao diện tốc độ cao.
2.1.2. Kiến trúc tổng thể hệ bám.
Hệ thống bám thực hiện vòng phản hồi vốn không tuyến tính và phải hoạt động
với các đo lường không chắc chắn hoặc bị nhiễu. Để đơn giản cho các xử lý trong thiết
Mục tiêu
camera ống kính
và đế quay
Máy tính xử lý
và điều khiển

31. 31
kế kiểu vòng phản hồi này, ta áp dụng nguyên lý phân tách trong lý thuyết điều khiển
ngẫu nhiên [18,19, 37, 38]. Nguyên lý này định nghĩa một kiến trúc điều khiển ở đó
tách phần ước lượng trạng thái, dựa trên dữ liệu cảm biến camera, ra khỏi phần tạo luật
điều khiển.
Ước lượng vị trí mục tiêu thường được tính trên một ảnh con nhỏ được gọi là cửa
sổ mục tiêu (đơn giản là cửa sổ hay cửa). Hình 2.2 mô tả cửa sổ mục tiêu thường bao
quanh mục tiêu. Bằng cách chỉ xử lý một phần của trường nhìn nằm bên trong cửa sổ,
thì các ảnh hưởng của nhiễu loạn và ồn trong quá trình bám là bị triệt tiêu lớn, làm cho
hệ thống bám ổn định hơn. Tận dụng ảnh trong cửa sổ để ước lượng ví trị mục tiêu
cũng tránh được hạn chế về số lượng cần xử lý. Như một quy tắc, cửa sổ (thường là
hình chữ nhật hoặc hình vuông) nên có kích thước nhỏ nhất cần thiết để chắc chắn
hoàn thành mục tiêu.
Hình 2.2. Cửa sổ mục tiêu khử nhiễu
Các chức năng của hệ thống bám nguyên thuỷ được mô tả trong hình 2.1. Các
chức năng phụ thêm vào là cần thiết để hỗ trợ cho các chức năng đầu tiên. Hai chức
năng phụ quan trọng nhất là chức năng xác định cửa sổ mục tiêu (nó hỗ trợ việc định
cửa sổ bằng cách đo kích thước mục tiêu) và chức năng dò breaklock, là trạng thái mà
hệ thống bám không thu thập được mục tiêu đúng, được sử dụng bởi phần xác định
LOS. Hình 2.3 mô tả kiến trúc hệ thống bám chung, bao gồm cả hai chức năng nguyên
thuỷ và các chức năng phụ.
Thường khi thu được sự ước lượng vị trí mục tiêu không tốt do việc bộ ước
lượng vị trí mục tiêu ước lượng không chính xác. Điều này có thể xuất hiện, ví dụ, nếu
mục tiêu lẫn vào nền bởi nhiễu loạn nền, dẫn tới việc ước lượng vị trí không còn chính

32. 32
xác. Rõ ràng dữ liệu vị trí mục tiêu không đúng được tạo ra dưới điều kiện như vậy
không nên sử dụng để xác định LOS. Chức năng dò breaklock được sử dụng để phán
đoán khi việc ước lượng vị trí mục tiêu là không tin cậy. Điều này bảo đảm dữ liệu
không chắc chắn hoặc dữ liệu sai sót sẽ bị bác bỏ bởi chức năng xác định LOS mục
tiêu, do đó cải thiện tính năng vòng bám dưới những điều kiện hoạt động của hệ gặp
vấn đề như nhiễu.
Hình 2.3. Kiến trúc toàn thể hệ thống bám
Khi một điều kiện breaklock xuất hiện, hệ thống bám có thể duy trì tọa độ robot
tự hành dựa trên trạng thái mục tiêu dự đoán được. Trong mô hình “trượt”, vòng lặp
bám là vòng mở, tọa độ tiếp tục di chuyển theo hướng và ở tốc độ được xác định ở thời
điểm cuối cùng mà bộ ước lượng trạng thái mục tiêu ước lượng được trước khi
breaklock. Sau khi mục tiêu đã được thu thập lại và việc ước lượng vị trí mục tiêu
đáng tin cậy lại được thiết lập, chức năng breaklock báo hiệu cho chức năng xác định
LOS trở lại hoạt động vòng đóng.
2.2. Lập trình xử lý ảnh bám mục tiêu chuyển động
Có nhiều phương pháp ước lượng vị trí mục tiêu khác nhau đã được phát triển
[8]. Trong khuôn khổ của luận án này, chỉ tập trung vào các phương pháp sau:
- Bám theo các đặc điểm, đặc trưng của ảnh (KLT: Kanade–Lucas–Tomasi
(KLT) feature tracker).
- Bám theo hình dạng, màu sắc (MeanShift, Camshift)
2.2.1. Phương pháp bám theo các đặc điểm của ảnh (Thuật toán KLT)
Trong trường hợp tổng quát, phương pháp KLT [78, 80, 82] xuất phát từ hai câu
hỏi cơ bản là: (1) làm thế nào để chọn các đặc tính, và (2) làm thế nào để bám chúng từ
khung này tới khung tiếp.

33. 33
Khi camera di chuyển, các mẫu của cường độ ảnh thay đổi phức tạp. Trong
trường hợp tổng quát, mọi hàm số 3 biến I(x,y,t), trong đó biến không gian x và y, cũng
như biến thời gian t là rời rạc và được giới hạn, có thể biểu diễn một dãy ảnh liên tiếp.
Tuy nhiên, các ảnh được lấy tại thời điểm gần nhau thường có quan hệ mạnh với nhau,
bởi vì chúng dựa vào quang cảnh giống nhau được lấy từ các điểm nhìn khác nhau rất
nhỏ. Điều này có nghĩa là hàm I(x,y,t) là không tuỳ ý, mà
( , , ) ( , , )
I x y t I x y t
  
    (2.1)
Vector )
,
( 


d được gọi là độ dịch chuyển (Displacement) của điểm
)
,
( y
x

x giữa khoảng thời gian t và 

t , và trong trường hợp tổng quát nó là một hàm
của x, y, t, và .
Thuật toán KLT chỉ ước lượng hai tham số (vector dịch chuyển) trong các cửa sổ
nhỏ. Bất kỳ sự trái ngược nào giữa các cửa sổ liên tiếp ở đó không thể được giải thích
bằng một dịch chuyển được xem xét là lỗi, và vector dịch chuyển được chọn để cực
tiểu lỗi này.
Nếu chúng ta định nghĩa lại )
,
,
(
)
( 

 t
y
x
I
J x và )
,
,
(
)
( t
y
x
I
I 
 


 d
x ở đó
biến thời gian đã được rút lại cho ngắn gọn, mô hình ảnh cục bộ sẽ là
)
(
)
(
)
( x
d
x
x n
I
J 

 (2.2)
trong đó n là ồn.
Vector dịch chuyển d sau đó được chọn sao cho cực tiểu hoá lỗi thừa số được
định nghĩa bởi tích phân kép trên cửa sổ w:
 
 


W
wd
J
I x
x
d
x
2
)
(
)
(

(2.3)
Trong biểu thức trên, w là một hàm trọng số. Trong trường hợp đơn giản nhất,
w=1. Như một sự lựa chọn, w có thể là một hàm giống như gauss, để làm nổi bật vùng
trung tâm của cửa sổ. Giải phương trình (2.3) để tìm độ dịch chuyển giữa các khung
(Inter-Frame) ta thu được.
,
e
d 
G (2.4)
ở đó G là ma trận 22 sau:
      .


W
T
d
w
G x
x
x
g
x
g
(2.5)
và e là vector 21 sau:

34. 34
   
     
 

W
d
w
J
I
¦
x
x
x
g
x
x
e
(2.6)
Phương trình (2.3) là bước cơ bản của thủ tục bám. Cho mọi cặp khung liền kề,
ma trận G có thể được tính toán từ một khung, bằng cách ước lượng các gradient và
tính toán moment bậc hai của chúng. Vector e, theo cách khác, có thể được tính từ sai
phân hai khung, theo gradient tính ở trên.
Một vấn đề quan trọng là phải chọn được cửa sổ chứa đặc tính tốt. Ta có thể bám
một cửa sổ từ khung tới khung nếu hệ (2.4) biển diễn các đo lường tốt, và nếu nó có
thể được giải tin cậy. Điều này có nghĩa là ma trận hệ số 22 G của hệ phải là cả ở trên
mức ồn ảnh và có điều kiện tốt. Như vậy, yêu cầu về ồn là cả hai giá trị riêng
(eigenvalue) của G phải là lớn, trong khi yêu cầu về điều kiện nghĩa là chúng không
thể khác bởi một vài bậc của cường độ. Hai trị riêng nhỏ nghĩa là một mô tả sơ lược
cường độ đại thể không đổi trong một cửa sổ. Một trị riêng lớn và một nhỏ tương ứng
với một mẫu không định hướng. Hai trị riêng lớn có thể biển diễn các góc, kết cấu
muối hạt tiêu, hoặc bất kỳ mẫu nào khác có thể được bám đáng tin cậy. Trong thực tế,
khi trị riêng nhỏ hơn là đủ lớn để phù hợp với chuẩn ồn, thì ma trận G cũng thường là
điều kiện tốt. Kết quả, nếu hai giá trị riêng của G là 1
 và 2
 , sẽ chấp nhận một cửa sổ
nếu


 
)
,
min( 2
1 (2.7)
ở đó  là một ngưỡng được định nghĩa trước.
Tóm tắt thuật toán bám KLT [78, 82]:
Mục đích: Lấy u là một điểm trên ảnh I. Tìm vị trí tương ứng của nó v trên ảnh J.
Xây dựng các biểu diễn kim tự tháp của I và J:   m
L
L
L
I ,...,
0
 và   m
L
L
L
J ,...,
0

Khởi đầu của ước đoán kim tự tháp: T
T
L
y
L
x
L m
m
m
g
g ]
0
0
[
]
[ 

g
for L=Lm down to 0 with step -1
vị trí của điểm u trên ảnh IL
: L
T
y
x
L
p
p 2
]
[ u
u 

vi phân của IL
với x:
2
)
,
1
(
)
,
1
(
)
,
(
y
x
I
y
x
I
y
x
I
L
L
x




vi phân của IL
với y:
2
)
1
,
(
)
1
,
(
)
,
(




y
x
I
y
x
I
y
x
I
L
L
y

35. 35
ma trận gradient không gian: 






 








y
y
y
y
x
x
x
x
p
p
y y
y
x
y
x
x
p
p
x y
x
I
y
x
I
y
x
I
y
x
I
y
x
I
y
x
I
G



 )
,
(
)
,
(
)
,
(
)
,
(
)
,
(
)
,
(
2
2
khởi đầu của lặp L-K: T
v ]
0
0
[
0

for k=1 to K with step 1 (hoặc tới khi 
k
 ngưỡng chính xác)
sai phân ảnh: ).
,
(
)
,
(
)
,
( 1
1 






 k
y
L
y
k
x
L
x
L
L
k v
g
y
v
g
x
J
y
x
I
y
x
I

vector không khớp ảnh: 














y
y
y
y
x
x
x
x
p
p
y y
k
x
k
p
p
x
k
y
x
I
y
x
I
y
x
I
y
x
I
b



 

)
,
(
)
,
(
)
,
(
)
,
(
luồng quang (Lucas-Kanade): .
1
k
k
b
G


ước đoán cho lắp tiếp theo: k
k
k
v
v 

 1
end of for-loop on k
luồng quang cuối cùng ở mức L: K
L
v

d
ước đoán cho mức tiếp theo L-1: )
(
2
1 L
L
L
d
g
g 


end of for-loop on L
vector luồng quang cuối cùng: 0
0
d
g
d 

vị trí của điểm trên J: d
u
v 

2.2.2. Thuật toán bám ảnh Camshift
Thuật toán Camshift được phát triển trên cơ sở thuật toán Meanshift [76].
Camshift viết tắt của “Continuously Adaptive Meanshift”. Nó bao gồm thuật toán cơ
sở Meanshift với thích ứng các bước thay đổi kích cỡ của vùng. Các bước thực thi
thuật toán:
Các bước tiến hành thuật toán Camshift:
1. Kích chọn kích thước khung bám.
2. Chọn vị trí khởi tạo của khung bám (cửa sổ bám).
3. Tính giá trị trung bình bên trong khung bám.
4. Đặt tâm khung bám ở vị trí trung bình đã tính trong bước 3.
5. Lặp lại bước 3 và bước 4 cho đến khi hội tụ (hoặc cho đến khi độ dịch chuyển
vị trí tâm nhỏ hơn một ngưỡng đặt trước).
Đầu tiên là một histogram được tạo ra, histogram này chứa các thuộc tinh liên
quan đến màu sắc và tiếp theo tâm và kích cỡ của mục tiêu được tinh toán để theo dõi

36. 36
mục tiêu khi hình dạng và kích cỡ của nó thay đổi. Tính xác suất phân bố mục tiêu căn
cứ và histogram nhận được. Dịch chuyển đến vị trí mới với mỗi khung hình vừa nhận
được từ video. Camshift sẽ dịch chuyển đến vị trí mà nó ước lượng tập trung nhiều
điểm sáng nhất trong bức ảnh xác suất, tìm vị trí mới bắt đầu từ vị trí trước đó và tính
toán giá trị trọng tâm vừa tìm được.
Lưu đồ thuật toán Camshift:
Hình 2.4. Lưu đồ thuật toán Camshift
2.2.3. Kết hợp bộ lọc Kalman với thuật toán bám ảnh Camshift
Khi robot hoạt động trong những điều kiện môi trường khác nhau của mục tiêu
chuyển động, nền ảnh và sự che khuất có thể cản trở việc theo dõi và bám theo ảnh của
đối tượng. Trong phần này sẽ trình bày việc sử dụng kết hợp bộ lọc Kalman với thuật
toán bám ảnh Camshift nhằm mục đích nâng cao chất lượng bám ảnh. Trong thuật
Ảnh HSV
Tính Histogram của
vùng tính toán
Xác xuất phân bố mầu
Tính trọng tâm đối
tượng
Đặt tâm khung bám
vào tâm đối tượng và
tính diện tích lại
Hội tụ
Kích chọn khởi tạo
vị trí và kích thước
khung bám
Thiết lập vùng tính
tại tâm khung bám
nhưng kích thước
lớn hơn khung bám
Sử dụng (X,Y) là tâm của
khung bám, diện tích
khung là kích thước của
khung bám
Kết quả X, Y, Z và
Roll

37. 37
toán bám ảnh Camshift được giới thiệu ở phần trên có thể thấy đối tượng được bám tốt
khi nền ảnh không ảnh hưởng đến đối tượng, tuy nhiên khi đối tượng bám bị che khuất
hay lẫn màu với nền ảnh, sẽ gây ra hiện tượng mất bám. Để khắc phục nhược điểm này
và nâng cao chất lượng bám, bộ lọc Kalman được sử dụng [40, 73, 76, 77].
Sau khi tiến hành thuật toán Camshift ta sẽ có được trạng thái hệ thống xk,, yk, vị
trí x và y của đối tượng tại thời điểm k. Với những đánh giá được đề cập phía trên ta
có thể sử dụng bộ lọc Kalman để tạo ra phương pháp giới hạn vị trí của đối tượng hiệu
quả hơn, điều đó là để nói thay vì tìm kiếm đối tượng trong toàn bộ mặt phẳng ảnh ta
sẽ định nghĩa một cửa sổ tìm kiếm (hay cửa sổ mục tiêu được dề cập trong mục 2.1)
tập trung vào giá trị dự đoán 
xk

của bộ lọc.
Hình 2.5. Sơ đồ kết hợp bộ lọc Kalman và Camshift
Các bước sử dụng bộ lọc Kalman cho việc bám đối tượng là:
Bước 1: Khởi tạo (k=0). Trong bước này nó sẽ tìm kiếm đối tượng trong toàn bộ
bức ảnh do chúng ta không biết vị trí trước của bức ảnh. Theo cách này ta nhận được
x0. Tương tự ta có thể đánh giá một lượng dung sai lớn ban đầu (P0).
Bước 2: Dự đoán (k>0). Trong giai đoạn này sử dụng bộ lọc Kalman ta dự đoán
vị trí tương đối của đối tượng, như vậy vị trí 
xk

được coi như trung tâm tìm kiếm để
tìm kiếm đối tượng.
Bước 3: Hiệu chỉnh (k>0). Trong phần này ta đặt đối tượng (là một chuỗi điểm
được dự đoán trong trạng thái tiên nghiệm 
xk

) và ta sử dụng vị trí thực của nó (đo đạc)
để thực hiện việc hiệu chỉnh trạng thái bằng cách sử dụng bộ lọc Kalman tìm kiếm 
xk

Bước 2 và 3 được thực hiện trong khi việc bám đối tượng vẫn đang tiến hành.
- Mô phỏng kết hợp bộ lọc Kalman với thuật toán bám ảnh Camshift
Camsifht Kalman
Dữ liệu ảnh
Mô hình chuyển
động
Vector đo lường và tín hiệu không
chắc chắn
Ước lượng trạng thái
và phương sai

38. 38
Để minh họa những kết quả của việc dùng bộ lọc Kalman trong việc bám đối
tượng [77], ta lựa chọn cho bám theo một quả bóng và xem xét các trường hợp sau:
Hình 2.6. Sơ đồ tóm tắt của bộ lọc Kalman
a) Trong thử nghiệm này, ta thực hiện bám theo một quả bóng, quả bóng sẽ di
chuyển tương đương với một đường thẳng tuyến tính, được miêu tả bởi hệ phương
trình sau:
1 1, W
k k k k k
X F X
 
  (2.8)
Ước lượng với
hiệu chỉnh đo
Ước lượng
trạng thái
Khởi tạo
0 0
0 0 0 0 0
[x ]
[(x [x ])(x [x ] )]
T
x E
P E E E

  
, 1 1
ˆ ˆ
k k k k
x F x

 

, 1 1 , 1
T
k k k k k k k
P F P F Q

  
 
T
k k
k T
k k k k
P H
G
H P H R




ˆ ˆ ˆ
x x (y x )
k k k k k k
G H
 
  
( )
k k k k
P I G H P
 

39. 39
1
1
1
1
1010
0101
W
0010
0001
k k
k k
k
k k
k k
x x
y y
x x
y y




   
 
   
 
   
 
 
   
 
 
   
 
 
 
   
(2.9)
k k k k
Y H X V
  (2.10)
1000
0100
k
k k
k
k k
k
x
xm y
v
ym x
y
 
 
     
 
     

 
 
 

 
(2.11)
- wk , k
v là vector nhiễu hệ thống, nhiễu đo lường dạng ồn trắng, Gaussian, với kỳ
vọng bằng 0. Chúng giải thích cho sự không chắc chắn trong gia tốc của đối tượng.
- k
Y là vector đo lường
- k
H là ma trận quan sát được viết là:
1000
0100
k
H
 
  
 
;
Trong hình 2.7 là kết quả mô phỏng cho thấy vị trí ước lượng bám rất sát với vị
trí thực của đối tượng bám.
Hình 2.7. Kết quả dự đoán vị trí với bộ lọc Kalman
b) Một lợi thế của bộ lọc Kalman cho việc bám bắt đối tượng là nó có thể ước
lượng được vị trí đối tượng ngay cả khi bị che khuất nhỏ. Cách để thực hiện việc này
là xem xét hai giai đoạn của bộ lọc: dự đoán và hiệu chỉnh. Có nghĩa là nếu việc giới
hạn vị trí của đối tượng là không trong một chuỗi của trạng thái dự đoán của bộ lọc

40. 40
(trong thời điểm k), ta có thể coi rằng đối tượng bị che khuất bởi một vài đối tượng
khác, do đó ta sẽ không thể dùng hiệu chỉnh đo và sẽ chỉ lấy giá trị lọc tiên nghiệm vị
trí của đối tượng. Hình 2.8 chỉ ra hoạt động của bộ lọc khi đối tượng bị che khuất. Hệ
thống này được mô tả với những biểu thức tương tự được dùng trong trường hợp a).
Hình 2.8. Bộ lọc Kalman khi bị che khuất
c) Hầu hết các quỹ đạo chuyển động của đối tượng là thay đổi phức tạp (thay đổi
cả vận tốc và gia tốc) không thể mô hình hóa bởi các hệ thống tuyến tính, khi đó chúng
ta phải dùng các phương trình phi tuyến, do đó trong những trường hợp này ta sẽ dùng
bộ lọc kalman mở rộng EKF (Extended Kalman Filter). Hình 2.10 cho thấy rõ chất
lượng bám sử dụng bộ lọc Kalman mở rộng cho việc bám đối tượng với quỹ đạo phức
tạp tốt hơn hẳn của bộ lọc Kalman thông thường. Với bộ lọc Kalman mở rộng được
mô hình hóa sử dụng các phương trình không giới hạn chuyển động của Brownian
(trong khi bộ lọc Kalman thông thường, mô hình hệ thống được sử dụng các phương
trình của trường hợp a).
1
x ( ,x ) w
k k k
f k
   (2.12)
1
1
1
1
1
exp( ( 1.5 ))
4
1
exp( ( 1.5 ))
4
w
1
exp( )
4
1
exp( )
4
k k
k
k k
k
k
k
k
k
k
x x
x
y y
y
x
x
y
x




 
  
 
 
 
 
  
 
 
   
 
 
  

 
 

 
 

 
 
(2.13)
( , )
k k k
y h k x v
  (2.14)

41. 41
1000
0100
k
k k
k
k k
k
x
xm y
v
ym x
y
 
 
     
 
     

 
 
 

 
(2.15)
Hình 2.9. Sơ đồ tóm tắt của bộ lọc Kalman mở rộng
0 0
0 0 0 0 0
x [x ]
[(x [x ])(x [x ] )]
T
E
P E E E

  
  1
1,
x f(k,x ]
f(k,x) (k,x)
x x x
k k
k k
x t x t
h
F H
x
 



 

 
 
 
, 1 1 , 1
T
k k k k k k k
P F P F Q

  
 
T
k k
k T
k k k k
P H
G
H P H R




ˆ ˆ ˆ
x x y ( ,x )
k k k k k
G h k
 
  
( )
k k k k
P I G H P
 
Ước
lượng
trạng thái
Ước lượng
với hiệu
chỉnh đo
Khởi
tạo
Tuyến
tính hóa

42. 42
Hình 2.10. Việc theo dõi các chuyển động phức tạp sử dụng bộ lọc Kalman mở rộng
- Thực nghiệm kết hợp bộ lọc Kalman ứng dụng bám ảnh Camshift
Để tiến hành chạy thực nghiệm, NCS đã lập một chương trình xử lý ảnh bám
bắt mục tiêu tự động trên nền Visual C 6.0 và có sử dụng thư viện OpenCV của Intel.
OpenCV là thư viện mã nguồn mở chuyên dùng cho các ứng dụng xử lý ảnh và video
số. Ở đây sử dụng các hàm hỗ trợ như cvCamshift() để thực hiện thuật toán bám
Camshift và các hàm liên quan hỗ trợ bộ lọc Kalman. Tất cả các thực nghiệm được
tiến hành trong phòng thí nghiệm với khung nền tương đối phức tạp.
Hình 2.11. Chụp các frame chạy thực nghiệm thuật toán bám Camshift không có Kalman

43. 43
Hình 2.12. Chụp các frame chạy thực nghiệm với thuật toán bám Camshift có Kalman
Các kết quả cho thấy khi kết hợp thêm bộ lọc Kalman chất lượng bám của hệ
thống tốt hơn, khi đối tượng bị che khuất hay lẫn vào nền ảnh thì hệ vẫn duy trì bám
tốt.
Một hạn chế của việc kết hợp thêm bộ lọc Kalman vào thuật toán bám đó là khối
lượng tính toán lớn hơn do đó thời gian xử lý lâu hơn, dẫn đến tốc độ bám chậm: khi
không có bộ lọc Kalman tốc độ bám tầm 15÷20 frame/s, khi có bộ lọc Kalman tốc độ
là 7÷10 frame/s. Tuy nhiên hạn chế này có thể khắc phục bằng cách tăng tốc độ xử lý
của CPU máy tính hoặc nhúng thuật toán trên các DSP, hay FPGA chuyên dụng.
Một hạn chế khác là khi đối tượng bị che khuất với thời gian đủ lâu (trên 3s),
hoặc khi có đối tượng khác chuyển động cùng chiều che khuất dần cũng dẫn đến hiện
tượng mất bám.
2.3. Kết luận chương 2
Chương 2 đã trình bày các nghiên cứu về xử lý ảnh bám bắt và xác định vị trí
mục tiêu bằng xử lý ảnh nhận được từ camera. Các nghiên cứu tập trung vào thuật toán
xử lý ảnh bám bắt mục tiêu di động: KLT và CamShift, đề xuất thuật toán kết hợp
CamShift với bộ lọc Kalman mới để nâng cao chất lượng và tốc độ bám ảnh khi có
nhiễu hoặc ảnh bị che khuất một phần. Các kết quả nghiên cứu đã được công bố trong
bài báo “Một phương pháp sử dụng bộ lọc Kalman kết hợp với thuật toán bám ảnh
Camshift nhằm nâng cao chất lượng bám trong các hệ thống robot tự động tìm kiếm
và bám bắt mục tiêu” ở Hội nghị Toàn Quốc về Điều khiển và Tự động hóa
VCCA2011. ISBN 978-604-911-020-7., 11/2011.

44. 44
CHƯƠNG 3: MÔ HÌNH HÓA HỆ ROBOT TỰ HÀNHGẮN
CAMERA
Cấu trúc của điều khiển robot tự hành có thể chia ra 3 giai đoạn: lập phương án
chuyển động (motion planning), thiết kế quỹ đạo (trajectory generation), và điều khiển
bám quỹ đạo (trajectory tracking). Trong giai đoạn lập phương án chuyển động, bằng
kinh nghiệm và hiểu biết của mình người thiết kế lập ra đường chuyển động cho robot
chưa cần quan tâm đến thời gian chuyển động. Sang giai đoạn thiết kế quỹ đạo người
thiết kế phải lập quỹ đạo chuyển động theo đường chuyển động mong muốn đã chọn ở
giai đoạn trước, vận tốc, gia tốc chuyển động theo một hàm thời gian. Giai đoạn cuối
là thiết kế điều khiển bám theo quỹ đạo chuyển động mong muốn. Chương 3 trình bày
về mô hình hóa và mô phỏng động học, động lực học, động học ngược của mô hình
robot tự hành có gắn camera đã xây dựng ở Chương 1 và cũng là sản phẩm của luận án.
Quy đổi tọa độ của mục tiêu về tọa độ tâm của robot để xây dựng quỹ đạo đặt cho bài
toán điều khiển bám quỹ đạo sẽ được trình bày ở Chương 4.
3.1. Mô hình hóa hệ thống Pan/Tilt.
Robot của luận án có phần đỡ camera là một đế xoay Pan/Tilt có hai bậc tự do
quay theo hai hướng phương vị (Pan) và góc tà (Tilt). Cấu trúc này được ứng dụng
nhiều làm bệ radar (cố định hay di động đặt trên xe, tàu) hay bệ quay các thiết bị
quang học theo dõi, kiểm tra không gian [4,5,6,7, 26, 27, 28, 29].
Hình 3.1. Mô hình hóa hệ đế xoay Pan/Tilt