Download luận án tiến sĩ ngành kĩ thuật với đề tài: Nghiên cứu phát triển một số thuật toán điều khiển rô bốt di động trên cơ sở sử dụng thông tin hình ảnh, cho các bạn làm luận án tham khảo Nhận viết luận văn đại học, thạc sĩ trọn gói, chất lượng, LH ZALO=>0909232620 Tham khảo dịch vụ, bảng giá tại: https://baocaothuctap.net

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM
HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------
Lê Văn Chung
NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT
TAY MÁY DI ĐỘNG BÁM MỤC TIÊU
TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH
LUẬN ÁN TIẾN SĨ KỸ THUẬT
Hà Nội – 2019

2. BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM
HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------
Lê Văn Chung
NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT
TAY MÁY DI ĐỘNG BÁM MỤC TIÊU
TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH
Chuyên ngành: Kỹ thuật điều khiển và tự động hóa
Mã số: 9.52.02.16
LUẬN ÁN TIẾN SĨ KỸ THUẬT
NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. PGS.TSKH Phạm Thượng Cát
2. TS. Phạm Minh Tuấn
Hà Nội – 2019

3. i
LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả
được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi
đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được công bố
trong bất kỳ công trình nào khác.
Tác giả luận án
Lê Văn Chung

4. ii
LỜI CẢM ƠN
Lời đầu tiên, Tôi xin chân thành cảm ơn Ban Lãnh đạo Học viện Khoa học
và Công nghệ, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ
Việt Nam, Phòng Công nghệ tự động hóa đã tạo điều kiện thuận lợi trong quá trình
học tập, nghiên cứu.
Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới PGS.TSKH.
Phạm Thượng Cát và TS. Phạm Minh Tuấn, hai thầy đã định hướng và tận tình
hướng dẫn để tôi có thể hoàn thành luận án.
Tôi xin cảm ơn Ban Giám hiệu Trường Đại học Công nghệ Thông
tin và Truyền thông - Đại học Thái Nguyên, Khoa Công nghệ tự động hóa và
các đơn vị trong Nhà trường đã quan tâm giúp đỡ, tạo điều kiện để tôi có thể thực
hiện nghiên cứu.
Tôi xin cảm ơn các cán bộ Phòng Công nghệ tự động hóa – Viện Công nghệ
thông tin, các đồng nghiệp thuộc Khoa Công nghệ Tự động hóa - Trường Đại học
Công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã động viên và trao
đổi kinh nghiệm trong quá trình hoàn thành luận án.
Cuối cùng, tôi xin chân thành cảm ơn đến gia đình, người thân, các bạn đồng
nghiệp - những người luôn dành cho tôi những tình cảm nồng ấm, luôn động viên
và sẻ chia những lúc khó khăn trong cuộc sống và tạo điều kiện tốt nhất để tôi có
thể hoàn thành quá trình nghiên cứu.
Hà Nội, ngày 28 tháng 8 năm 2019
Tác giả luận án
Lê Văn Chung

5. iii
MỤC LỤC
LỜI CAM ĐOAN .......................................................................................................i
LỜI CẢM ƠN............................................................................................................ii
MỤC LỤC................................................................................................................ iii
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ...........................................vii
DANH MỤC HÌNH VẼ ............................................................................................x
DANH MỤC BẢNG.............................................................................................. xiii
MỞ ĐẦU ....................................................................................................................1
CHƢƠNG 1................................................................................................................7
TỔNG QUAN ............................................................................................................7
1.1 Đặt vấn đề ........................................................................................................7
1.2. Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh.....................8
1.2.1 Tình hình nghiên cứu ngoài nước ...........................................................11
1.2.2 Tình hình nghiên cứu trong nước..............................................................8
1.3 Các vấn đề nghiên cứu của luận án .............................................................19
1.3.1. Phát triển phương pháp điều khiển rô bốt s dụng thông tin hình ảnh...19
1.3.2. Một số cải tiến trong điều khiển hệ servo thị giác bám mục tiêu di động
...........................................................................................................................20
1.3.3. Phát triển thuật toán điều khiển rô bốt di động s dụng thông tin hình
ảnh.....................................................................................................................21
1.4. Kết luận chƣơng 1 ........................................................................................22
CHƢƠNG 2..............................................................................................................23
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN HỆ PAN-TILT SỬ DỤNG
THÔNG TIN HÌNH ẢNH TỪ HAI CAMERA....................................................23
2.1. Xây dựng mô hình động học hệ pan-tilt-stereo camera bám mục tiêu di
động với nhiều tham số bất định...................................................................24

6. iv
2.1.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu được từ 2 camera
quy vào hệ tọa độ OcXcYcZc...........................................................................24
2.1.2 Xác định hệ phương trình động học tốc độ hệ pan-tilt. ...........................28
2.1.3 Xây dựng bài toán điều khiển động học (kinematic control) hệ rô bốt-
stereo camera bám mục tiêu..............................................................................29
2.2.Thiết kế thuật toán điều khiển.....................................................................30
2.2.1 Xây dựng mô hình bộ điều khiển.............................................................30
2.2.2 Xây dựng thuật toán điều khiển hệ Pan-tilt –2 camera bám mục tiêu di
động...................................................................................................................31
2.3 Một số kết quả mô phỏng kiểm chứng ........................................................35
2.4. Kết luận chƣơng 2 ........................................................................................43
CHƢƠNG 3..............................................................................................................45
MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN.......................................................45
HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG ........................................45
3.1 dựng mô hình 3D cho hệ 2 camera trên hệ pan-tilt ...........................47
3.1.1 Mô hình 3D cho hệ stereo camera ...........................................................47
3.1.2 Mô hình hệ camera ảo..............................................................................47
3.1.3 Kiểm soát sự suy biến của ma trận Jacobian .........................................53
3.1.4 Bài toán điều khiển rô bốt bám mục tiêu với nhiều tham số bất định .....53
3.2. dựng hệ động lực học hệ pan-tilt – stereo camera với các tham số
bất định............................................................................................................53
3.3. dựng bộ điều khiển nơ ron cho hệ động lực học hệ pan-tilt stereo
camera bám mục tiêu di động. ......................................................................55
3.3.1 Xây dựng bộ điều khiển ..........................................................................55
3.3.2 Xây dựng cấu trúc các lớp bộ điều khiển nơ ron truyền th ng RBF cho hệ
thống..................................................................................................................56
3.3.3 Tối ưu tham số .........................................................................................57
3.4. Mô phỏng hệ thống.......................................................................................61

7. v
3.5. Kết luận.........................................................................................................72
CHƢƠNG 4..............................................................................................................74
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN RÔ BỐT DI ĐỘNG..................74
SỬ DỤNG THÔNG TIN HÌNH ẢNH...................................................................74
4.1. Xây dựng mô hình động học và bài toán hệ điều khiển Rô bốt-Pan-tilt–
Stereo Camera bám mục tiêu di động ..........................................................75
4.1.1 Xác định ma trận Jacobi ảnh....................................................................75
4.1.2 Xác định ma trận Jacobi của hệ và tốc độ bám mục tiêu cho rô bốt di
động...................................................................................................................77
4.1.3 Xác định tốc độ của các bánh xe cho rô bốt di động để rô bốt tiếp cận
mục tiêu.............................................................................................................81
4.2. Thiết kế thuật toán điều khiển....................................................................82
4.2.1 Động lực học hệ rô bốt di động-bệ pan-tilt..............................................82
4.2.2 Thiết kế bộ điều khiển tối ưu ...................................................................83
4.3. Mô phỏng hệ thống.......................................................................................89
4.3.1 Mô phỏng hệ thống với bộ điều khiển tối ưu...........................................89
4.3.2 Mô phỏng hệ thống với bộ điều khiển trượt CTC....................................94
4.4. Kết luận chƣơng 4 ........................................................................................96
5. KẾT LUẬN..........................................................................................................97
5.1. Những nội dung nghiên cứu chính của luận án.........................................97
5.2.Những đóng góp khoa học mới của luận án ...............................................97
5.3.Định hƣớng nghiên cứu phát triển ..............................................................98
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ...........................................100
TÀI LIỆU THAM KHẢO ....................................................................................101
PHỤ LỤC...............................................................................................................111
1. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mô hình camera 3D ảo...................................................................111

8. vi
2. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mô hình camera 3D ảo...................................................................118

9. vii
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
Ký hiệu
Đơn vị
tính
Mô tả
CTC Computed Torque Controller – bộ điều khiển dựa
trên phương pháp tính mô men.
d m Khoảng cách giữa 2 bánh xe rô bốt di động.
d(t) Vecto ảnh hư ng của nhi u, các tham số bất định.
f pixel Tiêu cự camera (1 pixel = 35μm)
fv pixel Tiêu cự thấu kính của camera ảo.
f Các thành phần bất định trong mô hình động học hệ
pan-tilt.
fu Các thành phần bất định trong mô hình động lực học
hệ pan-tilt.
H Hàm Hamilton.
Jimag Ma trận Jacobi ảnh.
Jrobot Ma trận Jacobi rô bốt.
J Ma trận Jacobi tổng hợp.
ˆ ˆ( ), ( )imag robotJ m J q Các giá trị biết được của các ma trận tương ứng.
( ), ( )imag robotΔJ m ΔJ q Các đại lượng không biết của các ma trận tương
ứng.
Ma trận giả nghịch đảo của ma trận J;
K m Khoảng cách 2 camera.
k m khoảng cách giữa hai bánh xe rô bốt di động.
k1 m Khoảng cách giữa rô bốt di động và mục tiêu.
l1 m Chiều dài khớp pan củahệ pan-tilt.
l2 m Chiều dài khớp tilt củahệ pan-tilt.
LQR Linear–Quadratic Regulator.
T 1 Tˆ ˆ ˆ ˆ( )J J J J
T 1 Tˆ ˆ ˆ ˆ( )J J J J

10. viii
LQG Linear–Quadratic–Gaussian.
m Pixel Véc tơ đặc trưng ảnh.
md Pixel Véc tơ đặc trưng ảnh mong muốn.
Q Tọa độ mục tiêu.
q Véc tơ vị trí góc của khớp pan, tilt
r
q Véc tơ vị trí góc của khớp pan, tilt
RBF Radial basis function neural network
s Véc tơ sai số giữa giá trị mong muốn và đo được.
Tx Ty Tz m/s Vận tốc dài của tay nắm camera
 x  y  z m/s Vận tốc góc của tay nắm camera
U, V Pixel Tọa độ ảnh của đối tượng
,
1u Thành phần điều khiển nơ ron
u* Thành phần điều khiển tối ưu
v véc tơ biến ngoài của đầu tay nắm của bệ pan-tilt
(trùng với gốc tọa độ camera OC)
C
v Véc tơ vận tốc dài của đầu tay nắm của bệ pan-tilt
C
Ω Véc tơ vận tốc góc của đầu tay nắm của bệ pan-tilt
vs Véc tơ vận tốc đo được tại 2 bánh rô bốt di động và
2 khớp của bệ pan-tilt.
vd Véc tơ vận tốc mong muốn đặt lên 2 bánh rô bốt di
động và 2 khớp của bệ pan-tilt.
x Véc tơ mô tả vị trí và hướng của camera.
xs Véc tơ tọa độ mục tiêu nhìn trong hệ tọa độ camera
ảo.
W Ma trận trọng số của mạng nơ ron
ε Sai số giữa tham số mong muốn và đo được
θ1 rad Góc quay của khớp pan
θ2 rad Góc quay của khớp tilt
m rad Góc hướng của rô bốt di động
θ1d rad Góc quay mong muốn của khớp pan
θ2d rad Góc quay mong muốn của khớp tilt

11. ix
md rad Góc hướng mong muốn của rô bốt di động
m Khoảng cách từ gốc tới vị trí đặt camera ảo
jjc , Trọng tâm và độ rộng khoảng cách tính từ tâm của
lớp n thứ j radial basis function của mạng nơ ron.
φl , φr rad Góc quay của bánh xe trái, phải trên rô bốt di động
Stereo camera Hệ 2 camera được gắn trên khung cố định củahệ
pan-tilt và có các quan hệ hình học được xác định
trước.

12. x
DANH MỤC HÌNH VẼ
Hình 1.1 Các ứng dụng điều khiển rô bốt s dụng thông tin hình ảnh.....................11
Hình 1.2 Một số phương pháp điều khiển rô bốt s dụng thông tin hình ảnh ..........14
Hình 2.1 Bệ pan-tilt PTU-D48E-Series và biểu di n hệ tọa độ................................24
Hình 2.2 Mô hình hệ thống camera...........................................................................25
Hình 2.3 Ảnh theo 2 trục Z, Y ..................................................................................26
Hình 2.4 Ảnh theo 2 trục X, Y..................................................................................26
Hình 2.5 Mạng RBF xấp xỉ hàm ...........................................................................32
Hình 2.6 Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động
có nhiều tham số bất định..........................................................................................34
Hình 2.7 Sai lệch tọa độ ảnh mục tiêu (pixel)...........................................................37
Hình 2.8 Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển không có mạng nơ
ron bù (
,
1u = 0 ). ........................................................................................................37
Hình 2.9 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng. ................38
Hình 2.10 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng ................38
Hình 2.11 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển không có mạng nơ ron bù ( ,
1u = 0 )...................................................................39
Hình 2.12 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển không có mạng nơ ron bù................................................................................39
Hình 2.13 Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung tròn ....................40
Hình 2.14 Sai lệch tọa độ ảnh khi mục tiêu cơ động theo cung tròn ........................40
Hình 2.15 Sai lệch bám quỹ đạo với mục tiêu cơ động theo cung tròn khi bộ điều
khiển không có mạng nơ ron bù................................................................................41
Hình 2.16 Sai lệch tọa độ ảnh với mục tiêu cơ động theo cung tròn khi bộ điều
khiển không có mạng nơ ron bù ( ,
1u = 0 )...................................................................41
Hình 2.17 Sai lệch bám quỹ đạo khi mục tiêu di chuyển với vận tốc thay đổi.........42
f

13. xi
Hình 2.18 Sai lệch tọa độ ảnh khi mục tiêu di chuyển với vận tốc thay đổi.............42
Hình 3.1 Hệ trục tọa độ của hệ Pan-tilt – stereo cameras .........................................48
Hình 3.2 Mô hình hệ camera 3D ảo ..........................................................................49
Hình 3.3 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z .....................................50
Hình 3.4 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z .....................................50
Hình 3.5 Mạng nơ ron RBF để xấp xỉ tham số bất định f.........................................57
Hình 3.6 Cấu trúc sơ đồ điều khiển của hệ thống .....................................................60
Hình 3.7 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường thẳng
nhìn trong không gian camera..................................................................................63
Hình 3.8 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường thẳng
trong hệ tọa độ ảo 3D................................................................................................64
Hình 3.9 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn
nhìn trong không gian camera..................................................................................65
Hình 3.10 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường tròn nhìn
trong hệ tọa độ ảo 3D................................................................................................65
Hình 3.11 a) L i bám mục tiêu theo 2 trục X, Z. b) Mô ment đặt lên các khớp. c)
Tốc độ khớp pan-tilt q...............................................................................................66
Hình 3.12 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi nhìn trong không gian camera...........................................66
Hình 3.12 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo hình chữ nhật
với tốc độ thay đổi nhìn trong hệ tọa độ ảo 3D.........................................................67
Hình 3.13 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các
khớp. c) Tốc độ các khớp q.......................................................................................68
Hình 3.14 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển trong không
gian với tốc độ và hướng thay đổi bất kỳ nhìn trong không gian camera................69
Hình 3.15 Sai số bám mục tiêu di động khi mục tiêu di chuyển trong không gian với
tốc độ và hướng thay đổi bất kỳ nhìn trong hệ tọa độ ảo 3D....................................69
Hình 3.15 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các
khớp. c) Tốc độ các khớp q.......................................................................................70

14. xii
Hình 3.17 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường
thẳng khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ...............................71
Hình 3.18 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn
khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron .........................................71
Hình 3.19 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ..71
Hình 3.20 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình tròn
của bài báo trích dẫn [20]..........................................................................................73
Hình 4.1 Cấu trúc của hệ rô bốt- pan-tilt-stereo camera...........................................76
Hình 4.2 Mô hình hệ thống stereo camera................................................................80
Hình 4.3 Ảnh theo hai trục X, Z (trái) và Y, Z (phải)...............................................80
Hình 4.4 Vị trí và hướng mong muốn của rô bốt di động.........................................81
Hình 4.5 Sơ đồ khối hệ thống. ..................................................................................85
Hình 4.6 Sơ đồ khối hệ thống với bộ điều khiển trượt CTC.....................................88
Hình 4.7 Thuật toán điều khiển tối ưu ......................................................................92
Hình 4.8 Bám tọa độ ảnh nhìn trong hệ tọa độ gốc. .................................................93
Hình 4.9 Rô bốt di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ
gốc.............................................................................................................................94
Hình 4.10 Sai số vecto v giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pan-
tilt và hai bánh rô bốt di động ...................................................................................94
Hình 4.11 Mô phỏng di chuyển bám theo mục tiêu của rô bốt di động....................95
Hình 4.12 Sai số giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pan-tilt và
hai bánh rô bốt di động..............................................................................................95

15. xiii
DANH MỤC BẢNG
Bảng 3.1 Bảng tham số của hệ thống hệ pan-tilt................................................62
Bảng 4.1 các tham số trong mô hình rô bốt di động – hệ pan-tilt – stereo
camera ......................................................................................................................89

16. 1
MỞ ĐẦU
Tính cấp thiết của đề tài
Rô bốt được ứng dụng trong công nghiệp từ những năm 60 để thay thế con
người làm các công việc nặng nhọc, nguy hiểm trong môi trường độc hại. Ngày nay rô
bốt được ứng dụng rộng rãi trong mọi lĩnh vực sản xuất và dịch vụ như trong chế tạo
máy, y tế, chăm sóc sức khỏe, nông nghiệp, đóng tàu, xây dựng, an ninh quốc phòng
và gia đình … Nhu cầu s dụng rô bốt trong các ngành công nghiệp, dân dụng, dịch vụ
và an ninh quốc phòng gia tăng là động lực cho sự phát triển của các rô bốt di động
thông minh.
Cùng với sự phát triển mạnh mẽ của các hệ thống tự động hóa, rô bốt di động
ngày một được hoàn thiện và càng cho thấy lợi ích của nó trong công nghiệp và sinh
hoạt. Một vấn đề rất được quan tâm khi nghiên cứu về rô bốt là khả năng nhìn và x lý
thông tin hình ảnh để rô bốt có thể theo dõi được các đối tượng mục tiêu đứng yên
cũng như di chuyển trong không gian, biết được vị trí nó đang đứng trong môi trường
phi cấu trúc và có thể di chuyển tới một vị trí khác, đồng thời có thể tự động tránh
được các chướng ngại vật trên đường đi.
Trong những năm gần đây, rất nhiều công trình nghiên cứu về điều khiển rô bốt
s dụng thông tin hình ảnh, nhưng các kết quả đạt được vẫn còn bộc lộ một số hạn chế.
Chẳng hạn như việc s dụng 1 camera trên rô bốt di động chỉ cho phép theo dõi đầy đủ
thông tin của mục tiêu khi biết trước mặt phẳng di chuyển của mục tiêu hay việc s
dụng 2 camera cho phép đáp ứng nhiều yêu cầu nhưng chưa xét tới các sự suy biến của
ma trận Jacobian ảnh tác động tới khả năng bám của hệ thống. Bên cạnh đó mô hình
toán học của rô bốt thường khó đạt độ chính xác tuyệt đối vì trong hệ thống chứa nhiều
tham số bất định như việc đo đạc các tham số ban đầu hay các hệ số ma sát, mô
men quán tính…, lại thường thay đổi trong quá trình hoạt động. Ngoài ra, tối ưu
hóa các tham số trong các bộ điều khiển rô bốt để đạt được độ chính xác mong muốn
trong một số trường hợp cụ thể là những vấn đề khó và cần tiếp tục nghiên cứu. Việc
s dụng thị giác 2 camera là một xu hướng tất yếu vì nó mang tính linh hoạt dựa trên
đặc tính của hầu hết các loài động vật bậc cao đều có 2 mắt. Nhưng trong việc s dụng
thị giác 2 camera cho rô bốt đi động, việc phát triển các thuật toán điều khiển sao cho
phát huy được các ưu điểm của thị giác hai camera và hạn chế được các khuyết điểm

17. 2
đã nêu trên vẫn còn khá nhiều vấn đề cần được giải quyết.
Với lý do trên, tác giả đã lựa chọn đề tài: “Nghiên cứu điều khiển rô bốt tay
máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh” để phát triển
một số thuật toán điều khiển rô bốt theo dõi mục tiêu di động và rô bốt di chuyển bám
mục tiêu s dụng thông tin hình ảnh có nhiều tham số bất định.
Đối tƣợng nghiên cứu
Đối tượng nghiên cứu chính của đề tài là tập trung vào hệ rô bốt tay máy pan-
tilt và rô bốt di động có cơ cấu di chuyển b ng bánh xe. Hệ camera dùng để lấy thông
tin hình ảnh cho điều khiển tay máy bám mục tiêu di động là hệ 2 camera. Những hình
ảnh thu được sẽ được x lý, tính toán từ đó ra quyết định điều khiển các cơ cấu chấp
hành khác của rô bốt thực hiện theo các yêu cầu.
Mục tiêu nghiên cứu
Mục tiêu của đề tài là nghiên cứu phát triển một số thuật toán điều khiển tay
máy rô bốt bám mục tiêu di động dựa trên cơ s thông tin hình ảnh s dụng hai
camera có tính bền vững với nhiều tham số bất định và khả năng kháng nhi u với tốc
độ x lý cao.
- Đề xuất thuật toán điều khiển hệ pan-tilt mang 2 camera bám mục tiêu di
động với nhiều tham số bất định và xây dựng hệ 2 camera với ma trận
Jacobian ảnh đầy đủ.
- Đề xuất một số thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt mang 2
camera bám mục tiêu di động.
Phạm vi nghiên cứu
Nghiên cứu về hệ pan-tilt mang 2 camera (stereo camera) và rô bốt di động di
chuyển b ng 3 bánh xe trong đó có 2 bánh chủ động, có nhiều tham số bất định bám
mục tiêu di động.
Nghiên cứu các thuật toán, phương pháp điều khiển hệ pan-tilt bám mục tiêu di
động s dụng thông tin hình ảnh từ hai camera.
Nghiên cứu các thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt stereo
camera theo dõi và bám mục tiêu di động.
Chỉ tập trung vào nghiên cứu s dụng các kết quả mà camera thu được để điều

18. 3
khiển rô bốt, không đề cập tới phần hiệu chỉnh camera, thu nhận ảnh hay x lý ảnh
trên camera mà chỉ quan tâm tới việc x lý từ điểm tính năng trên ảnh sau x lý để đưa
ra các tham số điều khiển rô bốt.
Các yếu tố bất định, nhi u trong các bài toán của luận án đều bị chặn.
Phƣơng pháp nghiên cứu
Phương pháp nghiên cứu được áp dụng cho các vấn đề đã nêu ra của luận án
như sau:
1. Trên cơ s kế thừa các kết quả nghiên cứu đã có tác giả đi xây dựng mô
hình toán học cho hệ thốnghệ pan-tilt stereo camera và hệ thống phức hợp
gồm rô bốt di động – hệ pan-tilt mang 2 camera khi có các tham số bất định
trong mô hình và nhi u.
2. Nghiên cứu các thuật toán điều khiển hiện đại để từ đó xây dựng các thuật
toán điều khiển mới cho hệ pan-tilt theo dõi mục tiêu và hệ phức hợp nói
trên bám mục tiêu di động.
3. Tối ưu hệ thống bao gồm tối ưu các ma trận Jacobian đảm bảo tính khả
nghịch và tham số trong mô hình điều khiển.
4. Chứng minh tính ổn định của các thuật toán đề xuất b ng lý thuyết ổn định
Lyapunov, bổ đề Barbalat.
5. Mô phỏng đáp ứng của hệ thống với các thuật toán đề xuất trên Matlab
simulink để kiểm chứng việc theo dõi và bám mục tiêu của hệ thống.
Ý nghĩa của đề tài
- Về mặt lý thuyết: đóng góp các thuật toán điều khiển hệ pan-tilt theo dõi
mục tiêu và thuật toán điều khiển hệ rô bốt di động –hệ pantilt s dụng 2
camera bám mục tiêu di động với nhiều tham số bất định trong mô hình
cũng như nhi u tác động.
- Về mặt thực ti n: xây dựng mô hình camera 3D ảo loại bỏ sự suy biến của
ma trận Jacobian ảnh và mô hình động lực học cho hệ gồm rô bốt di động –
hệ pan-tilt mang dụng 2 camera.
Những điểm mới của luận án

19. 4
Qua các nghiên cứu về phương pháp điều khiển rô bốt s dụng thông tin hình
ảnh, trong đó cụ thể là hệ pan-tilt và hệ rô bốt di động – hệ pan-tilt stereo camera có
nhiều tham số bất định trong mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận
Jacobian rô bốt cũng như các yếu tố bên ngoài, tác giả có một số đóng góp như sau:
- Xây dựng 1 phương pháp để thiết lập ma trận Jacobian ảnh vuông cho hệ stereo
camera giúp hệ rô bốt – stereo camera theo dõi được các đối tượng có chuyển động
phức tạp d dàng hơn.
- Xây dựng bộ điều khiển mạng nơ ron nhân tạo để bù các tham số bất định trong
mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu
tố bên ngoài. Bộ điều khiển này hoạt động tốt ngay cả khi tham số mô hình chỉ chắc
chắn được 80 và ngay cả khi có các yếu tố bên ngoài tác động vào.
- Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pan-tilt mang
dụng 2 camera và 2 thuật toán điều khiển trong đó: 01 bộ điều khiển trượt và 01 bộ
điều khiển tối ưu theo chu n tối ưu bình phương tối thiểu cho hệ kết hợp hai rô bốt
gồm hệ pan-tilt stereo camera và rô bốt di động. Trong đó, mô hình động lực học của
toàn hệ nói trên được tổng hợp trong một phương trình.
Tối ưu hóa các tham số trong bộ điều khiển nơ ron.
Mô phỏng kiểm chứng các thuật toán điều khiển rô bốt theo dõi và bám mục tiêu
di động b ng công cụ mô phỏng Matlab.
Công bố 07 công trình liên quan đến các nội dung nghiên cứu của luận án trên
các tạp chí, kỷ yếu hội thảo trong nước và ngoài nước.
Nội dung của luận án
Luận án gồm 04 chương:
Chƣơng 1 Trình bày tổng quan về các vấn đề trong điều khiển rô bốt nói chung,
điều khiển rô bốt s dụng thông tin hình ảnh từ camera và đặc biệt là s dụng hai
camera để đưa ra định hướng nghiên cứu của luận án.
Chƣơng 2 Trình bày mô hình động học của hệ pan-tilt 2 camera. Xây dựng bộ
điều khiển động học điều khiển hệ thống bám mục tiêu di động với nhiều tham số bất
đinh trong mô hình toán học. Bộ điều khiển được xây dựng dựa trên phương pháp điều
khiển PD kết hợp với mạng nơ ron RBF s dụng thuật học online để bù các tham số

20. 5
bất định. Thuật toán được chứng minh tính ổn định tiệm cận b ng lý thuyết ổn định
Lyapunov và mô phỏng kiểm chứng trên Matlab simulink.
Kết quả của các nghiên cứu trong chương này được công bố trong tạp chí Tin
học và điều khiển, tạp chí Khoa học công nghệ - Đại học Thái Nguyên và trong kỷ yếu
hội nghị toàn quốc về tự động hóa VCCA 2013:
, Pham Thuong Cat (2015), “A new control method for stereo visual servoing
system with pan-tilt platform”, Journal of Computer Science and Cybernetics,Vol
31 (2), pp. 107 – 122.
, Phạm Thượng Cát, Bùi Tuấn Anh (2013), “Phương pháp điều khiển hệ servo
thị giác stereo sử dụng bệ Pan-Tilt”, Hội nghị toàn quốc lần thứ 2 về Điều khiển
và Tự động hoá - VCCA-2013, Đà N ng, pp. 375 - 382.
, “Phát triển hệ pan-tilt – nhiều camera bám mục tiêu di động”, Tạp chí KHCN
Đại học Thái Nguyên, 116(02), tr. 41-46.
Chƣơng 3: Xây dựng mô hình camera 3D ảo để thiết lập ma trận Jacobian ảnh
vuông giúp hệ stereo camera ảnh có thể theo dõi các đối tượng chuyển động phức tạp.
Xây dựng mô hình động lực học cho hệ pan-tilt 2 camera bám mục tiêu di động. Bộ
điều khiển s dụng mang nơ ron với các tham số đã được tối ưu. Mô hình và thuật toán
điều khiển này cho kết quả tốt hơn so với các kết quả trong chương 2 khi có xét thêm
nhi u ngoài và các yếu tố bất định trong mô hình động lực học. Tính ổn định tiệm cận
của hệ thống đã được chứng minh b ng lý thuyết ổn định Lyapunov, bổ đề Barbalat và
mô phỏng trên Matlab.
Kết quả nghiên cứu của chương này được tác giả công bố trên tạp chí quốc tế về
x lý ảnh và điều khiển robot và kỷ yếu hội nghị toàn quốc về cơ điện t VCM 2014:
, “Robust Visual Tracking Control of Pan-tilt -Stereo Camera System”,
International Journal of Imaging and Robotics, Vol 18 (1), (1/2018), pp. 45 – 61.
, Pham Thuong Cat (2014), “Robust visual tracking control of pan-tilt – stereo
camera system”, Hội nghị cơ điện t VCM 2014, Đồng Nai, pp.167-173.
Chƣơng 4 Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pan-
tilt mang dụng 2 camera. Xây dựng 02 thuật toán điều khiển cho hệ nói trên bao gồm
01 bộ điều khiển trượt và 01 bộ điều khiển tối ưu theo chu n tối ưu bình phương tối

21. 6
thiểu cho hệ kết hợp gồm hai rô bốt, hệ pan-tilt stereo camera và rô bốt di động. Trong
đó, hệ động lực học của toàn hệ được tổng hợp trong một phương trình. Các thuật toán
được chứng minh và mô phỏng trên Matlab, cả hai phương pháp đều cho kết quả bám
mục tiêu di chuyển tốt nhưng so với phương pháp trượt thì phương pháp điều khiển tối
ưu cho kết quả tốt hơn sai số bám mục tiêu.
Các kết quả nghiên cứu được tác giả công bố trong 2 kỷ yếu hội thảo quốc tế về
cơ điện t & điều khiển thông minh AIM trong danh mục hội thảo IEEE, kỷ yếu hội
thảo Springer ICTA:
, Pham Thuong Cat (2016), “Optimal tracking a moving target for integrated
mobile robot – pan-tilt – stereo camera”, Advanced Intelligent Mechatronics
AIM IEEE Conference, Banff, Canada July 12-15, pp. 530 – 535.
, Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for Tracking
Target used Mobile Robot-pan-tilt-stereo camera system”, International
Conference on Advances in Information and Communication Technology, ICTA,
Thai Nguyen, Dec 12-14, pp. 217 – 227.

22. 7
CHƢƠNG 1
TỔNG QUAN
1.1 Đặt vấn đề
Trong những năm gần đây, rất nhiều công trình nghiên cứu về điều khiển rô bốt
s dụng thông tin hình ảnh như: điều khiển thích nghi, điều khiển tối ưu, tuyến tính
hóa phản hồi hay điều khiển mờ, mạng nơ ron đã được công bố. Đối với việc theo dõi
mục tiêu di chuyển, việc s dụng một hay hai camera đều khả dụng nhưng để tính toán
khoảng cách tới mục tiêu thì việc s dụng 2 camera sẽ thuận tiện hơn, hơn nữa việc
dùng 2 camera sẽ cho khả năng quan sát và góc nhìn tốt hơn một camera. Đối với việc
s dụng thông tin hình ảnh để điều khiển rô bốt di chuyển thì việc s dụng 2 camera sẽ
cho không gian theo dõi mục tiêu rộng hơn, tính được tọa độ 3D của mục tiêu từ đó
giúp điều khiển rô bốt di chuyển d dàng hơn.
Việc điều khiển rô bốt s dụng thông tin hình ảnh stereo camera để bám mục
tiêu di động còn một số khó khăn như tham số bất định trong mô hình rô bốt và camera
hay ma trận Jacobian ảnh của hệ stereo camera không vuông là nguyên nhân của các
điểm kỳ dị khi lấy nghịch đảo ma trận này bên cạnh đó vấn đề tối ưu hóa tham số điều
khiển cũng còn nhiều điểm cần cải thiện. Trong việc điểu khiển rô bốt di động kết hợp
với hệ thống theo dõi mục tiêu di chuyển trên còn một số khó khăn như việc kết hợp
điều khiển động lực học của hai rô bốt hay điều khiển tối ưu để hệ thống hoạt động
hiệu quả nhất.
Như vậy để điều khiển hệ thống rô bốt s dụng stereo camera hoạt động được
tốt hơn thì vấn đề đặt ra là:
Thứ nhất là: Phát triển các phương pháp điều khiển hệ thống rô bốt s dụng
thông tin hình ảnh trong việc bám mục tiêu di động khi tồn tại các tham số bất định.
Thứ hai là: Phải tìm ra cách thức xây dựng ma trận Jacobian ảnh là ma trận
vuông cũng như cách để tối ưu hóa các tham số điều khiển trong hệ thống bám mục
tiêu di động để hệ thống hoạt động tốt nhất.
Thứ ba là: Phát triển một số phương pháp điều khiển hệ thống kết hợp rô bốt di
động với rô bốt mang hai camera bám mục tiêu di động để vừa có khả năng bám mục
tiêu vừa có khả năng di chuyển tới gần mục tiêu trong không gian.

23. 8
Nếu mục tiêu chỉ di chuyển trong một mặt phẳng biết trước giới hạn di chuyển
hoặc ta chỉ cần xác định hướng nhắm tới mục tiêu thì một camera cố định là đủ để lấy
các thông số về vị trí hay hướng tới mục tiêu đó. Nhưng khi cần xác định tọa độ của
mục tiêu trong không gian 3D (biết trước giới hạn) hoặc ngoài thông tin về hướng ta
cần thông tin về khoảng cách mà không cần thêm một thiết bị đo khác thì việc s dụng
stereo camera cố định là cần thiết.
Trong thực tế các đối tượng theo dõi thường di chuyển trong không gian không
xác định trước được giới hạn, do vậy ngoài việc s dụng camera thì các hệ thống theo
dõi, quan sát thường s dụng thêm hệ pan-tilt để mang camera quay quét giúp không
gian theo dõi rộng hơn. Nếu hệ thống rô bốt mang một camera cho phép ta theo dõi và
xác định vị trí của đối tượng khi biết trước mặt phẳng di chuyển hoặc phải dùng thêm
máy đo khoảng cách thì hệ pan-tilt stereo camera cho phép ta xác định được cả ba
thông số mục tiêu đồng thời. Tuy nhiên khi s dụng hệ pan-tilt stereo camera thì việc
xây dựng bài toán động học cho hệ thống còn gặp nhiều vấn đề như sự suy biến của
ma trận Jacobian ảnh. Các tham số bất định của hệ thống và đặc biệt là thông số nội tại
của hai camera dùng trong hệ thống cần phải được biết trước.
Trong bài toán theo dõi và tiếp cận mục tiêu di chuyển thì ngoài hệ pan-tilt
stereo camera trên ta cần có một rô bốt di động. Để kết hợp điều khiển hai rô bốt và
camera để vừa theo dõi mục tiêu vừa di chuyển theo mục tiêu ta cần xây dựng hệ động
lực học cho toàn hệ thống và xây dựng các thuật toán điều khiển hợp lý để kết hợp
điều khiển toàn bô hệ thống.
1.2. Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh
1.2.1 Tình hình nghiên cứu trong nước
Điều khiển rô bốt s dụng thông tin hình ảnh cũng được nhiều tác giả Việt
Nam quan tâm trong hơn 15 năm tr lại đây. Một số tác giả tập trung vào nghiên cứu
phát triển thuật toán điều khiển rô bốt s dụng thông tin hình ảnh từ 1 camera [7], [2],
[4], [6], đặc biệt được PGS.TSKH Phạm Thượng Cát tổng hợp trong sách [8] về điều
khiển rô bốt công nghiệp s dụng camera. Tuy nhiên để điều khiển rô bốt di động s
dụng thông tin hình ảnh thì s dụng 2 camera sẽ cho thông tin đầy đủ hơn về mục tiêu
bao gồm hướng và khoảng cách [1]. Việc s dụng 1 camera trong điều khiển rô bốt

24. 9
thích hợp với các bài toán theo dõi hướng của mục tiêu mà không cần thông tin
khoảng cách tới mục tiêu hoặc khoảng cách đã biết trước [10]. Trong bài toán bám
mục tiêu di động, việc s dụng 1 camera thường phải kết hợp với 1 cảm biến để đo
khoảng cách riêng [3] hoặc phải có thêm các điều kiện ràng buộc cụ thể [4] thì việc
điều khiển rô bốt bám mục tiêu mới thực hiện được. Do vậy, s dụng 1 camera trong
bài toán điều khiển rô bốt di động còn gặp nhiều hạn chế.
Trong các nghiên cứu trong lĩnh vực này thì nhóm tác giả Ngô Mạnh Tiến [2],
[3] tập trung đi xây dựng phần cứng cho hệ pan-tilt mang 1 camera để bám mục tiêu di
động với thuật toán điều khiển thích nghi mô hình mẫu. Các kết quả nghiên cứu của
nhóm tác giả Phạm Đức Long [7] – ĐH Công nghệ thông tin và truyền thông Thái
Nguyên thì tập trung vào việc x lý ảnh song song CNN cho hệ rô bốt di động s dụng
1 camera thực hiện các nhiệm vụ khác nhau. Nhóm tác giả Nguy n Văn Tính và các
cộng sự [5], [57], [58], [73], [74] viện Công nghệ thông tin viên Hàn lâm khoa học
Việt Nam tập trung vào xây dựng các thuật toán điều khiển cho hệ kết hợp rô bốt di
động,hệ pan-tilt mang 1 camera tiếp cận mục tiêu trên mặt sàn. Ngoài ra là các thuật
toán điều khiển rô bốt di động bám quỹ đạo khi có xét tới các yếu tố trơn, trượt của
bánh xe và các yếu tố bất định. Nhóm tác giả Nguy n Tiến Kiệm và các cộng sự
trường Đại học Công nghiệp Hà Nội [45], [46] tập trung vào xây dựng thuật điều
khiển cho hệ rô bốt di động,hệ pan-tilt mang 1 camera bám mục tiêu khi xét tới các
yếu tố bất định trong mô hình và yếu tố trượt ngang, dọc của bánh xe trong quá trình di
chuyển. Cũng nghiên cứu về hệ rô bốt trên nhưng trong luận án của mình, tác giả s
dụng hệ stereo camera và tập trung vào các yếu tố bất định như ma trận Jacobian ảnh
cũng như tập trung vào bài toán theo dõi và bám mục tiêu di động.
Để điều khiển rô bốt s dụng thông tin hình ảnh thì có 2 vấn đề lớn đặt ra: một
là nghiên cứu x lý ảnh để trích chọn đặc trưng và x lý để đưa ra các thông tin cần
thiết như hướng, khoảng cách cho rô bốt. Nếu mục tiêu là cố định và n m trên mặt
phẳng [7] thì ta có thể tính toán được vị trí, khoảng cách và hướng của mục tiêu trong
bài toán cụ thể này hoặc phải có thêm các kỹ thuật x lý ảnh khác như lọc mẫu và so
sánh [9] để xác định vị trí mục tiêu cho rô bốt trong bài toán xác định vị trí quả cà
chua chín của tác giả Quách Tuấn Văn. Các nghiên cứu về hệ thống định vị 3D dùng 2
camera cũng đã được nghiên cứu trong thời gian gần đây. Cụ thể là trong kết quả
nghiên cứu của nhóm tác giả Đặng Tâm Trung [1] đã tập trung vào phần x lý ảnh nói

25. 10
chung để xây dựng hệ thống định vị 3D s dụng stereo camera, còn ứng dụng cụ thể
trong bài toán điều khiển rô bốt phải kể tới việc chế tạo rô bốt s dụng trong điều
khiển giao thông của nhóm tác giả Tư ng Phước Thọ [12]. So với việc s dụng 1
camera thì dùng 2 camera cho kết quả tốt hơn với khả năng định vị mục tiêu trong
không gian 3D với không gian quan sát lớn hơn. Đó là sự kế thừa từ tự nhiên vì đa số
các loài động vật đều có 2 mắt chứ không phải 1 mắt.
Vấn đề lớn thứ 2 là việc s dụng các thông tin về mục tiêu thu được để điều
khiển rô bốt [4], [13]. Các nghiên cứu trong nước về điều khiển rô bốt s dụng thông
tin hình ảnh cũng đã nghiên cứu nhiều thuật toán điều khiển khác nhau để điều khiển
rô bốt mang 1 camera bám mục tiêu từ các bộ điều khiển cổ điển tới các phương pháp
điều khiển hiện đại.
Bộ điều khiển cổ điển PID được dùng trong các bộ điều khiển bệ pan-tilt mang
camera theo dõi mục tiêu như bộ điều khiển PD hay có thêm thành phần bù trọng
trường [2]. Kết quả mô phỏng việc bắt mục tiêu vị trí bất kỳ đều cho kết quả tốt còn
khi mục tiêu di chuyển liên tục theo các quỹ đạo khác nhau thì còn cần phải cải tiến.
Nếu s dụng 1 camera việc theo dõi mục tiêu thực hiện tốt trong hầu hết các trường
hợp nhưng khoảng cách lại cần dùng thêm một cảm biến khác do vậy khi rô bốt hoạt
động trong các môi trường phi cấu trúc thì việc bám các đối tượng sẽ khó khăn hơn.
Nếu dùng 2 camera ta sẽ có đầy đủ tham số tọa độ mục tiêu trong không gian nhưng
một số trường hợp bị sai số lớn thậm chí mất bám. Lý do là ma trận Jacobian ảnh với
hệ 2 camera là (3x6) do vậy trong một số phép biến đổi lấy giả nghịch đảo không khả
nghịch sẽ dẫn tới suy biến ma trận Jacobian của hệ và gây ra các sai số lớn.
Phương pháp điều khiển mờ và mạng nơ ron trong các bài toán điều khiển rô
bốt s dụng thông tin hình ảnh cũng được s dụng nhiều trong thời gian gần đây [7] để
loại bỏ ảnh hư ng của các tham số bất định trong mô hình và cho kết quả tốt hơn so
với các phương pháp điều khiển PD thông thường. Hệ thống họat động tốt hơn nhưng
cũng không triệt tiêu được ảnh hư ng do sự suy biến của ma trận Jacobian ảnh gây ra
khi s dụng 2 camera. Phương pháp điều khiển nơ ron còn được s dụng để làm giảm
sự ảnh hư ng của các cơ cấu chấp hành [6] như ma sát khớp, độ rơ của khớp...
Bộ điều khiển thích nghi trong việc điều khiển rô bốt s dụng thông tin hình
ảnh cho kết quả khá tốt [45] khi có sự bất định trong mô hình và các tham số đầu vào
của bộ điều khiển không chắc chắn như tốc độ di chuyển của mục tiêu được ước lượng

26. 11
b ng x lý ảnh và tốc độ tương đối của nó cũng thay đổi khi tốc độ của rô bốt di động
thay đổi hay khi bị tác động b i nhi u. Bộ lọc Kalman được s dụng để giảm ảnh
hư ng của nhi u trong việc thu nhận ảnh [3] kết hợp với thuật toán bám ảnh Camshift
nh m nâng cao chất lượng bám trong các hệ thống rô bốt tự động tìm kiếm và bám bắt
mục tiêu. Hệ thống cho kết quả bắt mục tiêu tốt, giảm được nhi u trong quá trình tìm
kiếm mục tiêu nhưng nhi u xác định khoảng cách tới mục tiêu khi s dụng thêm 1 cảm
biến siêu âm thì chưa được nhắc tới.
Bài toán điều khiển rô bốt s dụng 1 hay 2 camera đã được nhiều tác giả trong
nước nghiên cứu và phát triển. Trong bài toán s dụng 1 camera chắc chắn vẫn còn
nhiều vấn đề cần giải quyết như tính chính xác của việc s dụng cảm biến khoảng cách
riêng. Việc s dụng 2 camera khi đó sẽ giải quyết được vấn đề trên nên việc s dụng 2
camera trong các bài toán điều khiển rô bốt vẫn còn nhiều vấn đề cần nghiên cứu, đặc
biệt là các thuật toán điều khiển rô bốt s dụng thông tin hình ảnh từ 2 camera hay sự
bất định trong mô hình rô bốt – stereo camera, sự suy biến của ma trận Jacobian ảnh.
1.2.2 Tình hình nghiên cứu ngoài nước
Trong điều khiển rô bốt nói chung và điều khiển rô bốt s dụng thông tin hình
ảnh thu từ camera nói riêng, việc tìm được phương pháp điều khiển phù hợp để có thể
kết hợp được thông tin từ camera và hệ rô bốt là một bài toán phức tạp. Bài toán điều
khiển rô bốt di động s dụng thông tin hình ảnh từ camera có thể phân loại như sau
[34], [29]:
Hình 1.1 Các ứng dụng điều khiển rô bốt s dụng thông tin hình ảnh.
Điều khiển rô bốt s dụng
thông tin hình ảnh
S dụng 1 camera S dụng 2 cameraS dụng 1 camera và
máy đo khoảng cách
Camera cố định
Camera đặt trên
robot có thể di
động được

27. 12
Hệ thống camera bám mục tiêu di động theo cấu trúc có thể phân hệ thành
nhóm có 1 hoặc 2 camera cố định hoặc điều khiển được. Hệ thống có 1 camera của
nhóm tác giả Oscar, N., Ricardo, C., [59], Kelly, R. Và cộng sự [43], hay trong các
công bố [71], [76], [77], [78] … chỉ xác định được hướng của mục tiêu nên cần s
dụng thêm một máy đo khoảng cách hoặc chỉ đo được khoảng cách trong một số bài
toán có ràng buộc cụ thể [56]. Để giải quyết vấn đề khoảng cách trong các môi trường
phi cấu trúc thì việc s dụng 2 camera là một giải pháp, tác giả Masaaki Shibata,
Hideki Eto, Masahide Ito [37], [49], Wook bahn [82], Tae-II K [29], hay trong các
công bố [63], [28], [86] … đã s dụng hai camera trong các nghiên cứu của mình.
Thông số 3D về vị trí mà hướng của mục tiêu trong đó có khoảng cách là hoàn toàn
xác định được từ ảnh trên các camera [32], [50]. Với nhóm camera di động, các
camera quay quét với các góc khác nhau [65], [34], [29] có một ưu điểm là có thể điều
khiển hệ camera di chuyển bám theo đối tượng để đối tượng luôn trung tâm của ảnh
thu được nên không gian quan sát lớn, thay đổi được so với hệ camera gắn cố định trên
rô bốt [27], [63].
Để bám được mục tiêu có tốc độ di chuyển khác nhau thì ta cần điều khiển các
khớp của bệ Pan-Tilt mang camera thay đổi phù hợp. Để làm được điều này thì tốc độ
di chuyển của mục tiêu phải tính toán hay đo được, ngoài ra các thông số của hệ
thường không hoàn toàn chính xác nên việc bám mục tiêu di động là một bài toán
phức tạp. Khi s dụng hệ pan-tilt stereo camera thì một vấn đề nữa đặt ra sự suy biến
của ma trận Jacobi khi lấy giả nghịch đảo. Khi s dụng 1 camera thì ma trận Jacobian
ảnh là [21], [37]:
0
0
2 2( )
,
2 2( )
imag
V
U
f U UV U f
Z Z f f
f V V f UV
Z Z f f
J (m) (1.1)
trong đó: U, V là tọa độ của ảnh mục tiêu thu được b i camera theo trục ngang u và
trục đứng v trong hệ tọa độ ảnh. Khi thực hiện nhân ma trận trên với với ma trận
Jacobian của hệ pan-tilt :

28. 13
2 1 2
2 1 2
2 2 1
1
1
0
0
;
0
0
1 0
robot
l C C
l S C
l S l
S
C
J (1.2)
ta sẽ thu được ma trận Jacobian của hệ thống hệ pan-tilt – 1 camera là vuông và khả
nghịch. Nhưng khi s dụng 2 camera thì ma trận Jacobian ảnh của hệ sẽ là (3x6) [20],
[37], [81]:
2 22( )
0
2
2 2
( ) ( )
0
2 2
2 22( )
0
2
imag
f U U UU U U U U U V L RR L L L R L L L VL
K fK f f
f VU U V U U V U U U UR L L L R L L L R L R
K fK f f f
f U U UU U U U U U V L RR L R L R R L R VL
K fK f f
J (m) (1.3)
trong đó: UL, UR là tọa độ của ảnh mục tiêu thu được b i camera theo trục ngang u của
camera trái và phải trong hệ tọa độ ảnh. Khi thực hiện nhân ma trận trên với với ma
trận Jacobian của hệ pan-tilt thì sẽ được ma trận Jacobian của hệ là (3x2). Do vậy
trong các phép biến đổi ta phải lấy giả nghịch đảo khiến nó là nguyên nhân gây ra các
điểm kỳ dị. Để khắc phục nhược điểm này Cai, C và cộng sự [20] đã đưa ra 1 giải
pháp xây dựng ma trận Jacobian ảnh đầy đủ cho hệ camera đặt cố định. Nhưng giải
pháp cho các hệ camera di động còn chưa được nghiên cứu triệt để.
Phương pháp điều khiển rô bốt nói chung và điều khiển rô bốt s dụng thông tin
hình ảnh nói riêng về cơ bản có thể chia làm hai phương pháp chính là điều khiển động
học và điều khiển động lực học. Tuy nhiên trong m i phương pháp lại có rất nhiều các
kỹ thuật điều khiển khác nhau từ cơ bản tới nâng cao hay kết hợp với các phương pháp
điều khiển hiện đại khác. Trong những năm gần đây rất nhiều các công bố s dụng các
phương pháp điều khiển động lực học kết hợp với các thành phần điều khiển mạng rơ
ron, điều khiển trượt, điều khiển thích nghi và bền vững, điều khiển tối ưu… giúp hệ
rô bốt mang camera hoạt động ổn định hơn.
Một cách khái quát ta có thể chia các phương pháp điều khiển thành các dạng
sau [19], [36], [41], [48], [55]:

29. 14
Hình 1.2 Một số phương pháp điều khiển rô bốt s dụng thông tin hình ảnh
Để điều khiển rô bốt mang stereo camera bám mục tiêu di động hay cánh tay rô
bốt mang camera dõi theo chuyển động của mục tiêu thì việc đầu tiên cần phải giải
quyết là làm sao để thu được ảnh từ các camera và x lý nó thành các tham số điều
khiển rô bốt. Cụ thể, trong công bố của nhóm tác giả Chengxian Zhou, Wei Fu [23],
tại hội nghị ICEOE, 2011, và nhóm tác giả Huiguang, L., Mei, J., Liying, Z. [37], tại
kỷ yếu hội nghị IEEE, 2008 thì các vấn đề về cách thu ảnh và phương pháp tính toán
ra các tham số điều khiển rô bốt đã được trình bày cụ thể. Các nghiên cứu trên đã tính
toán được các thông số tọa độ của mục tiêu, tuy nhiên việc s dụng các thông số này
trong các bài toán điều khiển cụ thể trên các rô bốt cụ thể thì vẫn cần thêm các kỹ thuật
biến đổi tiếp theo.
Cho tới nay trên thế giới đã có nhiều công bố về điều khiển rô bốt mang camera
bám hoặc theo dõi các mục tiêu chuyển động. Tác giả Hiroyuki Ukida và các cộng sự
của trường đại học Waseda – Tokyo – Nhật Bản [35] đã phát triển hệ thống cánh
tay rô bốt 6 bậc tự do mang stereo camera bám mục tiêu di động. Nghiên cứu s dụng
phương pháp lọc phần t và so sánh mẫu để phát hiện sự chuyển động của đối tượng.
Tuy nhiên do phương pháp điều khiển còn đơn giản nên kết quả còn có thể cải thiện
được. Nhóm tác giả Widodo Budiharto của đại học BINUS và viện công nghệ
Indonesia [81] đã nghiên cứu hệ thống điều khiển chuyển động cho rô bốt dùng
Tối ưu
tham số
Tối ưu
đầu ra
Thuật toán điều khiển rô bốt sử
dụng thông tin hình ảnh
Các phƣơng pháp cổ điển
Điều
khiển
động học
Điều khiển
động lực học
Phƣơng pháp điều khiển hiện đại
Điều khiển
trượt
Kết hợp với
mạng nơ ron
nhân tạo
Điều khiển tối
ưu và thích nghi
Phương pháp hiện
đại kết hợp mạng
nơ ron
Phương pháp cổ
điển kết hợp
mạng nơ ron

30. 15
stereo camera cùng với bộ lọc Kalman để loại bỏ nhi u ảnh thu từ hai camera.
Hệ thống được lập trình để đi tới vị trí của một khách hàng dựa trên thuật toán
nhận diện khuôn mặt PCA đã có và tập trung chính vào việc điều khiển rô bốt
tránh các vật cản trên đường tới đích dựa trên vị trí các vật cản cố định cùng với
hướng và tốc độ di chuyển của các vật cản di động để đưa ra quyết định tránh
sang trái, sang phải hay dừng lại. Cũng dùng 2 camera nhưng nhóm tác giả
Masaaki Shibata, Hideki Eto, Masahide Ito phòng nghiên cứu trường đại học
Seikei Nhật Bản [49] đã phát triển hệ thống theo dõi các đối tượng chuyển động
tốc độ cao. Hệ thống s dụng các camera có tốc độ cao cùng với các bộ điều
khiển tác động nhanh để xoay các camera hướng về đối tượng một cách riêng lẻ,
các camera thu nhận ảnh và s dụng kỹ thuật lọc Kalman để tìm ra đối tượng
cần theo dõi. Tuy nhiên do cần tốc độ đáp ứng nhanh nên bộ điều khiển đơn giản
được s dụng, chưa xét tới các yếu tố bất định nên các kết quả còn có thể cải
tiến được.
Trong m i mô hình rô bốt luôn tồn tại các bất định, tác giả C.S Kim và các
đồng nghiệp [26] trong báo cáo tại hội nghị Kỹ thuật điều khiển tự động hóa lần thứ 4
IEEE Bridge Marriott, Washington DC, 2008 đã giải quyết vấn đề bất định trong mô
hình rô bốt 5 bậc tự do nhưng chỉ điều khiển 2 khớp pan-tilt mang 1 camera và sự bất
định trong ma trận Jaciban ảnh khi s dụng 1 camera. Các kết quả mô phỏng với bộ
điều khiển có thêm các thành phần bù cho kết quả tốt khi mục tiêu cố định. Tuy nhiên
khi mục tiêu di chuyển thì chưa được xét tới. Sự bất định trong ma trận Jacobian ảnh
của hệ stereo được Cai, C., và các cộng sự [20] đưa ra giải quyết trong báo cáo tại hội
nghị IEEE/RSJ (IROS), 2014. Nghiên cứu đã đưa ra cách xây dựng ma trận Jacobian
ảnh vuông cho hệ stereo camera đặt cố định từ đó lấy các thông số để điều khiển rô bốt
gắn cố định gắp đối tượng. Tuy nhiên với bài toán hệ stereo camera đặt trên tay máy rô
bốt hay rô bốt di động để bám mục tiêu thì đây cũng là một trong những vấn đề cần
giải quyết.
Kỹ thuật điều khiển động học được Antonelli [16], Bruno S. [19] và Tae-Il et al.
[29], [62] nhắc tới trong các kết quả nghiên cứu của mình. Trong phương pháp này
thông tin hình ảnh được dùng để xác định vị trí, hướng, và tốc độ di chuyển của mục
tiêu từ đó tính toán ra tốc độ các khớp của rô bốt. Trong kỹ thuật điều khiển động học

31. 16
yếu tố lực mô men không được đề cập tới, các cơ cấu chấp hành được coi như thực thi
được các yêu cầu của bộ điều khiển. Điều này trong thực tế còn có nhiều điểm chưa
hợp lý khi các cơ cấu chấp hành có các tham số động lực học khác nhau hay bộ điều
khiển đưa ra các tín hiệu điều khiển thay đổi lớn hay liên tục mà các cơ cấu không thể
đáp ứng được.
Phương pháp động lực học được hầu hết các tác giả s dụng nhiều trong các kết
quả nghiên cứu. Trong đó có Cai et al. [20], Sho-Tsung và cộng sự [64], T.Hu và cộng
sự [69], Tính NV và cộng sự [56], [57], hay trong các công bố [17], [26], [39], [72],
[79], [85], ..v.v. So với phương pháp động học thì phương pháp động lực học có xét
tới các yếu tố lực moment do đó thuật toán điều khiển đặt ra cho các rô bốt có tính ứng
dụng tốt hơn. Tuy nhiên việc xác định được chính xác các tham số động lực học cũng
là một yếu tố ảnh hư ng không nhỏ tới độ đáp ứng của thuật toán. Nhiều tác giả đã s
dụng các phương pháp mềm khác để x lý vấn đề này như dùng bộ điều khiển mờ, nơ
ron, các phương pháp điều khiển nâng cao trình bày dưới đây sẽ nói kỹ hơn về các
kỹ thuật mềm đó.
Kỹ thuật điều khiển PID là một kỹ thuật điều khiển cổ điển nhưng không vì thế
mà nó không được s dụng, Huiguang, L. [37], đã s dụng bộ điều khiển PID để điều
khiển rô bốt mang 2 camera trong bài toán xác định mục tiêu hay trong [62] thuật điều
khiển PID cũng được dùng trong bài toán điều khiển rô bốt bám mục tiêu di động. Tuy
vậy, phương pháp điều khiển cổ điển này cũng có nhiều hạn chế như việc tìm ra các
thông số PID tối ưu hay việc đáp ứng của các cơ cấu chấp hành khi tham số mô hình là
không thể xác định chính xác hoàn toàn. Hơn nữa trong thực tế các yếu tố bất định
trong mô hình và nhi u từ bên ngoài luôn tồn tại làm cho phương pháp điều khiển cổ
điển này có nhiều hạn chế.
Trong những năm gần đây kỹ thuật điều khiển nơ ron để giảm sự ảnh hư ng
của các tham số bất định trong mô hình rô bốt có kết hợp với các phương pháp thông
dụng và các phương pháp khác được s dụng nhiều. Điều này thể hiện qua các kết quả
nghiên cứu của Chenguang [25], tác giả s dụng phương pháp điều khiển thông dụng
và kết hợp với mạng nơ ron và chứng minh hệ ổn định toàn cục, các tác giả Hashimoto
[33], Thuận H.T và cộng sự [68], Cát PT và cộng sự [21], Kiệm NT và cộng sự [11]
cũng đã s dụng phương pháp điều khiển nơ ron trong bài toán điều khiển rô bốt và
thu được các kết quả tốt. So với các bộ điều khiển chỉ s dụng phương pháp truyền

32. 17
thống thì ảnh hư ng của các tham số bất định trong mô hình tới chất lượng đầu ra nhỏ
chỉ còn trong 1 khoảng thời gian ngắn khi thay đổi trạng thái. Có rất nhiều phương
pháp điều khiển s dụng các mạng nơ ron khác nhau, thuật học khác nhau từ các thuật
học dựa trên các mẫu có s n Kim Y.H [47] hay các thuật học online [21], trong đó
nhiều kết quả mới được phát triển dựa trên nghiên cứu cơ bản về mạng nơ ron của
Cotter NE [15], và trong các báo cáo [22], [52], [61].
Cũng là dùng mạng nơ ron để triệu tiêu các ảnh hư ng của các tham số bất định
trong mô hình cũng như nhi u, nhưng nhiều tác giả lại kết hợp kỹ thuật nơ ron này với
các phương pháp điều khiển hiện đại để thu được kết quả tốt hơn hoặc thực hiện tối ưu
tham số trong mô hình mạng nơ ron. Tác giả Yang Z. và cộng sự [83], WenYu [80] đã
s dụng mạng nơ ron truyền thẳng RBF kết hợp với việc tối ưu các tham số để có được
kết quả tốt. Tác giả Chenguang và cộng sự [24] hay Kim YH [47] thì kết hợp phương
pháp điều khiển tối ưu kết hợp thêm với mạng nơ ron để có được kết quả tốt theo
nhiều tham số tối ưu. Murata và cộng sự [54] cũng s dụng kỹ thuật điều khiển nơ ron
nhưng có tối ưu thêm trong lớp n của mô hình mạng nơ ron để cho ra những kết quả
mới. Tuy vậy trong phương pháp điều khiển mạng nơ ron vẫn còn nhiều điểm cần
nghiên cứu, điển hình là việc kết hợp với các giải thuật khác để giúp mạng nơ ron học
nhanh hơn hay dùng thêm một số giải thuật trong việc tính toán các tham số của mô
hình mạng nơ ron giúp chúng tối ưu hơn trong một bài toán điều khiển cụ thể.
Các bất định trong mô hình rô bốt bao gồm các tham số không chắc chắn như
ma trận Jacobian ảnh hay của rô bốt hay các đại lượng đo lường và ước lượng khác
như mô men quán tính, mô men hướng tâm, mô men trọng trường. Các tham số bất
định này có đặc trưng là khi đo lường không chính xác tuyệt đối có thể thay đổi lên
xuống trong 1 khoảng nhất định nhưng bị giới hạn, hay còn gọi là bị chặn. Do đó ta có
thể s dụng mạng nơ ron để bù các bất định này đối với hệ thống [75].
Bộ điều khiển trượt cũng là bộ điều khiển được nhiều tác giả s dụng trong điều
khiển rô bốt s dụng thông tin hình ảnh [78]. Hiroyuki [34] đã s dụng bộ điều khiển
trượt trong rô bốt bám đối tượng di động s dụng 2 camera có ống kính zoom tự động
và rô bốt 6 bậc tự do nhưng tác giả chỉ dùng 2 khớp pan-tilt. Ján Vaščák [40] cũng đã
phát triển bản đồ nhận thức để tìm ra mặt trượt trong phương pháp điều khiển trượt.
Oscar N và cộng sự [59] cũng s dụng điều khiển trượt để điều khiển tay máy rô bốt
s dụng thông tin hình ảnh. Yang Fang và cộng sự [84] đã s dụng điều khiển trượt

33. 18
trong điều khiển rô bốt tự hành có s dụng camera. Tuy nhiên hệ động lực camera và
rô bốt tự hành trong [84] là tách rời nhau. Đây cũng là một trong những điểm cần cải
tiến để hệ rô bốt tự hành và hệ servo thị giác hoạt động phối hợp với nhau chính xác
hơn.
Điều khiển tối ưu và bền vững cũng là một trong những kỹ thuật được nhiều tác
giả quan tâm và s dụng trong các nghiên cứu của mình. E.M. Guti´ errez-Arias và
cộng sự [31] đã phát triển bộ điều khiển tối ưu trên rô bốt tự hành và cho kết quả tốt.
Trong kỹ thuật điều khiển tối ưu cũng có rất nhiều phương pháp khác nhau, Điển hình
nhất là phương pháp tối ưu bình phương tối thiểu LQR được tác giả Marian Baroudi
và cộng sự [51] s dụng trong điều khiển tay máy 1 bậc tự do, Jian Fang và cộng sự
[38] s dụng trong điểu khiển rô bốt di chuyển b ng 2 bánh tự cân b ng. S dụng thêm
bộ lọc Gaussian trong bộ điều khiển tối ưu LQR, Jur van den Berg và cộng sự [42] đã
phát triển phương pháp điều khiển LQG trong việc điều khiển các rô bốt di chuyển
tránh va chạm khi tín hiệu của các cảm biến là không chắc chắn hay có bất định trong
mô hình [71]. Các kỹ thuật điều khiển tối ưu được Lewis và các cộng sự tổng hợp
thành cuốn sách về các phương pháp điều khiển tối ưu [48].
Trong kỹ thuật điều khiển tối ưu thì việc phát triển các thuật toán để tìm các
tham số đầu vào hoặc tham số điều khiển tối ưu cũng được nhiều tác giả nghiên cứu.
Danielle và cộng sự [27] s dụng thuật toán tối ưu hóa bầy đàn và thuật toán luyện
kim, Radu-Emil Precupa và các cộng sự [60] s dụng tối ưu cho các tham số đầu vào
mô hình mờ Takagi-Sugeno-Kang, hay Mostafa Z.A và cộng sự [53] s dụng thuật
toán tiến hóa vi sai đa mục tiêu và kỹ thuật đột biến mới để tìm ra các tham số tối ưu
cho kết quả tốt hơn. Đặc biệt Shiyuan Q [66] còn phát triển các kỹ thuật điều khiển rô
bốt kết hợp thị giác máy và phép giao tiếp với não người điều khiển.
S dụng tối ưu cho các tham số đầu ra cũng là một hướng được quan tâm.
Diederik Verscheure và cộng sự [30] phát triển thuật toán để điều khiển rô bốt bám
đường với thời gian tối ưu. Sho-Tsung K và cộng sự [64], [70] cũng phát triển rô bốt
di động kết hợp rô bốt mang camera có hướng và tầm nhìn theo dõi đối tượng đáp ứng
thời gian thực.
n định Lyapunov được s dụng để chứng minh sự ổn định của toàn hệ rô bốt
và bộ điều khiển trong hầu hết các nghiên cứu Keith Dupree, … [44], Cat pt, … [13],
Tuy nhiên cũng có một số tác giả s dụng phương pháp Hamilton để chứng minh sự

34. 19
ổn định của hệ thống như Bo Y [18].
Hiện nay, có nhiều nhóm nghiên cứu trên thế giới đã đạt được những thành tựu
đáng kể về điều khiển rô bốt di động. Nhóm tác giả Widodo Budiharto, Ari Santoso,
Djoko Purwanto, Achmad Jazidie của đại học Binus và viện công nghệ Indonesia đã
nghiên cứu hệ thống điều khiển chuyển động cho rô bốt dùng nhiều camera cùng với
bộ lọc Kalman để loại bỏ nhi u ảnh thu từ camera cho độ tin cậy cao. Rô bôt dựa trên
hệ thống này có tên là Srikandi III [81] cho tốc độ chuyển động nhanh, độ chính xác
cao trong phòng thí nghiệm. Cũng dùng 2 camera tốc độ cao nhóm tác giả Masaaki
Shibata, Hideki Eto, Masahide Ito phòng nghiên cứu trường đại học Seikei Nhật Bản
đã phát triển hệ thống tìm đường đi cho rô bốt tốc độ cao [49]. Camera hữu dụng trong
tìm đường nhưng nó cũng rất hữu dụng trong việc theo dõi chuyển động của các đối
tượng, nhóm tác giả Hiroyuki Ukida, Masayuki Kawanami and YasuhiroTerama của
trường đại học Waseda – Tokyo – Nhật bản đã phát triển hệ thống theo dõi chuyển
động của đối tượng 3D. Hệ thống dựa trên sự so sánh các ảnh thu được và dùng
phương pháp lọc phần t để phát hiện sự chuyển động của đối tượng [35]. Trong các
đối tượng rô bốt di động thì rô bốt tự hành cũng là một thành phần, nhóm tác giả Tae-
Il Kim, Wook Bahn, Changhun Lee, Tae-jae Lee, Muhammad Muneeb Shaikh and
Kwang-soo Kim của Hàn Quốc đã phát triển hệ thống tìm đường tới mục tiêu cho rô
bốt tự hành dựa trên hệ thống stereo camera, hệ thống này luôn hướng tới mục tiêu
cùng với đó hệ thống sẽ tính toán các góc, độ nghiêng từ đó đưa ra được vị trí thực tế
của mục tiêu trên hệ tọa độ để tìm được đường đi tới đích[67].
1.3 Các vấn đề nghiên cứu của luận án
1.3.1. Phát triển phương pháp điều khiển r t ng th ng tin hình nh
Các phương pháp điều khiển rô bốt s dụng thông tin hình ảnh từ 1 camera đã
được một số tác giả trong nước nghiên cứu. Các hạn chế về tính toán khoảng cách
cũng đã được nhiều tác giả trên thế giới khắc phục với việc s dụng 2 camera. Nếu 2
camera đặt trên rô bốt một cách cố định [81] thì việc điều khiển sẽ đơn giản hơn do số
bậc tự do ít hơn, nhưng không gian quan sát nhỏ không linh động phù hợp với các
trường hợp tiếp cận mục tiêu cố định. Để giúp rô bốt linh hoạt hơn camera có thể được
đặt trên 1 tay máy rô bốt. Cụ thể, trong quá trình nghiên cứu, tác giả đã tìm hiểu về

35. 20
phương pháp điều khiển hệ pan-tilt 2 bậc tự do s dụng hệ servo thị giác 2 camera cho
phép xác định và tính toán vị trí 3D của mục tiêu. Tác giả đã xây dựng mô hình động
học của hệ hệ pan-tilt và xây dựng phương pháp điều khiển cổ điển và kết hợp với
mạng nơ ron để thu được kết quả tốt hơn bao gồm:
- Phương pháp điều khiển PID cho hệ động học hệ pan-tilt mang 2 camera theo dõi
mục tiêu di động.
- Phát triển phương pháp điều khiển kết hợp mạng nơ ron cho hệ động học hệ pan-
tilt mang 2 camera theo dõi mục tiêu di động để triệt tiêu các yếu tố bất định
trong mô hình cũng như ma trận Jacobian ảnh Jimg và ma trận Jacobian rô bốt
Jrobot để có kết quả tốt hơn.
Các thuật toán điều khiển đều được chứng minh ổn định b ng phương pháp ổn
định Lyapunov. Các kết quả mô phỏng trên Matlab cho thấy phương pháp điều khiển
có s dụng mạng nơ ron cho kết quả mô phỏng tốt hơn phương pháp thông thường.
Điều này cũng chỉ ra ảnh hư ng của các tham số bất định tới đáp ứng của hệ thống.
Tác giả trình bày nội dung chi tiết trong chương 2: “Phát triển một số phương
pháp điều khiển hệ servo thị giác bám mục tiêu di động”.
1.3.2. t c i ti n trong điều khiển h rvo th giác ám m c tiêu i đ ng
Một trong những yếu điểm của hệ rô bốt s dụng thông tin hình ảnh thị giác từ 2
camera là ma trận Jacobian ảnh Jimag của hệ là 2x3. Ma trận không vuông này khi lấy
nghịch đảo (giả nghịch đảo) trong các biến đổi của bộ điều khiển sẽ tồn tại các điểm
kỳ dị mà tại đó không thể lấy được ma trận nghịch đảo. Trong quá trình mô phỏng tác
giả cũng nhận ra được điều này khi mô phỏng điều khiển hệ pan-tilt mang 2 camera
bám mục tiêu di động giả định. Cụ thể là khi mục tiêu di chuyển theo đường tròng thì
hệ hệ pan-tilt – 2 camera không thể bám theo và vượt qua được điểm – trên vòng
tròn.
Một số tác giả cũng nhận ra được điều này và có những cải tiến nhất định. Tác
giả Cai C và cộng sự [20] đã xây dựng ma trận Jacobian ảnh Jimag 3x3 cho hệ stereo
camera đặt cố định tại 1 vị trí để theo dõi tọa độ của mục tiêu trong không gian biết
trước từ đó điều khiển rô bốt tiếp cận mục tiêu. Trong các kết quả khác ma trận
Jacobian ảnh vẫn đóng một vai trò rất quan trọng Shibata, M [65] nhưng vẫn chưa
được cải tiến.

36. 21
Nhận thấy điều này, tác giả đã có những cải tiến nhất định để xây dựng ma trận
Jacobian ảnh vuông cho hệ rô bốt stereo camera có thể quay quét được trong bài toán
bám mục tiêu di động trong không gian.
Trong chương 3: “Một số cải tiến trong điều khiển hệ servo thị giác bám mục tiêu
di động”, tác giả sẽ trình bày về mô hình 3D cho hệ 2 camera để có được ma trận
Jacobian ảnh là vuông 3x3. Đồng thời trong chươngnày tác giả cũng phát triển kỹ
thuật điều khiển hệ pan-tilt stereo camera từ động học trong chương1 lên động lực học
trong chương2 và có kết hợp với kỹ thuật điều khiển nơ ron để giảm sự ảnh hư ng của
các tham số bất định trong mô hình cũng như nhi u. Với các đặc trưng của tham số bất
định trong mô hình động học và động lực học n m trong giới hạn biết trước cũng như
nhi u bên ngoài được giả thiết là bị chặn thì việc s dụng mạng nơ ron để làm giảm sự
ảnh hư ng của các tham số bất định là hoàn toàn thực hiện được.
Trong bộ điều khiển nơ ron chương3, một số tham số đã được cải tiến với giải
thuật di truyền GA-Genetic Algorithm để thu được kết quả tốt hơn. Độ ổn định toàn
cục của hệ hệ pan-tilt stereo camera bám mục tiêu di động khi có sự ảnh hư ng của
nhi u, các tham số bất định được chứng minh b ng phương pháp ổn định Lyapunov và
bổ đề Barbalat's lemma. Các kết quả này sẽ được trình bày chi tiết trong chương3.
1.3.3. Phát triển thu t toán điều khiển r t i đ ng ng th ng tin hình nh.
Tác giả đã tiến hành tìm hiểu và xây dựng mô hình hệ động lực học cho hệ
thống gồm hai camera gắn trên hệ pan-tilt. Toàn bộ hệ thống trên được đặt trên một rô
bốt có khả năng di chuyển với hai bánh chủ động. Mô hình động lực học của hệ động
lực với 4 bậc tự do là 2 bánh xe rô bốt và 2 khớp pan, tilt. Bộ điều khiển cần xây dựng
để điều khiển các khớp và bánh xe để đạt được vị trí và hướng mong muốn cho rô bốt
di động cũng như các góc của khớp pan-tilt.
Tác giả đi xây dựng 2 phương pháp điều khiển cho hệ thống: Phương pháp điều
khiển tối ưu cho hệ thống rô bốt di động – pan-tilt – stereo camera vừa theo dõi mục
tiêu vừa di chuyển bám theo mục tiêu theo phương pháp tối ưu bình phương tối thiểu.
Tham số tối ưu của hàm mục tiêu là sai số theo dõi, bám mục tiêu và năng lượng điều
khiển. Thứ hai là phương pháp điều khiển trượt kết hợp với phương pháp tính mô ment
để điều khiển hệ trên với sai số và năng lượng tiêu hao tối ưu.
Các thuật toán đề xuất được mô phỏng b ng Matlab và chứng minh ổn định

37. 22
b ng phương pháp ổn định Lyapunov và bổ đề Barbalat's lemma. Các kết quả này sẽ
được trình bày chi tiết trong chương4.
1.4. Kết luận chƣơng 1
Qua các nghiên cứu về phương pháp điều khiển rô bốt s dụng thông tin hình
ảnh, trong đó cụ thể là hệ pan-tilt và hệ rô bốt di động – hệ pan-tilt stereo camera có
nhiều tham số bất định trong mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận
Jacobian rô bốt cũng như các yếu tố bên ngoài, tác giả nhận thấy trong điều khiển rô
bốt s dụng thông tin hình ảnh từ 2 camera còn một số vấn đề cần được nghiên cứu và
phát triển như:
- Phát triển các phương pháp điều khiển rô bốt s dụng thông tin hình ảnh từ 2
camera có thể quay quét được theo các hướng ngang, dọc để nâng cao tính linh hoạt
cho hệ thị giác 2 camera. Rô bốt đơn giản nhất là hệ pan-tiltcó 2 bậc tự do có thể quay
quét theo 2 hướng ngang và dọc.
- Xây dựng 1 phương pháp để thiết lập ma trận Jacobian ảnh vuông giúp hệ
stereo camera s dụng bệ pan-tilt có thể theo dõi các đối tượng chuyển động phức tạp
mà không bị các yếu tố suy biến khi lấy giả nghịch đảo của ma trận Jacobian ảnh (khi
ma trận này không vuông) tác động.
- Xây dựng bộ điều khiển mạng nơ ron nhân tạo để bù các tham số bất định trong
mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu
tố bên ngoài.
- Xây dựng mô hình động lực học cho hệ kết hợp gồm hai rô bốt, hệ pan-tilt
stereo camera và rô bốt di động cũng như việc xây dựng các bộ điều khiển cho hệ nói
trên.

38. 23
CHƢƠNG 2
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN HỆ PAN-TILT SỬ
DỤNG THÔNG TIN HÌNH ẢNH TỪ HAI CAMERA
Hệ thống camera bám mục tiêu di động theo cấu trúc có thể phân hệ thành nhóm
có 1 hoặc 2 camera cố định hoặc điều khiển được. Hệ thống có 1 camera [2], [3], [4]
chỉ xác định được hướng của mục tiêu nên cần s dụng thêm một máy đo khoảng cách.
Nếu s dụng 2 camera [81], [49], [35], [67], [37],... thì thông số khoảng cách hoàn
toàn có thể xác định được từ ảnh trên các camera. Với nhóm camera di động, các
camera quay quét với các góc khác nhau [34], [65], [29] có một ưu điểm là có thể điều
khiển hệ camera di chuyển bám theo đối tượng để đối tượng luôn trung tâm của ảnh
thu được nên không gian quan sát lớn, thay đổi được so với hệ camera gắn cố định trên
rô bốt [81], [7].
Để bám được mục tiêu có tốc độ di chuyển khác nhau thì ta cần điều khiển các
khớp của bệ Pan-Tilt mang camera thay đổi phù hợp. Để làm được điều này thì tốc độ
di chuyển của mục tiêu phải tính toán hay đo được, ngoài ra các thông số của hệ
thường không hoàn toàn chính xác nên việc bám mục tiêu di động là một bài toán
phức tạp. Có nhiều tác giả đã phát triển các thuật toán từ cổ điển như dùng phương
pháp PID [37] tới những thuật toán hiện đại như kết hợp với mạng nơ ron [7], [33] hay
điều khiển trượt [34], tối ưu [38], [42], [62]. trong chương này tác giả s dụng phương
pháp điều khiển nơ ron cho hệ hệ pan-tilt – stereo camera khi có nhiều tham số bất
định trong mô hình.
Trong chương này, các góc pan-tilt được điều chỉnh sao cho ảnh mục tiêu luôn
được duy trì vị trí mong muốn trên mô hình của ảnh thu được trên 2 camera EyeRIS
2.1. Hệ thống được thiết kế dựa trên mô hình bệ pan-tilt PTU-D48E-Series như trong
hình 2.1. Nội dung chương này gồm 4 phần chính là xây dựng mô hình động học của
hệ rô bốt stereo bám mục tiêu di động, thiết kế thuật toán điều khiển hệ servo thị giác,
mô phỏng kiểm chứng và kết luận.

39. 24
Hình 2.1 Bệ pan-tilt PTU-D48E-Series và biểu di n hệ tọa độ
2.1. Xây dựng mô hình động học hệ pan-tilt-stereo camera bám mục tiêu di động
với nhiều tham số bất định
Bệ pan-tilt PTU-D48E là một rô bốt hai bậc tự do có thể quay đồng thời theo hai
hướng pan (xoay theo phương ngang) và tilt (xoay theo phướng đứng vuông góc với
chân đế). Trong đó góc pan thay đổi được từ -1880
tới +1880
, góc tilt từ -900
tới +300
.
Các khung tọa độ được gắn trên các khớp rô bốt và camera được mô tả trong hình 2.1.
các tham số động lực học cụ thể được thể hiện trong bảng 3.1.
2.1.1 Xác đ nh ma tr n Jacobi nh qua tọa đ điểm nh thu được từ 2 camera quy
vào h tọa đ OcXcYcZc
Dùng 2 camera ta có thể xác định được các thông số như khoảng cách, tọa độ
của đối tượng trong không gian 3D. hình 2.2 cho thấy mối quan hệ giữa hệ tọa độ
camera và ảnh của nó. Hệ tọa độ camera trái là OLXLYLZL có gốc trùng với tiêu điểm
của camera trái, hệ tọa độ camera phải là ORXRYRZR, gốc trùng với tiêu điểm của
camera phải và hệ tọa độ camera là OCXCYCZC có gốc trung điểm gốc tọa độ 2
camera. Các frame ảnh được quy định phía trước và vuông góc với trục Y tại tâm,
các trục u, v song song với các trục Z, X của camera tương ứng.
Để giảm độ phức tạp của tính toán, giả s các thông số nội tại của 2 camera như
tiêu cự f, số pixel…là giống nhau, được đặt độ cao như nhau và trục quang song
song với nhau.

40. 25
Hình 2.2 Mô hình hệ thống camera
Góc Pan là góc θ1 quay quanh trục z0 trong hệ tọa độ gốc của bệ pan-tilt, góc
Tilt θ2 là góc quay quanh trục z1 trong hệ tọa độ O1X1Y1Z1 của bệ pan-tilt. Gọi tọa độ
ảnh thu được camera trái (UL, VL) và camera phải là (UR ,VR) theo hai trục tọa độ (u,
v). Theo giả thiết 2 camera có cùng độ cao nên tọa độ ảnh thu được từ 2 camera cũng
có cùng tọa độ theo trục v hay VR = VL.
Từ hình 2 ta có tọa độ ảnh thu được camera trái (-UL, VL) và camera phải là
(UR ,VR) với V= VL= VR thực hiện chuyển về mặt phẳng theo (Z, Y) và (X, Y) như
hình 2.3, hình 2.4 ta có các quan hệ hình học trong khung tọa độ OCXCYCZC:
( ); ; ( )
2 2
L L R
f K f f K
U Z V X U Z
Y Y Y
(2.1)
Với:
1
.
L RU U
Y f K
(2.2)
+ K là khoảng cách giữa 2 trục camera
+ là tiêu cự ống kính camera.
Từ công thức (2.1), (2.2) b ng các phép biến đổi ta tính được tọa độ của điểm
mục tiêu Q(X, Y, Z) [35] trong hệ tọa độ OC được tính theo biểu thức sau:
L Rf f f

41. 26
Hình 2.3 Ảnh theo 2 trục Z, Y
Hình 2.4 Ảnh theo 2 trục X, Y
2
2
2
( )
4
L
R L
L R
K
V
X
K
Q Y f
U U
Z
K
U U
(2.3)
Khi đối tượng di chuyển thì bệ Pan-Tilt mang camera cũng cần được điều khiển
đẻ bám theo. Nếu ta biểu di n véc tơ vận tốc dài của gốc tọa độ camera là
C
XC YC ZCT T Tv và véc tơ tốc độ góc là
C
XC YC ZCΩ thì véc tơ vận tốc
của điểm Q trong hệ tọa độ camera là:
C C
Q xQv Ω trong đó các thành phần

42. 27
(2.4)
(2.5)
(2.6)
XC YC ZC
YC XC ZC
ZC XC YC
X T Z Y
Y T Z X
Z T Y X
Ta có quan hệ chuyển động tương đối giữa chuyển động của giá mang camera
,C C
v Ω với chuyển động của ,T T
v Ω mục tiêu:
C T
X Y Z
C T
X Y Z
T T Tv v
Ω Ω
Thực hiện vi phân các biểu thức trong (2.1) rồi thay vào (2.4), (2.5), (2.6) ta
được quan hệ tốc độ giữa điểm đặc trưng trên ảnh 2 camera với vị trí và hướng giá
mang camera (2.7):
2 2
0
2( ( ))
2
2 2
( ) 0
2 2
2 2( ( ))
2 0
2
f UU U V KUf L L L L L VLd f K Y Y f f YZU L dt Y
f VV U V KVd f f KfL L L L LV X UL L
dt Y Y Y f f Y Y
d f KU ZR f UU U V KUf R R L R Rdt Y VL
Y Y f f Y
TZ
TX
TY
Z
X
Y
(2.7)
Thay (2.2) vào (2.7) ta có biểu thức (2.8) như sau:
2 22( )
0
2
2 2
( ) ( )
0
2 2
2 22( )
0
2
f U U UU U U U U U V L RR L L L R L L L TV ZL
K fK f fU L TX
f V TU U V U U V U U U U YR L L L R L L L R L RV L
K fK f f f Z
U R f U U UU U U U U U V L RR L R L R R L R VL
K fK f f
X
Y
(2.8)
Như vậy phương trình (2.8) mô tả quan hệ giữa tốc độ thay đổi của điểm ảnh
trong 2 camera và tốc độ chuyển động tịnh tiến và quay của mục tiêu. Viết lại (2.8)
dưới dạng ma trận Jacobi ta có phương trình biểu di n tốc độ điểm đặc trưng ảnh của 2
camera như sau:
( )imag
m = J m v (2.9)

43. 28
Trong đó:
- [U V U ]T
L L Rm véc tơ đặc trưng ảnh 3 thành phần (đặc trưng ảnh quy
đổi vào khung OCXLYCZC).
- [U V U ]T
L L Rm là tốc độ di chuyển của điểm ảnh.
- imagJ (m) là ma trận Jacobi ảnh:
2 2( ) 2
0
2
2 2( ) ( )
0
2 2
2 2( ) 2
0
2
imag
U U U U U U V f U U UR L L L R L L L L R VL
K fK f f
U U V U U f V V U U U UR L L L R L L L R L R
K fK f f f
U U U U U U V f U U UR L R L R R L R L R VL
K fK f f
J (m)
T
X Y Z X Y Z
T T Tv là véc tơ tốc độ chuyển động (dài và góc) của
camera.
2.1.2 Xác đ nh h phương trình đ ng học t c đ h pan-tilt.
Trước tiên ta xác định hệ phương trình động học của bệ Pan-Tilt trên cơ s
phép biến đổi đồng nhất giữa các khung tọa độ gắn trên các khớp của bệ [18].
Ma trận biến đổi đồng nhất chuyển hệ tọa độ OC về O1 và từ O1 về O0 (Hình
2.1) lần lượt là:
2 2 2 2 1 1
2 2 2 2 1 11 0
1
1
0 0 0
0 0 0
;
0 0 1 0 0 1 0
0 0 0 1 0 0 0 1
C
C S l C C S
S C l S S C
R R
l
Ma trận biến đổi đồng nhất chuyển hệ tọa độ OC về O0 là:
1 2 1 2 1 2 1 2
1 2 1 2 1 2 1 20 0 1
1
2 2 1 2 2
(2.9)
0
0 0 0 1
C C
C C C S S l C C
S C S S C l S C
R R R
S C l l S

44. 29
Ký hiệu véc tơ biến trong của bệ pan-tilt là 1 2[ , ]T
q và véc tơ biến ngoài
của đầu tay nắm của bệ là
T
X Y Z
x y zx , trong đó X Y Z là các góc
quay theo ba trục X,Y,Z. Như vậy véc tơ x mô tả vị trí và hướng của khung C C C CO X Y Z
nhìn trong hệ tọa độ rô bốt 0 0 0 0O X Y Z dưới dạng véc tơ.
Từ đây ta có véc tơ vận tốc:
T
X Y Z
T
X Y Z X Y Z
x y z
T T T
v x
(2.10)
Quan hệ tốc độ giữa biến trong và biến ngoài mô tả hệ động học tốc độ qua ma
trận Jacobi của rô bốt:
( )robot
v = J q q (2.11)
với 1 2
T
q và robotJ là ma trận Jacobi của hệ pan-tilt được xác định từ ma trận
chuyển hệ tọa độ
0
CR [18] như sau:
2 1 2
2 1 2
2 2 1
1
1
0
0
0
0
1 0
robot
l CC
l S C
l S l
S
C
J
(2.12)
2.1.3 Xây dựng ài toán điều khiển đ ng học (kinematic control) h rô b t-stereo
camera bám m c tiêu.
Từ véc tơ đặc trưng ảnh m đo được và véc tơ đặc trưng ảnh mong muốn dm ta
tính được sai lệch đặc trưng ảnh:
d
ε m m (2.13)

45. 30
Bài toán điều khiển động học (kinematic control) hệ rô bốt-stereo camera bám mục
tiêu là tìm thuật điều khiển ( )q = K ε sao cho hệ kín sau ổn định
 imag mm J v
robot
v = x = J (q)q
q = K(ε)
Ta giả thiết các tham số của rô bốt và camera không biết chính xác, lúc này các
ma trân Jacobi được mô tả như sau:
ˆ
ˆ
imag imag imag
robot robot robot
J (m) = J (m) + ΔJ (m)
J (q) = J (q) + ΔJ (q)
(2.14)
trong đó ˆ ˆ( ), ( )imag robot
J m J q là các giá trị ước lượng được và ( ), ( )imag robotΔJ m ΔJ q
là các đại lượng không biết.
Thuật điều khiển ( )q = K ε cần tìm sao cho d
ε m m 0
2.2. Thiết kế thuật toán điều khiển
Bài toán điều khiển đặt ra là phát triển bộ điều khiển để hệ hệ pan-tilt bám mục
tiêu di động với các tham số mô hình là không chính xác 100 . Để làm được điều đó
thì bộ điều khiển cần phải triệt tiêu được các tác động của các tham số bất định. Trong
chươngnày tác giả trình bày thuật điều khiển nơ ron cho hệ động học hệ pan-tilt stereo
camera bám mục tiêu di động và so sánh với hệ khi s dụng bộ điều khiển PID thông
dụng.
2.2.1 Xây dựng mô hình b điều khiển
Thay thế (2.11) vào (2.9) ta được
imag imag robotm = J (m)v J (m)J (q)q
m Jq
(2.15)
Trong đó ma trận Jacobi tổng hợp

46. 31
imag robotJ J (m)J (q) (2.16a)
Thay thế các ma trận Jacobi ảnh và Jacobi rô bốt (2.12) vào (2.16a) ta có (2.16b):
2 22( ) ( )
2 1 2 2 2 1 1 1
2
2 2
( ) ( ) ( )
2 1 2 2 2 1 1 1
2 2
22( ) ( )
2 1 2 2 2 1 1
f U U UU U U U U U U U U V L RR L L L R L L R L L Ll C C l S V l S CL
K fK fK f f
f VU U V U U U U V U U V U UR L L L R L R L L R L L L Rl S C l S l S C
K fK f fK f f
fU U U U U U U U U VR L R L R R L R R Ll C C l S V l SL
K fK fK f
J
2
1
2
U U UL RR C
f
(2.16b)
Như vậy ma trận Jacobi tổng hợp J có chiều là 3x2.
Thay thế (2.14) vào (2.16a) và biến đổi ta được:
ˆ
ˆ ˆ ˆ
imag robot
imag robot
J J (m)J (q) = J + ΔJ
J J (m)J (q)
(2.17)
ˆ ˆ
imag robot imag robot imag robotΔJ J (m) J (q) J (m)J (q) J (m) J (q)
Với ˆJ là thành phần tính được, ΔJ là thành phần bất định của J.
Thay (2.17) vào (2.15):
ˆm Jq Jq (2.18)
Đặt f = Jq ta có
ˆm Jq f (2.19)
Giả thiết rô bốt hoạt động trong vùng mà ma trận Jacobi tổng hợp J không suy
biến nên ta có
0ff = Jq (2.19b)
Như vậy f là một đại lượng liên tục và bị chặn.
2.2.2 Xây dựng thu t toán điều khiển h Pan-tilt –2 cam ra ám m c tiêu i đ ng
Vấn đề đặt ra lúc này là phải xác định được tốc độ của các khớp q là bao nhiêu
để sai lệch đặc trưng ảnh luôn tiệm cận đến 0. Ta chọn thuật điều khiển như sau:

47. 32
Hình 2.5 Mạng RBF xấp xỉ hàm [21], [22].
ˆ+ ,
d 1q = J [(m -Kε)+u ] (2.20)
Trong đó T 1 Tˆ ˆ ˆ ˆ( )J J J J là ma trận giả nghịch đảo của J ; ,
1u là thành phần điều
khiển bù đại lượng bất định sẽ được xác định sau.
Lấy đạo hàm hai vế của (2.13) và thay (2.19), (2.20) vào ta có:
ˆ
d dε = m-m = Jq +f -m
,
1ε = -Kε +f +u (2.21)
Do f không biết nên ta sẽ xây dựng mạng nơ ron với thuật học phù hợp để mạng
cho giá trị xấp xỉ ˆf và xác định tín hiệu điều khiển
,
1u sao cho hệ (2.21) ổn định tiệm
cận. Cấu trúc của mạng nơron nhân tạo được chọn là mạng RBF (hình 2.5). Mạng
nơron xấp xỉ hàm f là mạng 3 lớp.
Lớp đầu vào của mạng nơ ron là 3 thành phần của sai lệch ε .
Lớp ra có 3 nơ ron tuyến tính với đầu ra là giá trị xấp xỉ của hàm
Lớp ẩn là các nơ ron có hàm đầu ra dạng hàm phân bố Gauss:
     
2 2 2
1 1 2 2 3 3
2 2
ex ex
j j jj
j
j j
c c cc
p p
  

 
             
       
; (2.22)
Với j = 1, 2, 3 là chỉ số của nơ ron lớp n. jjc , là tham số của hàm Gauss có thể tự
chọn. Đầu ra của mạng là giá trị xấp xỉ ˆf . Các thành phần điều khiển PID sẽ đảm bảo
cho hệ thống bám mục tiêu trong trường hợp không có các thành phần bất định. Do
vậy khi xét hệ thống có thành phần bất định thì ta cần thêm các thành phần điều khiển
nơ ron để triệt tiêu nó. Theo định lý Stone-Weierstrass [81], mạng RBFcó cấu trúc trên
có thể xấp xỉ thành phần bất định 3
Rf liên tục, bị chặn mô tả b ng phương trình
sau:
f
ˆf
1
2
3
W11
W33
W12
W13
W21
W22
W23
W31 W32

48. 33
ˆf = f +β (2.23a)
ˆf = Wσ (2.23b)
Trong đó:
+ β là sai số xấp xỉ và bị chặn
0β (2.24)
+ W là ma trận trọng số của mạng nơ ron. Trong đó chỉ số hàng tương ứng với số nơ
ron trong lớp n, chỉ số cột tương ứng với số nơ ron đầu ra. được cập nhật on-line
từ các giá trị đo thời gian thực của sai lệch eosilon. Nên mạng nơ ron đó là “thuật
học online”.
Phƣơng pháp điều khiển 1:
H stereo camera có nhiều tham s bất đ nh (2.9), (2.11), với mạng nơron
(2.22), (2.23) được mô t theo hình 2.5 sẽ bám theo m c tiêu i đ ng với sai s
, ε ε 0 n u t c đ các khớp b Pan-Tilt được điều khiển theo thu t toán (2.25),
(2.26), (2.27) và lu t học (2.28) như au:
ˆ ˆ ˆ+ , + + ,
d 1 d 1q J [(m -Kε)+u ] J (m -Kε)+J u
0 1= u +u (2.25)
0
ˆ+
du = J m -Kε (2.26)
1
ˆ
,
1
+ ,
1 1
ε
u = ( )Wσ -
ε
u = J u
(2.27)
T
W εσ (2.28)
Trong đó các tham số tự chọn K là ma trận đối xứng xác định dương
T
K = K > 0 các hệ số 1, 0   .
Cấu trúc của hệ điều khiển có thể mô tả theo sơ đồ trên hình 2.6. Tín hiệu q gồm
hai thành phần chính: 0u là thành phần phản hồi, 1u là thành phần có mạng nơron với
thuật học on-line để bù các thành phần bất định. Phương pháp điều khiển này được
chứng minh b ng phương pháp ổn định Lyapunov đảm bảo tính ổn định tiệm cận
toàn cục của cả hệ thống như sau: