RealEDU.

1. B GIÁO D
Ộ ỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠ Ọ
I H C BÁCH KHOA HÀ N I
Ộ
-- --

ĐỖ TRÌNH SA
THEO DÕI HÀNH VI C I CAO TU S D NG
ỦA NGƯỜ ỔI – Ử Ụ
CAMERA
LUẬN VĂN THẠC SĨ KỸ Ậ
THU T
K THU T Y SINH
Ỹ Ậ
HÀ N 2019
ỘI –

2. B GIÁO D
Ộ ỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠ Ọ
I H C BÁCH KHOA HÀ N I
Ộ
-- --

ĐỖ TRÌNH SA
THEO DÕI HÀNH VI C I CAO TU S D NG
ỦA NGƯỜ ỔI – Ử Ụ
CAMERA
Chuyên ngành: K THU T Y SINH
Ỹ Ậ
LUẬN VĂN THẠC SĨ KỸ Ậ
THU T
K THU T Y SINH
Ỹ Ậ
NGƯỜI HƯỚ Ẫ Ọ
NG D N KHOA H C:
TS. NGUY N VI
Ễ ỆT DŨNG
HÀ N - 2019
ỘI

3. i
M C L C
Ụ Ụ
M C.................................................................................................................. i
ỤC LỤ
DANH M C CH
Ụ Ữ Ế
VI T TẮT .............................................................................. iii
DANH MỤC HÌNH................................................................................................. iv
CHƢƠNG 1. TỔ Ấ Ề Ậ Ạ HÀNH ĐỘ
NG QUAN V N Đ NH N D NG NG.................1
1.1. i thi u và th c tr ng ....................................................................................1
Giớ ệ ự ạ
1.2. Các nghiên c u liên quan..................................................................................2
ứ
1.2.1. Các kh o sát v nh n d ng .......................................................3
ả ề ậ ạng hành độ
1.2.2. Cách ti p c p ...................................................................................5
ế ận đa lớ
1.2.3. Công c s d ng ph bi n.................................................................5
ụ đƣợc ử ụ ổ ế
1.2.4. n d ng không b ng theo dõi...............................................6
Nhậ ạng hành độ ằ
1.2.5. n d ng có theo dõi..............................................................6
Nhậ ạng hành độ
CHƢƠNG 2. KỸ Ậ Ậ ẠNG HÀNH ĐỘ Ự
THU T NH N D NG D A TRÊN
PHƢƠNG PHÁP PHÂN TÍCH ĐẶC TRƢNG CHUYỂ Ộ
N Đ NG.......................9
2.1. Phƣơng pháp đề ấ
xu t ........................................................................................9
2.1.1. T ng quan...................................................................................................9
ổ
2.1.2. Thu th p d u (Data Collection) ............................................................9
ậ ữ liệ
2.1.2.1. D u hình ch p chuy ng...........................................................9
ữ liệ ụ ển độ
2.1.2.2. D u video (có s n)........................................................................10
ữ liệ ẵ
2.1.2.3. T o d u chuy ng t video .....................................................10
ạ ữ liệ ển độ ừ
2.1.2.3.1. Xóa n n........................................................................................10
ề
2.1.2.3.2. G b bóng ..................................................................................11
ỡ ỏ
2.1.2.3.3. Theo dõi chuy ng c ..................................................14
ển độ ủa chân
2.1.2.3.4. Theo dõi chuy ng c a tay.....................................................16
ển độ ủ
2.1.2.3.5. Phát hi n các chuy
ệ ển động cong ngƣời.......................................18
2.2. ng cong phù h p và s n chuy ng......................................19
Đƣờ ợ ự phân đoạ ển độ
2.2.1. T ................................................................................21
ạo Vector đặc trƣng
2.3. Hu n luy n và Nh n di n s d ng PCA.........................................................23
ấ ệ ậ ệ ử ụ
2.3.1. n b Eigenspace (không gian m u)...................................................23
Chuẩ ị ẫ
2.3.2. Phân lo ........................................................................24
ại vector đặc trƣng
CHƢƠNG 3. KẾ Ả ỎNG VÀ ĐÁNH GIÁ
T QU MÔ PH .....................................26
3.1. K t b d u ch p nh chuy ng .................................................26
ết quả ừ ộ ữ liệ ụ ả ển độ
3.1.2. n di ng s d ng d u 3-D ..............................................42
Nhậ ện hành độ ử ụ ữ liệ
3.1.3. n d ng s d ng d u mô ph ng 2-D ............................44
Nhậ ạng hành độ ử ụ ữ liệ ỏ
3.2. K t t p d u video Weizmann .........................................................46
ết quả ừ ậ ữ liệ

4. ii
3.2.1. K t qu theo dõi .......................................................................................47
ế ả
3.2.2. Phân lo i các chuy n và video.............................................65
ạ ển động cơ bả
3.2.3. So sánh v ng ti p c n khác .......................................................66
ới các hƣớ ế ậ
3.2.4. T .........................................................................................67
ốc độ thực thi
3.2.5. ...................................................................................69
Nhận xét đóng góp
3.2.6. ng thích ng v p d u m i......................................................70
Hƣớ ứ ới Tậ ữ liệ ớ
K N ..............................................................................................................72
ẾT LUẬ
TÀI LIỆ Ả
U THAM KH O ......................................................................................74

5. iii
DANH M VI
Ụ Ữ
C CH Ế Ắ
T T T
PCA Principal Component Analysis
(Phân tích thành phần đặc trƣng)
MoG MoG Method
(phƣơng pháp phân phối Gauss)
Lab Một phƣơng pháp phân tách bóng.
Các thành phần của một pixel đƣợc vẽ cho mỗi
màu L (a và b)
khung mẫu. Pixel này trở thành một phần của bóng từ mẫu 310
đến 350. Lƣu ý rằng giá trị của thành phần L giảm trong bóng
tối trong khi các thành phần a và b vẫn ổn định. Điều này làm
cho Lab trở thành lựa chọn tốt cho loại bỏ bóng vì bóng đƣợc cô
lập trong L.
HSL Hue, Saturation, Lightness.
Màu sắc, độ bão hòa và độ sáng – thể hiện đặc điểm của một
vòng màu.
HSV Hue, Saturation, and Value.
Tập giá trị này mô tả màu sắc (sắc độ) về độ bóng (độ bão hòa
hoặc lƣợng màu xám) và giá trị độ sáng của chúng.
RGB Mô hình màu Red, Green và Blue.
CMU CMU motion capture data set.

6. iv
DANH M HÌNH
ỤC
Hình 1: Các kh Nh
ả ề
o sát v ậ ạng Hành độ
n d ng. ........................................................2
Hình 2: Tổ ợ ứ ề ậ ạng hành độ
ng h p các nghiên c u v nh n d ng.......................................3
Hình 3: Tổng quan phƣơng pháp đề ấ
xu t....................................................................9
Hình 4: Ví d hình nh trên khi l i qu o chuy
ụ ả ạ ỹ đạ ển độ ủ
ng c a một ngƣời đang chạy,
2 v trí theo dõi là chân trái và tay trái. .....................................................................10
ị
Hình 5: (a) m c và bóng, n n tr thành tr ng, (c)
ột ngƣời đang đi bộ. (b) pixel trƣớ ề ở ắ
pixel trƣớ ạ ỏ ề ở ắ
c lo i b bóng, n n tr thành tr ng............................................................12
Hình 6: Các thành ph n màu RGB c a m c v cho m i khung m u.
ầ ủ ột điểm ảnh đƣợ ẽ ỗ ẫ
...................................................................................................................................13
Hình 7: Các thành ph n màu HSV c a m c v cho m i khung m u.
ầ ủ ột điểm ảnh đƣợ ẽ ỗ ẫ
...................................................................................................................................13
Hình 8: Các thành phầ ủ ột pixel đƣợ
n màu Lab c a m c vẽ ỗ ẫ
cho m i khung m u........14
Hình 9: theo dõi một vài hành độ ủa chân. (a) đi bộ ả ạ
ng c , (b) nh y, (c) ch y, (d) chân
đặ ạ
t c nh nhau.............................................................................................................16
Hình 10: (a), (b) theo dõi tay khi v y hai tay, (c) theo dõi tay khi v y tay ph i, (d)
ẫ ẫ ả
theo dõi chân và tay trong hành động jumping- ................................................17
jack.
Hình 11: Sử ụ ề ộp để ện hành độ ố
d ng chi u cao h phát hi ng u n cong.........................18
Hình 12: (a) Hình dung m ng cong th hi n chuy ng
ột ngƣời đang chạy. Đƣờ ể ệ ển độ
c ng cong phù h n c a m
ủa chân trái. (b) Đƣờ ợp và phân đoạ ủ ột đƣờ ể
ng cong chuy n
độ ạy. (c) Đƣờ ủa đƣờ ển độ
ng chân trong khi ch ng cong c ng cong chuy ng. .............20
Hình a v trí y c a c
13: (a) Vectơ đặc trƣng chứ ị ủ ả hai chân cho hành động ―chạy‖.
Các m u 0-99 là các giá tr y cho chân t o ra chuy n. M u 100-200 giá
ẫ ị ạ ển động cơ bả ẫ
trị ại. (b) vectơ đặc trƣng chứ ị ủ ả
y cho chân còn l a v trí y c a c hai chân cho hành
động ―nhảy v u 0-99 là các giá tr y cho chân t o ra chuy n
ề phía trƣớc‖. Các mẫ ị ạ ể
động cơ bả ẫ ị ạ
n. Các m u 100-200 là các giá tr y cho chân còn l i..............................23
Hình 14: Chi o lên các không gian vector l n th
ếu các vectơ đặc trƣng đang đào tạ ầ ứ
1 và th o b ng cách s d ng b d u video Weizmann. ......................25
ứ 2 đƣợc tạ ằ ử ụ ộ ữ liệ
Hình 15: Chi o lên các không gian vector th 1 và
ếu các vectơ đặc trƣng đang đào tạ ứ
th li
ứ 3 đƣợc tạ ằ ử ụ ậ ữ
o b ng cách s d ng t p d ệu video Weizmann. .............................25
Hình 16: Các hành độ ển lên phía trƣớ ảy lên" và "đi bộ ầ
ng "Chuy c", "nh lên c u
thang". Các đƣờ ỗi hành độ ấ ỹ đạ ủ ả
ng cong trong m ng cho th y các qu o c a bàn tay ph i
và chân ph ..............................................................................................................26
ải.

7. v
Hình 17: Hành động ―diễu hành‖. Các đƣờ ấ ỹ
ng cong cho th y các qu o c a bàn
đạ ủ
tay ph i và chân ph i.................................................................................................27
ả ả
Hình 18: Hành động ―đi bộ‖. Các đƣờ ể ị ỹ đạ ủ ả
ng cong hi n th các qu o c a bàn tay ph i
và chân ph ..............................................................................................................27
ải.
Hình 19: Hành động ―chạy‖. Đƣờ ể ệ ỹ đọ ủ ả
ng cong th hi n qu a c a tay ph i và chân
ph ...........................................................................................................................27
ải.
Hình 20: Đƣờ ợp và phân đoạn cho hành động ―đi bộ
ng cong phù h ‖......................28
Hình 21: Tố ộ ậ ố
c đ và v n t c của hành động ―đi bộ‖..................................................29
Hình 22: Dữ ệ ị
li u v trí cho chuyển động cơ bản ―đi bộ ầ ừ
‖ đ u tiên t Hình 20..........30
Hình 23: Dữ ệ ị
li u v trí cho chuyển động cơ bản ―đi bộ ứ ừ
‖ th hai t Hình 20............30
Hình 24: Đƣờ ợp và phân đoạn cho hành độ ạ
ng cong phù h ng "ch y".......................31
Hình 25: Tố ộ ậ ố
c đ và v n t c của hành động ―chạy‖. .................................................32
Hình 26: Dữ ệ ị
li u v trí cho chuyển động cơ bản ―chạy‖ từ Hình 24. .......................33
Hình 27: Đƣờ ợp và phân đoạ nh độ ả
ng cong phù h n cho hà ng "nh y". .....................34
Hình 28: Tố ộ ậ ố
c đ và v n t c của hành động ―nhảy‖. .................................................35
Hình 29: Dữ ệ ị
li u v trí cho chuyển động cơ bản ―nhảy‖ lên từ Hình 27. .................36
Hình 30: Dữ ệ ị
li u v trí cho chuyển động cơ bản ―nhảy‖ xuố ừ
ng t Hình 27.............36
Hình 31: Đƣờ ợp và phân đoạn cho hành độ ả ề phía trƣớ
ng cong phù h ng "nh y v c".
...................................................................................................................................37
Hình 32: Tố ộ ậ ố
c đ và v n t c của hành động ―nhả ề phía trƣớ
y v c‖............................37
Hình 33: D u v trí cho m t trong nh ng chuy y v phía
ữ liệ ị ộ ữ ển động cơ bản ―nhả ề
trƣớ ừ
c‖ t Hình 31. .....................................................................................................38
Hình 34: Đƣờ ợp và phân đoạn cho hành động "đi bộ ầ
ng cong phù h lên c u thang".
...................................................................................................................................39
Hình 35: Tố ộ ậ ố
c đ và v n t c của hành động ―đi bộ ầu thang‖.
lên c ..........................40
Hình 36: D u v trí cho m t trong nh ng chuy
ữ liệ ị ộ ữ ển động cơ bản ―đi lên cầu thang‖
t .................................................................................................................40
ừ Hình 34.
Hình 37: Đƣờ ợ đoạn cho hành động ―diễu hành‖.
ng cong phù h p và phân .............41
Hình 38: Tố ộ ậ ố
c đ và v n t c của hành động ―diễu hành‖. .........................................41
Hình 39: D u v trí c a m
ữ liệ ị ủ ộ ển động cơ bản trong ―diễu hành‖ từ
t trong các chuy
Hình 37......................................................................................................................42
Hình 40: K t qu c a mô ph ng máy nh trên chuy ng
ế ả ủ ỏ ả ển động cơ bản ―đi bộ ở
‖ hƣớ
xem -60, -40, - . M c y
20, 0, 20, 40 và 60 độ ỗi vectơ đặc trƣng là trung tâm trong trụ
nhƣ mộ ầ ủ ậ
t ph n c a t p sinh vector. ............................................................................45
Hình 41: Theo r ng hai tay và hai chân. ........................47
dõi hành động ―jack‖: mở ộ
Hình 42: Theo dõi hành động ―nhảy‖.......................................................................48

8. vi
Hình 43: Theo dõi hành động ―skip‖. .......................................................................48
Hình 44: Theo dõi hành động ―chạy‖. ......................................................................49
Hình 45: Theo dõi hành động ―vẫy tay 1‖. ...............................................................49
Hình 46: Theo dõi hành động ―vãy tay 2‖. ...............................................................50
Hình 47: Theo dõi hành động ―gập ngƣời‖...............................................................50
Hình 48: Theo dõi hành động ―đi bộ‖.......................................................................51
Hình 49: Theo dõi hành động ―dang chân 2 bên‖.....................................................51
Hình 50: Hành động ―nhả ọ
y d c‖...............................................................................52
Hình 51: Đƣờ ợp và phân đoạn cho hành động ―chạy‖ ừ
ng cong phù h t video
Weizmann t p d u. ..............................................................................................53
ậ ữ liệ
Hình 52: T và v n t c c t p d u video Weizmann.
ốc độ ậ ố ủa hành động ―chạy‖ từ ậ ữ liệ
...................................................................................................................................53
Hình 53: Dữ ệ ị ộ ữ
li u v trí cho m t trong nh ng chuyển động cơ bản ―chạy‖...............54
Hình 54: Đƣờ ợp và phân đoạn cho hành động ―đi bộ‖ từ ậ ữ ệ
ng cong phù h t p d li u
video Weizmann........................................................................................................54
Hình 55: T và v n t c c t p d u video Weizmann.
ốc độ ậ ố ủa hành động ―đi bộ‖ từ ậ ữ liệ
...................................................................................................................................55
Hình 56: D u v trí cho m t trong nh ng chuy
ữ liệ ị ộ ữ ển động cơ bản ―đi bộ‖. .............55
Hình 57: Đƣờ ợp và phân đoạn cho hành động ―side‖ từ
ng cong phù h video
Weizmann t p d u. ..............................................................................................56
ậ ữ liệ
Hình 58: T và v n t c c t p d u video
ốc độ ậ ố ủa hành động ―dang chân 2 bên‖ từ ậ ữ liệ
Weizmann..................................................................................................................56
Hình 59: Dữ ệ ị ộ ển động cơ bản ―dang chân 2 bên‖.
li u v trí cho m t trong các chuy 57
Hình 60: Đƣờ ợp và phân đoạn cho hành độ ―jack‖ (dang 2 chân và
ng cong phù h ng
2 tay) t video t p d u Weizmann.......................................................................58
ừ ậ ữ liệ
Hình 61: Tố ộ ậ ố
c đ và v n t c của hành động ―jack‖ từ ậ ữ ệ
t p d li u video Weizmann.58
Hình 62: Dữ ệ ị ộ ữ
li u v trí cho m t trong nh ng chuyển độ g cơ bản ―jack‖.
n ...............59
Hình 63: Đƣờ ợp và phân đoạn cho hành động ―nhảy‖ từ ậ ữ ệ
ng cong phù h t p d li u
video Weizmann. Đây là mộ ển độ ả ề phía trƣớ
t chuy ng nh y v c...............................59
Hình 64: T và v n t c c ng
ốc độ ậ ố ủa hành độ ―nhảy‖ từ ậ ữ ệ
t p d li u video Weizmann.
...................................................................................................................................60
Hình 65: Dữ ệ ị ộ ữ
li u v trí cho m t trong nh ng chuyển động cơ bản ―nhảy‖...............60
Hình 66: Đƣờ ợp và phân đoạn cho hành động ―pjump‖ (nhả
ng cong phù h y d c) t
ọ ừ
Weizmann t p d u video. ....................................................................................61
ậ ữ liệ
Hình 67: T và v n t c c t p d u video Weizmann.
ố ộ
c đ ậ ố ủa hành động ―pjump‖ từ ậ ữ liệ
...................................................................................................................................61

9. vii
Hình 68: Dữ ệ ị ộ ữ
li u v trí cho m t trong nh ng chuyển động cơ bản ―pjump‖............62
Hình 69: Đƣờ ợp và phân đoạn cho hành động ―vẫy tay‖ từ ậ ữ ệ
ng cong phù h t p d li u
video Weizmann........................................................................................................63
Hình 70: T và v n t c c
ốc độ ậ ố ủa hành động ―vẫy tay‖ từ ậ ữ ệ
t p d li u video Weizmann.
...................................................................................................................................64
Hình 71: D u v trí cho m t trong nh ng chuy
ữ liệ ị ộ ữ ển động cơ bản ―sóng‖...............64

10. 1
CHƢƠNG 1. TỔ ẤN ĐỀ Ậ Ạ
NG QUAN V NH N D NG
HÀNH ĐỘNG
1.1. và th c tr
Giới thiệu ự ạng
Đi kèm vớ ự ể ừ ủa đờ ố ế ội cũng nhƣ
i s phát tri n không ng ng c i s ng kinh t xã h
công cu c công nghi p hóa hi c, tình tr i cao tu i s ng
ộ ệ ện đại hóa đất nƣớ ạng ngƣờ ổ ố
neo đơn mộ ặ ự quan tâm chăm sóc thƣờ ủa ngƣờ
t mình ho c không có s ng xuyên c i
thân trong gia đình ngày càng gia tăng đáng kể. Đây là những đối tƣợ ấ ễ ặ
ng r t d g p
nh ng r i ro ng r t l n t i s c kh e, tính m ng trong cu c s ng b i các
ữ ủ ảnh hƣở ấ ớ ớ ứ ỏ ạ ộ ố ở
nguyên nhân đế ừ ổi tác nhƣ bệ ậ ự ả ức năng của cơ thể
n t tu nh t t hay s suy gi m các ch ;
các nguyên nhân đế ừ điề ệ ống gây căng thẳ ấn thƣơng về
n t u ki n s ng tâm lý, ch tinh
thần. Đố ới ngƣờ ổ ế ố ất thƣờ ủ
i v i cao tu i, các y u t b ng ch yế ảy ra đố ớ ọ
u x i v i h là ngã
gây ch già y u không th t ng d y, b t qu
ấn thƣơng mà do cơ thể ế ể ự gƣợ ậ ị độ ỵ, đau tim,
huy t áp cao... ng xuyên liên t c nh m phát hi n nh ng
ế Do đó, việc giám sát thƣờ ụ ằ ệ ữ
r i ro b t tr c x ng t i vi c kh
ủ ấ ắ ảy ra có ý nghĩa vô cùng quan trọ ớ ệc chăm sóc sứ ỏe
ngƣờ ổ ớ
i cao tu i. V i yêu c c giám sát s d hi n nhi
ầu đó, việ ử ụng Camera đã thể ệ ều ƣu
điểm vƣợ ộ ể ụ ệ ất thƣờ
t tr i, có th quan sát liên t c, phát hi n b ng nhanh và chính xác
nh t. Tuy nhiên, v i các h ng thì c n ph i có
ấ ớ ệ thống Camera theo dõi bình thƣờ ầ ả
ngƣờ ậ ục. Điề
i v n hành giám sát liên t u này là khó có th c hi n tri i trà.
ể thự ệ ển khai đạ
Để ắ ụ ầ ạ ộ ệ ố ự độ ụ
kh c ph c, chúng ta c n t o ra m t h th ng giám sát t ng, liên t c quan sát,
phân tích và đƣa ra các cả ớ ấ ề ủa ngƣời đƣợ
nh báo s m nh t v các hành vi c c giám sát
mà cụ thể ở đây là ngƣờ ổ ậ
i cao tu i. Chính vì v y, luận văn ―Theo dõi hành vi ngƣời
cao tu s d t p trung xây d ng, phát tri n thu t toán nh n d ng
ổi – ử ụng Camera‖ sẽ ậ ự ể ậ ậ ạ
hành vi c i qua các d
ủa con ngƣờ ữ liệu Video thu đƣợc.
Ngày nay, d u video d d c t o ra b i các thi t b n tho i di
ữ liệ ễ àng đƣợ ạ ở ế ị nhƣ: điệ ạ
độ ả ỹ ậ ố ệ ố
ng, máy tính xách tay, máy nh k thu t s , các h th ng camera quan sát
(CCTV)… bên cạnh đó các trang web chia sẻ video cũng không ngừng tăng trƣởng
v s ng l n ch ng.
ề ố lƣợ ẫ ấ ợ
t lƣ
Bài toán nh n di n hành ng c t ph
ậ ệ độ ủa con ngƣời trong video đóng góp mộ ần
t ng hóa khai khác tài nguyên d u nhi u thông tin này. Các ng d ng liên
ự độ ữ liệ ề ứ ụ
quan đế ậ ện hành động nhƣ:
n bài toán nh n di

11. 2
- An ninh và các h ng giám sát truy n th ng g m m i các camera và
ệ thố ề ố ồ ạng lƣớ
đƣợ ởi con ngƣờ
c giám sát b i.
- Tƣơng tác giữa ngƣờ ẫ ề ứ ữ ấ ệ ị
i và máy v n còn nhi u thách th c, nh ng d u hi u th
giác là phƣơng thứ ọ ấ ế ữ ệ ả
c quan tr ng nh t giao ti p phi ngôn ng . Khai thác hi u qu
phƣơng thứ ế
c giao ti p này: Thông qua c ng, ho ng h a h n t o ra
ử chỉ, hành độ ạt độ ứ ẹ ạ
th i.
ế ệ máy tính tƣơng tác chính xác và tự nhiên hơn vớ ờ
h i con ngƣ
- Bên c n di ng c ng
ạnh đó nhậ ện hành độ ủa con ngƣời trong video còn đƣợc ứ
d ng trong tóm t t, truy v n video, phân tích th
ụ ắ ấ ể thao.
1.2. u liên quan
Các nghiên cứ
Hình 1: Các kh o sát v n d ng Hành ng.
ả ề Nhậ ạ độ

12. 3
Hình 2 ng h p các nghiên c u v nh n d ng.
: Tổ ợ ứ ề ậ ạng hành độ
1.2.1. o sát v n d
Các khả ề nhậ ạng hành động
M u thách th c trong công vi c nh n d ng là s khái quái hóa, chúng ta
ột điề ứ ệ ậ ạ ự
ph i x lý trong các tình hu i t và các bi n th c a t ng hành ng
ả ử ống thay đổ ốc độ ế ể ủ ừ độ
riêng bi i hình nh trích xu i di
ệt. Poppe [38] đã phân loạ ả ất thành hai nhóm: đơn đạ ện
và đa đạ ện. Đa đạ ệ ấ ộ ế ận đầ ố ấ
i di i di n cung c p m t cách ti p c u cu i trong trích xu t
thông tin t hình ng thông qua phép tr n i di n t p trung vào
ừ ảnh, thƣờ ừ ền. Đơn đạ ệ ậ
các c b c a m t hình nh ho c chu i hình nh b ng cách trích xu t các
tính năng cụ ộ ủ ộ ả ặ ỗ ả ằ ấ
điểm đáng chút ý, chẳ ạn nhƣ các góc đố ớ ển độ
ng h i v i chuy ng nhanh. Nghiên cứu
c p d i di n và nh n d ng tr
ủa chúng tôi hƣớng đến tậ ữ liệu đa đạ ệ ậ ạ ực tiếp.
H u h t các k t nh n d c s d ng
ầ ế ỹ thuậ ậ ạng hành động đƣợ ử ụ trong 3 lĩnh vực:
giám sát tr c quan, ngành công nghi p gi i trí, robot-h u khi n. Trong khi
ự ệ ả ọc và điề ể

13. 4
các lĩnh vự ứ ụ ặ ẽ ớ ụ ủ ừ ứ
c ng d ng có liên quan ch t ch v i nhau, thì các m c tiêu c a t ng ng
d ng c c s d n c m c tiêu hoàn toàn có
ụ ụ thể và các phƣơng pháp đƣợ ử ụ g để đạt đƣợ ụ
thể ụ ọ ủ ề ứ ụ ực quan là để
khác nhau. Ví d , tr ng tâm c a nhi u ng d ng giám sát tr phát
hi c quan tâm, th m chí có th d nh c
ện các hành động đang đƣợ ậ ể ự đoán ý đị ủa ngƣời
thự ện hành động. Ngƣợ ạ ề ứ ụ uan đế ệ ạ
c hi c l i, nhi u ng d ng robot liên q n vi c d y robot
thự ệ ộ ệ ụ ặ ộ ạt các hành độ ằ ủa con ngƣờ
c hi n m t nhi m v ho c m t lo ng b ng c i. Ngành
công nghi p gi i trí ch y n vi c theo dõi chuy ánh x
ệ ả ủ ếu liên quan đế ệ ển động để ạ
chuy ng c a di n viên vào ho t hình k t s , ho c l p b m
ển độ ủ ễ ạ ỹ thuậ ố ặ ậ ản đồ ột ngƣời
chơi đế ự ệ ột trò chơi video. Kruger [26] trình bày các phƣơng
n các s ki n trong m
pháp trong ba lĩnh vực chính tƣơng ứ ớ ừng lĩnh vự ứ ụ ả
ng v i t c ng d ng khác nhau: gi i
thích và công nh ng, b ng, và nh n diên d
ận hành độ ắt chƣớc hành độ ậ ự đoán hành
độ ế
ng ti p theo. Cách ti p c n c a chúng tôi phù h p v i các nhóm gi i thích và
ế ậ ủ ợ ớ ả
nh n.
ậ ệ
n di n d
Phƣơng pháp nhậ ạng đƣợc chia thành các phƣơng pháp không phân
bi t gi a các b ph - b ph .
ệ ữ ộ ận cơ thể và các phƣơng pháp dựa trên cơ thể ộ ận cơ thể
Cách ti p c n c a chúng tôi là cách ti p c n d a trên b vì chúng
ế ậ ủ ế ậ ự ộ phận cơ thể
tôi sử ụ ỹ đạ ủ ừ
d ng qu o c a t ng b ph nh n di n.
ộ ận cơ thể để ậ ệ
p m t kh c p vi c theo dõi d a trên camera,
Moeslund [31] cung cấ ộ ảo sát đề ậ ệ ự
ghi l i chuy ng và các k
ạ ển độ ỹ t nh n d ng và nghiên c u trong khu v c trong
thuậ ậ ạ ứ ự
giai đoạ 2006. Các phƣơng pháp đƣợ ạ ở
n 2000- c phân lo i thành 4 nhóm chính: kh i
t và nh n di n.
ạo, theo dõi, ƣớc tính tƣ thế ậ ệ
o sát các ch v
Aggarwal và Park [2] khả ủ đề ề mô hình cơ thể ngƣờ ức độ
i, m
chi ti t c n thi nh ng, cách ti p c nh n bi ng c
ế ầ ết để ận ra hành độ ế ận để ậ ết hành độ ủa
con ngƣời và các phƣơng pháp nhậ ệ ấ
n di n c p cao.
Phƣơng pháp mô hình cơ thể ngƣời đƣợ ại thành mô hình và phƣơng
c nhóm l
pháp d a trên ngo i hình. Theo cách ti p c n d a trên mô hình, m t quy trình phù
ự ạ ế ậ ự ộ
h c s d tính toán các tham s c nó phù h p
ợp đƣợ ử ụng để ố ủa mô hình cơ thể ngƣờ ể
i đ ợ
nh t v i d u hình c l i, m t cách ti p c n d a trên ngo i hình phát
ấ ớ ữ liệ ảnh. Ngƣợ ạ ộ ế ậ ự ạ
hi t hình nh và không s d ng mô hình c con
ện các tính năng trong mộ ả ử ụ ủa cơ thể
ngƣờ ức độ ế ầ ết để ự ệ ậ ạng đƣợ ự ứ ụ
i. M chi ti t c n thi th c hi n nh n d c d a trên ng d ng và
các lo c công nh n. Aggarwal phân lo i các c chi ti t khác
ại hành động đƣợ ậ ạ ấp độ ế
nhau thành ba nhóm: t ng, trung gian và chi ti c t ng, ch gi i h n h
ổ ết. Ở ấp độ ổ ỉ ớ ạ ộp
ho c các ranh gi c s d nh n di n. Ví d , Sato và Aggarwal [42]
ặ ới khác đƣợ ử ụng để ậ ệ ụ
nh n ra các s ki i g p g v i nhau ho
ậ ự ện nhƣ mọi ngƣờ ặ ỡ, đi bộ ớ ặc đi ngang qua ngƣời
khác. M t ví d c cung c p b ki
ộ ụ khác đƣợ ấ ởi Ivanov và Bobick [21] nơi các sự ện
trong m c nh n di n. c trung gian, các b ph n c h
ột bãi đậu xe đƣợ ậ ệ Ở ấp độ ộ ậ ủa cơ t ể

14. 5
nhƣ đầu, thân, cánh tay và chân đƣợc xác đị ứ ế ồ ế
nh. M c chi ti t bao g m các cách ti p
c n d chi ti ng d a trên chuy
ận trong đó nhậ ạng đủ ết để xác định hành độ ự ển độ ủ
ng c a
m ph . Tay nh n d ng c là m .
ột bộ ận cơ thể ậ ạ ử chỉ ột ví dụ
p m t góc nhìn m i v i tr ng tâm là trí tu nhân t
Buxton [8] đã cung cấ ộ ớ ớ ọ ệ ạo
k t h p v t o ra các h ng thông minh. Các kh o sát khác h
ế ợ ới quan sát để ạ ệ thố ả ỗ trợ ý
tƣởng này xu t hi m Gavrila [15], Aggarwal và Cai [1],
ấ ện trƣớc năm 1999 bao gồ
Bobick [6], và Cedras và Shah [10].
1.2.2. p c p
Cách tiế ận đa lớ
n l n các nghiên c u v nh n d ng t p trung s d ng m
Phầ ớ ứ ề ậ ạng hành độ ậ ử ụ ột
chuỗ ả ừ ộ ả ự ớ ộ ố
i hình nh 2-D t m t máy nh, hoàn toàn t nhiên khi ta xem xét t i m t s
lƣợ ớn máy quay video đã đƣợ ử ụ ở ệ ống giám sát. Để ể
ng l c s d ng b i các h th phát tri n
các k thu t c p cao c x lý hình nh c p th c s
ỹ ậ ấ trong đề tài này, các bƣớ ử ả ấ ấp hơn đƣợ ử
d trích xu t các thông tin c n thi t t các chu i hình nh. K t theo dõi,
ụng để ấ ầ ế ừ ỗ ả ỹ thuậ
ƣớ ậ ạ ử ỉ ụ ề ỹ ậ ấ ấ ề ả ế
c tính và nh n d ng c ch là ví d v các k thu t c p th p. Nhi u tác gi ti p
c c b ng cách s d ng m t ví d v
ận lĩnh vự ằ ử ụ ộ ụ ề k thu t x lý c p th p và thêm c
ỹ ậ ử ấ ấ ấp
độ cao các h ng có ph c l p v i các quy trình c p th ng c p
ệ thố ần độ ậ ớ ấ ấp hơn. Hệ thố ấ
cao đƣợ ử ụng để ại các hành độ ạt độ ựa trên đầ ừ ệ
c s d phân lo ng và ho ng d u vào t h
thố ấ ấ
ng c p th p.
M t ví d v h ng c c trình bày b i Ryoo và Aggarwal [40]
ộ ụ ề ệ thố ấp cao đƣợ ở
[41]. H ng c a h s d ng trích xu t ph và nh n d ng
ệ thố ủ ọ ử ụ ấ ần cơ thể, ƣớc tính tƣ thế ậ ạ
c i d ng m t l p c p th c chia nh phân gi
ử chỉ dƣớ ạ ộ ớ ấ ấp. Các hành động đã đƣợ ỏ và độ ải
th i các nh
ấp đƣợ ậ ở
c công nh n b ậ ạ ử ỉ ấ ấ
n d ng c ch c p th p.
Ivanov và Bobick [21] trình bày m t h p nh n d ng c
ộ ệ thống trong đó lớ ậ ạ ấp
cao s d ng nh i di n không ng c nh m t cách ng u nhiên. Trong quá
ử ụ ững khung đạ ệ ữ ả ộ ẫ
trình phân tích cú pháp chu i, l i thay th và l x lý s
ỗ ỗ ế ỗi chèn đƣợc xem xét để ử ự
không ch c n trong chu minh h nh c a l p c p cao, h
ắ chắ ỗi đầu vào. Để ọa đô mạ ủ ớ ấ ọ đã
trình bày m t s ng d ng ví d . H u tiên nh n ra các hình d c t
ộ ố ứ ụ ụ ệ thống đầ ậ ạng đƣợ ạo
ra b i các chuy
ở ể ộ
n đ ng của tay ngƣờ ớp cao hơn có thể ậ ạo thành
i. L nh n ra bàn tay t
hình vuông. Một ví dụ khác hệ ố ậ ển động đƣợ ự ệ ở
th ng nh n ra các chuy c th c hi n b i
m ng.
ột nhạ ở
c trƣ
1.2.3. d ng ph n
Công cụ đƣợc sử ụ ổ biế
Có nhi u cách ti p c nh n d ng, m t trong nh ng công c
ề ế ận để ậ ạng hành độ ộ ữ ụ
ph bi n nh c s d ng là
ổ ế ất đƣợ ử ụ mô hình Markov n (the hidden Markov model)
ẩ .
L i ích chính c a các mô hình Markov n là có th tính xác su t c a m t chu
ợ ủ ẩ ể ấ ủ ộ ỗi

15. 6
trong m t mô hình nh nh. Công vi c d dàng khi ta so sánh chu
ộ ất đị ệ ễ ỗi đang quan sát
v i m t chu c bi n b i Markov.
ớ ộ ỗi đã đƣợ ế ế
t đ ằng chuỗ
Các công c ph bi c s d ng trong nh n d ng là ng
ụ ổ ến khác đƣợ ử ụ ậ ạng hành độ ữ
c nh, vì nhi ng có th ng ph , chúng
ả ều hành độ ể đƣợc phân tách thành các hành độ ụ
n m trong m t ng c nh - m t công c mô t t t. Joo và Chellappa [23] th hi
ằ ộ ữ ả ộ ụ ả ố ể ện
vi c s d ng ng c nh có thu nh ng d a trên các s ki n
ệ ử ụ ữ ả ộc tính để ận ra hành độ ự ự ệ
đƣợ ạ ở ộ ệ ố ụ ả ộ ệ ố
c t o ra b i m t h th ng quan sát. Ví d , tác gi trình bày m t h th ng giám
sát bãi đậ ệ ột ngƣờ ể ếc xe đang đỗ ề ầ ỉ
u xe phát hi n khi m i ki m tra chi nhi u l n, ch ra
r ng h có th nh không trung th
ằ ọ ể có ý đị ực.
1.2.4. ng không b ng theo dõi
Nhận dạng hành độ ằ
B i vì b i là m t b phân lo ng phát tri n cao, có
ở ộ não con ngƣờ ộ ộ ại hành độ ể
nghĩa mộ ố ứ ố ắ ắt chƣớ ủ ộ ằ ử
t s nhà nghiên c u c g ng b c hành vi c a b não b ng cách s
d i thi
ụng các phƣơng pháp dựa trên m -ron th n kinh
ạng nơ ầ . Escobar [13] đã giớ ệu
m t h ng d a trên m -ron c g ng mô hình hóa c các khu v c c
ộ ệ thố ự ạng nơ ố ắ ụ thể ự ủa
não đƣợ ển độ ế ậ ủ ọ ản đồ
c dành riêng cho chuy ng. Theo cách ti p c n c a h , b chuyển
động đƣợ ự ằ ệ ạ ế ạ
c xây d ng b ng cách phân tích vi c kích ho t các t bào trong m ng. Các
b chuy c s d ng cho phân lo i b ng cách so sánh chúng
ản đồ ển động sau đó đƣợ ử ụ ạ ằ
v chuy ng t m p d o.
ới bản đồ ển độ ừ ột tậ ữ liệu đào tạ
Chaudhry [11] gi i thi u m t k t s d ng bi c
ớ ệ ộ ỹ thuậ ử ụ ểu đồ ủa dòng quang để
phát hi ng. Tác gi minh h ng m
ện hành độ ả ọa rằ ột hồ sơ lƣu lƣợng quang đặc trƣng
có m ng khác nhau. B i vì dòng quang ph thu ng chuy
ặt cho hành độ ở ụ ộc vào hƣớ ển
độ ức thu đối tƣợ ả ểu đồ
ng và cách th ng vào máy nh (thu phóng), bi đƣợ ẩ
c chu n hóa
và góc c i tr c s d tính toán t
ủa các vectơ dòng quang so vớ ục hoành đƣợ ử ụng để ập
vector đƣợ ểu đồ. Điều này làm cho dòng quang độ ậ ớ
c thêm vào trong bi c l p v i
hƣớ ặc hƣớ ải. Độ ớ ủ ỗi vectơ dòng quang xác đị ức độ
ng trái ho ng ph l n c a m nh m
đóng góp củ ểu đồ. Điề ạ ỏ ảnh hƣở ủ ễ ề ợ
a nó vào bi u này lo i b ng c a nhi u n n. Các l i
thế ủa phƣơng pháp này là sự đơn giả ủ ỉ ầ ử ở ức độ ấ
c n c a nó và ch c n x lý m th p. Ví
d , tr n n là không c n thi t. D c s d
ụ ừ ề ầ ế ữ liệu video đƣợ ử ụng để đánh giá kỹ t là
thuậ
các video độ ả ấ ừ cơ sở ữ ệ ồ
phân gi i th p t d li u Weizmann [53] và bao g m các hành
độ ẳ ạn nhƣ đi bộ ạ ả ố ẫ
ng ch ng h , ch y, nh y, u n cong và v y tay.
1.2.5. ng có theo dõi
Nhận dạng hành độ
Năm 2000, Su [45] cùng công sự đã trình bày mộ ỹ ậ ậ
t k thu t nh n dang không
d a trên n n t ng t m nhìn, s d ng H ng theo dõi siêu âm 3-D, h nh n ra 10
ự ề ả ầ ử ụ ệ thố ọ ậ
c c th c hi n khi s d ng Ngôn ng c ký hi u
ử động cánh tay điển hình đƣợ ự ệ ử ụ ữ ử chỉ ệ
Đài Loan ị ủ ứ ột máy phát siêu âm đƣợ ự
. V trí c a bàn tay ch a m c theo dõi d a trên tín

16. 7
hi u vào t ba micro. Tín hi c l c và làm m n i b
ệu đầ ừ ệu này đƣợ ọ ị ở đầu vào để loạ ỏ
ảnh hƣở ễ ột phƣơng pháp đơn giản đƣợ ử ụng để tìm các điể
ng nhi u. M c s d m di
chuy n trong chuy ng là d a trên t ng cong,
ể ển độ ự ốc độ thay đổi hƣớng trong đƣờ
điể ắt đầ ế ủ ờ ỉ đơn giản là điểm đầu tiên và điể ố
m b u và k t thúc c a đƣ ng cong ch m cu i
cùng trong m t chu c dán nhãn d a trên m
ộ ỗi hành động. Các đƣờng cong đƣợ ự ột
trong hai độ ẳng và hƣớ ủ ọ dƣơng, âm) hoặ ếu đƣờ
th ng c a chúng (ngang, d c, c, n ng
cong có đủ ự ộ ự
l c, m t nhãn d a trên hình dạng cơ bản đƣợc đƣa ra.
t h p nh n d ng b ng vi c theo dõi m ng
Năm 2012, Yao [60] cũng kế ợ ậ ạ ằ ệ ột hƣớ
tiế ận đơn lẻ ả ậ ấ ằ
p c . Các tác gi nh n th y r ng nhậ ạng hành động và ƣớc tính tƣ
n d
thế là nh ng nhi m v liên quan ch t ch . H s d ng nh n d ng d
ữ ệ ụ ặ ẽ ọ ử ụ ậ ạng hành độ ựa
trên cơ thể ề ằ ề ả ụ ếp để giúp đơn giản hóa tƣ thế
2 chi u b ng nhi u máy nh ch p liên ti 3
chiều và sau đó sử ụ ừ ế ả để phán đoán hành động. Đầ
d ng thông tin t k t qu u tiên, các
đặc trƣng ngoạ ẳ ạn nhƣ màu sắc, dòng quang và độ ố
i hình, ch ng h d c không gian,
đƣợ ấ ừ ở ỗ ế độ xem. Các đặc trƣng củ ừ
c trích xu t t các khung hình video m i ch a t ng
tƣ thế đƣợc định nghĩa để ự ệ ậ ạ ở ạ ệ ố ậ ạ
th c hi n nh n d ng. Kh i t o h th ng nh n d ng hành
độ ựa trên tƣ thế ều đƣợ ử ụng để ả ờ ầ ết để
ng d 2 chi c s d gi m th i gian tính toán c n thi
ƣớc tính trong tƣ thế ế ả ậ ạ ối cùng đƣợ ả ệ ằ ử
3-D. K t qu nh n d ng cu c c i thi n b ng cách s
d 3-D so v n d ng 2- u.
ụng các phƣơng pháp dự ế
a trên tƣ th ới nhậ ạ D ban đầ
B i vì qu o chuy ng ch a thông tin có giá tr l n nh n d ng hành
ở ỹ đạ ển độ ứ ị ớ để ậ ạ
độ ần đây xu hƣớ ề ử ụ ế ều hơn. Tƣơng tự
ng, nên g ng nghiêng v s d ng lý thuy t này nhi
nhƣ vậy, PCA là m t công c c s d gi m tính nhi u chi
ộ ụ phổ biến đƣợ ử ụng để ả ề ều
c a d
ủ ữ liệu. c g d ng m t trong hai,
Ở đây chúng tôi trình bày công việ ần đây sử ụ ộ
ho o chuy ng ho c PCA, th m chí c hai.
ặc quỹ đạ ển độ ặ ậ ả
ng s hi n th nh ng qu o nh
Năm 2007, Bashir và cộ ự. [5] đã trình bày sự ể ị ữ ỹ đạ ỏ
s d ng các h s PCA. Gi p c n c a chúng tôi, qu c phân
ử ụ ệ ố ống nhƣ cách tiế ậ ủ ỹ đạo đƣợ
đoạ ại các điểm có độ cong cao. Sau đó, các quỹ đạo đƣợc thay đổ ở ệ ố
n t i b i các h s
PCA b o các mô hình h n h p Gaussian. Cu i cùng, vi c phân bi
ằng cách đào tạ ỗ ợ ố ệ ệt
đƣợ ự ệ ằ ẩn. Bashir đã chứ ế ậ
c th c hi n b ng các mô hình Markov ng minh cách ti p c n
c a mình trên m t b d u ngôn ng ký hi u c a M
ủ ộ ộ ữ liệ ữ ệ ủ ỹ. Cách ti p c n c a chúng tôi
ế ậ ủ
khác nhau chúng tôi phân lo i các ng d ng b ng cách s d ng phân c
ở chỗ ạ ứ ụ ằ ử ụ ụm
trong không gian m m gi t qu
ẫu. Chúng tôi có điể ống là làm mƣợ ỹ đạo để phân đoạn
chuy ng, n i suy qua các kho ng tr ng trong d u và t
ển độ ộ ả ố ữ liệ ạo ra vectơ đặc trƣng.
Bashir s d ng l c trên d u qu n l y m u l
ử ụ ọ ữ liệ ỹ đạo thô để thực hiệ ấ ẫ ại.
p c n c a chúng tôi, Gritai [18] trình bày m t h ng
Tƣơng tự nhƣ cách tiế ậ ủ ộ ệ thố
có qu a các m nh khác nhau t m t h ng theo dõi. H
ỹ đạo củ ốc xác đị ừ ộ ệ thố ọ cũng xem

17. 8
xét kích thƣớc cơ thể ỷ ệ ệ ữa các đối tƣợ ụ ến đổ
và t l khác bi t gi ng và áp d ng các bi i
để xác đị ự ệ
nh rõ s khác bi t.
Wu và Li [59] s d ng các thu c tính c a d u qu
ử ụ ộ ủ ữ liệ ỹ t o tín hi u
đạo để ạ ệ
chuy ng. Wu khám phá vi c gi m chi u c ký b t
ển độ ệ ả ề ủa chữ ằng PCA để ối ƣu hóa.
Han và c ng s . [20] s d tìm hi u chuy ng
ộ ự ử ụng mô hình Gaussian để ể ển độ
trong m t không gian phân c ng. H s d ng PCA và k thu t phân c m k-
ộ ấp đa dạ ọ ử ụ ỹ ậ ụ
điểm để ển động nhóm trong không gian đa dạ
chuy ng.

18. 9
CHƢƠNG 2. KỸ Ậ Ậ ẠNG HÀNH ĐỘ
THU T NH N D NG
D A TRÊN C T
Ự PHƢƠNG PHÁP PHÂN TÍCH ĐẶ RƢNG
CHUYỂN ĐỘNG
2.1. t
Phƣơng pháp đề xuấ
2.1.1. T ng quan
ổ
Hình 3 T t
: ổng quan phương pháp đề xuấ
Cách ti p c n bao g n: thu th p d u, phân tích chuy ng,
ế ậ ồm 4 giai đoạ ậ ữ liệ ển độ
đào tạ ậ ạ
o và nh n d ng.
2.1.2. Thu th p d u (Data Collection)
ậ ữ liệ
2.1.2.1. D hình ch p chuy
ữ liệu ụ ể ộ
n đ ng
S d ng d u c a có s n c a Robotics Institute, Carnegie Mellon University.
ử ụ ữ liệ ủ ẵ ủ
Để ạ ậ ữ ệ ộ ệ ố ử ụng các điể ỏ
t o ra t p d li u, m t h th ng theo dõi nâng cao s d m nh
đánh dấ ị trí quan sát trên cơ thể ể ệc để xác đị ị
u vào v . Nhi u camera làm vi nh v trí 3-
D từng điể ừ
m trên t ng khung hình.

19. 10
Hình 4: Ví d hình nh trên khi l o chuy ng c a m
ụ ả ại quỹ đạ ển độ ủ ột ngườ ạ
i đang ch y,
2 v trí theo dõi là chân trái và tay trái.
ị
2.1.2.2. D u video (có s
ữ liệ ẵn)
Để đánh giá hệ thố ậ ện hành độ ử ụ ậ
ng nh n di ng s d ng video, chúng ta dùng t p
d u Weizmann Human Action.
ữ liệ
Đây là tậ ữ ệu thông thƣờng đƣợ ử ụng để đánh giá hiệ ấ
p d li c s d u su t các
phƣơng thứ ậ ện hành độ ữ ậ ề ột ngƣờ
c nh n di ng. Nh ng video trong t p là góc nhìn v m i
(toàn cơ thể) bằ ột camera tĩnh.
ng m
Nhƣợ ểm: độ ả ấ
c đi phân gi i th p (180 x 144).
2.1.2.3. T o d u chuy ng t
ạ ữ liệ ể ộ
n đ ừ video
2.1.2.3.1. n
Xóa nề
M i tách bi video.
ụ ất hình ngƣờ
c đích: Trích xu ệt ra từ
MoG Method (phƣơng pháp phân phối Gauss)
S d ng hàm phân ph mô hình m nh.
ử ụ ố ể
i đ ỗi điểm ả
Xác suất quan sát đƣợ ộ
c m t pi i th
xel màu X tạ ờ ể
i đi m t là:
 
 


 

 




(1)
k: s vùng phân b Gauss trong h n h p.
ố ố ỗ ợ

: tr i t i th
ọng lƣợng ƣớ ố ứ
c tính cho phân b Gauss th ạ ời điểm t.


: giá tr i th
ị ủ ố ứ ạ
trung bình c a phân ph i th i t ời điểm t.


: ma tr i t
ậ ệp phƣơng sai củ ứ
n hi a Gauss th ạ ờ ể
i th i đi m t.
: hàm m xác su
ật độ ất.

20. 11
(2)
Để ả ờ ỗ ố ờ
gi m th i gian tính toán cho m i phân ph i trong th i gian training,
phƣơng pháp MoG tránh tính toán nghịch đả ủ ậ ệp phƣơng sai, Σ, bằ
o c a ma tr n hi ng
cách gi nh r a m i thành ph n màu b ng v i các thành ph n
ả đị ằng phƣơng sai củ ỗ ầ ằ ớ ầ
màu khác. B nh này, ma tr n hi c xác
ằng cách đƣa ra giả đị ậ ệp phƣơng sai có thể đƣợ
định là:
(3)
trong đó σi a màu và I là ma tr n nh n d phân lo
là phƣơng sai củ ậ ậ ạng. Để ại
màu pixel là vùng phía trƣớ ặ ề ủa pixel đƣợ ớ ộ
c ho c n n, màu c c so sánh v i b phân
ph c cho là kh p v i phân ph i i n
ối tƣơng ứng. Pixel Xt màu đƣợ ớ ớ ố ếu: || Xt −µi ||
<2.5σ2 i.
N u màu c a pixel kh p v i m t trong các b n phân ph i và phân ph
ế ủ ớ ớ ộ ả ố ối có đủ
b ng ng l ch s c coi là pixel n n. N c coi là pixel
ằ chứ ị ử thì nó đƣợ ề ếu không, nó đƣợ
vùng trƣớ ố ợp sau đó đƣợ ậ ậ ằng cách điề ỉ ị
c. Phân ph i phù h c c p nh t b u ch nh giá tr
trung bình, phƣơng sai và trọ ố ủ ọng lƣợng đƣợ ử ụng để ế
ng s c a nó. Tr c s d cho bi t
màu s c quan sát bao nhiêu l n. N u m t màu m c quan sát, phân
ắc đã đƣợ ầ ế ộ ới đƣợ
ph i v i tr ng nh nh c c p nh u su
ố ớ ọng lƣợ ỏ ất đƣợ ậ ật. Để tăng hiệ ất, chúng tôi đào tạo
h u tiên c a video ch v i pixel n u này cho
ệ thống trong 60 khung hình đầ ủ ỉ ớ ền. Điề
phép chúng tôi có đƣợ ộ ề ề ủ ờ
c m t mô hình chính xác v màu n n c a pixel. Sau th i gian
đào tạ ỉ có bƣớ ại đƣợ ự ện, đó là mộ ạt độ
o, ch c phân lo c th c hi t ho ng nhanh. Chúng
tôi sử ụ ả ố ỗ
d ng ba b n phân ph i cho m i pixel (k = 3).
2.1.2.3.2. G b bóng
ỡ ỏ
Trong khi th nghi m v i nhi u video khác nhau, chúng tôi nh n th y r ng
ử ệ ớ ề ậ ấ ằ
thƣờ ấ ệ ấn đề ề ệ ất hình ngƣờ ặ
ng xu t hi n v v bóng trong vi c trích xu i trong video. M c
dù bóng trong Weizmann t p d u khá ít, chúng tôi v c xóa bóng vào
ậ ữ liệ ẫn thêm bƣớ
quy trình, hình ngƣờ ẽ rõ ràng hơn từ ế ả ừ ề
i s các video. K t qu phép tr n n thu không
có bƣớc loạ ỏ bóng đƣợ
i b c minh họ .2 (c), tƣơng ứ
a trong hình 1.2 (b) và 1 ng.

21. 12
Hình 5: (a) m n tr thành tr ng, (c)
ột người đang đi bộ. (b) pixel trước và bóng, nề ở ắ
pixel trướ ạ ỏ ề ở ắ
c lo i b bóng, n n tr thành tr ng.
Chúng tôi th c hi n xóa bóng b ng cách th hi n phép tr n n trong Lab
ự ệ ằ ực ệ ừ ề
không gian màu. Khi pixel đƣợ ại là phía trƣớ ặ ề ần độ
c phân lo c ho c n n, thành ph
sáng, L, màu c c cho phép trong ph l ch l n n trung
ủa pixel đƣợ ạm vi độ ệ ớn hơn từ ề
bình c a mô hình trong khi các thành ph n a và b c a màu s c phù h p t ch v
ủ ầ ủ ắ ợ chặ ẽ ới
giá tr trung bình c c hi u này, chúng tôi s
ị ủa mô hình. Để thự ện điề ửa đổi phƣơng
trình để ớ ớ ố ỗ ợ ế
màu pixel kh p v i phân ph i i trong h n h p n u:
(4)
trong đó X(t, L), X(t, a) và X(t, b) là giá trị ầ ủ ạ
thành ph n L, a và b c a pixel t i
thời điểm t, tƣơng ứ ị ủ
ng, µ(i, t, L), µ(i, t, a), và µ(i, t, b) là các giá tr trung bình c a L,
a và b c a phân ph i i t i th l ch chu n c a phân ph i i và R là
ủ ố ạ ời điểm t, σ2(i) là độ ệ ẩ ủ ố
ngƣỡng độ sáng đƣợ ọ ằ ự ệ
c ch n b ng th c nghi m.
Giá tr c a R ph thu t i c c k v ng s c so sánh v
ị ủ ụ ộc vào độ ố ủa bóng đƣợ ỳ ọ ẽ đƣợ ới
giá tr trung bình. S d ng R = 50 t o ra k t qu t
ị ử ụ ạ ế ả ốt cho các video mà chúng tôi đã
thử ệ
nghi m.
Chúng tôi th y r ng Lab là m t l a ch n t c HSV vì các thành
ấ ằ ộ ự ọ ốt hơn HSL hoặ
ph n a và b v n i s bi i c sáng, trong khi các thành ph n H
ầ ẫ ổn định dƣớ ự ến đổ ủa độ ầ
và S trong các mô hình HSL và HSV thay đổi theo độ sáng. Điều này đƣợ ể ệ
c th hi n
trong các hình dƣới đây.
Điề ấy ―Lab‖ là mộ ự ọ ố ạ ỏ ở ầ
u này cho th t l a ch n t t cho lo i b bóng. B i vì t m
quan tr ng c a vi c lo i b bóng trong t m nhìn máy tính, công vi c khác trong
ọ ủ ệ ạ ỏ ầ ệ
phát hi n và lo bóng t n t i trong t p tài li u này.
ệ ại bỏ ồ ạ ậ ệ

22. 13
Hình m
6: Các thành ph n màu RGB c a m
ầ ủ ộ ể
t đi ảnh được v cho m
ẽ ỗi khung mẫu.
Pixel này tr thành m t ph n c a bóng t i t m n 350. Theo d ki n, R, G
ở ộ ầ ủ ố ừ ẫu 310 đế ự ế
và Giá tr B gi m khi pixel n m trong vùng bóng, cho bi t màu t
ị ả ằ ế ối hơn hơn các
vùng không bóng.
Hình m
7: Các thành ph n màu HSV c a m
ầ ủ ộ ể
t đi ảnh được v cho m
ẽ ỗi khung mẫu.
Pixel này tr thành m t ph n c a bóng t m ng giá tr
ở ộ ầ ủ ừ ẫu 310 đến 350. Lƣu ý rằ ị V
gi t ng u này ch ra
ảm trong vùng bóng, nhƣ mong đợi, nhƣng giá trị H tăng bấ ờ. Điề ỉ
r ng HSV không cô l p bóng trong thành ph n V.
ằ ậ ầ

23. 14
Hình 8 Các thành ph n màu Lab c a m cho m i khung m u.
: ầ ủ ột pixel được vẽ ỗ ẫ
Pixel này tr thành m t ph
ở ộ ầ ủ
n c a bóng t m
ừ ẫu 310 đến 350. Lƣu ý rằng giá tr c
ị ủa
thành phầ ả
n L gi m trong bóng t i trong khi các thành ph n a và b v
ố ầ ẫn ổn định. Điều
này làm cho Lab trở thành l a ch t cho lo i b
ự ọn tố ạ ỏ bóng vì bóng đƣợc cô l p trong L.
ậ
2.1.2.3.3. Theo dõi chuy ng c a chân
ển độ ủ
Chúng tôi t o m t h p gi i h n xung quanh phù h p, th a mãn th
ạ ộ ộ ớ ạ ợ ỏ ấp hơn 33%
toàn b i. Chúng tôi th y r u này s ghi l i khu v
ộ bóng ngƣờ ấ ằng điề ẽ ạ ực nơi bàn chân
đƣợc đặ ở ững tƣ thế ổ ế ấ ế ế ấ ột đƣờ ẳ
t nh ph bi n nh t. K ti p, chúng tôi tìm th y m ng th ng
đứ ằ ần dƣớ ủ ộ ớ ạ ộ ừ ả
ng tách cho chân b ng cách quét ph i c a h p gi i h n h p t trái sang ph i
và đế ố ợ ền theo hƣớ ẳng đứng cho đế ặp điể ả ề
m s lƣ ng pixel n ng th n khi g m nh n n
trƣớ ột đƣờ ẽ đƣợ ế ấ ớ ề
c. M ng phân tách s c xem xét n u nó là dài ít nh t 30% so v i chi u
cao h p và nó tách m t s ng nh m m ng
ộ ộ ố lƣợ ất định các điể ảnh trƣớc ở ỗi bên. Ngƣỡ
này là c n thi ng h c ch n bên trái
ầ ết phòng trƣờ ợp đƣờng phân tách không đƣợ ọ ở
ho ng h p c a m cong chân.
ặc bên phải của chân trong trƣờ ợ ủ ột tƣ thế
Đƣờng chia đoạ ấ ẽ ỏ ề ố ể ố ợ ố
n cao nh t s th a mãn chi u cao t i thi u và s lƣ ng t i
thiể ủ ền trƣớ
u c a pixel n c ở ủa đƣờ ếu không có đoạn đƣờng đáp
hai bên c ng này. N
ứng hai điề ện, chân đƣợ ột chân đƣợ ị ngƣờ
u ki c coi là cùng nhau và m c xem là b i
khác che đậy. Phƣơng pháp đƣờ ọ ấy đáng tin cậ
ng phân chia d c này cho th y. Trong
Hình 9 i n th .
, đƣờng phân tách đƣợc h ể ị màu đỏ
Sau khi tìm thấy đƣờ ị ủ ả ủ
ng phân tách, v trí c a bàn chân bên trái và bên ph i c a
phân tách đƣợ ấ ằng cách đặ ộ ộ ớ ạn vào các pixel phía trƣớ
c tìm th y b t m t h p gi i h c
n m bên trái và bên ph i c a dòng phân tách. Chi u cao h p gi i h c gi i h n
ằ ả ủ ề ộ ớ ạn đƣợ ớ ạ
ở ứ ề ủa hình ngƣời, đó là chiề ần đúng củ ị
m c 15% chi u cao c u cao g a bàn chân. V trí

24. 15
c a m c tính b ng cách s d ng v trí trung bình c nh n
ủ ỗi chân đƣợ ằ ử ụ ị ủa các điểm ả ền
trƣớ ộ ớ ạ ủ
c trong h p gi i h n c a bàn chân.
Trong khi th c hi n m t s ng, ch ng h y, chân c a m t ch
ự ệ ộ ố hành độ ẳ ạn nhƣ nhả ủ ộ ủ
th t
ể ẫ ở ặ
v n cùng nhau ho c ở ầ để ế ụ ạ ộ
g n nhau. Xem Hình 9 bi t ví d . Chúng tôi t o m
điề ản đơn giản cho trƣờ ợp này để ƣớ ị ủ ỗ ế
u kho ng h c tính v trí c a m i bàn chân. N u
chân không th c gi nh l
ể đƣợc tách ra sau hơn 6 khung hình, bàn chân đƣợ ả đị à đang
đứ ị ủ ỗi chân đầ ẽ ằ ấ ỉ
ng cùng nhau. V trí c a m u tiên s tìm b ng cách tính x p x kích
thƣớ ủ ỗi bàn chân tƣơng đƣơng chiề ủa hình ngƣời. Kích thƣớ ầ
c c a m u cao c c g n
đúng đƣợ ử ụng để ụ ừ ằ
c s d ch p t ng chân b ng cách thay th b ng h p gi i h
ế ằ ộ ớ ạn nhƣ
chứ ả ộ ộ ớ ạn đƣợc đặt nhƣ vậ ủ ộp căn
a c hai chân. M t h p gi i h y phía bên trái c a h
chỉ ới điể
nh v m ả ền trƣớ ộ ớ ạ
nh n c cùng bên trái trong vùng chân. Các h p gi i h n khác
đƣợc đặ ải căn chỉ ớ ậ ả ề
t theo cách mà phía bên ph nh v i t n cùng bên ph i pixel n n
trƣớ ộ ể ặ ƣng mức độ ặ ẽ ụ ộ ề ức độ
c. Hai h p có th trùng l p, nh trùng l p s ph thu c v m
chồ ủ ối lƣợ ỗi chân đƣợ ử
ng chéo c a bàn chân. Trung tâm tính toán kh ng cho m c s
d tìm v trí g n m b t chuy ng t ng
ụng để ị ần đúng. Phƣơng pháp này là đủ để ắ ắ ển độ ổ
thể ủa chân để ển độ ảy và khi ngƣờ ển độ
c chuy ng nh i đó không chuy ng.
Khả năng cuố ầ ế ệc theo dõi chân là xác đị ở
i cùng c n thi t trong vi nh chân nào
bên nào c a hình bóng. Chúng tôi th c hi u này b ng cách ki m tra v n t
ủ ự ện điề ằ ể ậ ốc
c a c hai chân theo th i gian. N u m
ủ ả ờ ế ột chân đứng yên trong khi cái kia đang di
chuy n, gi nh r n quan sát.
ể ta sẽ ả đị ằng bàn chân đã hoán đổi sau lầ
Ƣu điể ủa phƣơng pháp theo dõi chân này là sự đơn giả ủ ệ ể
m c n c a vi c tri n khai
và độ chính xác cao khi chân đang tách biệ ộ ấ ợ ủa phƣơng pháp này là sự
t. M t b t l i c
v ng m m khi chân cong ho g p cho s u h t này
ắ ặt các điể ặc ập. Chúng tôi bù đắ ự thiế ụ
b ng cách s d ng cong phù h p v i d u có s n vào d u b
ằ ử ụng đƣờ ợ ớ ữ liệ ẵn để điề ữ liệ ị
thi t ví d
ế ấ ộ
u. Hình 9 cho th y m ụ nhƣ vậy.

25. 16
Hình 9 Theo dõi m ng c , (b) nh y, (c) ch y, (d)
: ột vài hành độ ủa chân. (a) đi bộ ả ạ
chân đặ ạ
t c nh nhau
Chúng tôi không th theo dõi m y hành
ể tìm đủ điểm để ột cách đáng đáng tin cậ
độ ỏ ậ ữ ệ ộ ị ởi chân đố ệ
ng b qua trong t p d li u Weizmann. M t chân b che b i di n, làm
cho việ ở ấ
c theo dõi bàn chân tr nên b t l i.
ợ
Chúng tôi đã có mộ ố ệ ị ặ ị
t s thành công trong vi c theo dõi chân b cong ho c b
che b ng cách s d ng m u tham s vòng xoay. Các m c xây d ng t khung
ằ ử ụ ẫ ố ẫu đƣợ ự ừ
cu c ch
ối cùng nơi đặ ồ ạ ền trƣớ
t chân và bao g m thông tin phân lo i n - nền sau để ỉ
phù h p v n b i tr . Chúng tôi th y r ng video
ợ ới chân và thông tin cơ bả ị loạ ừ ấ ằ
Weizmann có độ ả ấp đố ớ ạ ớ ẫu này để ở
phân gi i quá th i v i lo i quy trình kh p m tr nên
đáng tin cậy.
2.1.2.3.4. Theo dõi chuy ng c a tay
ển độ ủ
Chúng tôi đã xác đị ằ ự ệ ằ ề ự ển độ ủ
nh b ng th c nghi m r ng thông tin v s chuy ng c a
chận là đủ để ại các hành độ ạt động đó bàn chân có vai trò chính.
phân lo ng khi ho
N u chân d ng, chúng tôi chuy nh tay n u có chuy
ế ừ ển sang xác đị ế ển động tay. Điều
này có nghĩa là chúng ta chỉ ầ ầ ạ ủa cơ thể đứ
c n theo dõi tay khi ph n còn l i c ng yên.
Xem Hình 10 xem nh ch p màn hình
để ả ụ ở đâu vị trí của bàn tay đƣợc theo dõi.

26. 17
Chúng tôi th c hi n theo dõi tay b ng cách s d ng quang
ự ệ ằ ử ụng ƣớc tính lƣu lƣợ
h tìm chuy c làm b c s
ọc để ển động đƣợ ằng tay. Nói chung, lƣu lƣợng quang đƣợ ử
d v trí (dx, dy) cho pixel (ho c vùng lân c n pixel) trong
ụng để ƣớc tính thay đổi về ị ặ ậ
hai hình nh sao cho:
ả
(5)
Trong đó In đạ ệ ạ ị ả
i di n cho pixel t i v trí (x, y) trong hình nh (n) và dx và dy
đạ ệ ự ị ể ủa x và y, tƣơng ứ ả
i di n s d ch chuy n c ng, trong hình nh n + 1.
Chúng tôi sử ụng phƣơng pháp ƣớ ợng lƣu lƣợ uang dày đặc đƣợ
d c lƣ ng q c giới
thiệ ở 14]. Trong phƣơng pháp này, vùng lân cậ ủ ỗ
u b i Farneback [ n c a m i pixel là
x p x b ng cách s d ng m r
ấ ỉ ằ ử ụ ở ộng đa thức. Thay đổ ị ủ ậ
i v trí c a vùng lân c n pixel
gi a hai hình c gi i quy t cho b ng cách s d ng hai
ữ ảnh sau đó có thể đƣợ ả ế ằ ử ụ đa thức
(mộ ỗ ảnh) ƣớ ận pixel. Phƣơng pháp này cung cấ ộ
t cho m i hình c tính vùng lân c p m t
trƣờ ảy dày đặ
ng dòng ch c, cho phép cách ly các tay kh và n n b ng cách
ỏi cơ thể ề ằ
tìm các đỉnh trong cƣờng độ ả
dòng ch y.
Hình 10 (a), (b) theo dõi tay khi v y, (c) theo dõi tay khi v y tay ph i, (d)
: ẫy hai ta ẫ ả
theo dõi chân và tay trong hành động jumping-jack.
Dòng quang dày đặ ấ ột vectơ biể ễ ồ ỗi điể
c cung c p m u di n lu ng quang cho m m
ảnh. Để ển động đƣợ ự ệ ằng tay, trƣớc tiên chúng ta tính toán độ
tìm chuy c th c hi n b
l n c m i vector dòng ch y. N i giá tr nh b ng th
ớ ủa ỗ ả ếu dƣớ ị ngƣỡng đƣợc xác đị ằ ực
nghi l ng c u này lo i b ng n và
ệm, chúng tôi đặt độ ớn lƣu lƣợ ủa pixel 0. Điề ạ ỏ tiế ồ
dòng ch c t o ra b i các chuy ng nh y k t n
ảy đƣợ ạ ở ển độ ỏ. Sau đó chúng tôi tìm thấ ế ối
các vùng có cƣờng độ ằng cách xác đị ần đƣợ ế ố
dòng khác 0 b nh các thành ph c k t n i.

27. 18
Tiế ể ực đƣợ ế ố ớ ấ ế ả ự
p theo, chúng tôi ki m tra hai khu v c k t n i l n nh t. N u c hai khu v c
có kích thƣớ ớn hơn kích thƣớc ngƣỡng, chúng tôi coi chúng là hai cánh tay đang
c l
chuy ng. N u ch có m t vùng c, ch m
ển độ ế ỉ ộ đáp ứng tiêu chí kích thƣớ ỉ ột nhánh đƣợc
coi là đang di chuyể ố ị ủa bàn tay đƣợc xác đị ằ ị
n. Cu i cùng, v trí c nh b ng cách tìm v
trí có cƣờng độ ớ ấ ử ổ ỗi vùng lƣu lƣợ
dòng trung bình l n nh t trong c a s 5 × 5 cho m ng
đƣợ ế ối. Điều này xác đị ỗ ay khi cánh tay đang vẫ
c k t n nh m i bàn t y tay vì bàn tay là
ph n nhanh nh a chuy ng và có dòng ch l n l n nh
ầ ất củ ển độ ảy có độ ớ ớ ất.
2.1.2.3.5. n các chuy i
Phát hiệ ển động cong ngườ
Hình 11 d ng chi u cao h phát hi ng u n cong.
: Sử ụ ề ộp để ện hành độ ố
M t s ng nh nh, ch ng h nh t th
ộ ố hành độ ất đị ẳ ạn nhƣ cúi xuống để ặ ứ gì đó, đƣa
tay đế ần chân. Điề
n g u này d n l ng. Xem Hình 11
ẫn đế ỗi khi theo dõi hành độ để
bi t ví d . Chúng tôi làm gi m b t v này b ng cách phát hi ng u n
ế ụ ả ớ ấn đề ằ ện hành độ ố
cong b ng cách s d ng chi u cao c i. N u chi
ằ ử ụ ề ủa bóng ngƣờ ế ều cao bóng ngƣời đƣợc
quan sát thu nh b i m ng v nh
ỏ ở ột lƣợ ừa đủ và bàn chân là điểm tĩnh, khi đó sẽ xác đị
là hành độ ốn cong. Chúng tôi đã phát hiệ ấy hành độ ốn cong đáng tin
ng u n th ng u
c y trong t t c các video c p d u Weizmann.
ậ ấ ả ủa tậ ữ liệ

28. 19
2.2. ng cong phù h n chuy
Đƣờ ợp và sự phân đoạ ể ộ
n đ ng
Khi m t qu c t o ra b ng cách theo dõi m ng cong phù
ộ ỹ đạo đƣợ ạ ằ ột điểm, đƣờ
h p (curve- c s d làm m n qu o và t o ra m t tham s i di
ợ fitting) đƣợ ử ụng để ị ỹ đạ ạ ộ ố đạ ện
cho qu o. Chúng tôi s d ng kh i B-spline trong quá trình th c hi
ỹ đạ ử ụ ố ự ện, nhƣng các
đƣờ ố khác cũng có thể đƣợ ử ụ ột đƣờ ố đƣợ
ng cong tham s c s d ng. M ng cong tham s c
định nghĩa trong giớ ạ ủ ố u thay đổ ừ 0 đế
i h n c a tham s i t n 1.
c c thông tin th i gian trong m ng cong, chúng tôi
Để chứa đựng đƣợ ả ờ ột đƣờ
xem xét đƣờ ề ế ọa độ ế ời gian. Điề
ng cong 4 chi u: 3 bi n t và 1 bi n th u này cho phép
tính toán v n t c t i m m b t k trên m ng cong và có th duy trì
ậ ố ạ ột điể ấ ỳ chỉ ột đƣờ ể
thông tin th u r t c n thi t khi t
ời gian trong mô hình đó, đây là điề ấ ầ ế ạo các vectơ đặc
trƣng cho các file theo đõi.
ng cong chuy n chuy
Đƣờ ển động đƣợc phân đoạn thành các đoạ ển động cơ
b n. C t ra yêu c u r ng m n chuy n s i di n cho
ả ần đặ ầ ằ ột phân đoạ ển động cơ bả ẽ đạ ệ
m n có chu k c l p l i trên qu o. Ví d , m ng cong chuy n
ột phân đoạ ỳ đƣợ ặ ạ ỹ đạ ụ ột đƣờ ể
động đi bộ đƣợc phân đoạ ỗi bƣớ ở ộ ển độ
n theo cách mà m c chân tr thành m t chuy ng
cơ bản. Chúng tôi đã thấy r nh c ng cong chuy ng cung
ằng đỉ ủa đƣờng cong đƣờ ển độ
c p m y cho vi ng cong thành các chuy n
ấ ột phƣơng tiện đáng tin cậ ệc phân đoạn đƣờ ể
động cơ bản.
Đƣờng cong đƣợc tính:
(6)
V i ng cong, p
ớ ρi là bán kính đƣờ u
(i) là đạ ậ ấ ủa đƣờ ại điể
o hàm b c nh t c ng cong t m
pi
và puu
(i) là đạ ậ ủ ờ ạ ể
o hàm b c hai c a đƣ ng cong t i đi m pi.
n b u b ng cách tìm t p h m cong cao nh
Thuật toán phân đoạ ắt đầ ằ ậ ợp các điể ất
d cong ng cong t i thi u. Ti p theo, s
ọc theo đƣờng cong nơi độ vƣợt quá ngƣỡ ố ể ế ố
điể ộ này đƣợ ả
m trong b c gi m n u hai ho c nhi m cong cao nh t liên ti
ế ặ ều điể ấ ếp đƣợc
đặ ần nhau trong không gian. Điểm có độ ớ ất đƣợ ữ ạ ữ
t g cong l n nh c gi l i và nh ng
điể ỏ ều đỉnh trong độ ể ả
m khác xóa kh i nhóm. Nhi có th
cong x y ra khi qu o g n
ỹ đạ ầ
nhƣ cố đị ẳ ạn nhƣ khi chân đứng yên trong hành động đi bộ ự
nh, ch ng h , do s không
chính xác trong theo dõi. Cu n b ng cách phân
ối cùng, đƣờng cong đƣợc phân đoạ ằ
tích t c a chuy c và sau m cong c ng cong. ng t
ốc độ ủ ển động trƣớ ỗi độ ủa đƣờ Ngƣỡ ốc

29. 20
độ đƣợ ử ụng để xác đị ầ ủa đƣờ ạ ển độ
c s d nh các ph n c ng cong t o thành các chuy ng
cơ bả ẳ ạn nhƣ bƣớ
n, ch ng h c chân.
Hình 12 cho th y k t qu c a vi c l ng cong b ng
ấ ế ả ủ ệ ắp đƣờng cong và phân đoạn đƣờ ằ
cách xác đinh chuyển động đƣờng cong thu đƣợ ằ ộ
c b ng cách theo dõi m t chân.
Trong ví d này, ch có m nh cong x y ra m t trên
ụ ỉ ột đỉ ở độ ả ỗi khi bàn chân đƣợc đặ
m n.
ặt đất, làm cho phân đoạn đơn giả
Hình 12: (a) Hình dung m ng cong th hi n chuy ng
ộ ời đang chạy. Đườ
t ngư ể ệ ển độ
c ng cong phù h n c a m ng cong chuy n
ủa chân trái. (b) Đườ ợp và phân đoạ ủ ột đườ ể
độ ạy. (c) Đườ ủa đườ ển độ
ng chân trong khi ch ng cong c ng cong chuy ng.
M cong l c quan sát m t trên m
ột độ ớn trong độ cong đƣợ ỗi khi bàn chân đƣợc đặ ặt
đất. Đƣờng cong đƣợc phân đoạ ại các điểm có nhãn ―điểm seg‖. Có hai điể
n t m
phân đoạ ỗi độ ủa đƣờng cong tƣơng ứ ới nơi chuyển độ ủ
n cho m cong c ng v ng c a
bàn chân b u và d ng l
ắt đầ ừ ại.

30. 21
S d cong và t nh các chuy n b u và k t thúc
ử ụng độ ốc độ để xác đị ển động cơ bả ắt đầ ế
là gì đáng tin cậy hơn là chỉ ử ụ ốc độ. Điề ững thay đổ ề ố
s d ng t u này là do nh i v t c
độ ể ễ dàng đƣợ ện khi hƣớ
có th không d c phát hi ng chuyển động thay đổi nhanh
chóng. M t ví d n hình là khi m i v y tay. Qu
ộ ụ điể ột ngƣờ ẫ ỹ o c a bàn tay có th
đạ ủ ể
thay đổi hƣớng quá nhanh để nó đƣợ ệ ỉ ằ ốc độ ất lƣơ ủ
c phát hi n ch b ng t vì ch ng c a
video có th nh s
ể thấp. Độ cong xác đị ự thay đổ ạ ển độ ễ
i m nh trong chuy ng d dàng.
Tuy nhiên, ch s d cong không ph nh các t
ỉ ử ụng độ ải lúc nào cũng xác đị ọa độ chính
xác trên đƣờng cong nơi chuyển độ ắt đầ ặ ừ ạ
ng b u ho c d ng l i. Vì lý do này, chúng tôi
s d ng t c i thi n. Hãy xem xét chuy
ử ụ ốc độ để ả ện quá trình phân đoạ ển động đƣợc
th t
ự ệ ằng cách đi bộ ngƣờ ừng, đƣờ ể ạ ộ
c hi n b i. Khi chân d ng cong có th t o thành m
ho c nhi u gai cong, do s không chính xác c a b theo dõi khi tìm v trí c
ặ ề ở độ ự ủ ộ ị ủa
bàn chân trong m i khung hình. S d ng t cho phép chúng ta tìm th
ỗ ử ụ ốc độ ấy nơi
chân b u và ng ng di chuy n g n chính xác
ắt đầ ừ ể ần độ cong đỉnh cho phép phân đoạ
đƣờ ển động cơ bả
ng cong thành chuy n.
2.2.1. Tạo Vector đặc trƣng
M a vi c t n xu t ra m
ục đích củ ệ ạo vector đặc trƣng là sả ấ ột vector có kích thƣớc
c nh cho m i chuy i gi ng v i ra các
ố đị ỗ ển động cơ bản. Các vectơ đặc trƣng phả ố ớ
vectơ đặc trƣng tƣơng tự ển động tƣơng tự ạo ra các vectơ đặ
cho các chuy và t c
trƣng khác nhau cho các chuyển độ ệ ớ
ng khác nhau, cho phép phân bi t các l p hành
độ ằng PCA. Kích thƣớ ủa vectơ đặc trƣng phụ ộ ố ợ
ng khác nhau b c c thu c vào s lƣ ng
các m u l y m t chuy n và s ng các giá tr t m u.
ẫ ấ ộ ển động cơ bả ố lƣợ ị đƣợc lƣu trên mộ ẫ
M c tính b ng cách l y m ng nh t m t thu c tính
ột vector đặc trƣng đƣợ ằ ấ ẫu đồ ấ ộ ộ
đƣợ ọ ủ ộ ển động đƣờ ừ đầu đế ố
c ch n c a m t chuy ng cong t n cu i
M ng:
ộ ặc trƣng có dạ
t vector đ
          
  (7)
trong đó n là số ẫ ấ ừ đƣờ ển động cơ bả
m u l y t ng cong chuy n.
M t lo a c trí và v n t c và là
ộ ại vectơ đặc trƣng khác có chứ ả các phép đo vị ậ ố
c u m u:
ủa biể ẫ
V = [P1, V1, ..., Pn, Vn] (8)
V i Pi = (xi, yi , zi) là v n t
ớ ị trí và Vi = (x‘I, y‘I, x‘i) là vậ ốc tại Pi

31. 22
t o ra m t bi n th a góc nhìn, các giá tr t
Để ạ ộ ế ể vector đặc trƣng củ ị ọa độ đƣợc
d ch sao cho to u tiên g u và cu
ị ạ độ đầ ở ốc. Sau đó, chuyển động đƣợc xoay để đầ ối
điểm rơi dọ ục x. Điề ắ ế ấ ả ển độ ễ ử
c theo tr u này s p x p t t c các chuy ng d so sánh khi s
d ng v trí các giá tr
ụ ị ị trong các vectơ đặc trƣng.
Chúng tôi nh n th y r ng s h u ích khi bao g m thông tin t nhi
ậ ấ ằ ẽ ữ ồ ừ ều điểm
theo dõi vào m t vector : khi t
ộ đặc trƣng. Ví dụ ạo vectơ đặc trƣng mô tả cơ bản
chuy ng cho chân trái, r t h bao g m thông tin v chuy ng c
ển độ ấ ữu ích để ồ ề ển độ ủa
chân phải. Điều này đƣợ ự ệ ằng cách đánh giá từng đƣờ
c th c hi n b ng cong trong
ph i giá tr tham s b u và k t thúc c ng cong chuy ng
ạm vi đã cho bở ị ố ắt đầ ế ủa đƣờ ển độ
cơ bả ời gian đƣợ ế ợp vào quá trình tìm đƣờ ợ
n. Nên thông tin th c k t h ng cong phù h p,
m i giá tr ng v i cùng m t th m ngay l p t c cho t t c ng
ỗ ị u tƣơng ứ ớ ộ ời điể ậ ứ ấ ả các đƣờ
cong chuy ng h p c cho chuy n
ển động. Trong trƣờ ợ ủa vector đặc trƣng ển động cơ bả
chân trái, vector đặc trƣng có dạng sau:
            
 (9)
nơi ộ ẫ ừ ạ ển động cơ bả ừ
 là m t m u t chân trái trên ph m vi chuy n và bi là thông tin t
chân ph i trên cùng m t ph m vi giá tr hi u qu n m b
ả ộ ạ ị . Phƣơng pháp này có ệ ả ắ ắt
thông tin cho c hai chân và v n có th l p l c th c hi n trên ph
ả ẫ ể ặ ại vì thông tin đƣợ ự ệ ạm
vi c a chuy n. Xem Hình 13 có ch
u ủ ển động cơ bả cho hai vectơ đặc trƣng ví dụ ứa
t y c a c ng n u b n so sánh chân bên trái c
ọ ộ
a đ ủ ả hai bàn chân. Lƣu ý rằ ế ạ ủa cả hai đồ
thị, vector đặc trƣng ờng nhƣ hơi giố ả ủ ả
dƣ ng nhau. Thêm chân ph i c a c hai ô làm
gi m s gi ng nhau c
ả ự ố ủ ặc trƣng.
a hai vectơ đ

32. 23
Hình 13 a v a c
: (a) Vectơ đặc trưng chứ ị trí y củ ả hai chân cho hành động “chạy”.
Các m u 0-99 là các giá tr y cho chân t o ra chuy n. M u 100-200
ẫ ị ạ ển động cơ bả ẫ
giá tr y cho chân còn l a v trí y c a c hai chân cho
ị ại. (b) vectơ đặc trưng chứ ị ủ ả
hành động “nhả ề phía trước”. Các mẫ ị ạ
y v u 0-99 là các giá tr y cho chân t o ra
chuy y ch
ển động cơ bả ẫ ị
n. Các m u 100-200 là các giá tr o chân còn lại.
2.3. n và Nh n s d ng PCA
Huấn luyệ ận diệ ử ụ
2.3.1. n b Eigenspace (không gian m
Chuẩ ị ẫu)
T p d u hu n luy
ậ ữ liệ ấ ện đƣợ ạ ằ ử ụ ộ ậ ợp các vectơ
c t o b ng cách s d ng m t t p h
đặc trƣng của các hành động đã biết. Đố ớ ỗi hành động đƣợ ậ ộ
i v i m c công nh n, m t
s ví d m u v c t p h p thành m t c m có th c hình thành cho
ố ụ ẫ ề hành động đƣợ ậ ợ ộ ụ ể đƣợ
hành độ ẫ ỗi vector đặc trƣng trong tậ ữ ệu đào tạ
ng trong không gian m u. M p d li o
đƣợ ắ ột tên hành độ ặ ộ ớp để xác định hành độ ạ
c g n nhãn m ng ho c m t tên l ng t o ra
vectơ đặc trƣng đó. Hai vectơ đặc trƣng từ ộ ục hành động đƣợ
cùng m t danh m c
cung cấp tên nhƣ nhau.
c s d t o ra không gian m u t t p d u hu n luy u
PCA đƣợ ử ụng để ạ ẫ ừ ậ ữ liệ ấ ện. Đầ
tiên, t p d u hu n luy c s d t o m t ma tr i c
ậ ữ liệ ấ ện đƣợ ử ụng để ạ ộ ận M trong đó mỗ ột
trong ma tr n là m c p. Ti p theo, m i hàng c a M là giá tr
ậ ột vector đặ trƣng trong tậ ế ỗ ủ ị

33. 24
trung bình b ng cách tính toán giá tr trung bình trên m i hàng và tr giá tr trung
ằ ị ỗ ừ ị
bình c a m i m
ủ ỗ ục trong hàng. Đây là mộ ầ ủ
t yêu c u c a PCA [47].
n hi
Chúng tôi tính toán ma trậ ệp phƣơng sai C từ M:
(10)
N là số ầ ỗi vector đặc trƣng, và M
thành ph n m t
là ma tr n chuy
ậ ể ị ủ
n v c a M.
p theo, các t p vector và t p giá tr c a ma tr n hi
Tiế ậ ậ ị ủ ậ ệp phƣơng sai đã đƣợc
tính toán. Các không gian m c hình thành b t các t p vector vào
ẫu đƣợ ằng cách đặ ậ
các c t c a m t ma tr n và phân lo i chúng t l n nh n nh nh t theo các giá tr
ộ ủ ộ ậ ạ ừ ớ ất đế ỏ ấ ị
riêng tƣơng ứ ữ ột l ≤ N có thể đƣợ ọ ừ ậ ợ ập vector để ạ
ng. Nh ng c c ch n t t p h p các t t o
thành không gian m u cu nguyên mong mu n. l có th
ẫ ối cùng trong đó l là số thứ ố ể
đƣợ ọ ổng các bình phƣơng bị
c ch n theo cách mà t sai gây ra b i vi c lo i b các b
ở ệ ạ ỏ ộ
vector riêng bi ng v i các t p giá tr riêng N - l nh nh t nh
ệt tƣơng ứ ớ ậ ị ỏ ấ ỏ hơn dung sai
lỗi bắt buộc.
2.3.2. Phân loại vector đặc trƣng
Bây gi , không gian m c t o ra b ng cách s d ng m t t p d
ờ ẫu đã đƣợ ạ ằ ử ụ ộ ậ ữ liệu
hu n luy n, chúng tôi chi u t n hu n luy n vào không gian
ấ ệ ế ừng vector đặc trƣng cầ ấ ệ
m u. M i phép chi c g n nhãn b ng cách ghi nh l p c a m i vector hu
ẫ ỗ ếu đƣợ ắ ằ ớ ớ ủ ỗ ấn
luy n. M i t ng s t o thành m t c m trong không gian m
ệ ỗ ập hành độ ẽ ạ ộ ụ ẫu nhƣ các
vectơ đặc trƣng tƣơng tự ếu đế ị ậ ẫu. Điề
chi n các v trí lân c n trong không gian m u
này cho phép phân lo i m t chuy nh b ng cách chi
ạ ộ ển động cơ bản không xác đị ằ ếu
vectơ đặc trƣng củ ẫ ả ữ ế
a nó vào vùng m u và tìm kho ng cách Euclide gi a phép chi u
đó và các phép chiế ơ đặc trƣng đang đào tạ ử ụ ộ ạ
u vect o. Chúng tôi s d ng b phân lo i
lân c n k - g n nh nh n bi t các chuy n khác nhau và các hành
ậ ầ ất để ậ ế ển động cơ bả
độ ế ủ ứ ột hành động đơn lẻ ẽ đƣợ ạ ằ
ng liên k t c a chúng. Video ch a m s c phân lo i b ng
cách s c quan sát phân l
ử ụng phƣơng thứ
d o i chuy n ph bi n nh
ạ ển động cơ bả ổ ế ất.
Hình 14 và 15 cho th y vi c chi u d u hu n luy n vào l n 1 và 2, và t p
ấ ệ ế ữ liệ ấ ệ ầ ậ
vector m u th 2 và th ng, c a m t không gian m c t o ra b ng
ẫ ứ ứ 3, tƣơng ứ ủ ộ ẫu đƣợ ạ ằ
cách s d ng b d ng các c c hi n th .
ử ụ ộ ữ liệu video Weizmann. Lƣu ý rằ ụm đã đƣợ ể ị
Các th nguyên khác tách bi t d u thành các c u vào
ứ ệ ữ liệ ụm. Vector đặc trƣng đầ
không xác định, đƣợc đánh dấ ằ ấu ‗x‘ tƣơng ứ ớ ển động cơ bả
u b ng d ng v i chuy n
―chạy‖ và sẽ đƣợ ại nhƣ vậ
c phân lo y vì các láng gi ng g n nh a không gian m
ề ầ ất củ ẫu
là các li
phép chi u d
ế ữ ệ ấ
u hu n luyện ―chạy‖.

34. 25
Hình 14: Chi o lên các không gian vector l n th
ếu các vectơ đặc trưng đang đào tạ ầ ứ
1 và th o b ng cách s d ng b d u video Weizmann.
ứ 2 được tạ ằ ử ụ ộ ữ liệ
Vector đặc trƣng đầu vào không xác định tƣơng ứ ớ ển độ ơ bản ―chạy‖
ng v i chuy ng c
và các láng gi ng g n nh t là các phép chi u d u hu n luy
ề ầ ấ ế ữ liệ ấ ện ―chạy‖. Lƣu ý rằng
có hai c y d u này là do m
ụm đã hình thành cho hành động ―pjump‖ (nhả ọc). Điề ỗi
bƣớ ả ề ọc đƣợc phân đoạ ển động cơ bả ộ
c nh y theo chi u d n thành hai chuy n: m t cho
chuy ng lên và m ng.
ển độ ột cho chuyển động đi xuố
Hình 15: Chi o lên các không gian vector th 1
ếu các vectơ đặc trưng đang đào tạ ứ
và th c t
ứ 3 đượ ạ ằ ử ụ ậ ữ ệ
o b ng cách s d ng t p d li u video Weizmann.
Vector đặc trƣng đầu vào không xác định tƣơng ứ ớ ộ ể động cơ bả
ng v i m t chuy n n
"ch y" và các láng gi ng g n nh t là "ch y" các d báo d u hu n luy
ạ ề ầ ấ ạ ự ữ liệ ấ ện.

35. 26
CHƢƠNG 3. KẾ Ả ỎNG VÀ ĐÁNH GIÁ
T QU MÔ PH
Trong các phần sau đây, ví dụ ề ừ ại hành độ ỗ ậ ữ ệ
v t ng lo ng trong m i t p d li u
đƣợ ọ
c minh h a, chúng tôi trình bày quá trình l p ghé ng cong
ắ p và phân đoạn đƣờ
cũng nhƣ thả ậ ề ỷ
o lu n v t l nh n d ng h p khác nhau. B u v
ệ ậ ạng trong các trƣờ ợ ắt đầ ới
m t cu c th o lu n v các k t qu b ng cách s d ng b d u ch p nh chuy n
ộ ộ ả ậ ề ế ả ằ ử ụ ộ ữ liệ ụ ả ể
độ ế ế ả ử ụ ậ ữ ệ đã đƣợ ả. Độ
ng. Ti p theo, k t qu s d ng t p d li u video c mô t chính xác
nh n d c b ng cách s d c so
ậ ạng thu đƣợ ằ ử ụng phƣơng pháp tiếp cận của chúng tôi đƣợ
sánh v chính xác c ng cách s d ng
ới độ ủa các phƣơng pháp khác đƣợc đánh giá bằ ử ụ
t p d u Weizmann. Cu i cùng, chúng tôi th o lu n t c thi c a các
ậ ữ liệ ố ả ậ ốc độ thự ủ
chƣơng trình.
B ng 1 ng h p c a cùng m ng cho m ng
ả : Các trƣờ ợ ủ ột hành độ ỗi hành độ
trong cơ sở ữ ệ
d li u.
Hình 16 ng "Chuy c", "nh u
: Các hành độ ển lên phía trướ ảy lên" và "đi bộ lên cầ
thang". Các đườ ỗi hành độ ấ ỹ đạ ủ
ng cong trong m ng cho th y các qu o c a bàn tay
ph n ph
ải và châ ải.
3.1.K t qu t b d u ch nh chuy
ế ả ừ ộ ữ liệ ụp ả ể ộ
n đ ng
d u CMU ch a m t lo t các chuy
Cơ sở ữ liệ ứ ộ ạ ển động, mộ ố ế ể
t s có các bi n th ,
làm cho nó tr ng cho nghiên c u này. Nh c, nh y theo
ở nên lý tƣở ứ ảy lên phía trƣớ ả
chiề ọ ễ ạy, đi bộ và đi bộ ầ hang đã đƣợ ọ ề
u d c, di u hành, ch lên c u t c ch n vì nhi u
phiên b n c a cùng m n. B ng A cho th ng h p c
ả ủ ột hành động đã có sẵ ả ấy các trƣờ ợ ủa

36. 27
t ng lo d ng h p c a m
ừ ại hành động trong cơ sở ữ liệu. Năm trƣờ ợ ủ ột hành động đƣợc
s d o h ng h p còn l c s d ánh giá
ử ụng để đào tạ ệ thống và các trƣờ ợ ại đƣợ ử ụng để đ
kh n d ng c a h ng cho m ng. Hình 16-19 là nh ch p màn
ả năng nhậ ạ ủ ệ thố ỗi hành độ ả ụ
hình c a ph n m m hi n th , cho th a chân ph i và tay ph i trong m
ủ ầ ề ể ị ấy đƣờng đi củ ả ả ột
hành động.
Hình 17 ng cong cho th y các qu o c a
: Hành động “diễu hành”. Các đườ ấ ỹ đạ ủ
bàn tay ph i và chân ph i
ả ả
Hình 18 ng cong hi n th các qu o c a bàn tay
: Hành động “đi bộ”. Các đườ ể ị ỹ đạ ủ
phải và chân phải.
Hình 19 ng cong th hi n qu a c a tay ph
: Hành động “chạy”. Đườ ể ệ ỹ đọ ủ ải và
chân phải.
n và s ng cong phù h c hi n trong Hình 20
Bƣớc phân đoạ ắ ặt đƣờ
p đ ợp đƣợ thể ệ
cho hành động đi bộ. Đầ ột đƣờng cong đƣợ ắ ữ ệu. Sau đó, các
u tiên, m c g n vào d li

37. 28
điể ất đƣợc phân tích và đƣờng cong đƣợc phân đoạ
m cong cao nh n thành các
chuy n. Chú ý r ng m t s cong có th t n t i khi châ
ển động cơ bả ằ ộ ố đỉnh trong độ ể ồ ạ n
g ng yên. Chúng tôi x u này b ng cách phân tích v n t c c ng
ần nhƣ đứ ử lý điề ằ ậ ố ủa đƣờ
cong xung quanh m ng cong ch n sau khi
ỗi đỉnh trong độ cong. Đƣờ ỉ đƣợc phân đoạ
t c a chuy m cu i cùng c
ốc độ ủ ển động vƣợt quá ngƣỡng. Các điể ố ủa phân đoạn đƣợc
g m ph và v n t c c a chuy ng
ắn nhãn ―điể ân đoạn‖ nhƣ trong Hình. Tốc độ ậ ố ủ ển độ
đƣợ ể ệ . Đƣờng cong có nhãn ―tốc độ ợp‖ là tốc độ đƣợ
c th hi n trong Hình 21 phù h c
tính từ mô hình đƣờng cong đƣợ ị
c trang b .
n thành m t ho c nhi u chuy
Khi đƣờng cong đƣợc phân đoạ ộ ặ ề ển động cơ bản,
m t c t o cho m i chuy
ộ vector đặc trƣng đƣợ ạ ỗ ển động cơ bản. Vector đặc trƣng chứa
d u v trí cho m i chuy n trong Hình 20 c th hi n trong Hình
ữ liệ ị ỗ ển động cơ bả đƣợ ể ệ
22 và 23. D u v c s d c d ch sao cho
ữ liệ ị trí đƣợ ử ụng trong vectơ đặc trƣng đƣợ ị
chuy n b u t g
ển động cơ bả ắt đầ ừ ốc và sau đó đƣợc định nghĩa trung tâm trong thành
ph c tung (tr chuy ng b u và k t thúc
ần y. Sau đó nó xoay quanh trụ ục y) để ển độ ắt đầ ế
trên tr c z. Các phép bi i này s p x p t t c c theo m
ụ ến đổ ắ ế ấ ả các vectơ đặc trƣng dọ ột
tr li
ục chung để ể đƣợ ữ
chúng có th c so sánh. D ệu trong hai vectơ đặc trƣng dƣờng
nhƣ rấ ố ứ ẹ ự ậ
t gi ng nhau, h a h n cho s công nh n PCA.
―
Hình 20 ng cong phù h
: Đườ ợp và phân đoạn cho hành động “đi bộ”.
Hai chuy nh b ng nhi u
ển động cơ bản đƣợc xác đị ằng độ cong đỉnh. Lƣu ý rằ ề
đỉ ấ ệ ần nhƣ tĩnh. Điề
nh cong xu t hi n khi bàn chân g u này là gây ra s u chính
ự thiế
xác khi theo dõi. T c a chuy
ốc độ ủ ển động là đƣợ ử ụng để xác đị ị
c s d nh v trí chân
b u và d ng di chuy ng cong chuy n chính
ắt đầ ừ ển sao cho đƣờ ển động đƣợc phân đoạ

38. 29
xác thành các bƣớ đồ ị ấ
c chân. Xem hình 21 th cho th y t và v n t c c a chuy n
ốc độ ậ ố ủ ể
độ ển động đƣợ ạ ại các điểm có nhãn ―seg point‖.
ng. Chuy c phân đo n t
B ng 2: Các s o b ng cách s d ng t p d u ch p chuy ng
ả ố liệu đƣợc tạ ằ ử ụ ậ ữ liệ ụ ển độ
CMU.
Hình 21: T và v n t
ố ộ
c đ ậ ốc của hành động “đi bộ”.
T c a chuy
ốc độ ủ ển động đƣợ ử ụng để tìm các điểm phân đoạ
c s d n sau khi
xác định các đỉnh trong độ cong. Đƣờ ốc độ ốc độ đƣợ
ng cong có nhãn "t " là t c tính
toán t d u qu o. T tính t ng cong phù h c g i là "t phù
ừ ữ liệ ỹ đạ ốc độ ừ đƣờ ợp đƣợ ọ ốc độ
h ng cong "t phù h p" là bi u di t c a t
ợp". Lƣu ý rằng đƣờ ốc độ ợ ể ễn làm mƣợ ủ ốc độ

39. 30
đƣợ ừ ữ ệ ỹ đạo. Đây là những mô hình đƣờ ợ
c tính t d li u qu ng cong phù h p chính xác
c a chúng tôi theo bi n th i gian. V n t c c a chuy
ủ ế ờ ậ ố ủ ển động đƣợ ừ ữ
c tính toán t d
liệ ỹ đạo đƣợc dán nhãn ―Dx,‖ ―dy‖ và ―dz‖ cho các thành phầ ậ ố
u qu n v n t c x, y và
z, tƣơng ứng. Các đƣờng cong có nhãn "x vel", "y vel" và "z vel" là các đƣờng cong
v n t c tính b ng cách s d ng cong phù h p.
ậ ố ợ
c đƣ ằ ử ụng đƣờ ợ
Hình 22: D u v trí cho chuy u tiên t Hình 20.
ữ liệ ị ển động cơ bản “đi bộ” đầ ừ
Dữ liệu này là đƣợ ử ụng để ạ
c s d t o ra một vector đặc trƣng để đào tạ ặ
o ho c
nh n di n.
ậ ệ
Hình 23: D u v trí cho chuy hai t Hình 20.
ữ liệ ị ển động cơ bản “đi bộ” thứ ừ

40. 31
Thông báo r ng d t gi ng v i d u chuy
ằ ữ liệu này dƣờng nhƣ rấ ố ớ ữ liệ ển động cơ
b c hi n th trong Hình 22 u này h a h n cho s nh n di n b ng
ản đầu tiên đƣợ ể ị . Điề ứ ẹ ự ậ ệ ằ
PCA.
Hình 24 ng cong phù h ng "ch y".
: Đườ ợp và phân đoạn cho hành độ ạ
M t chuy n hoàn ch nh b n
ộ ển động cơ bả ỉnh đƣợc xác đị ởi quá trình phân đoạ
đƣờ ển động cơ bả ỉ ộ ầ ị ạ ỏ
ng cong. Chuy n hoàn ch nh m t ph n là b lo i b .
Ví d c th
ụ đƣờng cong và phân đoạn cho hành động ―chạy‖ đƣợ ể hiện trong
Hình 24. M c chuy y hoàn ch nh xu t hi n trong ví d
ột bƣớ ển động cơ bản đang chạ ỉ ấ ệ ụ
này. M t ph c ch phía bên ph i c c h ng c a chúng tôi lo
ộ ần bƣớ ạy ở ả ủa ô đƣợ ệ thố ủ ại bỏ
t ng b nh c cong bi u th r ng chuy
ự độ ởi vì đỉ ủa độ ể ị ằ ển động cơ bả ấ ị ế
n hoàn t t b thi u
trong quỹ o. T và v n t c cho ví d c th hi n trong hình 25
đạ ốc độ ậ ố ụ ―chạy‖ đƣợ ể ệ .
Tƣơng tự nhƣ ví dụ ―đi bộ‖, tốc độ đƣợ ừ đƣờ ợp, đƣợ ắ
c tính t ng cong phù h c g n
nhãn ―tốc độ ợp‖ ộ ấ ỉ ần đúng củ ốc độ đƣợ ằ
phù h , là m t x p x g a t c tính toán b ng cách
s d ng d u qu o. Cu c t o ra t d u v trí
ử ụ ữ liệ ỹ đạ ối cùng, vector đặc trƣng đƣợ ạ ừ ữ liệ ị
cho chuy c th hi n trong hình 26. Theo
ển động cơ bản quan sát đƣợc. Điều này đƣợ ể ệ
d ki n, ph n l n chuy ng n m d c theo tr c nâng lên và h
ự ế ầ ớ ển độ ằ ọ ục z. Bàn chân đƣợ ạ
xu ng y. M t chuy
ống theo hƣớ ộ ển độ ỏ hơn đƣợ ấ ụ
ng nh c quan sát th y trong tr c x.

41. 32
Hình 25: T và v n t
ố ộ
c đ ậ ốc của hành động “chạy”.
M c ch y hoàn ch nh có th nh b ng t trong ví d này.
ột bƣớ ạ ỉ ể đƣợc xác đị ằ ố ộ
c đ ụ
Lƣu ằ ố định lâu nhƣ với hành động ―đi bộ‖. Giống nhƣ
ý r ng bàn chân không c
trong ví d ng cong phù h p cung c p m t t x p x c tính toán
ụ đi bộ, đƣờ ợ ấ ộ ốc độ ấ ỉ đƣợ
b ng cách s d ng d u qu
ằ ử ụ ữ liệ ỹ đạo.

42. 33
Hình 26: D u v trí cho chuy Hình 24.
ữ liệ ị ển động cơ bản “chạy” từ
Bàn chân đƣợ ửa đầ ủa bƣớ ở ạ ặt đấ
c nâng lên cao trong n u c c chân và tr l i m t
v n cu a chuy ng.
ới tố ộ
c đ chậm hơn vào giai đoạ ối củ ển độ
ng cong phù h n c ng "nh y th
Đƣờ ợp và phân đoạ ủa hành độ ả ẳng đứng" đƣợc
th t hi
ể ệ ộ ển độ ả ỉ ấ
hi n trong hình 27. M t chuy ng nh y hoàn ch nh xu ệ ụ
n trong ví d này.
Lƣu ý rằ ề ợn trong độ ấ ện khi chân đứ ống nhƣ trong
ng nhi u g cong xu t hi ng yên. Gi
hành động ―đi bộ‖, điều này đƣợ ử ằ ử ụ ốc độ ủ ển độ
c x lý b ng cách s d ng t c a chuy ng
để tìm các điểm phân đoạ ố ốc độ ậ ố ủ ển độ g đƣợ ể
n cu i cùng. T và v n t c c a chuy n c th
hi n trong hình 28 ng cong chuy n nh chuy
ệ . Đƣờ ển động cũng đƣợc phân đoạ ở đỉ ển
độ ảy nơi chuyển độ ể ừ hƣớ ống hƣớ ống. Điề ạ
ng nh ng chuy n t ng lên xu ng xu u này t o
ra hai chuyển động cơ bả ộ ển độ ộ ống dƣớ ữ ệ ị
n: m t chuy ng lên và m t xu i. D li u v trí
t o thành c th hi n trong
ạ vector đặc trƣng cho chuyển động cơ bản hƣớng lên đƣợ ể ệ
hình 29. Theo d ki n, ph n l n chuy
ự ế ầ ớ ển động là hƣớng lên (theo hƣớng y dƣơng)

43. 34
m c dù có m t thành ph n z nh ng. D u v trí hình thành
ặ ộ ầ ỏ hơn cho chuyển độ ữ liệ ị
chuy ng xu n c th n trong hình 30. M t l n n a, chúng
ển động cơ bản hƣớ ố g đƣợ ể hiệ ộ ầ ữ
ta thấy r ng chuy ng ch y
ằ ển độ ủ ế ọ ụ ọc, nhƣng lần này theo hƣớ ố
u d c tr c d ng xu ng.
p theo, chúng tôi ki y v ng cong
Tiế ểm tra hành động ―nhả ề phía trƣớc‖. Đƣờ
phù h n ví d c th hi n trong hình 31. Có b n chuy ng nh
ợp và phân đoạ ụ đƣợ ể ệ ố ển độ ảy
liên ti p trong ví d này. T t c b n chuy nh b i h ng c
ế ụ ấ ả ố ển động đƣợc xác đị ở ệ thố ủa
chúng tôi b i vì m i chuy cong u
ở ỗ ển động đều có độ ốn cong nơi chuyển độ ắ
ng b t
đầ ế ốc độ ậ ốc đƣờ ển động đƣợ ể ệ
u và k t thúc. T và v n t ng cong cho chuy c th hi n
trong hình 32. M c nh y có th c nhìn th t . D
ỗi bƣớ ả ể đƣợ ấy rõ ràng trong đồ thị ốc độ ữ
liệ ị ộ ển động cơ bản đƣợ ể ệ
u v trí cho m t trong các chuy c th hi n trong hình 33. Hành
độ ủ ế ể ệ ở ục z, nhƣng tạ ộ
ng ch y u th hi n tr o thành m t vòm trong mặ ẳ
t ph ng z-y.
Không gi c nh ng cong nh y v
ống nhƣ bƣớ ảy đứng, đƣờ ả ề phía trƣớc không đƣợc
phân đoạ ại đỉ ển độ ạ
n t nh vì chuy ng không t o thành chuyể ế ắ ừ ể
n ti p s c nét t chuy n
độ ừ ống dƣớ
ng t trên xu i.
Hình 27 ng cong phù h ng "nh y".
: Đườ ợp và phân đoạn cho hành độ ả
Hành độ ả ột hƣớ ẳng đứng, độ cao đƣơng cong đƣợ ấ
ng nh y là m ng th c tìm th y
ở đầu, cũng nhƣ đỉ ả ết thúc. Điều này làm cho bƣớ ảy đƣợ
nh nh y và khi k c nh c phân
đoạ ển động cơ bả ố
n thành các chuy n lên và xu ng.

44. 35
Hình 28: T và v n t
ố ộ
c đ ậ ốc của hành động “nhảy”.
T nhúng gi a chuy ng (xung quanh m nh c
ốc độ ở ữ ển độ ẫu 220) là nơi đỉ ủa
bƣớ ả
c nh y xảy ra. Lƣu ý rằ ệ ử ụ ốc độ ột mình để phân đoạ ể
ng vi c s d ng t m n chuy n
độ ể ạt động đáng tin cậ ốc độ ả ở
ng này có th không ho y vì t quan sát là không ph i
đỉnh. Điều này là do t l m quan s y là hoàn h o t
ỷ ệ ẫu không đủ cao để át ở đâu nhả ả ại
đỉ ễ ệ ển đổ ằ ử ụng độ
nh. Chúng tôi d dàng phát hi n quá trình chuy i b ng cách s d cong
nhƣ đƣợ ể ị
c hi n th trong hình 27.

45. 36
Hình 29: D u v trí cho chuy Hình .
ữ liệ ị ển động cơ bản “nhảy” lên từ 27
Hình 30: D u v trí cho chuy n ng t Hình 27.
ữ liệ ị ển độ g cơ bản “nhảy” xuố ừ

46. 37
Hình 31 ng cong phù h ng "nh c".
: Đườ ợp và phân đoạn cho hành độ ảy về phía trướ
Phân đoạn quá trình xác đị ố ển động cơ bả ả
nh chính xác b n chuy n nh y
chuy n ti p riêng bi t trong ví d này.
ể ế ệ ụ
Hình 32: T và v n t a hà
ố ộ
c đ ậ ốc củ nh động “nhảy về phía trước”.
B c nh y v t khác bi t chuy ng có th nh b ng cách s
ốn bƣớ ả ọ ệ ển độ ể đƣợc xác đị ằ ử
d ng cong t .
ụng đƣờ ốc độ

47. 38
Hình 33: D u v trí cho m t trong nh ng chuy phía
ữ liệ ị ộ ữ ển động cơ bản “nhảy về
trước” từ Hình 31.
ng ti p theo mà chúng tôi ki lên c
Hành độ ế ểm tra là hành động ―đi bộ ầu
thang‖. Hình 34 cho th ng cong phù h n c a m ng h p
ấy đƣờ ợp và phân đoạ ủ ột trƣờ ợ
c ng này. Trong ví d này, hai chuy c quan sát b i vì
ủa hành độ ụ ển động cơ bản đƣợ ở
hai bƣớ ỉnh đã đƣợ ự ệ ống nhƣ hành độ đi bộ ả
c hoàn ch c th c hi n. Gi ng và nh y, nhi u
ề
g n cong xu t hi n khi chân d ng. Chúng tôi s d ng t c a chuy
ợ ấ ệ ừ ử ụ ốc độ ủ ển động, nhƣ
trong Hình 34 h n chuy c chân là d phát
, để ỗ trợ phân đoạ ển động. Hai bƣớ ễ dàng để
hi t . D u v trí t
ện trong đồ thị ốc độ ữ liệ ị ạo thành vector đặc trƣng cho một trong các
chuy c th hi n trong Hình 36 i, v trí c a bàn
ển động cơ bản đƣợ ể ệ . Nhƣ mong đợ ị ủ
chân b u th p và k c theo tr
ắt đầ ấ ết thúc cao hơn dọ ục y vì bàn chân đƣợ ể
c di chuy n
lên đến bƣớ ế ầ
c ti p theo trong c u thang.
ng cu i cùng trong t u ch p chuy u
Hành độ ố ập dữ liệ ụ ển động là hành động ―diễ
hành‖. Đƣờ ợp và phân đoạ ủ ộ ụ hành động ―diễu hành‖
ng cong phù h n c a m t ví d
đƣợ ể ệ . Hai bƣớ ễ ỉnh đƣợ
c th hi n trong hình 37 c chân di u hành hoàn ch c quan sát

48. 39
th th
ấy. Các bƣớ ỉnh đƣợ ạ ỏ ở ệ
c không hoàn ch c lo i b b i h ống vì không có đỉ h độ
n
cong để ể ị điể ở ầ ủ ốc độ ậ ố
bi u th m kh i đ u c a nó. T và v n t c củ ển động đƣợ ể
a chuy c th
hi n trong hình 38 u thú v là m t s i nhanh v t c quan sát
ệ . Điề ị ộ ố thay đổ ề ốc độ đƣợ
th li
ấy ở ốc độ đƣợ ừ ữ
t c tính toán t d ệ ỹ đạo. Điề ể ỉ ằ ệ
u qu u này có th ch ra r ng h
th i
ố ắ ển độ ụ ển độ ớ
ng b t chuy ng không chính xác khi ch p chuy ng này khi so sánh v
các hành độ ữ ệ ị ộ ữ ển động cơ bản ―diễ
ng khác. D li u v trí cho m t trong nh ng chuy u
hành‖ đƣợ ể ệ . Trong hành động này, bàn chân đƣợ
c th hi n trong Hình 39 c nâng lên,
đƣợ ữ khi cơ thể ề phía trƣớc, và sau đó đặ ở ạ
c gi trong không khí nghiêng v t tr l i trên
m t cho m u này t o ra hình d ng riêng bi c hi n th trong ô d
ặ ấ
t đ ỗi bƣớc. Điề ạ ạ ệt đƣợ ể ị ữ
liệ ị ển động cơ bả
u v trí chuy n.
Hình 34 ng cong phù h lên c u thang".
: Đườ ợp và phân đoạn cho hành động "đi bộ ầ
Không gi ng ví d
ống nhƣ nhữ ụ trƣớc, hành động này đƣợ ự ệ ọ
c th c hi n d c theo
tr th
ụ ủ ừ ải sang trái trong đồ
c âm c a z (t ph ị). Nó đƣợ ọ ục z dƣơng
c xoay d c theo tr
trƣớ ạo vectơ đặc trƣng về ữ ệ ị ể ệ
c khi t d li u v trí (th hi n trong hình 36). Quá trình
phân đoạ đị ển động cơ bản "đi lên cầ
n xác nh chính xác hai các chuy u thang" khác
bi này.
ệt trong ví dụ

49. 40
Hình 35: T và v n t
ố ộ
c đ ậ ốc của hành động “đi bộ lên cầu thang”.
Hai bƣớc chân đƣợ ằng đƣờ ề ốc độ. Đƣờ
c quan sát b ng cong v t ng cong phù
h p cung c p m t bi u di n tru c a t và v n t ng cong (th hi
ợ ấ ộ ể ễn trơ ủ ốc độ ậ ốc đƣờ ể ện
b ) trong ví d này.
ằng màu đỏ ụ
Hình 36: D u v trí cho m t trong nh ng chuy
ữ liệ ị ộ ữ ển động cơ bản “đi lên cầu thang”
t 34
ừ Hình .
Chuy c xoay sao cho chuy ng ngang n m d c theo
ển động cơ bản đƣợ ển độ ằ ọ
trục z dƣơng.

50. 41
Hình 37 ng cong phù h
: Đườ ợp và phân đoạn cho hành động “diễu hành”.
Quá trình phân đoạn xác đị ển động cơ bả ỉ
nh chính xác hai chuy n hoàn ch nh
trong ví dụ ụ này là đƣợ
này. Ví d c thự ện theo hƣớ ủ ụ
c hi ng c a tr c z âm.
Hình 38: T và v n t
ố ộ
c đ ậ ốc của hành động “diễu hành”.
Tốc độ đƣợc quan sát thay đổi nhanh đƣợ ốc độ ừ
c quan sát qua tính toán t t
d u qu u này có th ra r ng h ng ch p nh chuy ng không
ữ liệ ỹ đạo. Điề ể chỉ ằ ệ thố ụ ả ển độ
chính xác khi xử ển độ ới các hành độ
lý chuy ng này so v ng khác.

51. 42
Hình 39: D u v trí c a m t trong các chuy
ữ liệ ị ủ ộ ển động cơ bản trong “diễu hành” từ
Hình 37.
M t hình d ng riêng bi c hình thành b i chuy c th c hi
ộ ạ ệt đƣợ ở ển động đƣợ ự ện
b c gi
ởi bàn chân. Đầu tiên nó đƣợc nâng lên cao trong không trung, sau đó nó đƣợ ữ
trong không trung khi cơ thể ề phía trƣớ ối cùng nó đƣợc đặ ở ạ
nghiêng v c, và cu t tr l i
trên đất.
3.1.2. ng s d ng d u 3-D
Nhận diện hành độ ử ụ ữ liệ
M t s thí nghi c th c hi n b ng cách s d ng d u theo dõi 3-
ộ ố ệm đã đƣợ ự ệ ằ ử ụ ữ liệ D
v i m p c n nh n d ng c a chúng tôi và ki m tra tính hi
ớ ục tiêu đánh giá cách tiế ậ ậ ạ ủ ể ệu
qu c a các lo c th nghi
ả ủ ại vector đặc trƣng khác nhau. Các vectơ đặc trƣng đƣợ ử ệm
bao g m v trí m m riêng, và v n t c cho m t chân, c hai chân,
ồ ị ột điể ị trí cũng nhƣ vậ ố ộ ả
m t chân và m t tay, và c hai bàn chân và c hai tay. Trong m ng h p, qu
ộ ộ ả ả ọi trƣờ ợ ỹ
đạ ừ ột chân đơn đƣợ ử ụng để phân đoạ ấ ả các đƣờ ể
o t m c s d n t t c ng cong chuy n
động đƣợ ụ ộ
c ch p cùng m t lúc.
t o ra m m b u c ng cong chuy ng
Để ạ ột vector đặc trƣng, điể ắt đầ ủa đƣờ ển độ
cơ bản tƣơng ứng đƣợ ị ốc, và đƣờng cong đƣợc xoay sao cho điể ắ
c d ch sang g m b t
đầu và điể ế ủa đƣờng cong căn chỉ ớ ục z. Bƣớ ạ
m k t thúc c nh v i tr c này t o ra cùng
m t vector chuy ng khi cùng m t chuy ng 3- c quan sát t các khung
ộ ển độ ộ ể ộ
n đ D đƣợ ừ
nhìn khác nhau.

52. 43
M t t p d o ch i lo
ộ ậ ữ liệu đào tạ ứa 5 vectơ đặc trƣng cho mỗ ại hành động đã
đƣợ ạ và đƣợ ử ụng để ự ẫ ậ ữ ệu đào tạo đã
c t o c s d xây d ng không gian m u. T p d li
đƣợ ọn để ứ ẫu đạ ệ ủ ỗi hành động, nhƣng không có nỗ ực để
c ch ch a các m i di n c a m l
tìm ra các vectơ tính năng tối ƣu để đào tạo.
B ng 3 ch
ả ứa tỷ l nh n d ng c ng cho các lo
ệ ậ ạ ủa hệ thố ại vector đặc trƣng khác nhau.
T l nh n d
ỷ ệ ậ ạng đƣợc tính nhƣ sau:
(11)
trong đó c là số ển động cơ bản đƣợ ạ ớp hành độ
chuy c phân lo i chính xác theo l ng
đã đƣợ ổ ố ển động cơ bả ớp hành độ ụ
c gán nhãn và t là t ng s chuy n trong l ng. Ví d ,
m t chuy n c phân lo i chính xác n u các láng gi ng g
ộ ển độ g cơ bản ―chạy‖ đƣợ ạ ế ề ần
nh a nó là các phép chi u d u hu n luy
ất củ ế ữ liệ ấ ện ―chạy‖.
Các k t qu t t nh c khi d
ế ả ố ất thu đƣợ ữ liệ ừ ả hai chân đƣợ ử ụ
u t c c s d ng trong
th li tách các hành
ế ệ vector đặc trƣng. Dữ
h ệ ừ ả ể đƣợ ử ụng để
u t c hai chân có th c s d
động trong đó bàn chân đang di chuyể ừ các hành độ
n cùng nhau t ng mà bàn chân
đang di chuyển riêng. Điều này r t quan tr ng cho vi c phân lo y v phía
ấ ọ ệ ại ―nhả ề
trƣớc‖ và ―đi lên cầu thang.‖ Hành động ―nhả ề phía trƣớc‖ có sự thay đổi đáng
y v
k gi a các th nghi m. Nó bao g m nh y ng n, nh y xa, và các m c ng
ể ữ ử ệ ồ ả ắ ả ức độ ử độ
tay khác nhau.
c thêm chuy ng c m s
Việ ển độ ủa bàn tay vào các vectơ đặc trƣng làm giả ức
m nh nh n d
ạ ậ ạng so khi không có tay, đƣợ ồm trong các hành động ―nhả
c bao g y về
phía t y th
rƣớc‖ và ―nhả ẳng đứng‖. Tay thêm nhiề ế ể hơn giữ ử
u bi n th a các th
nghi m c ng nh y. Ch
ệ ủa các hành độ ả ỉ trong hành động ―đi lên cầu thang‖, thông tin
t tay nâng cao t l nh n d ng.
ừ ỷ ệ ậ ạ