2. BùiDuyHùng

3. BùiVăn Nam

4. NguyễnHữuTrường

6. Video demo vềứngdụngcủakỹthuậtpháthiệnbàntay Giớithiệucáckỹthuậtpháthiệnbàntay Tổngquanvềcáckỹthuậtxửlýảnh Giảipháppháthiệnbàntaycủa DST Hướngnghiêncứupháttriểntươnglai NỘI DUNG TIẾP THEO

7. I. Video giớithiệuvềứngdụngcủakỹthuậtpháthiệnbàntay

8. Tivithông minh Giảitrí Cácbuổithuyếttrình Ứngdụngcủakỹthuậtpháthiệnbàntay

9. Video demo vềứngdụngcủakỹthuậtpháthiệnbàntay Giớithiệucáckỹthuậtpháthiệnbàntay Tổngquanvềcáckỹthuậtxửlýảnh Giảipháppháthiệnbàntaycủa DST Hướngnghiêncứupháttriểntươnglai NỘI DUNG TIẾP THEO

10. II. Giớithiệubàitoánvàcáckỹthuậtpháthiệnbàntay

11. II. Giớithiệubàitoánvàcáckỹthuậtpháthiệnbàntay

12. Dựatrênđặctrưngcủabàntayvàcácngón II. Giớithiệucáckỹthuậtpháthiệnbàntay

14. 2. Pháthiệnbiênảnhvà so khớpvớitậpmẫuhuấnluyện II. Giớithiệucáckỹthuậtpháthiệnbàntay

16. ĐộphứctạpcaoII. Giớithiệucáckỹthuậtpháthiệnbàntay

17. 3. SửdụngcácđặctrưngHaar-like II. Giớithiệucáckỹthuậtpháthiệnbàntay

22. 4. Tiếpcậndựatrênphântáchmàu da II. Giớithiệucáckỹthuậtpháthiệnbàntay

24. Sátvớithịgiác con người

25. DễcàiđặtNhượcđiểm - Dễbịnhiễu, do ảnhhưởngbởiyếutốánhsáng II. Giớithiệucáckỹthuậtpháthiệnbàntay

26. 5. Mạngnơ-ronnhântạovàkỹthuật PCA Chưacóchínhxácmộttàiliệunàohoànchỉnhvềkỹthuậtpháthiệnbàntaysửdụngmạngnơ-ronnhântạovàkỹthuậttríchchọnđặctrưng PCA II. Giớithiệucáckỹthuậtpháthiệnbàntay

27. 6. Xâydựngbảnđồchiềusâuđểphântáchcơthểngười (Intel CES 2011, Kinect) II. Giớithiệucáckỹthuậtpháthiệnbàntay

30. Video demo vềứngdụngcủakỹthuậtpháthiệnbàntay Giớithiệucáckỹthuậtpháthiệnbàntay Tổngquanvềcáckỹthuậtxửlýảnh Giảipháppháthiệnbàntaycủa DST Hướngnghiêncứupháttriểntươnglai NỘI DUNG TIẾP THEO

31. Pháthiệnbiênảnh Chuyểnảnhmàuvềảnhxám & cânbằngmứcxám ChuyểnảnhvềhệmàuYCrCb, HSV Giảithuậtlàmtrơnảnh III. Tổngquanvềcáckỹthuậtxửlýảnh

32. Video demo vềứngdụngcủakỹthuậtpháthiệnbàntay Giớithiệucáckỹthuậtpháthiệnbàntay Tổngquanvềcáckỹthuậtxửlýảnh Giảipháppháthiệnbàntaycủa DST Hướngnghiêncứupháttriểntươnglai NỘI DUNG TIẾP THEO

33. Kỹthuậttiềnxửlý Pháthiệnbàntay Truyvếtchuyểnđộngbàntay Táihiệnhànhđộng IV. Giảipháppháthiệnvànhậndạngbàntaycủa DST

34. IV. 1. Kỹthuậttiềnxửlý Pháthiệnmàu da sửdụngkhônggianmàuYCrCb

35. IV. 1. Kỹthuậttiềnxửlý Sửdụngngưỡng 1: Tìm pixels saibiệt Khoanhvùngchuyểnđộng => Thu hẹpkhônggianbàitoán

36. IV. 1. Kỹthuậttiềnxửlý Sửdụngngưỡng 2 đểloạitrừnhữngvùngnhiễuxungquanhviềnbàntayvừađượctách

37. IV. 1. Kỹthuậttiềnxửlý Khoanhvùngbàntaytrênảnhmàu da (Sửdụngthuậttoán Graham vàtìmđiểmcựctiểu, cựcđạiđịaphương) Loạibỏ

38. IV. 1. Kỹthuậttiềnxửlý Khoanhvùngbàntaytrênảnhmàu da (Sửdụngthuậttoánloangvàtìmđiểmcựctiểu, cựcđạiđịaphương)

39. IV. 1. Kỹthuậttiềnxửlý

40. IV. 1. Kỹthuậttiềnxửlý Táchbàntaykhỏiảnh => Chuyển qua module nhận dạng

41. IV. 1. Kỹthuậttiềnxửlý Giải thuật phân loại dựa trên phân cấp

42. Kỹthuậttiềnxửlý Pháthiệnbàntay Truyvếtchuyểnđộngbàntay Táihiệnhànhđộng IV. Giảipháppháthiệnvànhậndạngbàntaycủa DST

43. Ban đầu 2 hướnglựachọn: SửdụngKỹthuật PCA Sửdụngkỹthuậtmạngnơ-ronnhântạo IV. 2. Nhậndạngbàntay

44. Tínhtoán ban đầuvềkíchthướcmạngnơ-ronnhântạo Xâydựngtậpảnhmẫubàntay Huấnluyệnmạng Kiểmtramạngbằngtậpảnh test Tíchhợp module Nhậndạngbàntayvàophầnmềmvàkiểmthửkếtquả IV. 2. Nhậndạngbàntay

46. Đầura:

47. 1 – Nếuảnhcóchứabàntay

48. 0 – Nếuảnhkhôngchứabàntay

49. Kíchthướcảnh: 20x20 => 400 nơ-ronlớpinput

50. Sốlớpẩn: 1 lớp, gồm100 nơ-ronlớpẩnIV. 2. Nhậndạngbàntay

53. TậpảnhmẫuđượclựachọnphảicótínhđạidiệnchobàntaythựctếIV. 2. Nhậndạngbàntay

55. f1,f2: hàmkíchhoạt

56. a1, a2: đầura

57. P: vectơđầuvào

58. W1, W2 : ma trậntrọngsố

60. Mộtsốcảithiện Córấtnhiềuphươngphápđềxuấtcáccảitiếnnhằmkhắcphụcnhượcđiểmtrênnhư: Sửdụngthamsốbướcđà Sửdụnghệsốhọcbiếnđổi Sửdụng gradient kếthợp Sửdụngthuậttoángiảluyệnkim Sửdụnggiảithuật di truyền

63. n: số mẫu học

64. Zi : đầu ra thực tế

67. IV. 3.2. Giảithuật di truyền - Bước 1: Khởitạoquầnthểcácnhiễmsắcthể. - Bước 2: Xácđịnhgiátrịthíchnghicủatừngnhiễmsắcthể. - Bước 3: Sao chéplạicácnhiễmsắcthểdựavàogiátrịthíchnghicủachúngvàtạoranhữngnhiễmsắcthểmớibằngcácphéptoán di truyền. - Bước 4: Loạibỏnhữngthànhviênkhôngthíchnghitrongquầnthể. - Bước 5: Chènnhữngnhiễmsắcthểmớivàoquầnthểđểhìnhthànhmộtquầnthểmới. - Bước 6: Nếumụctiêutìmkiếmđạtđượcthìdừnglại, nếukhôngtrởlạibước 3

68. IV. 3.2. Giảithuật di truyền Đểcóthểsửdụngđượcgiảithuật di truyềnvàoviệchọccủamạngnơroncầnphảithựchiệnmộtsốbứcnhưsau: Xâydựnghàmgiá Mãhóanhiễmsắcthể Thựchiệngiảithuật di truyền

69. IV. 3.2. 1. Xâydựnghàmgiá Trong đó : n: là số mẫu huấn luyện Xi : là đầu ra thực với mẫu i Yi : là đầu ra mong muốn với mẫu i

70. IV. 3.2. 2. Mãhóanhiễmsắcthể Mã hóa nhị phân ( chiều dài nhiễm sắc thể lớn -> gây chậm chương trình)

71. Mã hóa số thực IV. 3.2. 2. Mãhóanhiễmsắcthể

72. IV. 3.2. 3. Thựcthigiảithuật di truyền

73. IV. 3.2. 3. ThựcnghiệmvàkếtquảsaukhiápdụngGiảithuật di truyền Sốlớpẩn: 1 lớp Sốnơ-ronẩn: 40 nơ-ron Sốnơ-ronlớpvào: 400 nơ-ron Saisốchophép: 10-10 Sốvònglặptốiđa: 10.000.000

74. Kiểmtramạngbằngtậpảnh test IV. 2. Nhậndạngbàntay

76. Kỹthuậttiềnxửlý Pháthiệnbàntay Truyvếtchuyểnđộngbàntay Táihiệnhànhđộng IV. Giảipháppháthiệnvànhậndạngbàntaycủa DST

77. SửdụnggiảithuậtMeanshift/Camshift KếthợpbộlọcKalmanvàlọchạt (Particle Filter) Kỹthuậtlưuvếtchuyểnđộngvàchuyển qua module táihiệnsựkiện IV. 3. Truyvếtchuyểnđộngcủabàntay

78. B1: Thiếtlậpkhuvựcquantâm B2: Chọnmộtvịtrí ban đầucủacửasổtìmkiếmCamShift. Vịtríđượcchọnlàphânphốimụctiêuđượctheodõi. B3: Tínhxácsuấtphânphốimàusắc ở khuvựctrungtâmcủacửasổtìmkiếm. B4: LặplạithuậttoánCamShiftđểtìmratrọngtâmxácsuấtcủaảnh. Lưutrữphânvùngảnhđóvàvịtrítrọngtâm. B5: Đốivớimỗikhung, trungtâmcủacửasổtìmkiếm ở vịtrítrungbìnhđượctìmthấy ở bước 4 vàthiếtlạikíchthướccửasổtheodõi. Trởvềbước 3. IV. 3. 1. GiảithuậtCamshift

79. IV. 3. 1. GiảithuậtCamshift

80. Quá trìnhđượcmôhìnhhóamộtcáchrờirạctheothờigianbằngmộtphươngtrìnhngẫunhiêntuyếntínhnhưsau: xk= Axk– 1 + Buk– 1 + wk– 1 (1) và kết quả đođạc zk = H * xk + vk (2) Trongđó w và v là haivectobiếnngẫunhiênđạidiệnchonhiễuhệ thốngvà nhiễuđođạc. Haibiếnngẫunhiênnàyđộclậpvà giả sử tuântheoluậtphânphốichuẩnvớitrungbình = 0 và ma trậnhiệpbiến (covariance) lầnlượt là Q và R IV. 3. 2. BộlọcKalman

81. p(w) ∼ N(0, Q) (3) p(v) ∼ N(0, R) (4) Nếu vector trạngthái x có kíchthước là n, thi ma trận A sẽ có kíchthước là n x n. B (n x l) là ma trậnphụthuộcvàođiềukhiểntốiưu u với u la vector có kíchthước là l. Vector đođạc z có kíchthước là m nên ma trận H sẽ là m x n. Chú ý rằngcác ma trận Q,R, A, H có thểthayđổitheothờigian (từngbước k). BộlọcKalmanmangbảnchấtđitìmgiá trịướclượngvà ướcđoáncủatrạngthái x khi ta biếtđượcsựbiếnthiêncủa nó và ta đođượcmộtđạilượng z mà phụthuộctuyếntínhvào x. IV. 3. 2. BộlọcKalman

82. IV. 3. 2. BộlọcKalman

83. IV. 3. 3. Lưuvếtchuyểnđộng Vớimỗihìnhchữnhật, ta luônxácđịnhđượctọađộtâmcủahìnhchữnhật Mỗilầnlấyảnhtừ Camera đưavàonhậndạng. Nếupháthiệnđượcbàntay di chuyển, ta sẽlưutọađộtâmvàomảnglưuvếtchuyểnđộng

84. Kỹthuậttiềnxửlý Pháthiệnbàntay Truyvếtchuyểnđộngbàntay Táihiệnhànhđộng IV. Giảipháppháthiệnvànhậndạngbàntaycủa DST

85. IV. 4. 1. Táihiệnhànhđộng Vớitậptọađộcácđiểmđượclưuvết. Nhóm DST xâydựngcáckỹthuậtnhậndạngcửchỉvàtáihiệnhànhđộng: Sửdụngmạngnơ-ronnhântạo Sửdụnggiảithuậthìnhhọcthôngthường

86. IV. 4. 1. Táihiệnhànhđộng Sửdụngmạngnơ-ron Cho phépngườidùngtựđịnhnghĩahànhđộng Tươngđốiđơngiảntrongviệccàiđặt Tìmmẫuphứctạp

87. IV. 4. 1. Táihiệnhànhđộng Sửdụnggiảithuậthìnhhọc “Máymóc” trongquátrìnhnhậndạngcửchỉ Mứcđộchínhxác ở mứctươngđối Dễhình dung thuậttoánvàdễcàiđặt

88. Video demo vềứngdụngcủakỹthuậtpháthiệnbàntay Giớithiệucáckỹthuậtpháthiệnbàntay Tổngquanvềcáckỹthuậtxửlýảnh Giảipháppháthiệnbàntaycủa DST Hướngnghiêncứupháttriểntrongtươnglai NỘI DUNG TIẾP THEO

89. Kỹthuật Fast StatboosttăngtốcphânloạiHaar-like Sửdụng Particle Filter để track đốitượngchuyểnđộngchínhxác Xâydựnggiảipháphoànchỉnhchosảnphẩm DST Remote Hand V. Hướngnghiêncứuvàpháttriển

90. Open Hand Detection in a Cluttered Single Image using Finger Primitives - M. Baris& CaglarNiels Lobo - University of Central Florida Detecting and tracking faces and hands - Roberto Cipolla – University Of Cambridge A Bayesian Framework for Human Body Pose Tracking from Depth Image Sequences - Youding Zhu , KikuoFujimura BáocáothựctậptốtnghiệpHaar-Like vớiAdaboost – NguyễnQuốcTriệu – ĐH CôngnghiệpHàNội TÀI LIỆU THAM KHẢO

91. KẾT THÚC BÀI THUYẾT TRÌNH Xinchânthànhcảmơnsựlắngnghecủathầygiáovàcácbạn