RealEDU.

1. NGUYỄN
THỊ
HIỀN
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------
NGUYỄN THỊ HIỀN
KỸ
THUẬT
MÁY
TÍNH
VÀ
TRUYỀN
THÔNG
NGHIÊN CỨU VÀ ỨNG DỤNG NHẬN DIỆN KHUÔN MẶT


 
KHOÁ
2013B

2. BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------
Nguyễn Thị Hiền
NGHIÊN CỨU VÀ ỨNG DỤNG NHẬN DIỆN KHUÔN MẶT
Chuyên ngành: 




 

3. 
Độc lập – Tự do – Hạnh phúc
BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ
Họ và tên tác giả luận văn : 
Đề tài luận văn: 
Chuyên ngành: 
Mã số SV: CB130032




      
2015
Giáo viên hƣớng dẫn Tác giả luận văn
CHỦ TỊCH HỘI ĐỒNG

4.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
1
M C L C
Ụ Ụ
 . 3
................................................................................................
 ....................................................................................................... 4
 ...................................................................... 5
 ................................................................. 6
............................................................................................................... 7
     
- T NG QUAN V NH N D NG KHUÔN M T......................... 10
................................................................... 10
1.2 ............................................... 11
 ............................. 13
...................................................................13
1...................................................................15
 ........................................23
.............................................. 23
     
GI I PHÁP NH N DI N KHUÔN M T TRONG KI M TRA
TH N ................................................................................................. 26

............................................................................................................ 26
 .................................................. 27
 . 27
 ......................... 28
2.4.1 Phát hi n khuôn m t (face detection)
  ........................................29
2.4.2 Ti n x lý nh (preprocessing)
   ..................................................33
 ....................................34
i sánh (Matching) ..................................................................37
  
d li u..............................................................................37

5.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
2
      
NG D NG NH N DI N KHUÔN M T
KI  
M TRA TH N............................................................................. 39
    
ng d ng nh n di n khuôn m t........................... 39
3.2 Tri t th m
  nghi ................................................................... 40
3.3 Giao di n ch
 .................................................................... 43
3.4 Giao di n ch n di n trên máy tr m (Client)
    ............................45
3.5 Ki ................................................................................. 47
 .......................................................... 50
................................................................................... 52

6.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
3
LỜI CAM ĐOAN
Tôi xin



N u x y ra b t c ng l
     u
hoàn toàn trách nhi c Vi
 ng.
Ngày tháng 4 năm 2015
Tác gi lu
Nguy n Th n
  Hi

7.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
4
L I C
Ờ ẢM ƠN
L u tiên, em xin chân thành c i h c Bách Khoa Hà N
   i,
vi     
n Công ngh Thông tin Truy n thông, chuyên ngành K thu t Máy tính và
Truy n thông và toàn th các th n d y d , ch b ng nghiên
      
c u cho em trong su t m t n c v a qua, truy t cho chúng em nh ng ki
       n
thc quý báu.
Em xin chân thành c  PGS.TS. Nguy n Th Hoàng Lan
ễ ị  
nhi      
u tâm huy t, kinh nghi m c ch d ng nghiên c
   
tài lu n
i l i c
Cu  
           
ng viên và t o m u ki n t t cho em h c t p và nghiên c u th t t t. Và g i l i
c i nh i b em trong quá trình h c t
    
 
tài lu
Em xin chân thành c

8.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
5
DANH M C CÁC T T T T
Ụ Ừ VIẾ Ắ
PCA (Principal Components Analysis): Phân tích thành ph n chính

SVM (support vector machine): Máy h vector
 tr
FAR (False Acceptance Rate): T l p nh n sai
  ch 
FRR (False Rejection Rate): T l t
   chi sai
LBP (Local Binary Pattern): M u nh phân c
  c b
HMM (Hidden Markov Model): Mô hình Markov n

LDA (Linear Discriminant Analysis): Phân tích phân l p tuy n tính
 

9.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
6
DANH M C CÁC HÌNH V
Ụ Ẽ, BẢNG
     
chung c a h th ng nh n d ng..............................................................10
Hình 1.2 C u trúc h ng nh n d ng khuôn m t
  th    .........Error! Bookmark not defined.
  
nh v khuôn m t ........................................................17
Hình 1.4 Ví d s tính toán LBP
  ....................................................................................18
Hình 1.5 Minh h a toán t LBP m
   
r ng v P và R khác nhau...................................19
Hình 1.6 Ví d LBP8,1
 ..................................................................................................19
Hình 1.7 LBP gi ng nhau v sáng khác nhau
  
 ...................................................20
Hình 1. 8 Ví d m ng nh t và m ng nh t
     .............................................20
Hình 1.9 58 M ng nh
 t ca ................................................................21
t bng LBP .....................................................22
Hình 1.11 Không gian m  
ng phân b m nh.....................................23
   
kh i h th ng ........................................................................................28
Hình 2.2 Ví d cách tính nhanh t
    
m nh c a vùng D trên nh......................31
Hình 2.3 Mô hình phân tng k p các b phân lo nh khuôn m
t h  i y  t......32
Hình 2.4 Thu t toán trích ch
  
d ng PCA................................................35
   
kh i ch n di n khuôn m t
 ...................................................39
Hình 3.2 Giao di n chính c
 ...................................................................41
nh trên máy ch .......................................................................42
Hình 3.4 d u SQL
  li ...........................................................................................42
Hình 3.5 Giao di n ch
  
n nh..................................................................43
Hình 3.6 Giao di   
s  ng nh .............................................................44
Hình 3.7 Giao di n nh s a thông tin
 ch  .........................................................................45
Hình 3.8 Giao di n ch n di n thành công
   ....................................................46
Hình 3.9 Giao di n ch n di n thành công
   ....................................................46
Hình 3.10 Giao di n ch n di
  n không thành công.......................................47
B ng 1 K t qu nghi ng d ng nh n di n khuôn m t
   th m      ........................................48

10.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
7
M U
Ở ĐẦ
1. Lý do ch tài
ọn đề
Ngày nay, v i s n b t b c c a công ngh thông tin, ngày càng có
  ti     
nhi         
u nh ng ng d ng c a công ngh thông tin trong nhi c c a cu c s ng.
       
i ngày càng t o ra nh ng c máy thông minh có kh nh n bi t và
x c các công vi c m t cách t ng, ph c v cho l i ích c i.
         
Trong nh t trong nh ng bài toán nh c nhi u s quan tâm
    
và t n nhi u công s c nh t c c công ngh
      
nh     
n d ng. Tuy m i xu t hi c quan tâm vì tính ng
d ng th c t c c t p c a nó. Bài toán nh n d ng có r
    ph     t
nhi vi
      
n d ng v t ch t, nh n d ng ch    
t, nh n d ng gi ng nói,
nh bi
   
n dang hình dáng, nh n d ng khuôn m t.. . c  
ng d ng
nhi là bài toán nh n d ng khuôn m
  t.
n d ng khuôn m ng d ng r i s ng h ng ngày c
Nh  c      a
  
th ng giám sát, qu
gi          
i h n gi i pháp s d ng, v n d ng ki n th c linh ho t trong nhi
thách th c nhi i nghiên c
   
ng ng d ng có ích trong th c t .
  

 
Nghiên cứu và ứng dụng
nhận diện khuôn mặt” 
2. M c tiêu c tài
ụ ủa đề
           
tài t p trung nghiên c u và ng d ng nh n di n khuôn m t ki m tra th
vi  
n c m 
tài t p trung vào các nhi m v c
   th 
+ Nghiên c u t ng quan v n d ng khuôn m
   nh  t.
+ Nghiên c u, Xây d ng gi i pháp ng d ng nh n di n khuôn m t ki m tra
        
th n.

11.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
8
+ Thi ng d ng nh
t k   n di n khuôn m t ki m tra th
    n.
3. Đố ợ ạ ứ
i tƣ ng ph m vi nghiên c u
- ng:
Đố ợ
i tư
Các nh khuôn mi trong th n.
- m vi:
Phạ
Trong luc nghiên cn các v sau:
(i) T    
ng quan v nh n d ng khuôn m t.
(ii) Xây d ng i pháp ng d ng nh n di n khuôn m t ki m tra th
 gi        n.
(iii)Thi t k ng d ng nh n di n khuôn m t ki m tra th
         
vi n.

4. Phƣơng pháp nghiên cứu:
a. Phương pháp nghiên cứu lý thuyết:
Nghiên cu tng quan v nhn dng khuôn mt.
b. u th c nghi
Phương pháp nghiên cứ ự ệm:
Khng thc t; Phân tích, thit k h thng ng dng nhn
din khuôn mt kim tra th n.
5. K t qu d n
ế ả ự kiế
Xây dc gii pháp ng dng nhn din khuôn mt kim tra th n.
Thit k ng dng và th nghim nhn din khuôn mt kim tra th 
vin.
6. Ý nghĩa khoa học và th c ti
ự ễn
Tip cn công ngh nhn dng khuôn mt, mt công ngh mi cc công
ngh ng thi xây dng dng nhn din khu mt kim
tra th n, áp di hc Công ngh thông tin và Truyn thông Thái
Nguyên.

12.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
9
7. B c
ố ục luận văn
B cc lu
Chƣơng 1: Tổng quan về nhận dạng khuôn mặt: Nghiên cu lý thuyt tng quan v
nhndng,nhn dng khuôn mt.
Chƣơng 2: ả
Gi i pháp nhận diện khuôn mặt trong kiểm tra thẻ thƣ viện: Kho
sát và phân tích i h c Công ngh thông tin
ng   
và truy n thông Thái Nguyên. T t gi ng d ng nh n di khuôn m
   xu i    n t
ki    
m tra th sinh viên áp d i h c Công ngh thông tin và
truy n thông thái Nguyên.

Chƣơng 3: Chƣơng trình ứng dụng nhận diện khuôn mặt kiểm tra thẻ thƣ
viện: Trình bày ng d
 ng nhn din khuôn mt kim tra th n, thit k giao din,
Kt qu king dng nhn din khuôn mt.

13.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
10
C 1 - T NG QUAN V D KHUÔN M T
hƣơng Ổ Ề NHẬN ẠNG Ặ
1.1 Tìm hiểu chung về nhận dạng
1.1.1 Khái ni m v n d
ệ ề nhậ ạng
Nhn d xây dng các h ng máy tính có kh
th  m
nhn, nhn bit và nhn dng phân bit ng gi.
c nhn dng  ng nói, hình nh, tín
hii có th ng và nhn bi Quá trình nhn
d 
c d a trên quá trình cm nhn, nhn thc và nhn bit ci.
1.1.2 Sơ đồ ủ ệ ố
chung c a h th ng nh n d
ậ ạng
Mt h ng nh
th n dng mu hoàn thin gm mt thit b cm nhn  thu
thp các quan sát cn cho vic phân loi hay miêu t; m trích rút 
   tính toán các thông t i dng s hay d  
(symbolic) t các d lic; và mt b phân loi  mô t) nhm
thc hin công vic phân loi thc s (hay miêu t 
c trích rút.
 chung ca h thng nhn dc minh ho 
Quan sát
cảm biến,
thu nhận tín
hiệu số hóa
,
Tiền xử lý,
phân tích,
chuẩn hóa
dữ liệu
Biểu diễn,
Trích chọn
đặc trưng
Cơ sở Dữ liệu
(DB)
Học phân lớp
Quyết định
nhận dạng,
phân lớp
Đối
tượng
vật lý
Kết quả
Hình 1.1 Sơ đồ chung của hệ thống nhận dạng

14.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
11
1.1.3 Ph m vi ng d ng nh n d
ạ ứ ụ ậ ạng
Nh    
n d c áp d ng r i s ng h ng ngày c i. C
  
th      
nh n d ng áp d ng trong y t , an ninh, qu i máy, th giác máy
tính n d ng có r t nhi
   :
 

 
 
 

 
 i vân tay; c vân tay;
  

 

1.2 Tìm hiểu về nhận dạng mặt ngƣời qua ảnh
  
 

tay   Iris recognition. . Trong khi


 
 
 
m



15.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
12
N 
 
. 

-to-many matc


-to-one matching).

th
  





 



 




  


16.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
13
 


 

 
1.3 Một số kỹ thuật trong nhận dạng khuôn mặt
1.3.1 Phát hiện khuôn mặt



1.3.1.1 Các hƣớng tiếp cận liên quan đến phát hiện khuôn mặt
             

khác nhau.

x


t khuôn m

    



           


17.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
14




               














1.3.1.2 ng pháp phát
Một số phƣơ hiện khuôn mặt

 



và 

-
 


18.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
15

  
-

.
1.3.2 Trích chọn đặc trƣng




 

 
Có m
 :
 
 
(Classification Approaches Model)
            
Model)
 
Model)
 :
 
 
 
1.3.2.1 Trích chọn đặc trƣng sử dụng mô hình Markov ẩn
Mô hình Markov (HMM: Hidden Markov Model)
 
 
[4]

n+1 
thái xn 


19.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
16









 
-

 các vùng khác








 
3

trong hình 1.3



     


20.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
17



uôn




 
[6]



 
3



          
-
c


 
Hình 1.2 Mô hình Markov cho định vị khuôn mặt
(a) Các vector quan sát; (b) Các tr ng thái n
ạ ẩ

21.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
18




1.3.2.2 Mẫu nhị phân cục bộ (LBP)

Ojala [13] 



Mô tả kết cấu (Texture descriptor)





Hình 1.4 
Hình 1.3 Ví dụ sự tính toán LBP





 

  



 




(1.1)

22.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
19
c, yc), gp 

  
  
  
(1.2)
Mẫu nhị phân cục bộ mở rộng
LBPP,
R P Hình
 
1.5 LBPP,R.
Hình 1.4 Minh họa toán tử LBP mở rộng vớị P và R khác nhau.
(xc, yc) 
tròn tâm (xc, yc) bán kính R 

 
  


 (1.3)

 
   


         (1.4)
Hình 1.5 Ví dụ LBP8,1




23.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
20


 
 
   


 
 
 
  
  (1.5)

Hình 1.7.
Hình 1.6 LBP giống nhau với các độ sáng khác nhau
M ng nh t (uniform patterns)
ẫu đồ ấ


 
(transitions)
1 sang 0.
Hình 1. 7 Ví dụ mẫu đồng nhất và mẫu không đồng nhất

              
 




24.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
21
 
-1)  -1)+2



nê


là 59.
Hình 1.8 58 Mẫu đồng nhất của 


Áp d ng LBP mô t khuôn m t
ụ ả ặ



25.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
22

 
Hình 1.9 Trích rút đặc trưng khuôn mặt bằng LBP
1.3.2.3 Phƣơng pháp phân tích thành phần chính

 

                





 
-



26.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
23
Hình 1.10 Không gian mới (u1,u2) theo hướng phân bố mạnh nhất của các
vector trong không gian (x1,x2) tìm theo PCA.
            

PCA,  
1.3.3 Phân loại, nhận dạng (Classification)



cách so sánh,  

 
u
 Mean-

1.4 Những khó khăn của nhận dạng khuôn mặt
 

ha

27.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
24


 


 
râu  

 


 

 


 
     

 





 

 


28.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
25



  các

 


29.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
26
Chƣơng 2 – Ả Ậ Ệ Ặ Ể
GI I PHÁP NH N DI N KHUÔN M T TRONG KI M
TRA TH N
Ẻ THƢ VIỆ
2.1 o sát hi n tr n và phân tích nhu c ng d ng nh n di
Khả ệ ạng thƣ việ ầu ứ ụ ậ ện
khuôn m t
ặ
i h c Công ngh thông tin và truy n thông Thái Nguyên là m
    
s o có quy mô l n v i nhi u ngành ngh o. S ng cán b , gi ng
          
viên và sinh viên nhi u v nghiên c u, tìm hi u h p là r t cao. Vì
    c t 
v y, trong nh m g
  n.
Hi  
n t c c p 5 vi
 
tr giúp cho  
c tra c u
sách c a sinh viên và công tác qu n. , 2 máy tính t ngoài
   
        
c nh m h tr cho vi c tra c u sách c a sinh viên, còn 3 máy tính h tr
cho vi c qu n tr n c a th c qu n lý sách c
      Vi  a
            
n tr c th c hi n d a trên s h tr c a ph n m n qu n lý,
        
t trên máy tr t n Các máy
. tr m này k t n i v i máy ch
qua m ng LAN. Máy ch
      
 t phòng máy ch c ng.
Tuy nhiên, do nhu c u s d ng sách ngày càng nhi u làm cho hi
    n ng
    
n sách h ng h p sinh viên b mt
th        
, c m th ho n quá s nh, không báo l n th c a
b n sách cho mình. Ho y th c
  c l     
n h sách cho b n.
        
i v i hi n sách h , vi c ki i chi u h c sinh sinh
     
t nhi u th i gian n b n
h ng h n h , hi ng tráo nh trong th sinh viên, hi
       n
       
ng nh m , nh nhòe, c u giáp lai r t khó nh n
d n b l
     
  n sách h ...
T i h c Công ngh thông tin & Truy
         n
nhi          
ng h n h n. Vì v y, hi n t i t ng c n có m t
gi    
i pháp kh c ph c hi n sách h . Chính vì th r t c n thi t có m
    t
     
tr vi c ki n h sách hay không. D a trên
nhu c u th c t này, h c viên mu n xây d ng m n di n khuôn
       

30.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
27
m t nh m ph c v cho vi c ki m tra th a sinh viên tro
        
vi n.

2.2 Mô t n tr
ả hoạt động mƣợ ả sách thƣ viện
     
i h c Công ngh thông tin và truy n thông Thái Nguyên s d ng
th  
sinh viên làm th n. Sinh viên dùng th n.
  
Khi sinh viên n thì ph i xu t trình th sinh viên t
mu    i
bàn th m tra th sinh viên c n h
 Th  ki  n  
sách hay không. Vi c ki c th c hi b i chi nh th sinh viên
   n  u  
v n sách xem có gi ng th i ki m tra xem sinh viên
   
n sách hay không.
N c gi u ki n sách (không phát hi ng n h
u     n  n hi  ,
không n sách quá h n, không làm m t sách), thì cán b làm th t c cho
    th   
sinh vi n sách. n t không quá 2 quy n. M i l
        n
         
n ch  n m t tu n. Sinh viên có th gia h n thêm m t tu n. N u sinh
  
n quá h n thì s b ng trên m t ngày.
 ph 
2.3 t gi i pháp ng d ng nh n di n khuôn m t ki m tra th n
Đề xuấ ả ứ ụ ậ ệ ặ ể ẻ thƣ việ
Bƣớc 1: Thu th p d
  liu nh sinh viên
Sinh viên ph i g p tr c ti i ph thu th nh t Camera, cung
      p  
c các thông tin c n thi t v mã s sinh viên (MSSV), tên sinh viên.
     Vic
thu th nh t Camera ph c th c hi n trong m t phòng riêng, trên máy tr
p       m
(client) c trang b v i 5 Megapixel. M i sinh viên c t
     i 
        
cho vi c nh n di n sinh viên khi c n thi t. Các nh này s 
       
c trên Máy ch (Server). Máy ch s  t phòng máy ch c a nhà
t ng.

Bƣớc 2: Quy trình t n

     
n mu n thì ph i xu t trình th sinh viên t i
bàn th n hành ki m tra th sinh viên. N u có d u hi ng
       
( nh th sinh viên không gi ng khuôn m n, nh nhòe, c
      nh
       
u giáp lai r t khó nh n d ng), thì th yêu c u i

31.       
tài: Nghiên c u và ng d ng nh n di n khuôn m t
H 3BMTTT
28
     
n di n khuôn m t c trang b camera v i
5 Megapixel n vi m tra.
 thc hi c ki
T n, s n trên máy d a trên d u t
   nhn di trm   li nh 
máy ch v Máy tr m s t t i bàn th n. c khi th
 tr .        c
hi        
n nh n di n, Th ti n hành l c theo mã sinh viên ho c tên sinh viên máy
tr tr
   
m theo mô hình m ng LAN, máy ch s      
v k t qu là các khuôn m t c a sinh
          
vào k t qu tr v , máy tr m s th c hi n nh n di n xác
th    
c sinh viên c n ki m tra. N u nh n di 
n n
sách, n u nh n n sách. T m
 n di  i t
th         
m có th có nhi u máy tr m cùng th c hi n vi c nh n di n xác th c sinh
   
ki m tra th n.
Nhn di    
n d a trên k t qu tìm ki m theo mã sinh viên, tên sinh viên, nên theo
mô hình này máy ch g i d u v máy tr m không l ng th
   li    
nh n di
 n máy tr c th c hi n m t cách nhanh chóng.
    
2.4 và ch n di n khuôn m t
Sơ đồ khối ức năng hệ thống nhậ ệ ặ
H ng nh n di n khuôn m ng d ng ki m tra th c xây d
 th   t      ng
 
ng ký và n nh 
n di n.


Camera






Camera








Hình 2.1 Sơ đồ khối hệ thống