Nghiên cứu xây dựng hệ thống điểm danh bằng nhận dạng khuôn mặt dựa trên sự kết hợp các mô hình học tập sâu hiện đại. Quá trình nhận dạng gồm ba giai đoạn: phát hiện khuôn mặt, kiểm tra giả mạo và định danh. Ở giai đoạn 1, mô hình phát hiện đối tượng YOLOv3-Tiny được huấn luyện để phát hiện khuôn mặt, giai đoạn 2 một kiến trúc mạng neural tích chập được huấn luyện để phân biệt khuôn mặt từ người thực hay khuôn mặt từ ảnh hoặc video và ở giai đoạn 3, mô hình cơ sở của FaceNet được sử dụng để trích xuất đặc trưng theo sau là bộ phân lớp để định danh. Kết quả. Mô hình định danh đạt được độ chính xác 97% khi đánh giá trên dataset LFW.

1. TRƯỜNG ĐẠI HỌC TRÀ VINH
HỘI ĐỒNG ĐÁNH GIÁ LUẬN VĂN THẠC SĨ
ISO 9001:2015
Học viên thực hiện: Nguyễn Thái Toàn Mã HV: 911218013
Ngành: Công nghệ thông tin
Người hướng dẫn KH: PSG. TS. Đỗ Thanh Nghị
Trà Vinh, tháng 9 năm 2020
XÂY DỰNG HỆ THỐNG ĐIỂM DANH BẰNG NHẬN
DIỆN KHUÔN MẶT VỚI MÔ HÌNH HỌC SÂU

2. NỘI DUNG BÁO CÁO
I. MỞ ĐẦU
III. GIẢI QUYẾT VẤN ĐỀ
IV. KẾT QUẢ THỰC NGHIỆM
V. KẾT LUẬN

3. I. MỞ ĐẦU - LÝ DO CHỌN ĐỀ TÀI
Tháng 8/2019: Một học sinh lớp 1 tử vong sau
9 tiếng bị bỏ quên trên ôtô đưa đón của trường
Gateway . Nguồn: https://vnexpress.net
Tháng 9/2019: một cháu bé bị bỏ quên trên ô
tô đưa đón của trường mầm non Đồ Rê Mí ở
Bắc Ninh). Nguồn: https://nld.com.vn/

4. I. MỞ ĐẦU - LÝ DO CHỌN ĐỀ TÀI
Hệ thống kiểm soát học sinh đến và rời trường học ở Thâm Quyến - Trung Quốc
Nguồn ảnh: https://cafef.vn/

5. I. MỞ ĐẦU - LÝ DO CHỌN ĐỀ TÀI
Kiểm soát học sinh đến và rời khỏi trường.
Nguồn https://cafef.vn/
Phát hiện tội phạm
Nguồn: http://cstc.cand.com.vn/
Chấm công
Nguồn: https://quantrimang.com/
Thanh toán
Nguồn: https://baoquocte.vn/

6. I. MỞ ĐẦU – CÁC NGHIÊN CỨU CÓ LIÊN QUAN
Google, 99.63% (LFW) Facebook, 97.35% (LFW)
Phạm Nguyên Khang, Đỗ Thanh
Nghị, 99.29% (6722 face)
Châu Châu Khánh và cộng
sự, 92.63% (400 face)
FACENET
Cascade of Boosted
Classifiers – CBC + GIST +
SVM
Cascade of Boosted
Classifiers – CBC + SIFT +
Naïve Bayes Nearest
Neighbor (NBNN)

7. I. MỞ ĐẦU - MỤC TIÊU NGHIÊN CỨU
Xây dựng hệ thống điểm danh học sinh tự động bằng nhận diện
khuôn mặt, thông báo kết quả điểm danh đến giáo viên chủ nhiệm
và phụ huynh học sinh.

8. II. GIẢI QUYẾT VẤN ĐỀ

9. II. GIẢI QUYẾT VẤN ĐỀ - HỆ THỐNG ĐIỂM DANH BẰNG KHUÔN MẶT
Định vị
khuôn mặt
Trích xuất
đặt trưng
GHI DANH
Định vị
khuôn mặt
Trích xuất
đặt trưng
Kiểm tra
giả mạo
Định danh
ĐIỂM DANH
Ảnh từ
camera
Huấn luyện
mô hình định danh
Mô hình
định danh
Ảnh từ
camera

10. II. GIẢI QUYẾT VẤN ĐỀ - MÔ HÌNH TỔNG THỂ
Click to add text
Mô hình
phát hiện
khuôn mặt
Mô hình kiểm
tra giả mạo
Mô hình
định danh

11. Bài toán phát hiện đối tượng trong ảnh.
II. GIẢI QUYẾT VẤN ĐỀ - MÔ HÌNH PHÁT HIỆN KHUÔN MẶT

12. II. GIẢI QUYẾT VẤN ĐỀ - MÔ HÌNH PHÁT HIỆN KHUÔN
MẶT - CHỌN THUẬT TOÁN
YOLOV3

13. II. GIẢI QUYẾT VẤN ĐỀ - THUẬT TOÁN PHÁT HIỆN
KHUÔN MẶT – CÁC BƯỚC XÂY DỰNG MÔ HÌNH
1. GÁN NHÃN
DATASET LFW
7089 ảnh
TRAINSET
5367 ảnh
TESTSET
1722 ảnh
2. CHUẨN BỊ
TẬP TIN
CẤU HÌNH
3. HUẤN
LUYỆN
4. KIỂM TRA
VÀ CHỌN BỘ
THAM SỐ

14. II. GIẢI QUYẾT VẤN ĐỀ - MÔ HÌNH KIỂM TRA GIẢ MẠO
LivenessNet
(CNN)
% fake
% real

15. II. GIẢI QUYẾT VẤN ĐỀ – MÔ HÌNH KIỂM TRA GIẢ MẠO -
CÁC BƯỚC XÂY DỰNG MÔ HÌNH
1. CHUẨN BỊ
DATASET
2. HUẤN LUYỆN 3. KIỂM TRA
MÔ HÌNH
KẾT QUẢ
REAL FACE FAKE FACE

16. II. GIẢI QUYẾT VẤN ĐỀ – MÔ HÌNH ĐỊNH DANH
BASE MODEL
Tự huấn
luyện
Sử dụng
FaceNet
SVMKNN

17. III. KẾT QUẢ THỰC NGHIỆM
 MÔ HÌNH PHÁT HIỆN KHUÔN MẶT
DATASET: LFW (trainset: 5367; testset: 1722); 15000 iters.

18. III. KẾT QUẢ THỰC NGHIỆM
MÔ HÌNH KIỂM TRA GIẢ MẠO
 fake (trainset: 750; testset: 250);
 real (trainset: 750; testset: 250)

19. III. KẾT QUẢ THỰC NGHIỆM
 MÔ HÌNH ĐỊNH DANH:
Base model:
 Tự huấn luyện:
o Kiến trúc: Inception-Resnet-V1
o Trainset: Dataset CelebA 74.977 bộ 3,
o Testset: LFW 2185 bộ 3
oACC: 50.73% < 93.83% Facenet base
model

20. III. KẾT QUẢ THỰC NGHIỆM
 MÔ HÌNH ĐỊNH DANH:
Bộ phân lớp

21. IV. KẾT LUẬN
 Đã đạt được:
Xây dựng mô hình điểm danh dựa trên khuôn mặt đáp ứng mục
tiêu đặt ra ban đầu.
Vận dụng YOLO để tạo ra mô hình phát hiện khuôn mặt có
mAP 96.84% IoU 83.31%.
Đóng góp kết quả nghiên cứu sự kết hợp giữa FaceNet và các
thuật toán phân lớp SVM, kNN...
Giới thiệu kinh nghiệm huấn luyện YOLO: xác định archor box
size trước khi huấn luyện sẽ tăng IoU của mô hình.

22. IV. KẾT LUẬN
 Hướng phát triển:
Nâng cấp mô hình kiểm tra giả mạo.
Nghiên cứu khả năng nhận dạng với một phần khuôn mặt bị kh
uất (chẳng hạn như khuôn mặt đeo khẩu trang).

23. CHÂN THÀNH
CẢM ƠN THẦY CÔ.