2019 物聯網平台開發人才養成班 本專題計畫以最精簡的設備實現人臉辨識的考勤系統。首先以OpenCV Camera擷取人臉影像，再在樹莓派上執行AI演算法 (包括OpenCV人臉偵測與Facenet擷取特徵值)，通過判讀後會觸發語音(Text to Speech)，包括員工的姓名、職位與進出時間。通過判讀後亦會觸發燈光與開啟門鎖。Web後端程式(Node.js)與資料庫(NoSQL)皆建立在樹莓派上，而查詢者可透過任何PC的Web前端界面查詢員工的出勤紀錄。 企業徵才 http://bit.ly/31qiTjT AIoT人才養成班GO http://bit.ly/2tq506m

1. 人臉辨識考勤系統
成員:丁立安、戎藝．娃古納、陳品翔
2019 物聯網平台開發人才養成班

2. 動機:
出勤系統為各大中小企業、社區、校園、門市必備系統，
本組希望結合最新人臉辨識技術與雲端Web展示的技術，並
使用python其成熟的各模組支援，來實現多功能簡易版本的
人臉辨識出勤系統，其系統雖然普遍，但實作架構，包含軟
硬體整合、Server的建立與資料架構適當的存取。
專題動機:

3. 產業商品:
臉部考勤機

4. 1.Face check in/out
2.Save time data
3. Text to speech
4.Web browsing
多功能簡易版本

5. 實現方法之硬體架構
USB
HDMI
USB
Server
3.5mm
上班 下班
Hello David
AM 08:58:42
按鍵

6. 分散式運算的架構，將應用程式、數據資料與服
務的運算，由網路中心節點，移往網路邏輯上的
邊緣節點來處理
由於邊緣節點更接近於用戶終端裝置，可加快資
料的處理與傳送速度，減少延遲。
伺服器與資料夾架在邊緣節點，提高資料的隱私
性。
Edge Computing

7. face_recognition.face_locations(image)
OpenCV的臉部辨識模組(一): 臉部偵測
Top
RightLeft
Bottom
臉部模型主要起始特徵
: 眼睛
臉部模型次要起始特徵
: 鼻子 (閉眼時確認眼睛
中央)

8. Face_recognition.face_encodings(image,face_locat
ion)
OpenCV的臉部辨識模組(二): 臉部編碼
HOG
(Histogram of
Oriented Gradient)
每個畫素(144x128)上強度的梯度與邊緣方向
的分布構成HOG。
最終每張臉擷取出一個獨一無二的128維之
向量的特徵值(Encodings)。

9. Face_recognition.face_distance
(known_face_encodings, face_encodings)
OpenCV的臉部辨識模組(三): 特徵值比較
對進場人員掃描人臉所擷取的特徵值與資料庫所有員工人臉的
特徵值皆為128維之向量，逐一計算兩者之歐氏距離，取最小且
若小於所設之基準值，則可決定進場人員與某位資料庫建檔之
員工特徵值最接近，即判定為該名員工。

10. 軟體架構
Face
Recognition
DataBase
Browser
HTTP with JSON
Web Server
flask
Raspberry pi
Vacancy logic
Hello David
AM 08:58:42

11. Face.detect
Face.server (Web
管理平台-flask)
Web功能頁面
查詢各成員、不同日期，出勤
時間
記錄每日出勤人員(包含非成
員)
管理者介面，負責新增成員
Web Browser
系統說明
檔案系統
不明人員.jpg
出勤人員.jpg
出勤紀錄.txt
人員特徵值.txt

12. 人臉及特徵檔案 儲存格式: JSON
Employee_table.json
photo/
李大媽.jpg
王小明.jpg
林美美.jpg
…
李大媽.np
王小明.np
林美美.np
…
Eid Name Title Photo Feature
0001 李大媽 助理 ./photo/李大媽.jpg ./photo/李大媽.np
0002 王小明 總機 ./photo/王小明.jpg ./photo/王小明.np
0003 林美美 會計 ./photo/林美美.jpg ./photo/林美美.np

13. 出缺勤資料儲存格式
Login_table.json
/photo
成員 非成員
Name Action Time Photo
李大媽 上班 2019-08-13 10-10-57 ./photo/李大媽.jpg
林美美 下班 2019-08-13 09-14-05 ./photo/林小美.jpg
非組員 下班 2019-08-13 09-14-05 ./photo/非組員.jpg

14. 系統登入-Python 語音
拍攝的人臉，對照人
臉特徵資料庫後，螢
幕顯示對應姓名、時
間，並儲存資料庫中
使用text to speech技術，
依照不同人，語音回覆
上班 下班
Welcome
李大媽
AM 08:34:13

15. Web設計簡介

16. Web管理頁面-[查詢]
依據日期查詢

17. Web管理頁面-[新增]人臉

18. Web 紀錄人員出勤log
不明人員紀錄 公司員工紀錄

19. 1. OpenCV + face recognition
2. Python flask
3. HTML CSS JavaScript
4. Text to speech
使用到的技術

20. Thanks!
謝謝聆聽!