112年_AIoT智能行動服務物聯網班 第三組_AIoT 智能商店 組員：高○如、林○立、徐○宏、駱○ 專題網頁：https://bit.ly/3GjxALU 艾鍗官網：https://bit.ly/3ESwHdW 聯絡信箱：service@ittraining.com.tw <專題摘要> 隨著時代的變遷，科技也越發趨於人性，無人化、自動化的環境早早融入於我們的生活。 因此，為了趕上現代人來匆匆、去匆匆的步調，以及輕裝出行的模式，AIoT 智能商店就此誕生。 本研究主要功能有三，分別為RFID智能店員、AI靠臉結帳系統與AI銷量預測，未來更致力於定位車籃隨行小跟班、AI多臉辨識、三秒結帳…等項目開發，以完善整個商店。 系統以Flask架構前後端核心主程式。當RFID感測器發射無線電波的範圍內有標籤被觸動，後端會接收標籤訊息並訪問DB尋找相應商品資訊，前端透過後端開放的API顯示明細。 相同的資料傳遞原理應用於靠臉結帳系統，由後端API作為前端與DB間的溝通橋樑，經辨識演算法比對鏡頭下與會員庫影像向量，獲取該會員訊息並於結帳後新增紀錄於DB。 雖說有了結帳紀錄，但這些似乎還不足以進行機器學習，進而達到真實預測新產品銷量的目的，故為了確保與實際情形相符，數據來源會從市面商家開放的購物車清單進行研究。

1. 組長: 高O如
組員: 徐O宏、駱O、林O立
AIoT智能商店- POS Face
2023.11.23

2. 概要 Outline
 動機 Motivation
 目標/特點
Goal/Characteristics
2
 系統架構 System Layout
WEB
無線射頻 RFID
資料庫架構 DB Layout
人臉辨識 Face Recognition

3. Motivati
on
3
假日結帳時常大排長龍!?
S：人手不足、店員忙不過來
C：心情不美麗、浪費時間
新世代，速度、時間就是一切。
趕時間的
排這邊
有時間的
排這邊
*協助商家設備升級、降低人事成本、達快速結帳的目的

4. Characteristic
s
4
 靠臉結帳不是夢 真的秒速就成功
 RFID技術- 感應速度相較於傳統Barcode機快
 AI人臉辨識- 省去報電話/找會員條碼的時間
 隨行車籃小跟班 一同採買不孤單
 預言大神可以信 發家致富靠營收
。
。
。
*大幅提升結帳速度

5. System Layout
5
SPI
UART
(JSON)
HDMI
Hi 鋼鐵人,
紅袋x1
黃袋x1
藍袋x1
$1500
USB

6. Software
Architecture
6
Browser
Flask-
SQLAlchemy
Face
Recognition
Serial
Camera
CV2
sql.py face.py com.py webcam.py
URL/ Route

7. System
Layout
7
Flask-
SQLAlchemy
SPI
UART
(JSON)
url / route
Hi 鋼鐵人,
紅袋x1
黃袋x1
藍袋x1
$1500
CV2
Face Recognition

8. 結帳流程
結帳3步驟，輕鬆又快速！

9. 1.感應商品
Pi Pico RP2040
RFID
Driver
RFID卡號

10. 10
1.感應商品 -資訊傳輸
品名 單價 數量 小計
礦泉水 20 1 20
衛生紙 15 1 15
總額：35元
RFID卡號
商品資訊
Browser
Request、Response

11. 2.人臉辨識
駱毅

12. Type Password
3.輸入密碼

13. System
Layout
13
Flask-
SQLAlchemy
SPI
UART
(JSON)
url / route
Hi 鋼鐵人,
紅袋x1
黃袋x1
藍袋x1
$1500
CV2
Face Recognition

14. RFID
14

15. System
Layout
15
Flask-
SQLAlchemy
SPI
UART
(JSON)
url / route
Hi 鋼鐵人,
紅袋x1
黃袋x1
藍袋x1
$1500
CV2
Face Recognition

16. DB Design
16
交易表
• 交易序號
• 交易時間
• 交易人(會員)
交易明細表
• 交易序號
• 商品
• 價格
會員表
• 交易人(會員)
• 儲值金餘額
• 臉部照片
商品表
• 商品
• 價格

17. DB Design
17

18. 人臉辨識架構
18
Flask-
SQLAlchemy
HTTP/url
Hi 陳小姐,
紅袋x1
黃袋x1
藍袋x1
$1500
cv2.VideoCapture
IP Cam
1.擷取影像
Face Recognition
2. 人臉辨識
4. 傳送影像及會員資料
3.查詢會員資料
會員ID
會
員
資
料

19. Face Recognition
19
■人臉攝取  人臉偵測
(face location)
→ 查找圖片中所有的臉孔
 臉部特徵值擷取
(face encodings)
→ 計算出每一個臉孔的
128-dimension 編碼(特徵值)
 身份識別
(find_most_similar)
→ 找出最高相以度的臉孔，查
詢資料庫身份資料
 身份識別
(cosine_similarity)
→和臉部特徴資料庫中已知臉孔的特徵值
進行比對，並計算與資料庫臉孔的相似度

20. 採用Face Recognition 套件
20
 大多數的人臉識別模型需要取得多張不同角度的人臉相片進行訓練以建立
模型，這在一般商店或賣場是不切實際的。
 face_recognition 套件使用了 dlib 庫中已經訓練好的深度學習模型計算出特
徵值來進行人臉識別，故直接使用申辦會員時的相片或現場擷取的相片來
計算特徵值儲入資料庫進行後續的比對即可。
資料庫

21. QA1- 沒GPU的情況下
21
 問題﹕進行人臉偵測費時(face location) ，每幅
frame 約需0.5秒進行人臉偵測，造成影像lag。
■ 解方﹕適度縮小IP cam攝入畫面尺寸，加快人臉
偵測速度降至0.12秒左右。

22. QA2-沒GPU的情況下
22
 問題﹕計算特徵值費時(face encodings)，每幅 frame
約需1秒進行特徵值計算，嚴重影響畫面流暢度。
■ 解方﹕解決方式為透過執行緒，每次導入一frame
進行人臉偵測、特徵計算及身份辨別，結束後，再導
入下一畫面進行人臉辨識，在運算同時, 主程式持續顯
示畫面，如此，讓畫面流暢度影響降至最低。
Face
Recognition
Face
Recognition
會員資料

23. Future
23
 RFID設備升級
 使用高頻率之讀取器或主動式晶片，實踐一次讀取多
件商品
 隨行車籃小跟班，一同採買不孤單
 透過感應手環，讓推車能自動跟隨顧客購物
 預測顧客需求並推薦顧客喜好商品
 依顧客採購商品習慣及頻率，預測客戶需補充之物品
以及顧客喜好之熱銷或新進商品
 入口處人臉辨識，推播會員即時促銷訊息
 會員一進入商店，便收到顧客需求及喜好商品之即時
促銷訊息，增加顧客購買率

24. Summari
ze
24
 整合在課堂上所學習到的各自獨立的知識及技術，
進行AIoT智能商店的實作。
 在專題製作的過程中，針對AIoT智能商店運作
流程，多次調整，以更能符合實境。
 在整合過程中，也遭遇許多介面問題，經過組員
多次討論，集思廣議，一一克服，並從中學習到
不少寶貴經驗，對未來工作上有相當的助益。

25. Thank You
25