112年_艾鍗學院_AIoT智能行動服務物聯網班 第二組_商品辨識定位系統 組員：潘O行、盧O哲、陳O良 專題網頁：https://bit.ly/3GjxALU 艾鍗官網：https://bit.ly/3ESwHdW 聯絡信箱：service@ittraining.com.tw <專題摘要> 過去商店的形式以大量超商零售(例:7-11、全家)和少量大賣場為主(例:家樂福、愛買)，中型超市也不多(例:頂好)，但中大型賣場並不會常去，久久才會去採買大量家用品。 近十年則出現很多中型商場(例:全聯、寶雅、金興發等)，其價格也接近批發價，表示過去不常去中大型賣場的狀況已不在，巷口左轉就是全聯和超商，你會去哪家買東西呢? 現在的中大型商場數量多商品也多，消費者的選擇更多，但你知道想要的東西哪家會有嗎?天天去的地方是不是逛膩了呢! 現在起你可以帶著實體商品、DM或手機顯示商品圖片，在商場門口給鏡頭掃一下，馬上就可以知道商品放在哪裡，若沒有此商品或無庫存，也不需要進去繞圈圈。 這項專題以Flask為核心架構，與所有功能進行接收、處理、傳送。 Web瀏覽器傳送用鏡頭捕捉圖片或文字輸入，接收回傳資料和顯示UI介面。 Yolo物件為基底訓練AI物件偵測和辨識，MySQL建立商品資料庫，操作新增、查詢、更新、刪除功能。 MQTT做為Flask與PI-CO的橋樑 PI-CO用LED燈導引查詢地點與定位商品的路線。

1. 商品辨識定位系統
潘O行、盧O哲、陳O良

2. 目錄
•研究動機
•專題目標
•AI Model訓練
•自動拍照流程
•資料庫結構
•PI PICO功能
•商品定位流程
•未來願景
•結語

3. 研究動機 • 過去商店的形式以大量超商零售（例：7-11、全家）和少量
大賣場為主（例：家樂福、愛買），中型超市也不多（例：
頂好），但中大型賣場並不會常去，久久才會去採買大量
家用品。
• 近十年則出現很多中型商場（例：全聯、寶雅、金興發
等），其價格也接近批發價，表示過去不常去中大型賣場
的狀況已不在，巷口左轉就是全聯和超商，你會去哪家買
東西呢？
• 現在的中大型商場數量多商品也多，消費者的選擇更多，
但你知道想要的東西哪家會有嗎？天天去的地方是不是逛
膩了呢！現在起你可以帶著實體商品、DM或手機顯示商品
圖片，在商場門口給鏡頭掃一下，馬上就可以知道商品放
在哪裡，若沒有此商品或無庫存，也不需要進去繞圈圈。

4. 專題目標
•消費者可以迅速找到需要的商品，
結帳離開
•商家獲得推薦類似商品，讓商品
獲得曝光
•店員不需要記得全商品位置處

5. 系統架構

6. 貨架:007
存量:31
價格:229

7. 系統架構
MQTT
Cloud
Web Server
MySQL
Web
HTTP(X=img)
HTTP(Y=IMG)
PI PICO
X=img
Y=Barcode
Yolo Model
X=Barcode
Y=Information
Location=7
LED=7

8. 模型訓練

9. Yolo classify
Best.pt
Training
Yolo classify
Model
Class 1
Class 2
Class 3
Class n
.
.
.
Yolo classify 是模式是影像辨識後分類用的模型
訓練指令：yolo classify model=yolov8n-cls.pt device=0 batch=16 epochs=100 imgsz=640
可是準備好多圖片好麻煩！！
訓練Yolo
題外話：Yolo detect模式是物件偵測+影像分類的模型

10. Yolo學習曲線圖
從上二圖中可得知
不管訓練集還是驗證集
Loss函數都非常趨近於零
表示模型訓練得很好
下二圖中
可以看到在訓練過程中
模型給出前五名機率的正確率
是滿分的

11. 自動拍照流程

12. 製具實體圖

13. 自動拍照的原理
PI-CO
Web Server
Web
Command=turn_motor
emit_1=screenshot
emit_2=screenshot_again

16. 收集很多很多的圖片

17. 資料庫結構

18. 資料庫結構
上圖是主要的產品資料表，當Server端傳送Barcode過來時
會找到對應的Barcode，並將其相關資訊回傳Server
泡
麵
欄
位
是
用
來
推
薦
商
品
的
類
別

19. 資料庫關聯表
推薦商品依靠從最右邊的訂單表中的日期尋找最近七天的資料
透過相同的訂單編號關聯到中間的訂單銷售表尋找前三高的銷售量
再透過相同的barcode回到產品表將找到的產品送回server進行推薦

20. PI PICO功能

21. WIFI
(ESP8266)
oled
(ssd1306)
8 根PWM 控制 16
盞LED :
16 17 18 19
20
21
20
22
26
1 2 3 4
5 6 7 8
9
PWM
PWM18輸出1，
PWM26輸出0，
則LED 15亮燈
x18.value(1)
y26.value(0)
利用MQTT
接收貨架位編號
1. 顯示貨架 編號
2. 顯示低電壓警示
10 11 12
13 14 15 16
PI PICO細部說明

22. 螢幕顯示貨架編號(7)，
並於相對位置貨架(7)的
指示燈閃燈標示
PI PICO指引櫃位

23. 低壓時，會顯示Battery low ，
並經由PICO 的WIFI模組發送
LINE Notify
Battery low 界限取得:
1. 外接可調式變壓器
2. 讀取ADC數值
3. 調小變壓器至PI PICO
功能失效
PI PICO Notify

24. 商品定位流程

25. 文字搜尋模式
可以使用文字搜尋喔

26. 搜尋頁面

27. 由顧客確認商品擷取的圖片
後,使用圖片搜尋送出辨識
截圖畫面

28. 無此商品

29. Yolo Classify
Model
Class Name：Barcode
Probability：0.99999
Yolo classify預測中

30. 預測頁面

31. 顯示商品資訊

32. 同類別商品推薦

33. 點擊目標商品圖片

34. 路線指引

35. 這邊會跟Web同步顯示
指引消費者去對應櫃位
PI PICO櫃位指示
燈

36. 未來願景
未來目標是將這系統推送給所有的商家，取得各個商家的資料庫，
並建立完整的資料庫系統，再開發成APP。
手機下載APP後，在任何地方都能查詢商品庫存，確認商家後，
到現場在通過目前的商品定位系統，迅速找到目標商品。
再也不用擔心到現場商家無此商品或無庫存，也不用浪費時間找
商品位置，非常符合現代人的快節奏生活。

37. Ending