Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

AI深度學習應用: 智慧POS機-人臉自動結帳(Face checkout)

1,954 views

Published on

!!!!!!!!本專題獲 HACKIDB智慧科技應用大賽」新製造應用獎!!!!!!!!!!
http://ec.ltn.com.tw/article/breakingnews/2567118

專題成員: 陳文輝 (milochen), 李佳臻 (Emily), 溫婷雯(Winni), 莊禮維(Liwei) ,
專題摘要:
目前超商零售業服務項目龐雜,服務人員工作負擔大,同時我們也看中無人商店將成為未來的趨勢,因此我們想要去設計一個會員自動結單的POS機。我們所設計的POS機,不僅包含POS機該有的元素,例如紅外線條碼讀取、商品資料庫查詢及交易系統外,更加入了會員人臉辨識的功能。在結帳時,透過POS機前方的鏡頭,會員資訊將自動被帶出,所以消費者可以不用現金,不用悠遊卡、也不用手機QR Code支付。


FACE CHECKOUT 系統的主控制板是使用 Raspberry Pi,它具有體積小、功耗低、
價格低等優點。我們使用 Raspberry Pi 的 USB 界面去連接條碼掃描機與 WebCam。
而對於 POS 機連網的功能,也是利用 Raspberry Pi 內建的乙太網路及 802.11n
Wi-Fi 來完成,因此一旦會員結帳完成時,超商 LINE BOT 可即時推播訊息給會員。

在人臉辨識的部份,我們想要實現的是一個AI邊緣運算(Edge Computing)的概念。我們利用Intel 神經計算棒Neural Compute Stick(NCS),讓Raspberry Pi,可以不用連接雲端也能夠直接在本機快速地進行Facenet人臉辨識的深度模型運算。

透過本次的專題實作中,我們更加認識物聯網、機器視覺、深度學習的技術與應用。

更多訊息:
http://bit.ly/2MGsRXE

Published in: Engineering
  • Be the first to comment

AI深度學習應用: 智慧POS機-人臉自動結帳(Face checkout)

  1. 1. AIOT培訓成果發表 陳O輝 李O臻 莊O維 溫O雯
  2. 2. FACE CHECKOUT
  3. 3. FACE CHECKOUT
  4. 4. FACE CHECKOUT
  5. 5. FACE CHECKOUT
  6. 6. FACE CHECKOUT 自助結帳系統 -結帳只需你的臉
  7. 7. AGENDA 設計 動機 未來 展望 結帳 流程 技術 架構
  8. 8. 設計動機 設計 動機 未來 展望 結帳 流程 技術 架構
  9. 9. 設計動機及概念 • 市場現況 • 觀察未來趨勢 • Smart Design 1. 無人商店 2. 現代人講求效率 方便 1. 自動驗證會員身分 2. 不用現金、信用卡支付 1. 超商、量販店服務人員工作負擔大 2. 市面 POS 機 只是 POS 機
  10. 10. POS 機裝置示意圖 設計 動機 未來 展望 結帳 流程 技術 架構
  11. 11. 結帳流程 設計 動機 未來 展望 結帳 流程 技術 架構
  12. 12. 準備結帳 Milo
  13. 13. 掃描條碼
  14. 14. 人臉辨識
  15. 15. 確認會員身分 Type your PASSWORD +
  16. 16. 結帳完成
  17. 17. 我們不一樣 商家會員 消費者可 使用 自己嗶條碼 自己結帳 會員卡是什麼 臉就是卡 臉就是錢包 人臉辨識 AI邊緣運算 LINE 通知 成本 不高 SMART
  18. 18. POS系統實現方法 • AI邊緣運算不用連接雲端也能直接在POS本機運行 • 人臉辨識加上Security Key ->帶出會員卡資料 • LINE BOT 主動推播完成結帳通知提供消費依據 • 體積小 功耗低 價格低 • Linux OpenSource: MySQL、MQTT、Node.js… • 乙太網路及WiFi 載體選擇 Raspberry Pi:
  19. 19. 設計 動機 未來 展望 結帳 流程 技術 架構 AGENDA
  20. 20. 技術架構 設計 動機 未來 展望 結帳 流程 技術 架構
  21. 21. 硬體架構 FaceNet Intel® Movidius USB USB USB HDMI
  22. 22. 軟體架構 Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
  23. 23. Browser-Based UI Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
  24. 24. Browser-Based UI RWD Design
  25. 25. 軟體架構 Express +
  26. 26. HMI 人機介面 Express Socket.io Core Browser-Based UI
  27. 27. 軟體架構 Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
  28. 28. Barcode Reader Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
  29. 29. Barcode Raw Data 處理 Raw Data型式 /dev/hidraw 7501054530107 EAN13 Barcode Python
  30. 30. Barcode 及商品資訊顯示在Browser 7501054530107 EAN13 Barcode Express Socket.io Core Browser-Based UI POS Transaction DataBase Product Name Product Price
  31. 31. 軟體架構 Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
  32. 32. POS Transaction DataBase Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
  33. 33. 完成結帳時更新資料庫 完成結帳 訂單 訂單明細 會員卡$ 庫存 Update POS Transaction DataBase
  34. 34. DataBase Schema EER Diagram
  35. 35. 軟體架構 Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
  36. 36. Member Face Recognition Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
  37. 37. Edge Computing • 分散式運算的架構,將應用程式、數據資料與服務的運算, 由網路中心節點,移往網路邏輯上的邊緣節點來處理。 • 由於邊緣節點更接近於用戶終端裝置,可加快資料的處理與 傳送速度,減少延遲。 根據 TrendForce 預估 2018 至 2022 年全球邊緣運 算相關市場規模的年複合成長 率將超過 30%
  38. 38. Myriad 2 by Movidius • Movidius :最初的 VPU (Vision Processing Unit)(Myriad 1& Myriad 2)製造商 • Myriad 2圖像處理晶片最初用於飛行器上:感測器輔助定位和避障 • 2017英特爾收購 Movidius ,並發布了U盤型計算棒運行神經網絡,其 處理內核就是Myriad 2 VPU
  39. 39. Intel® Movidius™ NCS • 將Intel® Movidius™視覺處理單元(VPU)整合在USB裝置上 • 這樣就可對數百萬種低功耗的嵌入式裝置提供視覺智能 • 例如監控攝影機、可用手勢控制的無人機、工業級機器視覺設備等 • 針對低功耗應用所設計適合嵌入式系統 e.g. Raspberry Pi • 可直接自裝置上執行即時的深度神經網路,讓 AI 應用能夠離線部署 支持開發與部署NCSDK開發套件
  40. 40. FaceNet 介紹GOOGLE 概念 辨識方法 • 端對端學習 • 主要用於驗證人臉是否 為同一個人,通過人臉 識別這個人是誰 • 把人臉圖像映射到一個歐幾里得多維空 間 (對比傳統:softmax) • 通過空間距離表示人臉的相似度。 • 同個人臉圖像的空間距離比較小,不同 人臉圖像的空間距離比較大
  41. 41. 人臉識別效果如下圖所示,其中橫線上表示的數字是人臉間的距離, 當人臉距離小於 1.06 可看作是同一個人
  42. 42. POS 系統人臉辨識流程 Inferences Test data Neural Compute Stick “Milo” Milo : 0.4 Liwei :0.8 Mike :1.0 Emily :1.5 Winni :2.1 Intel® Movidius Load a pre-trained CNN model Into NCS
  43. 43. 軟體架構 Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
  44. 44. Line IM Push Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
  45. 45. 完成結帳Line推播明細 Line Channel User Mobile System Line ID 卡片餘額 結帳商品 Member Account Product Core Line IM Push
  46. 46. User Web-based Monitor FACE CHECKOUT 技術統整 Checkout WebSocket Python WebCam Face Recognition Raspberry Pi 3
  47. 47. 設計 動機 未來 展望 結帳 流程 技術 架構 AGENDA
  48. 48. 未來展望 設計 動機 未來 展望 結帳 流程 技術 架構
  49. 49. 更強大的POS系統 Web API PC browser/ Mobile App Register Account 完善後台管理系統 連結雲端平台 對話機器人
  50. 50. 謝謝聆聽

×