Recommended
More Related Content
Similar to AIot02-presentation-0820
Similar to AIot02-presentation-0820 (10)
AIot02-presentation-0820
- 1. 專題報告 From AIoT02 第二組 Date: Aug. 21, 2019 智 能運具 安全 駕駛 - Do nkey Ca r 模擬實作
- 4. 團隊介紹 黃柏霖(班代) 臉部辨識 張恩嘉 通訊 串流 網站設計 蔡采蓁 意外自動通報 資料視覺化 團隊 分工 邵柏元(組⾧) 閃避障礙物 辨識自動停車 葉欲生 Donkey Car 自動駕駛 吳雪如 疲勞偵測 語音示警 照片 團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 5. 專題架構 人臉辨識 功能網站 MySQL • 直播串流 • 其他成果展示 疲勞偵測與語音示警 非自動駕駛情境 Donkey Car MQTT 功能 啟動 意外偵測與自動通報 意外事件 自動停車 自動駕駛情境 自動駕駛 閃避障礙物 數據流 數據流 專題架構團隊介紹 臉部辨識 功能網站 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 7. 臉部識別登入 使用工具 黃柏霖Paul 臉部辨識團隊介紹 專題架構 功能網站 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 8. 以蒐集到的數據創造臉部特徵 以獲取的特徵與模組進行部辨識 以計算出的特徵訓練辨識模組 臉部識別登入 訓練流程 以Raspberry Pi Cam蒐集照片 1.數據蒐集 2. 臉部特徵擷取 3.模組訓練 4.臉部辨識 黃柏霖Paul 臉部辨識團隊介紹 專題架構 功能網站 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 9. 臉部識別登入 數據蒐集 piCam 哈爾特徵 圖片蒐集演示圖 Haarcascade輔助 資料建立 黃柏霖Paul 臉部辨識團隊介紹 專題架構 功能網站 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 10. 臉部識別登入 特徵建立及訓練 已蒐集資料 特徵建立 SVM 獲得辨識模組 黃柏霖Paul 臉部辨識團隊介紹 專題架構 功能網站 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 11. 臉部識別登入 已登錄資訊判斷 獲取新數據 識別及結果 黃柏霖Paul 臉部辨識團隊介紹 專題架構 功能網站 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 12. 臉部識別登入 未登錄資訊判斷 獲取新數據 識別及結果 黃柏霖Paul 臉部辨識團隊介紹 專題架構 功能網站 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 13. 通訊 串流 網站設計 報告人：張恩嘉 張恩嘉 Kathy
- 14. 張恩嘉 Kathy 使用工具 功能網站團隊介紹 專題架構 臉部辨識 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 15. 張恩嘉 Kathy Web Design_Login Page 功能網站團隊介紹 專題架構 臉部辨識 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 16. 張恩嘉 Kathy Web Design_Home Page 功能網站團隊介紹 專題架構 臉部辨識 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 17. 張恩嘉 Kathy Web Design_Service Page 功能網站團隊介紹 專題架構 臉部辨識 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 18. 張恩嘉 Kathy Web Design_Stream Function 功能網站團隊介紹 專題架構 臉部辨識 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 19. MQTT https://atceiling.blogspot.com/2019/04/raspberry-pi-48devicesmqtt.html JAVA Python 張恩嘉 Kathy 功能網站團隊介紹 專題架構 臉部辨識 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 20. 即時串流 https://github.com/oitsjustjose/Flask-OpenCV-Streamer from flask_opencv_streamer.streamer import Streamer import cv2 張恩嘉 Kathy 功能網站團隊介紹 專題架構 臉部辨識 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 21. 網頁 & Rpi整合流程 Rpi fdetect_flask.py 常駐程式 run PC JAVA Web run Rpi open pi-camera web publish, say “go” to Rpi Rpi flask streaming iframe streaming to web web publish, say “takepic” to Rpi Rpi subscribe, say “takepic” take picture and run recognition function recognition result compare result with users’ DB in mysql Rpi publish say “yes” Rpi publish say“no” web dispatch to home page web dispatch to login page 張恩嘉 Kathy 功能網站團隊介紹 專題架構 臉部辨識 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 22. ＭySQL PC WEB Rpi Email login Face Recognition login 張恩嘉 Kathy 功能網站團隊介紹 專題架構 臉部辨識 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 23. 人臉辨識登演示 張恩嘉 Kathy 功能網站團隊介紹 專題架構 臉部辨識 疲勞示警 自動駕駛 閃避停車 意外通報 總結 未來展望
- 25. 疲勞偵測原理 • 用 Haar Cascade 來偵測臉部圖像 • 在眼部標示 6 個特徵點來計算眼睛⾧寬比 –EAR (eyes aspect ration) • EAR 趨勢圖 • 用 dlib 臉部偵測器得到 68 個突出點來定位眼 睛, 眉毛, 鼻子, 嘴巴和下巴 吳雪如 疲勞示警團隊介紹 專題架構 臉部辨識 功能網站 自動駕駛 閃避停車 意外通報 總結 未來展望
- 26. 工作流程圖 PC • 啟動程式 Rasberry Pi • 執行眼部偵 測 Speaker • 發出警示音 響 PYTHON OPENCV 吳雪如 疲勞示警團隊介紹 專題架構 臉部辨識 功能網站 自動駕駛 閃避停車 意外通報 總結 未來展望
- 27. 實作 吳雪如 疲勞示警團隊介紹 專題架構 臉部辨識 功能網站 自動駕駛 閃避停車 意外通報 總結 未來展望
- 29. 訓練流程 數據收集 模型訓練 自動駕駛 增強訓練 重複訓練 葉欲生David 自動駕駛團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 閃避停車 意外通報 總結 未來展望
- 30. Donkey Car 葉欲生David PCA9685 PWM/Servo 伺服馬達控制板 Raspberry Pi Camera 馬達 轉向裝置 自動駕駛團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 閃避停車 意外通報 總結 未來展望
- 31. 跑道設計 避免光源太亮/太暗 減少周圍物體 清楚看到跑道 不反光材質 最小轉彎角度 數據儲存： cam/image_array milliseconds user/mode user/throttle user/angle 葉欲生David 自動駕駛團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 閃避停車 意外通報 總結 未來展望
- 32. 實際/虛擬環境收集數據 輸出Angle/Throttle 連續 輸出Angle/Throttle 不連續 1-精確開 2-小幅震蕩 3-大幅震蕩 4-S型彎道 5-虛擬車道 照片數量 4000 10000 2000 3000 6000 圈數 正反各2圈 正反各5圈 正反各1圈 正反各4圈 正5圈 比重 16% 40% 8% 12% 24% 葉欲生David 自動駕駛團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 閃避停車 意外通報 總結 未來展望
- 33. 模型選擇 – Type Loss: 0.867472 Loss: 0.040427 Categorical 葉欲生David Linear 自動駕駛團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 閃避停車 意外通報 總結 未來展望
- 34. 模型選擇 – Early Stop 葉欲生David Loss: 0.049596 Loss: 0.038731 5 Epochs 15 Epochs 自動駕駛團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 閃避停車 意外通報 總結 未來展望
- 35. 模型選擇 – 影像裁切 葉欲生David Loss: 0.050710 Loss: 0.040427 20 Pixel 0 Pixel 自動駕駛團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 閃避停車 意外通報 總結 未來展望
- 36. 模型選擇 Convolution2D(24, (5,5), strides=(2,2), activation='relu‘) Dropout(0.1) Convolution2D(32, (5,5), strides=(2,2), activation='relu‘) Dropout(0.1) Convolution2D(64, (5,5), strides=(2,2), activation='relu‘) Dropout(0.1) Convolution2D(64, (5,5), strides=(2,2), activation='relu‘) Dropout(0.1) Convolution2D(64, (5,5), strides=(2,2), activation='relu‘) Dropout(0.1) Flatten() Dense(100, activation='relu’) Dropout(0.1) Dense(50, activation='relu’) Dense(1, activation='linear’) Type: Linear Optimizer: adam Loss: ’MSE’ Early Stop: 15 Crop: 0 葉欲生David 自動駕駛團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 閃避停車 意外通報 總結 未來展望
- 37. 成果展示 葉欲生David 自動駕駛團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 閃避停車 意外通報 總結 未來展望
- 39. 邵柏元 閃避停車團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 意外通報 總結 未來展望
- 40. 資料蒐集 資料組成 : • 影像檔(.jpg) – 截取車前景象 • 文字檔(.JSON) – 紀錄截圖當下車輛相關參數 蒐集時機 : • 驅動油門(前進 / 後退)時，進行截圖和相關參數(油門力度、對應的影像檔、持續 時間、輪軸轉向角度、操作模式)的紀錄 資料內容 : 邵柏元 閃避停車團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 意外通報 總結 未來展望
- 41. 資料蒐集 - 閃避障礙物 邵柏元 閃避停車團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 意外通報 總結 未來展望
- 42. 資料蒐集 - 自動停車 邵柏元 閃避停車團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 意外通報 總結 未來展望
- 43. 模組訓練 Load config(type, verbose, …) ↓ Load data (picture & json file) ↓ Shuffle data and split the data ↓ Generate train & test data ↓ Estimate steps for each epochs (gradient descent) & validation ↓ Define epochs & rule of early stop ↓ Train the model with Convolutional Neural Network ↓ Visualize the result & save the model 邵柏元 閃避停車團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 意外通報 總結 未來展望
- 44. 模組訓練 - 閃避障礙物 / 自動停車 邵柏元 閃避停車團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 意外通報 總結 未來展望
- 46. 意外自動通報 操作流程 PC java web MQTT 車內駕駛 Twilio 緊急電話通報 簡訊發送 MQTT 送出停車訊息 蔡采蓁 意外通報團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 閃避停車 總結 未來展望
- 47. 意外自動通報 系統環境、程式語言與應用技術 蔡采蓁 意外通報團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 閃避停車 總結 未來展望
- 48. 具體實作 門檻值修正 載入twilio相關套件 辨別眼睛閉合門檻值不變 眼睛⾧寬比= 0.3 提高自動通報門檻值 疲勞偵測16 → 意外偵測18 宣告twilio帳戶ID、身分驗證碼、發送 端電話號碼及接收端電話號碼變數， 進行初始化 電話通報：client.calls.create() 簡訊發送：client.messages.create() 蔡采蓁 意外通報團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 閃避停車 總結 未來展望
- 50. 資料視覺化 蔡采蓁 連結資料庫 選取資料 確認原始資料 型別與轉換 資料視覺化 疲勞示警 意外通報團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 閃避停車 總結 未來展望
- 51. 總結 自駕車可用來降低人為疏失（如酒駕或疲勞疏失等）的載人或載物交 通工具，因此各國政府已開始研提自駕車政策法規，企業也紛紛投入 自動車技術研發行列 本專題以Donkey Car為實作對象，透過結合軟、硬體實作展現以上 功能成果，可作為對智能駕駛有興趣的人，或提供相關產業對車及人 的安全監控服務參考 總結團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 閃避停車 意外通報 未來展望
- 52. 未來展望 資料來源：風傳媒，2019/01/27。 台北市政府推動共享運具的「3U計畫」，最後㇐U的U-Car、共 享汽車部分，於2018年10月正式推出服務，在北市提供隨租隨 還的iRent。 • 共享汽車服務市場應用： 人臉註冊 租賃條件設定 • 自駕模式應用： 緊急運輸(結合生理偵測) 觀光導覽(結合語音) 未來展望團隊介紹 專題架構 臉部辨識 功能網站 疲勞示警 自動駕駛 閃避停車 意外通報 總結
- 53. Thank you !