Successfully reported this slideshow.
Your SlideShare is downloading. ×

物件辨識攝影機

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Loading in …3
×

Check these out next

1 of 24 Ad

物件辨識攝影機

111年_艾鍗學院_AI人工智慧與邊緣運算工程師班
專題:物件辨識攝影機
組員:陳○芳、羅○全、鄭○嚀、鄭○峯、李○

專題網頁:https://bit.ly/3MIWLKv
艾鍗官網:https://bit.ly/3ESwHdW
聯絡信箱:service@ittraining.com.tw

111年_艾鍗學院_AI人工智慧與邊緣運算工程師班
專題:物件辨識攝影機
組員:陳○芳、羅○全、鄭○嚀、鄭○峯、李○

專題網頁:https://bit.ly/3MIWLKv
艾鍗官網:https://bit.ly/3ESwHdW
聯絡信箱:service@ittraining.com.tw

Advertisement
Advertisement

More Related Content

More from IttrainingIttraining (20)

Recently uploaded (20)

Advertisement

物件辨識攝影機

  1. 1. 物件識別攝影機 組長: 陳O芳 組員: 羅O全、鄭O嚀、鄭O峯、李O 指導老師: Joseph chen & Alan chen
  2. 2. 目錄 contents 1 專題動機 2 專題目標 3 系統架構 4 實現方式 & Demo 5 後續發展
  3. 3. 專題動機 thematic motivation
  4. 4. 專題動機 某一天….差不多八月中,我們小組在課堂休息時間聊天哈啦,突然聊到 9月底的專題彼此AI題目想做什麼? A : 能幫助社會的機器人,B : 聊天機器人,C : 眼睛解鎖器,這時組長說~ 我倒是想做一個,可以幫我記錄時間、標記事物的攝影機,為什麼?因為我 家有一個魚池,但每天起床都會發現魚死在魚池周圍,我想查詢魚兒們死 因,偏偏我家錄影機比較老舊,老舊就算了還會自動關機日期會跳回1970 年1月1日,變得我要查詢都要一個一個檔案抓出來,一個一個重頭看到 尾….如果有一個紀錄時間、標記事物,我看一眼就能知道原因的攝影機多 好?
  5. 5. 專題目標 Thematic goals
  6. 6. 專題目標 一. 紀錄時間 三. 警報功能 二. 能分辨人與動物 四. 亮燈號 五. 能截圖 六. 寄E-mail
  7. 7. 物件識別結構 影像抓取 Gstreamer Object detection TFLite模型推理 亮燈 蜂鳴器 發出警報 傳送E-mail 人類 Human 動物 Animal 框住物件 截圖
  8. 8. 系統架構 system structure
  9. 9. 硬體配置 蜂鳴器 燈 WIFI Coral AI TPU 攝影鏡頭 Raspberry Pi 3 B+ Raspberry Pi 3 B+ 擴充版
  10. 10. SSD模型 SSD結合了YOLO中的回歸思想和Faster-RCNN中的Anchor機制,使用 全圖各個位置的多尺度區域進行回歸,既保持了YOLO速度快的特性,也 保證了窗口預測的跟Faster-RCNN一樣比較精準。
  11. 11. MobileNet SSD v2 MobileNet V2的SSDLite 在COCO 數據 集上超過了YOLO v2,並且大小 小10倍 速度快20倍 可以說是又小又快又好。另外,應用在 目標檢測任務上,也能得到很好的效果。
  12. 12. 實現方式 Method to realize
  13. 13. 物件識別功能 1. 發現目標:紀錄時間、截取關鍵影像、註記目標物 2. Detect目標:使用MobileNet SSD v2 3. 目標物為人:發出燈號(亮燈)、蜂鳴器製造噪音(長) 4. 目標物為動物:發出燈號(亮燈)、蜂鳴器製造噪音(指定的動物聲) 5. 有網路時,即時發送E-mail
  14. 14. 物件辨識流程 Video source 640 x 480 Gstreamer pipeline Object Detection模型 (MobileNet SSD v2) 類別 座標 信心值 1. 2. 3. Rescale 300 x 300
  15. 15. 物件辨識流程 1.警報 2.截圖 3.亮燈 4.發送E-mail 類別 座標 信心值 Object Detection模型 (MobileNet SSD v2) Gstreamer pipeline 信心值>50 信心值>80 1. 2. 3.
  16. 16. Object Detection 模型
  17. 17. 有偵測到 沒偵測到 物件辨識畫面
  18. 18. 物件辨識 警報、亮燈、寄E-maill
  19. 19. 傳送E-mail
  20. 20. Sink 物件辨識流程 Video source 640 x 480 Gstreamer pipeline Object Detection 模型 Rescale 300 x 300 Rescale 640 x 480 信心值>50% Ximage 1.警報 2.截圖 3.亮燈 4.發送E-mail 信心值>80% 97% person
  21. 21. 現場Demo
  22. 22. 後續發展 Follow-up development
  23. 23. 錄影存檔 Flask
  24. 24. Thank Everyone Have A Nice Day

Editor's Notes


  • 某一天….差不多八月中,我們小組在課堂休息時間聊天哈啦,突然聊到9月底的專題彼此AI題目想做什麼?
    A : 能幫助社會的機器人,B : 聊天機器人,C : 眼睛解鎖器,這時組長說~ 我倒是想做一個,可以幫我記錄時間、標記事物的攝影機,為什麼?因為我家有一個魚池,但每天起床都會發現魚死在魚池周圍,我想查詢魚兒們死因,偏偏我家錄影機比較老舊,老舊就算了還會自動關機日期會跳回1970年1月1日,變得我要查詢都要一個一個檔案抓出來,一個一個重頭看到尾….如果有一個紀錄時間、標記事物,我看一眼就能知道原因的攝影機多好?

    在後續AI專題討論時,我們便決定,挑選組長的題目來製作,原因,1.手邊教材較多2.可行性較高3.激發組員們興趣
  • 我們的流程是 先用Gstreamer 抓取畫面,使用Object detection
    TFLite模型進行物件推理,當Object detection判定有抓到物件時,會亮燈號,蜂鳴器也會發出警報,最後傳送E-mail給使用者。至於中間使用了那些參數,圖進行什麼樣的壓縮,怎麼連動機器,下一頁會解釋。

  • SSD結合了YOLO中的回歸思想和Faster-RCNN中的Anchor機制,使用全圖各個位置的多尺度區域進行回歸,既保持了YOLO速度快的特性,也保證了窗口預測的跟Faster-RCNN一樣比較精準。
    SSD的核心是在不同尺度的特徵特徵圖上採用卷積核來預測一系列Default Bounding Boxes的類別、坐標偏移。
  • https://blog.csdn.net/zt1091574181/article/details/90442228
  • https://chtseng.wordpress.com/2019/02/16/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8google-object-detection-api%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84%E6%A8%A1%E5%9E%8B/
    加個模型講解 最後會轉回640 * 480 的像素
  • https://chtseng.wordpress.com/2019/02/16/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8google-object-detection-api%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84%E6%A8%A1%E5%9E%8B/
    加個模型講解 最後會轉回640 * 480 的像素
  • https://chtseng.wordpress.com/2019/02/16/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8google-object-detection-api%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84%E6%A8%A1%E5%9E%8B/
    加個模型講解 最後會轉回640 * 480 的像素
  • 小GtkDrawingArea部件用於創建自定義用戶界面元素。它本質上是一個空白小部件;你可以藉鑑它。創建繪圖區域後,應用程序可能要連接到:
    鼠標和按鈕按下信號以響應用戶的輸入。(gtk_widget_add_events()用於啟用您希望接收的事件。)
    GtkWidget::realize當小部件在特定顯示器上實例化時採取任何必要操作的信號。(響應此信號創建GDK資源。)
    GtkWidget::size-allocate小部件更改大小時採取任何必要操作的信號。
    GtkWidget::draw處理重繪小部件內容的信號。

    畫框一步我們建了GTK 全重繪畫區,並在指令上特別設定判定差過80%才會顯示框框
    PS.框框 畫法 便是在指令
  • 最後發送E-mail 也包含在我們另外寫的class 內容 來自誰,收信者誰(管理員) ,寄信格式包含label,所以在信件收到那一刻,我們就能知道畫面拍攝到的是人還是動物。
  • https://chtseng.wordpress.com/2019/02/16/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8google-object-detection-api%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84%E6%A8%A1%E5%9E%8B/
    加個模型講解 最後會轉回640 * 480 的像素

×