Recommended
More Related Content
Similar to 04_動物姿態識別Pet pose classification
Similar to 04_動物姿態識別Pet pose classification (20)
More from IttrainingIttraining
More from IttrainingIttraining (20)
04_動物姿態識別Pet pose classification
- 1. 毛小孩在幹嘛 ??!!! 貓狗行為姿態辨識 DOG CAT pose estimation 組員 06 陳O瑜 09 陳O群 12 褚O菱 23 范O斌
- 3. Chapter 01. 動機起源與目的 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 4. 2022 年 6 月 3 日 中國內蒙古自治區的內蒙古旗牧業公司 監測實際農場環境中乳牛的健康狀況 在乳牛養殖場建立監控系統 不同乳牛、多個監視影片作為原始數據，來做乳牛的姿態 估計預測，進而監控乳牛健康狀態 增加牛奶產量。 01.研究起源動機 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 5. 研究動機目的 ● 現代人不婚不生的比例愈來愈高之下，寵物數量持續成長， 貓貓狗狗比小朋友還多，已經是長線趨勢。 ● 主人長時間在外工作，為自己家裡毛小孩裝設寵物攝影機的 人口也越來越多。 ● 又不能時時刻刻緊盯攝影機觀察毛小孩。 本研究因時間上關係，僅做貓狗姿態的分類辨識。 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 顯示GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 6. 研究目標 ● 訓練一個可識別寵物姿態的AI模型，能識別躺、坐、站、走 ● 設計GUI 操作界面，能對輸入影片識別寵物姿態 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 7. 系統架構 DeepLabCut 0:躺 1:坐 2:站 3:走 LSTM+ Dense 寵物識別姿態AI模型 Video Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 8. Chapter 02 . 模型建立流程 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 9. 分類影片 (4種姿態) DeepLabCut 特徵原始 資料檔 標準化 輸入之全部 資料 訓練資料準備 LSTM 長短期記憶 模型 Model .h5 輸出 深度學習訓練 影片 (任意姿態) DeepLabCu t 特徵原始 資料檔 標準化 結果 推論 預測 STEP 1 STEP 2 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 STEP 3
- 10. Chapter 03 . 資料蒐集與前處理 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 11. Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 影片數 Cat Dog 0:躺 40 40 80 1:坐 40 40 80 3:站 40 40 80 4:躺 40 40 80 Total: 320 STEP 1 . 資料蒐集
- 12. 關於 DeepLabCut Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 ● DeepLabCut基於深度學習技術，透過對影像和視訊資料進行訓練，用於2D和 3D姿態估計。能夠辨識和追蹤特定物體或生物的身體部位。 ● 它主要應用於行為學、神經科學和運動學等領域，在實驗室研究和動物行為分 析中廣泛應用。
- 13. STEP 2 . 使用 DeepLabCut 取得節點 DeepLabCut Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 14. Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 STEP 2 . 使用 DeepLabCut 取得節點
- 15. 15 Every frame has 40 columns 40 1 . . . Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 STEP 2 . 使用 DeepLabCut 取得節點
- 16. 20組節點 *2 (x,y)= 共40個特徵 bodypart Nose Nose Nose L_Eye L_Eye … Frame coords x y likelihood x y likelihood .. 1 2 . . . . . . Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 STEP 2 . 使用 DeepLabCut 取得節點
- 17. 解決貓狗在影片中 遠近、位置與大小 不一的問題!! Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 STEP 3 資料標準化
- 18. Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 r=dist(topleft,bottomright) =dist((min(x),min(y)),(max(x),max(y))) STEP 3 資料標準化
- 19. Nose Nose Nose L_Eye L_Eye L_Eye x y likelihood x y likelihood . . Nose Nose L_Eye L_Eye Std_X Std_Y Std_X Std_Y . . Normalize Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 STEP 4 資料標準化 X1 Y1 X20 Y20 …
- 20. STEP 3.2 資料取出30 Frame Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 bodypart Nose Nose Nose L_Eye L_Eye … Frame coords x y likelihood x y likelihood .. 1 2 3 4 5 6 約150筆資料 平均抽取30筆
- 21. Chapter 04 . 模型訓練-LSTM長短期記憶模型 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 22. 04 模型訓練-資料準備 shape(320,30,41) 訓練資料集 304 測試資料集 16 dt_train, dt_test = train_test_split(data, test_size=0.05,shuffle=True,stratify=y) TRAIN size: 304 TEST size: 16 Y-TRAIN Y-TEST [0, 1, 2, 3] [0, 1, 2, 3] [76,76,76,76] [4, 4, 4, 4] Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 320部影片,, 特徵+label
- 23. shape(1,30,41) One-hot encode the labels Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 避免0.1.2.3有順序上的影響 04 模型訓練-資料準備 0 0 0 1 0 0 1 0 0 1 0 0 1 0 0 0
- 24. DATA tanh 0:躺 1:坐 2:站 3:走 04 模型訓練-預期 Dense Dense Dense LSTM ReLU softmax 512 512 512 4 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 25. N_SAMPLE 320 320 320 320 320 320 320 batch_size 20 20 20 20 20 20 20 LSTM 512 1024 128 128 512 512 512 DROPOUT 0.1 0.1 0.1 DENCE 512tanh 512tanh 128tanh 128tanh 512tanh 512ReLU 512tanh DROPOUT 0.1 0.1 DENCE 128tanh 128tanh 128tanh 128tanh 512ReLU 512tanh 512ReLU DENCE 4 softmax 4 softmax 4 softmax 4 softmax 4 softmax 4 softmax 4 softmax ACCURACY 0.4688 0.5312 0.5 0.6562 0.6562 0.7188 0.75 MODEL BetterMo del.h5 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 04 模型訓練-模型架構
- 26. Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 04 模型資料-ACCURACY & LOSS
- 27. 04 模型資料-分類效果 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 28. Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 04 模型資料-分類效果
- 29. Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 04 問題 問題: 為什麼stand會預測成 walk ?
- 32. 可能原因: 標準化會使移動軌跡遺失 問題: 為什麼stand會預測成walk ? body part No se Nos e Nose L_Ey e L_Ey e … Frame coord s x y likelih ood x y likelih ood .. 1 2 3 4 相減 可能解法: 可以增加新的特徵點把每秒 各節點的變化差納入。
- 33. Chapter 05 . GUI 操作界面-tkinter Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 顯示GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 34. Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型 輸入影片 離開姿態辨識 已標節點的寵物 目前姿態/置信度
- 35. Chapter 06 . 成果與展示 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 36. — 熟悉已於各大外媒(Bloomberg/Nature…) 已有報導的DeepLabCut — 準確率 acc = 0.75 (~ 5-10 mins Training Time ; ~ > 10 s Inference Time) — GUI 影片呈現寵物的四種狀態 (躺 /坐 /站 /走 ) Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 GUI圖形介面： tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 37. Chapter 07 . 未來展望 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 38. ● 即時的寵物攝影偵測與監控，佈署在Webcam或是寵物攝影機 ● 優化模型整體準確率、流程效率及模型參數量 ● 多模態資料(寵物聲音/圖片/影片)與多視覺任務(加入目標檢測與目標追蹤) ● 特徵工程(加入更多的座標點，位移特徵(前後項相減或移動平均)，與資料 集欄位) ● 多動物多品種辨識與監測 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 39. Chapter 08 . 參考資料 Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 40. Multicow pose estimation based on keypoint extraction 基於關鍵點擷取的多牛姿態估計 https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0269259 DeepLabCut https://www.mackenziemathislab.org/deeplabcut https://github.com/DeepLabCut Ch1 動機起源與目的 Ch2 架構與流程 Ch3 資料蒐集與前處 理 Ch5 佈署GUI圖形介面 ：tkinter Ch6 成果與展示 Ch7 結論與未來展望 Ch8 參考資料 Ch4 模型訓練: LSTM長短期記憶模型
- 41. Q & A thanks