画像情報を用いた黒毛和牛種の乗駕行動の検知に関する検討

画像情報を用いた黒毛和牛種の乗駕行動の検知に関する検討

• 1.
  ○川野百合⼦ 1，河⽥宗⼠1，沖本祐典 1，中野鐵兵1,2，⾚⽻誠 1,2， 近藤育海 3，⼭崎 稜汰 3，⽇下裕美 3，坂⼝ 実 3，⼩川哲司 1 1 早稲⽥⼤学 2 知能フレームワーク研究所 3北⾥⼤学 画像情報を用いた 黒毛和牛種の乗駕行動の 検知に関する検討
• 2.
  2 肉牛の発情行動 発情⾏動 12時間 21⽇周期 ⼈⼯授精 分娩 280~285⽇
• 3.
  3 肉牛の発情行動 発情⾏動 12時間 21⽇周期 ⼈⼯授精 分娩 280~285⽇ スタンディング(ST) マウンティング(MT) 舐め うろうろ頭突き 発情徴候
• 4.
  4 肉牛の発情行動 発情⾏動 12時間 21⽇周期 ⼈⼯授精 分娩 280~285⽇ スタンディング(ST) マウンティング(MT) 舐め うろうろ頭突き 発情徴候
• 5.
  牛の発情行動発見方法 発情発⾒のための補助道具 基本的には, 農家さんによる定期的な観察 ⽜歩テールペイント ⾼精度 付け替えが⼤変 カメラを⽤いた発情発⾒ 5 設置の⼿間が少ない
• 6.
  牛の発情行動発見方法 発情発⾒のための補助道具 基本的には, 農家さんによる定期的な観察 ⽜歩テールペイント ⾼精度 付け替えが⼤変 カメラを⽤いた発情発⾒ 6 設置の⼿間が少ない
• 7.
  7 スタンディング(ST) マウンティング(MT) 舐め うろうろ 頭突き 発情徴候 発情強度が強い 『スタンディング・マウンティング』の検知が 画像のみからどの程度できるのか？
• 8.
  乗駕行動検知実験の流れ 8 STEP1 STEP2 STEP3 STEP4 STEP5 ・データ収集 ・画像の前処理 ・乗駕⾏動検知システム ・実験条件 ・ 実験結果・分析
• 9.
  乗駕行動検知実験の流れ 9 STEP1 STEP2 STEP3 STEP4 STEP5 ・データ収集 ・画像の前処理 ・乗駕⾏動検知システム ・実験条件 ・ 実験結果 ・分析
• 10.
  ・北⾥⼤学獣医学部の実験⽜ ・⿊⽑和⽜主体の繁殖種13〜15頭 (複数頭のうち1頭のみ発情させる) 単独発情処置 : PGF2α製剤プロスタグランジンF2α製剤の投与 ,  膣内 留 置 型 ⻩ 体 ホルモン製 剤の抜去 ・24時間照明点灯 ・18:00〜6:00の時間に絞る ・カメラ3台から収録 データ収集 10カメラ1 カメラ2 カメラ3 収集画像例 :  動画データ ラベルデータ 収集環境
• 11.
  ラベルデータ 11 ⽇付時間 ⾏動者 被⾏動者⾏動 2016/7/6/18:07 6 15 頭突き 2017/7/6/18;10 6 15 匂い嗅ぎ 2016/7/6/18:12 6 3 ST 2016/7/7/5:48 6 7 舐める 発情⾏動のラベル例: 
• 12.
  ラベルデータ 12 ⽇付時間 ⾏動者 被⾏動者⾏動 2016/7/6/18:07 6 15 頭突き 2017/7/6/18;10 6 15 匂い嗅ぎ 2016/7/6/18:12 6 3 ST 2016/7/7/5:48 6 7 舐める 発情⾏動のラベル例:  ・ ・ ・ s=1 s=2 s=60
• 13.
  乗駕行動検知実験の流れ 13 STEP1 STEP2 STEP3 STEP4 STEP5 ・データ収集 ・画像の前処理 ・乗駕⾏動検知システム ・実験条件 ・ 実験結果 ・分析
• 14.
  実験データの前処理 14 ① 物体検出アルゴリズムYOLOv3[1]により⽜⼀頭⼀頭を⾃動検出 [1] J. Redmon and A. Farhadi, “YOLOv3: An Incremental Improvement,”arXiv:1804.02767, 2018.
• 15.
  実験データの前処理 15 ① 物体検出アルゴリズムYOLOv3[1]により⽜⼀頭⼀頭を⾃動検出 [1] J. Redmon and A. Farhadi, “YOLOv3: An Incremental Improvement,”arXiv:1804.02767, 2018.
• 16.
  実験データの前処理 16 ② IOU(フレーム間の領域の重なり)が⼀定以上の2頭の⽜を囲う.
• 17.
  実験データの前処理 17 ③ ``乗駕⾏動している (正例)’’  ``乗駕⾏動していない(負例)’’ ``⽜が写っていない (garbage)’’ に⼿動で割り振る.
• 18.
  乗駕⾏動していない (負例) 乗駕⾏動して る (正例) 実験データの前処理 18 ③ ``乗駕⾏動している(正例)’’  ``乗駕⾏動していない (負例)’’ ``⽜が写っていない (garbage)’’ に⼿動で割り振る.
• 19.
  収集された画像データ 19 乗駕⾏動している 乗駕⾏動していない ⽜が写っていない ６２２枚 ９,０５５枚 ９０４枚 ラベル 枚数
• 20.
  乗駕行動検知実験の流れ 20 STEP1 STEP2 STEP3 STEP4 STEP5 ・データ収集 ・画像の前処理 ・乗駕⾏動検知システム ・実験条件 ・ 実験結果 ・分析
• 21.
  21 乗駕行動検知システム 乗駕⾏動が起こっている! 運動場内に発情している⽜がいる！
• 22.
  乗駕行動検知実験の流れ 22 STEP1 STEP2 STEP3 STEP4 STEP5 ・データ収集 ・画像の前処理 ・乗駕⾏動検知システム ・実験条件 ・ 実験結果 ・分析
• 23.
  収集された画像データ 23 乗駕⾏動している 乗駕⾏動していない ⽜が写っていない ９,０５５枚 ９０４枚 ラベル 枚数 ６２２枚
• 24.
  実験に用いる画像データ 24 乗駕⾏動している 乗駕⾏動していない ⽜が写っていない ９,０５５枚 ９０４枚 ラベル 枚数 ６２２枚 正例 負例 乗駕⾏動以外の発情⾏動は含まれていない
• 25.
  実験データと評価 25 セットNo. 正例 負例 1101 2,665 2 102 1,851 3 127 1,136 4 96 1,386 5 107 1,215 6 89 1,706 ・2016年7⽉〜2017年8⽉に収録された画像 ・発情16回分 ・6‐fold クロスバリデーション データセット 評価 Positive Predictive Value  / Sensitivity  / F‐measure (陽性判定率)                  (感度)
• 26.
  乗駕行動検知実験の流れ 26 STEP1 STEP2 STEP3 STEP4 STEP5 ・データ収集 ・画像の前処理 ・乗駕⾏動検知システム ・実験条件 ・ 実験結果 ・分析
• 27.
  乗駕行動識別システムにおいて 陽性判定率 0.76 感度0.64 27 {'C': 10.0, 'gamma': 0.0001, 'kernel': 'rbf'} F値 = 0.70 真の状態 ST/MT 負例 陽性 判定率 予測 ST / MT 399 123 0.76 負例 223 9836 感度 0.64
• 28.
  乗駕行動識別システムにおいて 陽性判定率 0.76 感度0.64 28 F値 = 0.70 真の状態 ST/MT 負例 陽性 判定率 予測 ST / MT 399 123 0.76 負例 223 9836 感度 0.64 {'C': 10.0, 'gamma': 0.0001, 'kernel': 'rbf'}
• 29.
  29 1回の乗駕行動で複数枚取れた場合 ⽇付時間 ⾏動者 被⾏動者⾏動 2017/7/6/18:01 6 15 顎乗せ 2016/7/6/20:21 6 10 ST
• 30.
  30 1回の乗駕行動で複数枚取れた場合 ⽇付時間 ⾏動者 被⾏動者⾏動 2017/7/6/18:01 6 15 顎乗せ 2016/7/6/20:21 6 10 ST
• 31.
  31 1回の乗駕行動で複数枚取れた場合 乗駕⾏動と識別 ⽇付時間 ⾏動者 被⾏動者⾏動 2017/7/6/18:01 6 15 顎乗せ 2016/7/6/20:21 6 10 ST
• 32.
  0 20 40 60 80 100 実際に起こった乗駕⾏動の識別結果 乗駕⾏動 乗駕⾏動していない 89回 15回 32 切り出された乗駕行動の中で 87%の割合で乗駕行動識別可能 乗 駕 ⾏ 動 回 数
• 33.
  まとめ 33 ⽬的 発情している⽜の乗駕⾏動(ST・MT)を画像からの検知 結果 乗駕⾏動単位においては約90%で識別可能 実験⽅法 特徴抽出器と識別器から成る2段階の乗駕⾏動識別システム の構築