【卒業論文】CNNによる車内運転動画からの異常行動シーンの検出に関する研究

1. 北海道大学 工学部
情報エレクトロニクス学科 情報理工学コース
複雑系工学講座 調和系工学研究室
学部4年 木戸口稜
2018/2/15 1
CNNによる車内運転動画からの異
常行動シーンの検出に関する研究
A study on Detection of Abnormal Behavior
Scenes from In-Car Driving Movie by CNN

2. 研究背景
• 近年の貸切バスの交通事故多発を受けて, 国土交通省によるドラ
イブレコーダー設置の義務化の動き
• ドライブレコーダーの設置台数増加
• ドライブレコーダーの活用例
• 事故再発防止
• 事故処理の効率化
• リアルタイムの運転支援機能
• 運転状況の監視・確認
• 安全運転指導
2018/2/15 2
ドライブレコーダー国内販売台数
（GfKジャパン調べ）
ドライブレコーダー導入効果に関する調査
（全日本トラック協会調べ）

3. 先行研究
【CNNやLSTMで人間の行動分類した例】
• “Long-term Recurrent Convolutional Networks for Visual
Recognition and Description”[4]
• 行動分類に有効な手段であることを示した
[1] Ashesh Jain, Hema S Koppula, Shane Soh et al. : ”Brain4Cars: Car That Knows Before
You Do via Sensory-Fusion Deep Learning Architecture”
[2]大見 拓寛: “運転者の居眠り状態評価の画像センサ”
[3] Jeff Donahue, Lisa Anne Hendricks, Marcus Rohrbach et al., CVPR2015
【ドライブレコーダーを扱った研究】
• フェイスカメラからの運転手の表情
と,GPU,車外カメラなどを融合し, 運転
手の運転を予知し警告[1]
• 瞼の開閉から運転手の居眠り検知[2]
• 新しくカメラを用意する必要がある
• すでにとられたドライブレコーダーの
確認には適応できない

4. 車内運転動画
• データ提供元：三菱ふそう陸送
【ドライブレコーダー確認作業】
• 陸送ドライバー：工場で組み立てられた車両の運搬
• 商品を大切に扱っているかの社内チェックやその証拠
• 事故につながるような異常行動がないか
• 車両を汚すような行動がないか
2018/2/15 4
車内運転動画からの
チェック内容
車外運転動画からの
チェック内容
• ながら運転
（携帯,スマホ,ナビ注視）
• 居眠り,覚低走行
• サイドブレーキ制動確認,
２度引きチェック
• 車内飲食,喫煙
• 車間距離の取り方
“TAKE2, TAKE5, KEEP3”
• 速度オーバー
• レコーダーの設置確認
• リスクの高いルートの禁止
• 法令順守,無駄な車線変更
• 禁止区間の違反
• 納車時の見回り点検
• ふらつき運転
ドライブレコーダーのチェック項目

5. 車内運転動画
【提供されたドライブレコーダーの映像】
• 実際に撮られた1分から1時間の動画1200
本434時間(5fps)
• 動画はドライバーと運転した日だけ判明
している
2018/2/15 5車内運転動画
【ドライブレコーダー確認作業の現状と課題】
• 50台分のドライブレコーダーの映像を毎日3名で早送りで確認
• 目視での単調作業による見逃しの可能性
• コスト（人件費）がかかり, 離職する担当者も多い
異常行動の見逃しをなくすため, 再現率を高く保つ必要がある
時間が長いため, 動画の削減率も大きくしたい

6. 通常運転と異常行動の定義
• 道路交通法
• 安全運転義務違反による事故が全体の75.5%を占める
• 安全不確認やわき見運転の事故がその内62％を占める
• 通常運転
• 左右確認の時など必要な場合を除き,視線が前を向いている
• ハンドル,ハンドブレーキその他の装置を確実に操作している
• 異常行動
• 通常運転を行っていないとき
2018/2/15 6
第七十条 安全運転の義務
車両等の運転者は、当該車両等のハンドル、ブレーキその他の
装置を確実に操作し、かつ、道路、交通及び当該車両等の状況
に応じ、他人に危害を及ぼさないような速度と方法で運転しな
ければならない。

7. 車内運転動画確認
• ドライブレコーダー確認作業：3名（1人18時間合計54時間）
• 運転手の行動の, その行動を行った開始フレームと終了フ
レームとその内容の記録
• 信号待ち時の異常行動も検出する
• 作成されたデータ：
• 合計48台分約21時間分の動画
• ラベルの付けられた個所は全体の約2.6%となった
2018/2/15 7
行動 詳細
視線 視線が下を向いている
片手離し ハンドルから手を離してから, ハンドルに手を戻すまでの時
間.また,以下のものに触れた場合は,そのラベルもつける.
• 書類、スマホ、ナビ、ペットボトル、食べ物、たばこ、
荷物、サイドミラー、バックミラー、シートベルト、そ
の他
両手離し 片手離しと同じ扱い
ラベルなし 通常運転を行っている
運転手の行動ラベル表

8. 異常行動（ながらスマホ）
2018/2/15 8

9. 異常行動（車内飲食）
2018/2/15 9

10. 問題設定
2018/2/15
10
【問題設定】
ドライブレコーダーの車内運転動画から運転手の異常行動を検出する
• CNNやLSTMによる異常行動検出
1. CNNを用いた検出
• 動画のフレームを１枚ずつ運転手の行動で画像分類
2. CNN+LSTMを用いた検出
• CNNのみではフレーム間の学習は行われない
• CNNによる特徴抽出と各フレーム間の学習
3. Convolutional AutoEncorder + SVMを用いた検出
• 異常行動は通常運転に対してデータが非常に少ない
• オートエンコーダーと外れ値検出

11. 検出の流れ
1. 運転手領域の切り出し
2. 異常行動検出
3. 検出結果の平滑化
2018/2/15 11

12. 運転手領域の切り出し
• 車内運転動画
• 運転手の行動に関係する部分は全体の一部
• 運転手領域の推定とトリミング
• 方法
• SSD[3]を用いた運転手の位置の切り出し
• 300フレームごとに運転手の位置を計算し,平均をとる
• トリミングを行った画像を(60, 60, 3)にリサイズ
2018/2/15 12
(60, 60, 3)
[3]Wei Liu, Dragomir Anguelov, Dumitru Erhan et al. : “SSD: Single Shot MultiBox Detector”

13. 異常行動の検出
• モデル : ResNet20
• 入力：トリミングしリサイズされた運転手の画像
• 出力 : 通常運転と異常行動の2値
2018/2/15 13

14. 検出結果の平滑化
• 検出結果を平滑化する
• 異常フレームの検出結果のみでは人間に理解しにくい
• 誤検知を含む可能性
• 検出結果を平滑化し, 意味のあるまとまりにする
• パラメータ
• Window size: 参照する範囲
• Abnormal Thr: 異常行動の数の閾値
2018/2/15 14
検出結果
平滑化
出力 出力
Window size
（一定範囲内にある出力の数）＞ Abnormal Thr

15. CNN+LSTMを用いた検出
2018/2/15
15

16. Convolutional AutoEncorder+SVMを用いた検出
• 特徴量抽出 : Convolutional AutoEncorder
• 評価に用いていない動画でファインチューニング
• 外れ値検出 : OneClassSVM
• 入力: オートエンコーダーによる特徴量+運転手の位置
• 出力: 正常データと外れ値
• パラメータ: Nu, percentile
2018/2/15 16

17. 実験
• 実験目的
• 3つの検出方法のうち, どのモデルが精度が高いか
• 再現率と削減率の多目的最適化
• 最適なハイパーパラメータの実験的決定
• 各検出方法で, 表に示すパラメータを用いて全動画で出力の作成
• 正解データと比較し, 再現率と削減率を計算
2018/2/15 17
[CNN,CNN+LSTM]パラメータの範囲
Window size : 10 - 500 (10)
Abnormal Thr : 0 – 5 (1), 10 – 50 (10)
softmax : 0.1 - 0.9 (0.1)
[AE+SVM]パラメータの範囲
Window size : 50 - 500 (10)
Abnormal Thr : 0 – 5 (1), 10 – 50 (10)
Nu : 0.01 - 0.05 (0.01), 0.1 - 0.5 (0.1)
percentile : 0.05 - 0.2 (0.05)

18. 実験結果
• ハイパーパラメータ全ての場合での再現率と削減率をプロット
• 再現率と削減率の多目的最適化となっている
2018/2/15 18
: AutoEncorder+SVM
: CNN
: CNN+LSTM
再現率が77%以上のところでは
CNNによる検出が最もよい性能を
示した
再現率が77％より低いところで
はAutoEncorder+SVMによる検
出が最も良い結果を示した
CNN+LSTMによる検出は再現率
が15%以上に保てなかった

19. 出力結果1
2018/2/15 19
出力結果
すべての手法で異常行動を検出できた例
• CNN, AE+SVMは再現率50%, CNN+LSTM
は再現率が最も高かったパラメータ
パラメータ
[CNN]
Window size: 40
Abnormal Thr:30
Softmax: 0.3
[CNN+LSTM]
Window size: 500
Abnormal Thr: 0
Softmax: 0.1
[AE+SVM]
Window size: 50
Abnormal Thr: 20
Nu: 0.3
Percentile: 0.15
再生場所

20. 出力結果2
2018/2/15 20
パラメータ
[CNN]
Window size: 40
Abnormal Thr:30
Softmax: 0.3
[CNN+LSTM]
Window size: 500
Abnormal Thr: 0
Softmax: 0.1
[AE+SVM]
Window size: 50
Abnormal Thr: 20
Nu: 0.3
Percentile: 0.15
異常行動ラベルのなかった部分に出力があったもの
• 運転手がハンドルにもたれかかった部分に反応
再生場所

21. 出力結果3
2018/2/15 21
パラメータ
[CNN]
Window size: 40
Abnormal Thr:30
Softmax: 0.3
[CNN+LSTM]
Window size: 500
Abnormal Thr: 0
Softmax: 0.1
[AE+SVM]
Window size: 50
Abnormal Thr: 20
Nu: 0.3
Percentile: 0.15
異常行動ラベルのなかった部分に出力があったもの
• 運転手の顔がサンバイザーに隠れている
再生場所

22. 出力結果4
2018/2/15 22
パラメータ
[CNN]
Window size: 40
Abnormal Thr:30
Softmax: 0.3
[CNN+LSTM]
Window size: 500
Abnormal Thr: 0
Softmax: 0.1
[AE+SVM]
Window size: 50
Abnormal Thr: 20
Nu: 0.3
Percentile: 0.15
異常行動ラベルのあった部分に出力がなかった
• ハンドルを持っている姿と区別がつかなかった
再生場所

23. 考察
• 誤検知の原因
• 運転手の一部がサンバイザーなどにさえぎられた
• 運転手の体勢が, 通常運転時と比べて大きく変わった
• トンネルに入ったときに輝度の変化があった
• 再現率が上がりきらなかった原因
• 異常行動かどうかの判断の難しいフレームが含まれる
2018/2/15 23

24. まとめ
• 車内運転動画からの異常行動検出を行った
• CNNやCNN+LSTM, Convolutional AutoEncorder+SVMを用い
て異常行動を学習させた
• 運転手の異常行動を見逃さないという点では再現率が80-90%は
必要だが,CNNでは35%,AutoEncorderでは26%削減できた
• 誤検知の詳細を調べた
2018/2/15 24