Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Future frame prediction_for_anomaly_detection_-_a_new+baseline

671 views

Published on

第46回コンピュータビジョン勉強会の論文読みの資料です。
Future Frame Prediction for Anomaly Detection - A New Baseline

Published in: Data & Analytics
  • Be the first to comment

Future frame prediction_for_anomaly_detection_-_a_new+baseline

  1. 1. Future Frame Prediction for Anomaly Detection - A New Baseline tereka114
  2. 2. Self Introduction • 山本 大輝(@tereka114) • Acroquest Technology株式会社 • 画像認識、自然言語処理 • Kaggle Master • https://www.kaggle.com/tereka • のんびりしているエンジニアの日記 • http://nonbiri-tereka.hatenablog.com/ • 寄稿記事 • Interface 3月号 ラズパイにON!Google人工知能 • Interface 12月号 人工知能ウルトラ大百科
  3. 3. CVPR2018 行ってきました。 • 初参加、楽しかった! • CVPR2018ブログ書いてました。 • http://acro-engineer.hatenablog.com/entry/2018/06/19/140042 • http://acro-engineer.hatenablog.com/entry/2018/06/20/145859 • http://acro-engineer.hatenablog.com/entry/2018/06/21/130625 • http://acro-engineer.hatenablog.com/entry/2018/06/22/125831 • http://acro-engineer.hatenablog.com/entry/2018/06/23/132716
  4. 4. Outline • 概要 • 関連研究 • 提案手法 • 実験 • 結論
  5. 5. 概要 • ビデオから異常となるイベントを検出する。 • U-Netを使って現在から未来のフレームを予測する。 • Generative Adversarial Network(GAN)の仕組みが使われている。 • Flow Netを使ったOptical Flowの算出誤差を誤差式に組み込んだ。 イベントの中の動作の一貫性を考慮した。 • 読んでみたかった理由 • 画像の異常検知論文を見たことがなかったので、勉強がてら読んでみ ました。
  6. 6. 概要
  7. 7. Related Works • Learning Temporal Regularity in Video Sequences • ビデオのフレーム(Hog+HOF, Image)を復元を行い、差分を異常検知 のスコアとする。 • Abnormal Event Detection in Videos using Spatiotemporal Autoencoder • 時間方向の特徴を獲得するConv LSTMを提案
  8. 8. Learning Temporal Regularity in Video Sequences
  9. 9. Abnormal Event Detection in Videos using Spatiotemporal Autoencoder
  10. 10. 提案手法の立ち位置 1. 従来の手法は輝度差分、勾配差分、Adversarial Lossで成り 立っている。 1. これらの誤差は十分にモーションの情報を獲得できていない。 2. 動画の解析で時系列特徴は重要である。 3. Optical Flowの誤差を追加し、モーションの一貫性に制約を かけた。
  11. 11. 提案手法の概要 1. U-Netを用いて未来のフレーム(t+1)を予測する。 2. Optical Flowの算出 1. 予測した未来のフレームと現在のフレーム 2. 未来のフレームと現在のフレーム 3. U-Netの学習には複数の誤差を組み合わせた誤差関数を最適 化する。(後述) 4. 未来のフレームと実際の未来のフレームをPSNRで比較をし、 異常度を計算する。
  12. 12. 提案手法の概要
  13. 13. U-Netを用いた未来フレーム予測 1. U-Netを用いて現在フレームを入力し、未来のフレーム(t+1) を予測する。
  14. 14. Optical Flowの算出 1. 2つのOptical FlowをFlow Netで計算する。 1. 現在フレーム(t)と予測した未来のフレーム(t+1)に対して Optical Flowを計算する。 2. 現在フレーム(t)と未来のフレーム(t+1)に対してOptical Flow を計算する。 2. 動作の一貫性を担保するための制約をかける。 1. 異常検知では、非常に重要な要素
  15. 15. Flow Net • Optical Flowを算出するニューラルネットワーク
  16. 16. 誤差計算 • Generator Loss • Intensity loss • Gradient loss • Optical flow loss • Adversarial Loss(Generator) • Discriminator Loss • Adversarial Loss(Discriminator)
  17. 17. 誤差計算① • Generator Loss • Discriminator Loss 予測 フレーム 実際の フレーム
  18. 18. 誤差計算② • Intensity Loss • Gradient Loss • Optical Flow Loss
  19. 19. 誤差計算③ • Adversarial Loss(D) • Adversarial Loss(G)
  20. 20. PSNR(Peak Signal to Noise Ratio) • 画像の品質に使われる指標。本異常検知では、MSEでの検知で はなく、PSNRを用いる。 • PSNRの値が高ければ、正常である。
  21. 21. 実験 • 動画に対する異常検知を複数データセットに対して適用した。 • データセット • CUHK Avenue dataset • The UCSD Dataset • The Shanghai Tech Dataset • 誤差関数の比較
  22. 22. データセット • CUHK Avenue dataset • Training 16, Testing 21 • Abnormal Event 47 • The UCSD Dataset • Two Parts: Ped 1, Ped 2 • The Shanghai Tech Dataset • Training 330、Testing 107 • Abnormal Event:130
  23. 23. 実験結果① 手法と結果一覧
  24. 24. 実験結果② 評価結果
  25. 25. 実験結果③ 出力結果
  26. 26. 実験結果④ 動画の異常検知結果
  27. 27. 結論 • 未来のフレーム予測を用いた異常検出を行った。 • U-Netを使い、よりリアルな未来のフレーム予測を可能とした。 • 特にOptical Flowによる制約が有効だった。 • 今回検証した3つのデータセットでは、従来手法よりも高精度 な結果が出た。

×