Latent Space Autoregression for Novelty Detectionの日本語解説

1. Latent Space Autoregression for Novelty Detection
Davide Abati, Angelo Porrello, Simone Calderara, Rita Cucchiara
中塚 俊介

2. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
TL;DR
◼ Autoencoder ＋ 自己回帰モデル
― 自己回帰モデルにより対数尤度ベースの異常検出
― 再構成誤差 ＋ 対数尤度
◼ Masked Fully Connection
◼ Masked Stacked Convolution
― 自己回帰モデルを実現するためのLayerを提案
― MFC：Image用
― MSC：Movie用
2

3. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
Novelty Detection
◼ 再構成誤差を用いる手法が一般的
― PCAやAutoencoderの input/output
― 正常だけを教えれば，異常は再構成できない？
◼ 確率ベースの考え方もあり
― Autoencoder (latent) ＋ GMM とか
― VAE，GAN，Flowとか
― 対数尤度を使って，異常検知へ
3
•↑ を合わせればより強いモデルが作れる！？
•確率を表現するために“自己回帰”を使おう

4. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
Autoregression（自己回帰）
◼ 生成モデルの1種
― 以前に観測されたデータ群を条件とした
条件付確率の同時確率で確率を表現する
4
データ数
条件付確率
e.g.) d = 3 のとき
•Autoencoderの潜在変数に適用すれば
確率がわかる

5. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
Autoencoder + Autoregression
5
潜在変数 z からEstimation networkで
条件付確率に変換する

6. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
Estimation netのイメージ（ざっくり）
6
z1
z2
z3
z4
zd
p(z1)
p(z2 | z1)
p(z3 | z1, z2)
p(z4 | z1, z2, z3)
p(zd | z1, z2,…, zd-1)
Estimation Network
潜在変数 条件付確率

7. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
Estimation netのイメージ
7
z11
z21
z31
z41
zd1
z’11 z’1c
z’21 z’2c
z’31 z’3c
z’41 z’4c
z’d1 z’dc
z’’11 z’’1B
z’’21 z’’2B
z’’31 z’’3B
z’’41 z’’4B
z’’d1 z’’dB
MFC MFC
1行ごとが確率密度分布
Bin数をBとしたヒストグラムのイメージ
0 1
e.g.)
B = 10, z11 = 0.17 なら
z’’12 が条件付確率になる

8. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
Masked Fully Connection
◼ 通常のFC層では条件付確率を表現できない
― 全部が結合すると条件にないものも参照できてしまう
8
1行目は1行目の情報から
2行目は1,2行目の情報から
3行目は1,2,3行目の情報から
…
知りたい条件付確率と同じ，
確率変数・条件になった

9. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
Masked Stacked Convolution
◼ d 方向についてはMFCと同様に自分より前の要素を使って計算
◼ t 方向についても直近 t フレームを用いて計算
9

10. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
Loss関数は？
10
再構成誤差 対数尤度
Estimation Netの出力のlogsum

11. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
異常度の算出
◼ 再構成誤差と対数尤度では尺度が揃わない
― reference setを用いて，それぞれを正規化してからadd
11

12. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
実験結果（Image）
◼ MNISTとCIFAR10を使用
― それぞれのClassをnormalとしてtraining
12

13. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
実験結果（Movie）
◼ UCSD Ped2 と ShanghaiTech を使用
― 異常なイベントの検出
13

14. Copyright © 2019 Shunsuke NAKATSUKA https://salty-vanilla.github.io/portfolio/
まとめ
◼ Autoencoder + Autoregression Model の提案
― AutoregressionのためのMFC，MSCを提案
― Image, Movie のどちらにも適用可能
― Scoreは再構成誤差と対数尤度をそれぞれ正規化したもの
◼ Image, Movieにおいて従来手法を大きく上回る
― Movieに関しては前処理などもあるので，supplementary materialsを参照とのこと
― 実装あり [link]
14