オープンワールド認識 (第34回全脳アーキテクチャ若手の会勉強会)

1. 全脳アーキテクチャ若手の会第34回勉強会実世界応用のための深層学習オープンワールド認識 18/04/11 全脳アーキテクチャ若手の会代表八木拓真 (Takuma Yagi) yagi[at]wbawakate.jp 1

2. 自己紹介八木拓真 (Takuma Yagi) 東京大学修士2年佐藤洋一研 (生産技術研究所) 専門：一人称視点映像解析 (First-Person Vision) 2

3. 一人称視点映像における人物位置予測 [Yagi+ 18] 3

4. 4 1000クラス分類のtop-5 error：2.3% (2017) 画像認識は「終わった」タスクなのか？ http://image-net.org/challenges/talks_2017/ILSVRC2017_overview.pdf 画像認識コンペティション (ILSVRC) におけるエラー率の推移

6. 6 https://www.captionbot.ai/

7. 実世界では未学習のクラスのサンプルが出現する「既知の未知」を分類するだけでなく、「未知の未知」を棄却したい閉世界 (現行の多クラス分類) からの脱却代表的取り組みを3つ紹介 Towards Open Set Recognition [Scheirer+ 12] Towards Open World Recognition [Bendale+ 15] Towards Open Set Deep Networks [Bendale+ 16] 本日のテーマ 7 不知爲不知オープンワールド認識

8. Towards Open Set Recognition [Scheirer+ 12] 犬分類器を作ろう！正例𝑃：犬の画像既知の負例𝐾：鳥, 猫, etc. 未知例𝑈：アライグマ 8 オープンセット認識：訓練データ∈ 𝑃 ∪ 𝐾で訓練を行うが、テストサンプルが𝑃 ∪ 𝐾 ∪ 𝑈より出現

9. 学習目標：Open Set Riskの最小化: argmin 𝑓∈ℋ 𝑅 𝑂 𝑓 + 𝜆 𝜏 𝑅 𝜖 𝑓 ෠𝑉 ∪ ෡𝐾 オープンセット認識問題認識関数𝑓 𝑥 (>0なら正と予測) Open Space Risk：空領域の相対比 𝑅 𝑂 𝑓 = ‫׬‬𝑂 𝑓 𝑥 𝑑𝑥 ‫׬‬𝑆 𝑂 𝑓 𝑥 𝑑𝑥 9 𝑆 𝑂: 𝑓 𝑥 > 0または訓練サンプルを含む超球 𝑂: 𝑓 𝑥 > 0かつサンプルから遠い空間既知クラスの経験リスク 𝑓 𝑥 > 0 「未知の未知」に対するリスク

10. 線形SVMへの適用 (1-vs-Set Machine) Slab (石板) based Model: 𝑅 𝑂 = 𝛿Ω − 𝛿 𝐴 𝛿+ + 𝛿+ 𝛿Ω − 𝛿 𝐴 + 𝑝 𝐴 𝜔 𝐴 + 𝑝Ω 𝜔Ω 2平面の距離の関係としてリスクを定義 10 + + + + + + - - - - - ? ? ? ? ? 𝛿Ω − 𝛿 𝐴 “Slab”の厚さ正例を覆うために必要な幅過剰汎化リスク過適合リスク 𝛿+ (1) -> (2) での境界の変化に対するペナルティ Ω A 訓練 (1) 線形SVMまたはone-class SVMを通常通り学習 (2) 𝑅 𝑂 + 𝜆 𝜏 𝑅 𝜖を小さくする方向に𝐴とΩを貪欲的に更新

11. 実験条件と結果データセット：Caltech-256 & ImageNet 正例70枚、既知負例 5クラス×14枚、未知負例87クラス×5枚評価指標：F1 score = 2 × Precision×Recall Precision+Recall 未知サンプル >> 既知サンプルの時全て棄却する場合の正解率が高くなるため実験結果提案手法が通常のSVMなどと比べて最良但し、F値は88クラス識別で0.2 (極めて低い) 11

12. オープンワールド認識 [Bendale+ 15] オープンセット認識：未知クラスのサンプルを検出し棄却オープンワールド認識：未知事象にラベルを付与し、追加学習低コストで追加学習できることを要請 12 [中山 16] より引用

13. Nearest Non-Outlier (NNO) Nearest Class Mean (NCM) Classifier [Mensink+ 13]を拡張 𝑐∗ = argmin 𝑐∈ 1,…,𝐶 𝑊𝒙 − 𝑊𝝁 𝑐 2 2 𝝁 𝑐 = 1 𝑁𝑐 ෍ 𝑖:𝑦 𝑖=𝑐 𝒙𝑖 各クラスの平均からの距離 𝑊𝒙 − 𝑊𝝁 𝑐 を計算し、 min 𝑐 𝑊𝒙 − 𝑊𝝁 𝑐 < 𝜏 ならばクラス𝑐∗ として識別、それ以外の場合棄却追加学習が𝝁 𝑐+1を計算するだけで完了閾値𝜏は訓練クラスの一部を未知としたF値に関する交差検証で決定 (cross-class validation) 13 訓練データの平均特徴量でクラスを表現

14. 実験結果データセット：ILSVRC2010 1000クラス, 120万枚特徴量：Dense SIFT BoVW (1K) 比較手法 NCM [Mensink+ 13] 1-vs-Set SVM (逐次学習不可) 線形SVM (〃) NCMでは未知クラスを追加した場合に性能が大きく低下するのに対して、NNOでは維持 14 200クラスが既知の状態で初期学習を行った場合の正解率の推移逐次的にクラスを追加未知クラス数を変えた場合

15. 深層学習への拡張 [Bendale+ 16] DNNの最終層のSoftMax層に代わる OpenMax層を提案最終層の正規化前ベクトル (Activation Vector; AV) のうちクラス平均から遠いものの距離分布をワイブル分布でフィッティング [Scherier+ 11] 特徴ベクトル𝑣が与えられた時に、スコア分布にフィットしないクラスの確率を割引く (Meta-Recognition) 15 C1 C2 C3 C4 SoftMax prob. R C1 C2 C3 C4 OpenMax prob. Ψ 𝑥 ; 𝜏𝑖, 𝜅𝑖, 𝜆𝑖 = exp − 𝑥 − 𝜏𝑖 𝜆𝑖 𝜅 𝑖 ワイブル分布

16. 実験条件と結果データセット：ILSVRC2012 (120万枚) テストデータ： Validation set 50,000枚 Fooling images 15,000枚 “unknown” images 15,000枚 ILSVRC 2010から未学習のクラス使用モデル：AlexNet Validation setのみのtop-1 正解率 57.1% F値がデフォルトのDNNから12.3%, 閾値付きSoftmaxから4.3%改善 16 一切棄却しない場合 (強制割り当て)

17. 各手法の比較手法ベース手法追加学習性能 1-vs-Set SVM [Schirer+ 12] 線形SVM × Top-1 acc. 0.12 (ILSVRC10) F1 0.407 (ILSVRC12) NNO [Bendale+ 15] NCM ○ Top-1 acc. 0.10 (ILSVRC10) F1 0.51 (ILSVRC14) OpenMax [Bendale+ 16] DNN ○ F1 0.596 (ILSVRC12) EVT [Rudd+ 18] 任意 ○ F1 0.68 (ILSVRC14) 17 オープンワールドにおける画像認識は「これから」

18. 実際に試してみた Method 未知クラス無し未知クラスあり Accuracy F1-score Accuracy F1-score Softmax (closed) 93.8% 0.938 46.9% 0.588 Softmax + rejection 90.0% 0.847 68.6% 0.733 OpenMax 80.7% 0.807 79.2% 0.795 18 閾値付きSoftmaxではオープンワールド時に大幅に性能が低下データセット：CIFAR-10 & CIFAR-100 訓練：CIFAR-10から10クラス (50,000枚) テスト：CIFAR-10/100のテストセットから各10,000枚モデル：11-layer CNN [Tokozume+ 18]

19. 現状の課題公平な評価が難しいクラス選択、既知：未知比率などに関して合意がない学習済みネットワークを使う場合、未知クラスで事前学習しない配慮が必要隣接領域であるZero-shot Learningでは問題提起も Zero-Shot Learning-The Good, the Bad and the Ugly [Xian+ 17] Adversarial Perturbationへの対応現状、オープンワールド認識もAdversarial Exampleに脆弱 [Rozsa+ 17] 多段階学習が必要 End-to-endで学習できないか？人気がない 19

20. Take-home message 現行主流のアルゴリズムは全クラスが既知であることを仮定しかし、実世界では「未知の未知」に対応する必要がある上記に対処するオープンワールド認識問題とその手法を紹介線形SVMベース：One-vs-Set SVM [Schirer+ 12] NCMベース：Nearest Non-Outlier (NNO) [Bendale+ 15] 深層学習ベース：OpenMax [Bendale+ 16] オープンワールドを前提とした問題設計を取り入れましょう OpenMaxの著者コード https://github.com/abhijitbendale/OSDN 上記の追試験 https://github.com/takumayagi/openmax-cifar10 20

21. Appendix 21

22. その他の研究 Weibull-Calibrated SVM (W-SVM) [Scherier+ 14] オープンセット認識問題において確率的モデルを使えるようにするため、訓練サンプルから一定以上離れた地点において確率が0になることを保証する Compact Abating Probability (CAP) Modelの枠組みを提案 CAP ModelとExtreme Value Theory (EVT) に基づくW-SVMを提案物体認識ドメインにおいて、1-vs-Set SVMに対してF値が20-26%改善 Open Set Domain Adaptation [Busto+ 17] オープンセット環境におけるドメイン適応の手法を提案ターゲットドメインでのラベルの仮想割り当てとソース→ターゲットに関する変換の学習を逐次的に繰り返す The Extreme Value Machine [Rudd+ 18] 非線形かつカーネルの選択に依らない、理論保証付きのモデルを提案 22

23. オープンワールド認識の周辺 23 Meta Learning 性能が向上するドメイン/タスクを選択する学習器の学習 Few-shot Learning 少数のサンプルで汎化 Zero-shot Learning クラス間の関係から汎化 Incremental Learning 新規クラスを逐次学習 Open Set Learning 「未知の未知」を適切に棄却 Open World Learning 未知サンプルを発見し逐次学習 Adversarial Training 敵対的摂動に対する防御融合教示方法が異なる未知クラスの扱いで相補的頑健性の立証に必要 Anomaly Detection (明示的なモデル化が難しい) 異常の検出問題特性を包含 Domain Adaptation データ分布のみが変化問題設定が相補的利用利用 Interactive Machine Learning 利用者を含むモデル改善プロセス融合 Machine Learning Human-Computer Interaction 合流？

24. 参考文献 [Bendale+ 15] Bendale, A., & Boult, T. (2015). Towards open world recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 1893-1902). [Bendale+ 16] Bendale, A., & Boult, T. E. (2016). Towards open set deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1563-1572). [Busto+ 17] Busto, P. P., & Gall, J. (2017, October). Open set domain adaptation. In The IEEE International Conference on Computer Vision (ICCV) (Vol. 1, p. 3). [Mensink+ 13] Mensink, T., Verbeek, J., Perronnin, F., & Csurka, G. (2013). Distance-based image classification: Generalizing to new classes at near-zero cost. IEEE transactions on pattern analysis and machine intelligence, 35(11), 2624-2637. [Larochelle+ 08] Larochelle, H., Erhan, D., & Bengio, Y. (2008, July). Zero-data learning of new tasks. In AAAI (Vol. 1, No. 2, p. 3). [Rozsa+ 17] Rozsa, Andras and Gunther, Manuel and Boult, Terrance E. “Adversarial Robustness: Softmax versus Openmax”, In BMVC, 2017. [Rudd+ 18] Rudd, E. M., Jain, L. P., Scheirer, W. J., & Boult, T. E. (2018). The extreme value machine. IEEE transactions on pattern analysis and machine intelligence, 40(3), 762-768. [Scheirer+ 11] Scheirer, W. J., Rocha, A., Micheals, R. J., & Boult, T. E. (2011). Meta-recognition: The theory and practice of recognition score analysis. IEEE transactions on pattern analysis and machine intelligence, 33(8), 1689-1695. [Scheirer+ 12] Scheirer, W. J., de Rezende Rocha, A., Sapkota, A., & Boult, T. E. (2013). Toward open set recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(7), 1757-1772. [Scheirer+ 14] Scheirer, W. J., Jain, L. P., & Boult, T. E. (2014). Probability models for open set recognition. IEEE transactions on pattern analysis and machine intelligence, 36(11), 2317-2324. [Tokozume+ 18] Yuji Tokozume, Yoshitaka Ushiku, Tatsuya Harada. Between-class Learning for Image Classification. The 31st IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2018. [Xian+ 17] Xian, Y., Schiele, B., & Akata, Z. (2017). Zero-shot learning-the good, the bad and the ugly. arXiv preprint arXiv:1703.04394. [Yagi+ 18] Yagi, T., Mangalam, K., Yonetani, R. & Sato, Y. (2018). Future Person Localization in First-Person Videos. In IEEE Conference on Computer Vision and Pattern Recognition. [中山 16] 中山英樹, オープンワールド認識理解のための機械学習と評価, 日本ロボット学会誌, 2016 https://www.jstage.jst.go.jp/article/jrsj/34/6/34_34_382/_article/-char/ja/ 24

オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)

Takuma Yagi