Wait! Exclusive 60 day trial to the world's largest digital library.
The SlideShare family just got bigger. You now have unlimited* access to books, audiobooks, magazines, and more from Scribd.
Cancel anytime.オープンワールド認識 (第34回全脳アーキテクチャ若手の会 勉強会)
- 1. 全脳アーキテクチャ若手の会 第34回勉強会 実世界応用のための深層学習 オープンワールド認識 18/04/11 全脳アーキテクチャ若手の会 代表 八木 拓真 (Takuma Yagi) yagi[at]wbawakate.jp 1
- 2. 自己紹介 八木 拓真 (Takuma Yagi) 東京大学 修士2年 佐藤洋一研 (生産技術研究所) 専門：一人称視点映像解析 (First-Person Vision) 2
- 3. 一人称視点映像における人物位置予測 [Yagi+ 18] 3
- 4. 4 1000クラス分類のtop-5 error：2.3% (2017) 画像認識は「終わった」タスクなのか？ http://image-net.org/challenges/talks_2017/ILSVRC2017_overview.pdf 画像認識コンペティション (ILSVRC) におけるエラー率の推移
- 5. 5
- 6. 6 https://www.captionbot.ai/
- 7. 実世界では未学習のクラスのサンプルが出現する 「既知の未知」を分類するだけでなく、「未知の未知」を棄却したい 閉世界 (現行の多クラス分類) からの脱却 代表的取り組みを3つ紹介 Towards Open Set Recognition [Scheirer+ 12] Towards Open World Recognition [Bendale+ 15] Towards Open Set Deep Networks [Bendale+ 16] 本日のテーマ 7 不知爲不知 オープンワールド認識
- 8. Towards Open Set Recognition [Scheirer+ 12] 犬分類器を作ろう！ 正例𝑃：犬の画像 既知の負例𝐾：鳥, 猫, etc. 未知例𝑈：アライグマ 8 オープンセット認識： 訓練データ∈ 𝑃 ∪ 𝐾で訓練を行うが、 テストサンプルが𝑃 ∪ 𝐾 ∪ 𝑈より出現
- 9. 学習目標：Open Set Riskの最小化: argmin 𝑓∈ℋ 𝑅 𝑂 𝑓 + 𝜆 𝜏 𝑅 𝜖 𝑓 𝑉 ∪ 𝐾 オープンセット認識問題 認識関数𝑓 𝑥 (>0なら正と予測) Open Space Risk：空領域の相対比 𝑅 𝑂 𝑓 = 𝑂 𝑓 𝑥 𝑑𝑥 𝑆 𝑂 𝑓 𝑥 𝑑𝑥 9 𝑆 𝑂: 𝑓 𝑥 > 0または訓練サンプルを含む超球 𝑂: 𝑓 𝑥 > 0かつ サンプルから遠い空間 既知クラスの 経験リスク 𝑓 𝑥 > 0 「未知の未知」 に対するリスク
- 10. 線形SVMへの適用 (1-vs-Set Machine) Slab (石板) based Model: 𝑅 𝑂 = 𝛿Ω − 𝛿 𝐴 𝛿+ + 𝛿+ 𝛿Ω − 𝛿 𝐴 + 𝑝 𝐴 𝜔 𝐴 + 𝑝Ω 𝜔Ω 2平面の距離の関係としてリスクを定義 10 + + + + + + - - - - - ? ? ? ? ? 𝛿Ω − 𝛿 𝐴 “Slab”の厚さ 正例を覆うため に必要な幅 過剰汎化 リスク 過適合 リスク 𝛿+ (1) -> (2) での境界の変化 に対するペナルティ Ω A 訓練 (1) 線形SVMまたはone-class SVMを通常通り学習 (2) 𝑅 𝑂 + 𝜆 𝜏 𝑅 𝜖を小さくする方向に𝐴とΩを貪欲的に更新
- 11. 実験条件と結果 データセット：Caltech-256 & ImageNet 正例70枚、既知負例 5クラス×14枚、未知負例87クラス×5枚 評価指標：F1 score = 2 × Precision×Recall Precision+Recall 未知サンプル >> 既知サンプルの時全て棄却する場合の正解率が高くなるため 実験結果 提案手法が通常のSVMなどと比べて最良 但し、F値は88クラス識別で0.2 (極めて低い) 11
- 12. オープンワールド認識 [Bendale+ 15] オープンセット認識：未知クラスのサンプルを検出し棄却 オープンワールド認識：未知事象にラベルを付与し、追加学習 低コストで追加学習できることを要請 12 [中山 16] より引用
- 13. Nearest Non-Outlier (NNO) Nearest Class Mean (NCM) Classifier [Mensink+ 13]を拡張 𝑐∗ = argmin 𝑐∈ 1,…,𝐶 𝑊𝒙 − 𝑊𝝁 𝑐 2 2 𝝁 𝑐 = 1 𝑁𝑐 𝑖:𝑦 𝑖=𝑐 𝒙𝑖 各クラスの平均からの距離 𝑊𝒙 − 𝑊𝝁 𝑐 を計算し、 min 𝑐 𝑊𝒙 − 𝑊𝝁 𝑐 < 𝜏 ならばクラス𝑐∗ として識別、それ以外の場合棄却 追加学習が𝝁 𝑐+1を計算するだけで完了 閾値𝜏は訓練クラスの一部を未知としたF値に関する交差検 証で決定 (cross-class validation) 13 訓練データの平均特徴量 でクラスを表現
- 14. 実験結果 データセット：ILSVRC2010 1000クラス, 120万枚 特徴量：Dense SIFT BoVW (1K) 比較手法 NCM [Mensink+ 13] 1-vs-Set SVM (逐次学習不可) 線形SVM (〃) NCMでは未知クラスを追加した 場合に性能が大きく低下するの に対して、NNOでは維持 14 200クラスが既知の状態で初期学習を 行った場合の正解率の推移 逐次的にクラスを追加 未知クラス数を変えた場合
- 15. 深層学習への拡張 [Bendale+ 16] DNNの最終層のSoftMax層に代わる OpenMax層を提案 最終層の正規化前ベクトル (Activation Vector; AV) のうちクラス平均から遠い ものの距離分布をワイブル分布で フィッティング [Scherier+ 11] 特徴ベクトル𝑣が与えられた時に、 スコア分布にフィットしないクラスの 確率を割引く (Meta-Recognition) 15 C1 C2 C3 C4 SoftMax prob. R C1 C2 C3 C4 OpenMax prob. Ψ 𝑥 ; 𝜏𝑖, 𝜅𝑖, 𝜆𝑖 = exp − 𝑥 − 𝜏𝑖 𝜆𝑖 𝜅 𝑖 ワイブル分布
- 16. 実験条件と結果 データセット：ILSVRC2012 (120万枚) テストデータ： Validation set 50,000枚 Fooling images 15,000枚 “unknown” images 15,000枚 ILSVRC 2010から未学習のクラス 使用モデル：AlexNet Validation setのみのtop-1 正解率 57.1% F値がデフォルトのDNNから12.3%, 閾値付きSoftmaxから4.3%改善 16 一切棄却しない場合 (強制割り当て)
- 17. 各手法の比較 手法 ベース手法 追加学習 性能 1-vs-Set SVM [Schirer+ 12] 線形SVM × Top-1 acc. 0.12 (ILSVRC10) F1 0.407 (ILSVRC12) NNO [Bendale+ 15] NCM ○ Top-1 acc. 0.10 (ILSVRC10) F1 0.51 (ILSVRC14) OpenMax [Bendale+ 16] DNN ○ F1 0.596 (ILSVRC12) EVT [Rudd+ 18] 任意 ○ F1 0.68 (ILSVRC14) 17 オープンワールドにおける画像認識は「これから」
- 18. 実際に試してみた Method 未知クラス無し 未知クラスあり Accuracy F1-score Accuracy F1-score Softmax (closed) 93.8% 0.938 46.9% 0.588 Softmax + rejection 90.0% 0.847 68.6% 0.733 OpenMax 80.7% 0.807 79.2% 0.795 18 閾値付きSoftmaxではオープンワールド時に大幅に性能が低下 データセット：CIFAR-10 & CIFAR-100 訓練：CIFAR-10から10クラス (50,000枚) テスト：CIFAR-10/100のテストセットから各10,000枚 モデル：11-layer CNN [Tokozume+ 18]
- 19. 現状の課題 公平な評価が難しい クラス選択、既知：未知比率などに関して合意がない 学習済みネットワークを使う場合、未知クラスで事前学習しない配慮が必要 隣接領域であるZero-shot Learningでは問題提起も Zero-Shot Learning-The Good, the Bad and the Ugly [Xian+ 17] Adversarial Perturbationへの対応 現状、オープンワールド認識もAdversarial Exampleに脆弱 [Rozsa+ 17] 多段階学習が必要 End-to-endで学習できないか？ 人気がない 19
- 20. Take-home message 現行主流のアルゴリズムは全クラスが既知であることを仮定 しかし、実世界では「未知の未知」に対応する必要がある 上記に対処するオープンワールド認識問題とその手法を紹介 線形SVMベース：One-vs-Set SVM [Schirer+ 12] NCMベース：Nearest Non-Outlier (NNO) [Bendale+ 15] 深層学習ベース：OpenMax [Bendale+ 16] オープンワールドを前提とした問題設計を取り入れましょう OpenMaxの著者コード https://github.com/abhijitbendale/OSDN 上記の追試験 https://github.com/takumayagi/openmax-cifar10 20
- 21. Appendix 21
- 22. その他の研究 Weibull-Calibrated SVM (W-SVM) [Scherier+ 14] オープンセット認識問題において確率的モデルを使えるようにするため、訓 練サンプルから一定以上離れた地点において確率が0になることを保証する Compact Abating Probability (CAP) Modelの枠組みを提案 CAP ModelとExtreme Value Theory (EVT) に基づくW-SVMを提案 物体認識ドメインにおいて、1-vs-Set SVMに対してF値が20-26%改善 Open Set Domain Adaptation [Busto+ 17] オープンセット環境におけるドメイン適応の手法を提案 ターゲットドメインでのラベルの仮想割り当てとソース→ターゲットに関す る変換の学習を逐次的に繰り返す The Extreme Value Machine [Rudd+ 18] 非線形かつカーネルの選択に依らない、理論保証付きのモデルを提案 22
- 23. オープンワールド認識の周辺 23 Meta Learning 性能が向上するドメイン/タスクを 選択する学習器の学習 Few-shot Learning 少数のサンプルで汎化 Zero-shot Learning クラス間の関係から汎化 Incremental Learning 新規クラスを逐次学習 Open Set Learning 「未知の未知」を適切に棄却 Open World Learning 未知サンプルを発見し逐次学習 Adversarial Training 敵対的摂動に対する防御 融合 教示方法が 異なる 未知クラスの 扱いで相補的 頑健性の立証 に必要 Anomaly Detection (明示的なモデル化が難しい) 異常の検出 問題特性を 包含 Domain Adaptation データ分布のみが変化 問題設定が 相補的 利用 利用 Interactive Machine Learning 利用者を含むモデル改善プロセス 融合 Machine Learning Human-Computer Interaction 合流？
- 24. 参考文献 [Bendale+ 15] Bendale, A., & Boult, T. (2015). Towards open world recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 1893-1902). [Bendale+ 16] Bendale, A., & Boult, T. E. (2016). Towards open set deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1563-1572). [Busto+ 17] Busto, P. P., & Gall, J. (2017, October). Open set domain adaptation. In The IEEE International Conference on Computer Vision (ICCV) (Vol. 1, p. 3). [Mensink+ 13] Mensink, T., Verbeek, J., Perronnin, F., & Csurka, G. (2013). Distance-based image classification: Generalizing to new classes at near-zero cost. IEEE transactions on pattern analysis and machine intelligence, 35(11), 2624-2637. [Larochelle+ 08] Larochelle, H., Erhan, D., & Bengio, Y. (2008, July). Zero-data learning of new tasks. In AAAI (Vol. 1, No. 2, p. 3). [Rozsa+ 17] Rozsa, Andras and Gunther, Manuel and Boult, Terrance E. “Adversarial Robustness: Softmax versus Openmax”, In BMVC, 2017. [Rudd+ 18] Rudd, E. M., Jain, L. P., Scheirer, W. J., & Boult, T. E. (2018). The extreme value machine. IEEE transactions on pattern analysis and machine intelligence, 40(3), 762-768. [Scheirer+ 11] Scheirer, W. J., Rocha, A., Micheals, R. J., & Boult, T. E. (2011). Meta-recognition: The theory and practice of recognition score analysis. IEEE transactions on pattern analysis and machine intelligence, 33(8), 1689-1695. [Scheirer+ 12] Scheirer, W. J., de Rezende Rocha, A., Sapkota, A., & Boult, T. E. (2013). Toward open set recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(7), 1757-1772. [Scheirer+ 14] Scheirer, W. J., Jain, L. P., & Boult, T. E. (2014). Probability models for open set recognition. IEEE transactions on pattern analysis and machine intelligence, 36(11), 2317-2324. [Tokozume+ 18] Yuji Tokozume, Yoshitaka Ushiku, Tatsuya Harada. Between-class Learning for Image Classification. The 31st IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2018. [Xian+ 17] Xian, Y., Schiele, B., & Akata, Z. (2017). Zero-shot learning-the good, the bad and the ugly. arXiv preprint arXiv:1703.04394. [Yagi+ 18] Yagi, T., Mangalam, K., Yonetani, R. & Sato, Y. (2018). Future Person Localization in First-Person Videos. In IEEE Conference on Computer Vision and Pattern Recognition. [中山 16] 中山英樹, オープンワールド認識理解のための機械学習と評価, 日本ロボット学会誌, 2016 https://www.jstage.jst.go.jp/article/jrsj/34/6/34_34_382/_article/-char/ja/ 24