1.
全脳アーキテクチャ若手の会 第34回勉強会
実世界応用のための深層学習
オープンワールド認識
18/04/11
全脳アーキテクチャ若手の会 代表
八木 拓真 (Takuma Yagi)
yagi[at]wbawakate.jp
1

2.
自己紹介
八木 拓真 (Takuma Yagi)
東京大学 修士2年
佐藤洋一研 (生産技術研究所)
専門：一人称視点映像解析 (First-Person Vision)
2

3.
一人称視点映像における人物位置予測 [Yagi+ 18] 3

4.
4
1000クラス分類のtop-5 error：2.3% (2017)
画像認識は「終わった」タスクなのか？
http://image-net.org/challenges/talks_2017/ILSVRC2017_overview.pdf
画像認識コンペティション (ILSVRC) におけるエラー率の推移

5.
5

6.
6
https://www.captionbot.ai/

7.
実世界では未学習のクラスのサンプルが出現する
「既知の未知」を分類するだけでなく、「未知の未知」を棄却したい
閉世界 (現行の多クラス分類) からの脱却
代表的取り組みを3つ紹介
Towards Open Set Recognition [Scheirer+ 12]
Towards Open World Recognition [Bendale+ 15]
Towards Open Set Deep Networks [Bendale+ 16]
本日のテーマ 7
不知爲不知
オープンワールド認識

8.
Towards Open Set Recognition [Scheirer+ 12]
犬分類器を作ろう！
正例𝑃：犬の画像
既知の負例𝐾：鳥, 猫, etc.
未知例𝑈：アライグマ
8
オープンセット認識：
訓練データ∈ 𝑃 ∪ 𝐾で訓練を行うが、
テストサンプルが𝑃 ∪ 𝐾 ∪ 𝑈より出現

9.
学習目標：Open Set Riskの最小化:
argmin 𝑓∈ℋ 𝑅 𝑂 𝑓 + 𝜆 𝜏 𝑅 𝜖 𝑓 ෠𝑉 ∪ ෡𝐾
オープンセット認識問題
認識関数𝑓 𝑥 (>0なら正と予測)
Open Space Risk：空領域の相対比
𝑅 𝑂 𝑓 =
‫׬‬𝑂
𝑓 𝑥 𝑑𝑥
‫׬‬𝑆 𝑂
𝑓 𝑥 𝑑𝑥
9
𝑆 𝑂: 𝑓 𝑥 > 0または訓練サンプルを含む超球
𝑂: 𝑓 𝑥 > 0かつ
サンプルから遠い空間
既知クラスの
経験リスク
𝑓 𝑥 > 0
「未知の未知」
に対するリスク

10.
線形SVMへの適用 (1-vs-Set Machine)
Slab (石板) based Model:
𝑅 𝑂 =
𝛿Ω − 𝛿 𝐴
𝛿+
+
𝛿+
𝛿Ω − 𝛿 𝐴
+ 𝑝 𝐴 𝜔 𝐴 + 𝑝Ω 𝜔Ω
2平面の距離の関係としてリスクを定義
10
+
+
+
+
+ +
-
- -
-
-
?
?
?
?
?
𝛿Ω − 𝛿 𝐴
“Slab”の厚さ
正例を覆うため
に必要な幅
過剰汎化
リスク
過適合
リスク
𝛿+
(1) -> (2) での境界の変化
に対するペナルティ
Ω
A
訓練
(1) 線形SVMまたはone-class SVMを通常通り学習
(2) 𝑅 𝑂 + 𝜆 𝜏 𝑅 𝜖を小さくする方向に𝐴とΩを貪欲的に更新

11.
実験条件と結果
データセット：Caltech-256 & ImageNet
正例70枚、既知負例 5クラス×14枚、未知負例87クラス×5枚
評価指標：F1 score = 2 ×
Precision×Recall
Precision+Recall
未知サンプル >> 既知サンプルの時全て棄却する場合の正解率が高くなるため
実験結果
提案手法が通常のSVMなどと比べて最良
但し、F値は88クラス識別で0.2 (極めて低い)
11

12.
オープンワールド認識 [Bendale+ 15]
オープンセット認識：未知クラスのサンプルを検出し棄却
オープンワールド認識：未知事象にラベルを付与し、追加学習
低コストで追加学習できることを要請
12
[中山 16] より引用

13.
Nearest Non-Outlier (NNO)
Nearest Class Mean (NCM) Classifier [Mensink+ 13]を拡張
𝑐∗
= argmin 𝑐∈ 1,…,𝐶 𝑊𝒙 − 𝑊𝝁 𝑐 2
2
𝝁 𝑐 =
1
𝑁𝑐
෍
𝑖:𝑦 𝑖=𝑐
𝒙𝑖
各クラスの平均からの距離 𝑊𝒙 − 𝑊𝝁 𝑐 を計算し、
min
𝑐
𝑊𝒙 − 𝑊𝝁 𝑐 < 𝜏
ならばクラス𝑐∗
として識別、それ以外の場合棄却
追加学習が𝝁 𝑐+1を計算するだけで完了
閾値𝜏は訓練クラスの一部を未知としたF値に関する交差検
証で決定 (cross-class validation)
13
訓練データの平均特徴量
でクラスを表現

14.
実験結果
データセット：ILSVRC2010
1000クラス, 120万枚
特徴量：Dense SIFT BoVW (1K)
比較手法
NCM [Mensink+ 13]
1-vs-Set SVM (逐次学習不可)
線形SVM (〃)
NCMでは未知クラスを追加した
場合に性能が大きく低下するの
に対して、NNOでは維持
14
200クラスが既知の状態で初期学習を
行った場合の正解率の推移
逐次的にクラスを追加 未知クラス数を変えた場合

15.
深層学習への拡張 [Bendale+ 16]
DNNの最終層のSoftMax層に代わる
OpenMax層を提案
最終層の正規化前ベクトル (Activation
Vector; AV) のうちクラス平均から遠い
ものの距離分布をワイブル分布で
フィッティング [Scherier+ 11]
特徴ベクトル𝑣が与えられた時に、
スコア分布にフィットしないクラスの
確率を割引く (Meta-Recognition)
15
C1 C2 C3 C4
SoftMax prob.
R C1 C2 C3 C4
OpenMax prob.
Ψ 𝑥 ; 𝜏𝑖, 𝜅𝑖, 𝜆𝑖 = exp −
𝑥 − 𝜏𝑖
𝜆𝑖
𝜅 𝑖
ワイブル分布

16.
実験条件と結果
データセット：ILSVRC2012 (120万枚)
テストデータ：
Validation set 50,000枚
Fooling images 15,000枚
“unknown” images 15,000枚
ILSVRC 2010から未学習のクラス
使用モデル：AlexNet
Validation setのみのtop-1 正解率 57.1%
F値がデフォルトのDNNから12.3%,
閾値付きSoftmaxから4.3%改善
16
一切棄却しない場合 (強制割り当て)

17.
各手法の比較
手法 ベース手法 追加学習 性能
1-vs-Set SVM
[Schirer+ 12]
線形SVM ×
Top-1 acc. 0.12
(ILSVRC10)
F1 0.407 (ILSVRC12)
NNO
[Bendale+ 15]
NCM ○
Top-1 acc. 0.10
(ILSVRC10)
F1 0.51 (ILSVRC14)
OpenMax
[Bendale+ 16]
DNN ○ F1 0.596 (ILSVRC12)
EVT [Rudd+ 18] 任意 ○ F1 0.68 (ILSVRC14)
17
オープンワールドにおける画像認識は「これから」

18.
実際に試してみた
Method 未知クラス無し 未知クラスあり
Accuracy F1-score Accuracy F1-score
Softmax (closed) 93.8% 0.938 46.9% 0.588
Softmax + rejection 90.0% 0.847 68.6% 0.733
OpenMax 80.7% 0.807 79.2% 0.795
18
閾値付きSoftmaxではオープンワールド時に大幅に性能が低下
データセット：CIFAR-10 & CIFAR-100
訓練：CIFAR-10から10クラス (50,000枚)
テスト：CIFAR-10/100のテストセットから各10,000枚
モデル：11-layer CNN [Tokozume+ 18]

19.
現状の課題
公平な評価が難しい
クラス選択、既知：未知比率などに関して合意がない
学習済みネットワークを使う場合、未知クラスで事前学習しない配慮が必要
隣接領域であるZero-shot Learningでは問題提起も
Zero-Shot Learning-The Good, the Bad and the Ugly [Xian+ 17]
Adversarial Perturbationへの対応
現状、オープンワールド認識もAdversarial Exampleに脆弱 [Rozsa+ 17]
多段階学習が必要
End-to-endで学習できないか？
人気がない
19

20.
Take-home message
現行主流のアルゴリズムは全クラスが既知であることを仮定
しかし、実世界では「未知の未知」に対応する必要がある
上記に対処するオープンワールド認識問題とその手法を紹介
線形SVMベース：One-vs-Set SVM [Schirer+ 12]
NCMベース：Nearest Non-Outlier (NNO) [Bendale+ 15]
深層学習ベース：OpenMax [Bendale+ 16]
オープンワールドを前提とした問題設計を取り入れましょう
OpenMaxの著者コード https://github.com/abhijitbendale/OSDN
上記の追試験 https://github.com/takumayagi/openmax-cifar10
20

21.
Appendix
21

22.
その他の研究
Weibull-Calibrated SVM (W-SVM) [Scherier+ 14]
オープンセット認識問題において確率的モデルを使えるようにするため、訓
練サンプルから一定以上離れた地点において確率が0になることを保証する
Compact Abating Probability (CAP) Modelの枠組みを提案
CAP ModelとExtreme Value Theory (EVT) に基づくW-SVMを提案
物体認識ドメインにおいて、1-vs-Set SVMに対してF値が20-26%改善
Open Set Domain Adaptation [Busto+ 17]
オープンセット環境におけるドメイン適応の手法を提案
ターゲットドメインでのラベルの仮想割り当てとソース→ターゲットに関す
る変換の学習を逐次的に繰り返す
The Extreme Value Machine [Rudd+ 18]
非線形かつカーネルの選択に依らない、理論保証付きのモデルを提案
22

23.
オープンワールド認識の周辺 23
Meta Learning
性能が向上するドメイン/タスクを
選択する学習器の学習
Few-shot Learning
少数のサンプルで汎化
Zero-shot Learning
クラス間の関係から汎化
Incremental Learning
新規クラスを逐次学習
Open Set Learning
「未知の未知」を適切に棄却
Open World Learning
未知サンプルを発見し逐次学習
Adversarial Training
敵対的摂動に対する防御
融合
教示方法が
異なる
未知クラスの
扱いで相補的
頑健性の立証
に必要
Anomaly Detection
(明示的なモデル化が難しい)
異常の検出
問題特性を
包含
Domain Adaptation
データ分布のみが変化
問題設定が
相補的
利用
利用
Interactive Machine Learning
利用者を含むモデル改善プロセス
融合
Machine Learning
Human-Computer Interaction 合流？

24.
参考文献
[Bendale+ 15] Bendale, A., & Boult, T. (2015). Towards open world recognition. In Proceedings of the IEEE Conference on Computer Vision and
Pattern Recognition (pp. 1893-1902).
[Bendale+ 16] Bendale, A., & Boult, T. E. (2016). Towards open set deep networks. In Proceedings of the IEEE conference on computer vision and
pattern recognition (pp. 1563-1572).
[Busto+ 17] Busto, P. P., & Gall, J. (2017, October). Open set domain adaptation. In The IEEE International Conference on Computer Vision (ICCV)
(Vol. 1, p. 3).
[Mensink+ 13] Mensink, T., Verbeek, J., Perronnin, F., & Csurka, G. (2013). Distance-based image classification: Generalizing to new classes at
near-zero cost. IEEE transactions on pattern analysis and machine intelligence, 35(11), 2624-2637.
[Larochelle+ 08] Larochelle, H., Erhan, D., & Bengio, Y. (2008, July). Zero-data learning of new tasks. In AAAI (Vol. 1, No. 2, p. 3).
[Rozsa+ 17] Rozsa, Andras and Gunther, Manuel and Boult, Terrance E. “Adversarial Robustness: Softmax versus Openmax”, In BMVC, 2017.
[Rudd+ 18] Rudd, E. M., Jain, L. P., Scheirer, W. J., & Boult, T. E. (2018). The extreme value machine. IEEE transactions on pattern analysis and
machine intelligence, 40(3), 762-768.
[Scheirer+ 11] Scheirer, W. J., Rocha, A., Micheals, R. J., & Boult, T. E. (2011). Meta-recognition: The theory and practice of recognition score
analysis. IEEE transactions on pattern analysis and machine intelligence, 33(8), 1689-1695.
[Scheirer+ 12] Scheirer, W. J., de Rezende Rocha, A., Sapkota, A., & Boult, T. E. (2013). Toward open set recognition. IEEE Transactions on Pattern
Analysis and Machine Intelligence, 35(7), 1757-1772.
[Scheirer+ 14] Scheirer, W. J., Jain, L. P., & Boult, T. E. (2014). Probability models for open set recognition. IEEE transactions on pattern analysis
and machine intelligence, 36(11), 2317-2324.
[Tokozume+ 18] Yuji Tokozume, Yoshitaka Ushiku, Tatsuya Harada. Between-class Learning for Image Classification. The 31st IEEE Computer
Society Conference on Computer Vision and Pattern Recognition (CVPR), 2018.
[Xian+ 17] Xian, Y., Schiele, B., & Akata, Z. (2017). Zero-shot learning-the good, the bad and the ugly. arXiv preprint arXiv:1703.04394.
[Yagi+ 18] Yagi, T., Mangalam, K., Yonetani, R. & Sato, Y. (2018). Future Person Localization in First-Person Videos. In IEEE Conference on
Computer Vision and Pattern Recognition.
[中山 16] 中山英樹, オープンワールド認識理解のための機械学習と評価, 日本ロボット学会誌, 2016
https://www.jstage.jst.go.jp/article/jrsj/34/6/34_34_382/_article/-char/ja/
24