ECCV 2018 サーベイ cvpaper.challenge はコンピュータビジョン分野の今を映し、創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文執筆（・社会実装）に至るまで広く取り組み、あらゆる知識を共有しています。 http://hirokatsukataoka.net/project/cc/index_cvpaperchallenge.html

1. Towards Realistic Predictors
By Pei Wang and Nuno Vasconcelos
(UC San Diego)
Slide created by Shintaro Yamamoto
(Waseda University)
1
http://hirokatsukataoka.net/project/cc/index_cvpaperchallenge.html

2. Realistic Prediction
2
• 人間による識別VSマシンによる識別
GT: Bar
分からないときは分からないと判断
全ての入力に対して答えを出す
I don’t know…
Dining hall
人間らしい識別には”hardness”に基づく
識別の可否の判断が必要

3. Application
3
• 識別の困難性が分かると・・・
自動運転
誤認識による事故を防ぐため歩行者などの
識別が困難な場合には車を停止することで
安全を確保する
アノテーション
クラウドソーシングなどを用いて全画像に
対してラベル付けをするのではなく
識別が簡単なものはコンピュータがやり
難しいもののみ人間がラベル付けを行う

4. Related Work 1
4
• 識別が簡単な入力と困難な入力で異なる
• ネットワークを使用する手法[McGrill et al. 2017]
識別の難しさは識別器の出力を用いて決定しているが
識別困難な画像はそもそも識別器が間違えている
→提案手法は識別のhardnessを出力するネットワークを用意
McGrill et al., “Deciding how to decide: Dynamic routing in
artificial neural networks.”, ICML 2017

5. Related Work 2
5
• 誤認識を検出する手法[Daftry et al. 2016]
学習結果を“事後”観察することによって誤認識を学習していく
→提案手法は学習時に誤認識を学習していく
Daftry et al., “Introspective Perception: Learning to Predict
Failures in Vision Systems.”, IROS 2016

6. Overview
6
• 識別の”hardness”を出力するHP-Netを導入
• hardnessが閾値以下の画像のみ識別を行う

7. Training and Test Process
7
• 識別器 ℱ 及びHP-Net 𝑆 を学習データ学習𝐷に
よって学習する
学習手順
1. 識別器ℱ及びHP-Net 𝑆を学習データ𝐷により同時に学習する。
2. 学習データ𝐷を𝑆に入力し、識別困難な画像を除外することで
学習データ𝐷′を得る。
3. Realistic識別器ℱ′を学習データ𝐷′によって学習する。この時
HP-Net 𝑆は更新しない。
テスト方法
1. テストデータをHP-Net 𝑆に入力し，出力が閾値𝑇以上のもの
を除外する。
2. 残ったテストデータをRealistic識別器ℱ′により識別する。

8. Joint Training of Classifier and HP-Net
8
• 2つのcross-entropy lossを提案
識別結果に対するcross-entropy loss
→hardness scoreにより重み付けすることにより
識別困難なサンプルを重点的に学習する
HP-Netに対するbinary cross-entropy loss
→hardness scoreを識別の難しさと比例させるloss
分布(𝑝𝑖
ҧ𝑐
, 1 − 𝑝𝑖
ҧ𝑐
)と(1 − 𝑠𝑖, 𝑠𝑖)のKL divergenceの最小化と等価
𝑠𝑖 ∈ [0,1]:hardness score, 𝑝𝑖
ҧ𝑐
∈ [0,1]:正解ラベルに対する出力

9. Optimization
9
• 2つのlossの和を最適化する
• 原因は著者も分からないが識別器とHP-Netを同時に学習
してもうまくいかなかったらしい。
• →交互に学習してみたらうまくいった!
GANのようなイメージで
1. HP-Netを固定して識別器を学習する
2. 識別器を固定してHP-Netを学習する
を収束するまで繰り返していく

10. 学習過程
10
• 学習が進むにつれてhardness scoreの分布が左に
移動している
• =識別できないサンプルが減っている
Hardness score
の分布

11. Performance Evaluation
11
• 3種のデータセットで実験
• 識別器とHP-Netは同じ構造が良い
• ２つのネットワークが重みを共有すると精度が下がるため
それぞれ異なるタスクを解いているとわかる

12. Hardness Score
12
• 識別精度の低いネットワークほどscoreが
高い画像(=識別できない画像)が多くなる

13. Comparison with Standard Predictor
13
• Standard Predictor 𝐶 VS Realistic Predictor ℱ′
提案手法の方が取り除く画像が少なくても高い精度を達成