講義で使用した資料です. CVPR2017においてベストペーパーを受賞したSimGANについての原論文のまとめです.

1. 輪講 第2回
Learning from Simulated and
Unsupervised Images
through Adversarial Training
Ashish Shrivastava, Tomas Pfister, Oncel Tuzel, Josh Susskind,
Wenda Wang, Russ Webb Apple Inc
庄野研究室 1410142 森 元輝

2. 目次
1/
論文の概要
背景
SimGAN
実験方法・結果
考察・展望

3. 現実の目の画像はどっち?(1/2)
2/XX
グループＡ グループＢ
シミュレートした
人工画像
現実画像

4. 現実の目の画像はどっち?(2/2)
3/XX
グループＡ グループＢ
SimGANでの
精製画像
現実画像

5. 論文の概要
4/XX
シミュレータで作った人工画像をGANを利用して
現実感のある 洗練された画像にしよう！
CVPR2017におけるベストペーパー

6. 目次
5/
論文の概要
背景
SimGAN
実験方法・結果
考察・展望

7. 背景
6/XX
深層学習においては大規模なデータが必要
→シミュレータ(Unity等)による人工データ
利点
短点
実画像とのギャップ
学習器性能も高くない
アノテーション情報
大量作成

8. 背景
7/XX
Kinectの姿勢推定
→弱学習器の学習に人工データを用いている
[ J. Shottonら,2011]

9. 背景
8/XX
人工画像のみで学習させるのは非現実的
→実画像テストデータに対する性能の向上が難しい
人工 現実
目的:人工データの現実性の向上

10. 背景
9/XX
現実性を付与するには?
→レンダリングアルゴリズムの利用
・ 計算コスト大
・ モデリングの労力
・ 現実画像の全特徴を捉えることの難しさ

11. 背景
10/XX
ＧＡＮのアプローチを利用したSimGANを提案
S+U学習(Simulated and Unsupervised)
→ラベル無し現実画像,シミュレートされた人工画像の利用

12. トレーニング
11/XX
現実データ
人工データ
精製データ
学
習
現実データでテスト
正解率
精製
Refine

13. 目次
12/
論文の概要
背景
SimGAN
実験方法・結果

14. 敵対的生成ネットワーク GAN
13/
・Generative Adversarial Network [Goodfellowら,2014]
生成器(generator)と識別器(discriminator)
2つのネットワークで構成
生成器
→識別器が見分けられな
い偽の画像データを作る
識別器
→入力された画像が偽物
か本物かどうか見極める
VS

15. GANによる画像生成例
14/10
Goodfellowら
黄色枠が訓練データ それ以外が生成データ
よく似たデータを生成可能

16. Sim-GAN
15/XX
敵対的損失を伝える
バッチに現実画像と精製画像でDへ入力

17. SimGANとGANの異なる点
16/XX
①Refinerへの入力はシミュレートされた人工画像
②自己正則化項の追加
③ピクセルを局所的に敵対的損失を求める
④過去のRefinerの精製画像をバッチに混ぜる

18. ①Refinerへの入力
17/XX
GAN SimGAN
GANではinputはノイズベクトル
SimGANではinputは人工画像
Generator
ノ
イ
ズ
z
𝑧1
⋮
𝑧 𝑛

19. S+U学習
18/XX
Simulated + Unsupervised → シミュレートされた人工画像 + 教師無し
目的
ラベルが無い現実画像𝑦𝑖 ∈ を用いて
人工画像𝑥を精製する𝑅𝑒𝑓𝑖𝑛𝑒𝑟 𝑅 𝜃 𝑥 を学習する.
𝜃:パラメータ(重み)
シミュレータからの注釈情報を保存しつつ,見かけは現実画像に
(ex.視線方向)

20. SimGANの損失関数
19/XX
SimGANのLoss:
→この全体のLossを最小化, 𝜃を最適化する.
現実感を付与するロス 注釈を保存するロス

21. SimGANのトレーニング手順
20/XX
Discriminatorにおける損失関数
refineされた画像 現実画像
ピクセル単位で見た,クロスエントロピーの総和
Dのパラメータ𝜙は,ミニバッチごとにSGDで更新する.
（確率的勾配降下法)

22. ②自己正則化項の追加
21/XX
Refinerにおける損失関数
𝜓: 特徴空間への写像 (ここでは恒等写像)
自己正則化項を導入(L1ノルム)
→注釈情報を保持するため.
ピクセル単位での違いを最小化する働き.

23. ③局所的敵対的損失
22/XX
→学習時にDiscriminatorへ入力画像をすべて入れ
るのではなく,ある領域単位に分割する.
→各パッチで,現実データである確率を求め,
損失関数では全領域分のクロスエントロピーlossの和

24. ④過去のRefinerの精製画像利用
23/XX
Discriminatorが過去のRefinerの出力も常に「偽物」
と分類出来るべき.
(1)バッファBの内のb/2枚
と,現在のR精製b/2枚で
バッチ作成
(2)イテレーション中にバッファ
B中のb/2枚を現在のR精製
b/2枚を交換.バッファが更新.

25. SimGANのトレーニング手順
24/XX
a
Refinerの重み更新
Discriminatorの
重み更新
片方の重みを更新するときは,もう片方を固定

26. 目次
25/
論文の概要
背景
SimGAN
実験方法・結果

27. 実験
26/XX
2つのデータセットに対してSimGANを使用し,評価
①視線推定
MPIIGaze dataset [Zhang (2015)]
UnityEyes[Wood (2016)]
②手の姿勢推定
NYUhand pose dataset
→72757枚のトレーニングデータ
＋8251枚のテストデータ

28. 視線推定の実験
27/XX
・人工画像をRefineするSimGANのネットワークと,
目の視線方向を出力する視線推定ネットワークで実験
・MPIIGazeデータセットのラベルは未使用
・Refiner 入力データサイズ (55 x 32)

29. 視線推定の実験
28/XX
◆定性評価
・Refineしたとき視線方向が保持
・ノイズ,皮膚テクスチャ,虹彩がより現実画像に近い

30. 視線推定の実験
29/XX
◆特徴空間の自己正則化
人工 精製 現実
・カラー画像におけるRefine
→人工画像と現実画像の分布に大きな差
・RGBチャンネルの平均値でL1ノルム

31. 視線推定の実験
30/XX
◆ビジュアルチューリングテスト(1/2)
→画像を現実画像か精製画像か分類させる実験
被験者数10人 現実画像50枚 精製画像50枚
計100枚の画像セットを1枚ずつ{現実,人工}でラベル付け→1000回試行
Accuracy = 0.517 (p=0.148)
→人間は現実画像と精製画像を区別できない

32. 視線推定の実験
31/XX
◆ビジュアルチューリングテスト(2/2)
それに対して,現実画像10枚 人工画像10枚
被験者数10人について実験→200回試行
→162回の正答
Accuracy = 0.81 (p≤ 108)
→人間は現実画像と人工画像を区別

33. 視線推定の実験
32/XX
◆定量評価(1/3)
・学習させるネットワークはZhangらのCNNと似ている
→出力が,視線方向の3次元ベクトル
→変更点 L2ノルムを用いる
[Zhangら,2015]

34. 視線推定の実験
33/XX
・Ground truth(正解)の保護
→100枚の人工画像と精製画像の対応づけ
手動で精製画像の瞳孔の部分に楕円をフィット
瞳孔の中心部分を近似
(精製画像と人工画像との瞳孔中心の絶対差
1.1 ± 0.8𝑝𝑖𝑥𝑒𝑙 目の画像の大きさ 55𝑝𝑖𝑥𝑒𝑙)
(参考,機械の目が見たセカイ -コンピュータビジョンがつくるミライ (19) 視線計測(3) - カメラのみを用いた視線計測
http://news.mynavi.jp/photo/series/cv_future/019/images/003l.jpg)

35. 他のネットワークとの比較
34/XX
◆定量評価(2/3)
R/S: 訓練する画像データが{Real,Synthetic}のどちらであるか
Error: 視線推定に得られた角度の間違いの平均値
→提案手法が一番良い結果

36. 視線推定の実験
35/XX
◆定量評価(3/3)
正解の視線方向から,d=7度以内の画像の割合
→22.3%の向上
→データセットを増やせば大きな改善

37. 手の姿勢推定の実験
36/XX
◆定性評価
→ノイズ部分を良く再現

38. 手の姿勢推定の実験
37/XX
◆定量評価
・NYU hand poseトレーニングセット
Stacked Hourglass Net[Yangら,2016]
と似たCNNを学習
→14の手関節を学習
↓
・NYU hand poseテストセットで評価

39. Hourglass Design
38/XX
→Human Pose Estimationに使用.[Yangら2016]

40. CNNが出力するスケルトン
39/XX

41. 手の指定推定実験
40/XX
→データセットを大きくして学習に用いたら
Sotaな結果を記録 ( d = 5度)

42. 手の姿勢推定の実験
41/XX
◆除去実験
→バッチに過去の精製画像を混ぜた効果を測る
→画像履歴を混ぜた方が現実性が増す
→視線推定方向の誤差が減少する
履歴使用 7.8度 履歴不使用 12.2度

43. 手の姿勢推定の実験
42/XX
◆除去実験
→局所的な敵対的損失がどのように働いてるか
→人工的効果を除き,手の周りのノイズがより現実的

44. まとめ
43/XX
・ラベル無しの現実データを用いたGANを用いる
SimGANについて, State-of-the-artな結果を示した
・人工画像の注釈を保持しながら,現実性を付与す
るS+U学習の提案をした