2018/3/9 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Is Generator Conditioning Causally Related to GAN
Performance?
Jun Hozumi, Matsuo Lab

2. 書誌情報
• AUTHORS: Augustus Odena, Jacob Buckman, Catherine Olsson, Tom B.
Brown, Christopher Olah, Colin Raffel and Ian Goodfellow
– Google Brain
• Submitted Date: 23 Feb 2018 (on arXiv)
• 注: 要点を軽めに説明します
– 論文中でも理論に深入りしていない
– ここでリーマン幾何学とか説明しきれない
2

3. 概要
• Penningtonらは、ヤコビアンの特異値の分布全体を制御することが、深層
学習の設計に重要であることを示唆した
– Pennington, Jeffrey, Samuel Schoenholz, and Surya Ganguli. "Resurrecting the
sigmoid in deep learning through dynamical isometry: theory and practice." in
NIPS 2017.
• そこで、GANのGeneretorのヤコビアン特異値分布を調べてみた
– 訓練の初期で悪条件(ill-conditioned)になっていた
– 評価指標であるInception ScoreやFIDと強い相関があった
• Generatorのヤコビアン正規化技術として「Jacobian Clamping」を提案
– 平均Inception Scoreや平均FIDが改善された
– これらの分散も防げた
3

4. 前書き
• GANの訓練手法の理論や技術について、これまでに数多く研究されている
– その多くは確率統計の理論をもとにしている
• 今回は、Generatorの入出力ヤコビアンの二乗特異値を調べてみた
– ヤコビアンは訓練開始時に悪条件になるが、条件数が同じ、もしくは減少する
「良クラスタ」と条件数が増え続ける「不良クラスタ」になる傾向がある
– ヤコビアンの条件が、GANの品質の評価指標であるInception Score(IS)や
Frechet Inception Distance(FID)と強い関係性があり、GANのヤコビアンの条件
が良くなると、これらの指標に従った品質も良くなる
– 上記事項を「Jacobian Clamping」という正規化手法を提案し、それをテストす
ることで上記の因果関係の証拠を示す。この手法によって条件が簡単に制御で
き、ISやFIDの平均スコアや分散が改善される
4

5. ヤコビアンについて(1)
• Generatorをマッピングと見る
• どのzにもGeneratorのヤコビアンJzがある
• ここではJzの二乗特異値の分布を考えたい
• Mz = Jz
TJzは次元nz*nzで対称な正定値行列で、リーマン計量（計量テンソル）
5

6. ヤコビアンについて(2)
• すべてのzについてMzが分かれば、Gについての興味深い事項が分かる
– Mzが計量テンソルだから
• つまり、ある点zのMzの大きな固有値(λk)に対応する固有ベクトル(vk)は、Z
内の非常に小さな「ステップ」をとるとG(z)の大きな変化をもたらす方向
を与える
• ただスペクトル全体だと扱いづらいため、要約量であるMzの条件数を見る
– 小さいほど良条件で、数値解析に向く
6

7. Generatorの分析(1)
• 潜在空間と画像空間が小さいのでJzはソフト上で明示的に構築できる
• 条件数は訓練開始時に急激に増え、その後は2グループに分離
7100000step 0
平均対数条件数(MNIST)
同じモデルで10回施行

8. Generatorの分析 (2)
• 条件数と評価指標には、強い対応関係が見られた
– 紫の線に注目！
8
（生成画像の）分類精度平均対数条件数（前掲） Frechet Inception Distance(FID)

9. 提案: Jacobian Clamping
• Jzを直接制御する「Jacobian Clamping」を提案
• （色々試したものの、シンプルなアルゴリズムのほうが効果があった）
9
論文中の実験では
・λmax=20
・λmin=1
・ε=1

10. 実験結果
• ほとんどの場合に効果があった
– Qの制約に失敗する場合もあるが、そのときはスコアも悪くなる
10
CIFAR10 STL10
FID
平
均
対
数
条
件
数

11. 提案手法の（現状での）限界
• WGAN-GPで試してみたが、スコアの改善はできなかった
11

12. 結論
• GANのGeneretorのヤコビアン特異値の挙動を調べてみた
– 訓練の初期で悪条件になっていた
– 評価指標であるInception ScoreやFIDと強い相関があった
• 「Jacobian Clamping」によってヤコビアンを明示的に制御することで、平
均スコアを改善した
• Generatorの条件とモデルの質との因果関係の証拠を示した
– これはGANの訓練の挙動を理解するための重要な一歩である
12