NVIDIAによる教師無しImage Translationの論文。

1. Unsupervised Image-to-Image
Translation Networks
By RoadRoller

2. 自己紹介 ロードローラーさん
 2011 京都大学 工学部 情報学科 卒業
 2013 京都大学 情報学研究科 修士課程修了
 画像処理、パターン認識の研究に着手
 その後、京都の某メーカに勤務
 専門は機械学習、IoT、ビッグデータ（バズワードばかり……）
ブログ：http://r2d.info/
Twitter：RoadRoller_DESU

3. 論文情報
タイトル
Unsupervised Image-to-Image Translation Networks
著者
Ming-Yu Liu, Thomas Breuel, Jan Kautz(NVIDIA)
(PDF)
https://arxiv.org/pdf/1703.00848.pdf
(NVIDIAサイト)
http://research.nvidia.com/publication/2017-12_Unsupervised-Image-to-
Image-Translation
Git
https://github.com/mingyuliutw/UNIT

4. 概要
image-to-image translation
ドメイン間の転送を学習する（ドメイン例：晴、雨、夏、冬など）
右図では
晴れの画像（左下）から
雨の画像（右下）を生成

5. 特徴、すごい点
Unsupervised で image-to-image translation を実現
Supervised image-to-image （従来）
・画像ペア（X1, X2）が得られた
・そのため同時分布(Joint distribution)を推定可能だった
Unsupervised image-to-image （今回）
・画像ペア（X1, X2）が得られない
・そのため周辺分布(marginal distribution)しかわからない

6. アイデア
共通の潜在空間 Ｚ が存在すると仮定（Shared-latent space assumption）
異なるドメイン間の対応する画像は、同じ潜在変数Zから生成されると仮定。

7. アイデア
潜在空間Zの仮定により、ネットワーク各部の役割を以下のように解釈できる
E1 – G1, E2 – G2 : Variational auto encoder
E1 - G1 – D1, E2 – G2 – D2 : GAN
E1 – G2, E2 – G1 : ドメイン間の画像変換

8. アイデア
工夫①～重み共有～
ドメインの際に対応したペア画像が生成できるよう、重み共有を部分的に行う。
（E1とE2、G1とG2）
重みを共有した部分が物体の構造を理解・再現する（ｈに相当）
重み共有されていない部分がドメイン固有の特徴を再現する（Lに相当）

9. アイデア
工夫②～Loss関数の設計～
潜在空間Ｚによりcycle-consistency-assumptionという仮定を置く
仮定（「x1」「x1から変換したx2」それぞれから算出される潜在空間ｚの分布は一致する） Lcc1
仮定（「x2」「x2から変換したx1」それぞれから算出される潜在空間ｚの分布は一致する） Lcc2
２つに分けることで「ドメイン１⇒２への変換だけ得意」などと能力が偏らないようになる。
※なお、VAEとGANは従来のようにLoss関数を設計して学習