Diverse Image-to-Image Translation via
Disentangled representation
ECCV 2018
Hsin-Ying Lee, Hung-Yu Tseng, Jia-Bin Huang,
Maneesh Singh, Ming-Hsuan Yang
1
http://hirokatsukataoka.net/project/cc/index_cvpaperchallenge.html
論⽂の要点
2
・もつれを解いた表現で,ペアなしのImage-to-Image変換
・従来⼿法よりも,結果が多様かつ質が良い
・教師なしドメイン適⽤にも応⽤できることを⽰す
背景・従来⼿法
3
Image-to-Image変換(I2I)
・変換前と後のペアが不必要なのがベター
・多様な結果が⽣成されるのがベター
ペアが不要,多様な結果を⽣成できるI2Iを提案する
BicycleGAN
https://github.com/eveningglow/BicycleGAN-pytorch
cycleGAN
https://junyanz.github.io/CycleGAN/
O ペア不要
X ⼊⼒と出⼒は⼀対⼀
X ペアが必要
O ⼊⼒と出⼒は⼀対他
提案⼿法
4
ContentとAttributionに分解したCycle構造のネットワーク
・content adversarial loss, cross-cycle consistency loss
・attribute encoderはガウス分布とKLloss
損失の取り⽅の提案がコントリビューション
実験
5
データセット
・Yosemite(summer and winter scenes)
・Monet and van Gogh
・edge-to-shoes
・WikiArt
・CelebA
・MNIST, MNIST-M
⽐較⼿法
・DRIT(proposed)
・DRIT w/o Dcontent
・CycleGAN, UNIT, BicycleGAN
・Cycle+Bicycle
結果
6
様々なスタイルに変換した場合
多様性の比較
多様性の定量比較(LPIPS metric)
アナロジー
結果
7
ドメイン適⽤の結果
・分類制度はpixelDAには劣る

【ECCV 2018】Diverse Image-to-Image Translation via Disentangled Representation