Recommended
Recommended
More Related Content
More from Shinagawa Seitaro
Recently uploaded
Recently uploaded (8)
One-sided unsupervised domain mapping
- 1. One-Sided Unsupervised Domain Mapping (NIPS2017) のアイデアを解説（草稿版） 品川 政太朗 2017ⒸSeitaro Shinagawa AHC-lab NAIST2017/12/10 1/8 式や図は基本的に論文やポスターから の引用、自分で書いた数式は青の四角 で表示してます
- 2. 2017/12/10 2017ⒸSeitaro Shinagawa AHC-lab NAIST 2/8
- 3. CycleGAN：unpairなドメイン間のペアを教師なしで生成する手法 問題点：理想通りの対応関係になる保証がない この論文の要点： 生成後のドメインにおいて画像間の距離の比が保存されるように学 習させるとうまく対応させられる 2017/12/10 2017ⒸSeitaro Shinagawa AHC-lab NAIST ドメインA ドメインB 1 3 2 1 3 2𝑑12 𝐴 𝑑23 𝐴 𝑑13 𝐴 𝑑12 𝐵 𝑑13 𝐵 𝑑23 𝐵 𝑥 𝐵 = 𝐺 𝐴𝐵(𝑥 𝐴) 𝑑𝑖𝑗 𝐴 = 𝛼𝑑𝑖𝑗 𝐵 3/8
- 4. 2017/12/10 2017ⒸSeitaro Shinagawa AHC-lab NAIST 根拠 学習後のCycleGANで変換前のドメインと変換後のドメインでそ れぞれランダムに選んだ2画像間の距離の相関をとってみた 青 横軸: 𝑥𝑖 𝐴 − 𝑥𝑗 𝐴 縦軸: 𝐺 𝐴𝐵 𝑥𝑖 𝐴 − 𝐺 𝐴𝐵 𝑥𝑗 𝐴 緑 横軸: 𝑥𝑖 𝐵 − 𝑥𝑗 𝐵 縦軸: 𝐺 𝐵𝐴 𝑥𝑖 𝐵 − 𝐺 𝐵𝐴 𝑥𝑗 𝐵 なんかめっちゃ相関してる！！ 4/8
- 5. 2017/12/10 2017ⒸSeitaro Shinagawa AHC-lab NAIST つまりどういうこと？ よく学習されたCycleGANにおいて、対応する2画像間の距離 の比が保存されている 青 横軸: 𝑥𝑖 𝐴 − 𝑥𝑗 𝐴 縦軸: 𝐺 𝐴𝐵 𝑥𝑖 𝐴 − 𝐺 𝐴𝐵 𝑥𝑗 𝐴 緑 横軸: 𝑥𝑖 𝐵 − 𝑥𝑗 𝐵 縦軸: 𝐺 𝐵𝐴 𝑥𝑖 𝐵 − 𝐺 𝐵𝐴 𝑥𝑗 𝐵 𝑥𝑖 𝐴 − 𝑥𝑗 𝐴 𝐺 𝐴𝐵 𝑥𝑖 𝐴 − 𝐺 𝐴𝐵 𝑥𝑗 𝐴 = 𝐺 𝐵𝐴 𝑥𝑖 𝐵 − 𝐺 𝐵𝐴 𝑥𝑗 𝐵 𝑥𝑖 𝐵 − 𝑥𝑗 𝐵 つまり、 左のような仮定ができる はず・・・ 5/8
- 6. 2017/12/10 2017ⒸSeitaro Shinagawa AHC-lab NAIST Distance Constraints（新たな損失関数の提案） はそれぞれのドメインの訓練データの平均、標準偏差 （事前に計算しておく、これらはデータの正規化をしてるだけ） オリジナルのCycleGANはmini-batchsize=1であることを考慮して、画像を2つに 分割して使うケースも考える（self-distance） 正規化を行った、変換前画像（訓練データ）間の距離と正規化を行った変 換後画像間の距離をそれぞれ𝑑𝑖𝑗, 𝑑𝑖𝑗 ′ とおくと、以下のように書きなおせる ℒ 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒 𝐺 𝐴𝐵, 𝑝 𝐴 = 1 𝑛 𝑘=1 𝑛 𝑑𝑖𝑗 − 𝑑𝑖𝑗 ′ i,jはkごとにラン ダムに選択 6/8
- 7. 2017/12/10 2017ⒸSeitaro Shinagawa AHC-lab NAIST GANの損失関数（adversarial loss）（ドメインB） Cycleによるresonstructionの損失関数（ドメインA） Intensity loss https://arxiv.org/pdf/1611.02200.pdf fでは2ドメイン、gでは1ドメインを扱うことでドメイ ン適応させる（実験では使ってない、紹介のみ） 7/8 その他の損失関数
- 8. 2017/12/10 2017ⒸSeitaro Shinagawa AHC-lab NAIST 以上の損失関数を使って学習を行う 論文中での実験は左記のような パラメータ設定で行われている 8/8