Recommended
More Related Content
What's hot
What's hot (20)
Recently uploaded
Recently uploaded (14)
2017:10:20論文読み会"Image-to-Image Translation with Conditional Adversarial Networks "
- 1. Image-to-Image Translation with Conditional Adversarial Networks Phillip Isola Jun-Yan Zhu Tinghui Zhou Alexei A. Efros CVPR.2017 Nov M1大崎
- 2. Abstract • コンピュータグラフィクスやコンピュータビジョンの各問題は image-to-imageの翻訳（変換）とみなすことができる。 • image-to-imageの翻訳タスク • many-to-one • 入力：画像 出力：エッジ，セグメント，セマンティックラベル • one-to-many • 入力：ラベル等の疎な入力 出力：本物の写真のような画像 • これらはピクセルからピクセルを予想するタスクであることは 共通なのに、伝統的には別々の設計で扱われる。 →共通のフレームワークを作りたい
- 3. Abstract
- 4. Abstract • 画像予想タスクといえばCNN • 難点：損失関数の設計 • タスクごとに人間が設定してあげないといけない • 設計には専門知識が必要 • 最近流行りのGAN • 損失関数を勝手に学習してくれる →タスクごとに人間が損失関数を設定してあげる必要がない！ →多タスクに適用できる • →cGAN(conditional GAN)を使う • 条件付き生成モデルを学習する • 画像から画像への翻訳に適している
- 5. Abstract • この論文では、 • cGANの汎用性を示す。様々な問題においてcGANが合理的な結果を出 すことを実証する。 • フレームワークを提示し、数種類のアーキテクチャの選択が与える影 響を分析する。 • コードも公開中 • https://github.com/phillipi/pix2pix
- 6. Related work • Structured losses for image modeling • image-to-image翻訳の問題は、ピクセルごとの分類や回帰として定式 化される • 出力されるピクセルは入力されるピクセルから条件付きで独立してい る→「非構造な」出力空間 • cGANは構造化された損失を学習する • conditional random fields, the SSIM metric, feature matching, nonparametric losses, the convolutional pseudo-prior and losses based on matching covariance statistics 等の先行研究
- 7. Related work • Conditional GANs • 画像によるcGANは inpainting, image prediction from a normal map, image manipulation guided by user constraints, future frame prediction, future state prediction, product photo generation, and style transfer 等で広く用いられてきた • 既存の研究は各タスクに特化した設計 ⇔本論文のモデルは汎用的 設定も簡単 • U-Net, PatchGANの仕組みを取り入れ、その影響を調べる
- 9. Method(Objective) • GANは決定論的な出力を防ぐために ノイズzを用いる • 先行研究ではzとxを入力とするcGAN ⇔ノイズを無視することを学習するだ け • 本研究では中間層にDropoutを入れて ノイズとする
- 10. Method(Network architectures - Generator with skips) • DCGANを基本とする構成(convolution-BatchNorm-ReLu) • image-to-imageでは入力と出力が共有する情報が多い 例：線画着色タスクの輪郭線 • →U-Netを使う • i番目の層とn-i番目の層をスキップ接続
- 11. Method(Markovian discriminator (PatchGAN) ) • L1, L2ノルムは低周波を正確に捉える ⇔高周波は苦手、ぼやけた画像を生成しがち • →Dは高周波のキャプチャに専念すればいい！ →PatchGANを使う • 画像内のN×Nのパッチの真偽を判定 ↑局地的に見れる
- 12. Method(Optimization and inference ) • ミニバッジSGDとAdamで最適化 • 推論と学習が同じように行われる • DropoutとBatchNormalizationの適用 • バッチサイズ=1のときBNはinstance normalizationと呼ばれる • 画像生成タスクで有効であることが知られている • 本実験ではlabel→photoやMap→photoではバッチサイズ1、それ以外 ではバッチサイズ4を用いる
- 13. Experiment • cGANの汎用性を示すために、様々なタスクについて実験 • Semantic labels↔photo (Cityscapes dataset) • Architectural labels→photo (CMP Facades dataset) • Map↔aerial photo (scraped from Google Maps) • BW→color photos (O. Russakovsky et al.) • Edges→photo (J.-Y. Zhu et al. and A. Yu et al.) • Sketch→photo (M. Eitz et al.) • Day→night (P.-Y.Laffont et al.) • 小さいデータセットでも動いている（最小91枚、学習2時間）
- 14. Experiment(Evaluation metrics) • 合成画像の品質評価は困難 • 二つの方法 • 人手評価 • 着色等のタスクは人に妥当だと感じさせることが究極の目的 • Amazon Mechanical Turkを利用 • 本物と合成の画像を1秒ずつ見せて正解を選ばせる • 自動評価 • それらしく合成できていれば画像認識器が認識できるはず • FCNに分類させてそのスコアで評価
- 15. Experiment(Analysis of the objective function) • L1とGANで高周波低周波を担当させる方針は妥当だったか？ • cityscapes labels→photoタスクで評価
- 16. Experiment(Analysis of the objective function) • Colorfulness • L1は輪郭等うまく出せない部分を灰色っぽく誤魔化す • cGANは本物らしい色付けができている
- 17. Experiment(Analysis of the generator architecture) • U-Netはうまく働いたか？ • cityscape generation で実験
- 18. Experiment(From PixelGANs to PatchGans to ImageGANs) • PatchGANは有効か？ • 70×70あたりが人手評 価も自動評価もいい
- 19. Experiment(From PixelGANs to PatchGans to ImageGANs) • trainとtestで 違うサイズの 画像が扱える 汎用性 • map→aerial photoで実験
- 20. Experiment(Perceptual validation ) • map→aerial photograph：そこまで良い出来ではないが、それ でもベースラインを上回る出来 • photo→map：ベースラインと大差なし(?) • 幾何学図形を持つマップは小さな構造的な誤差がより目に見えるから • 着色：専用のモデルに迫る精度
- 21. Experiment(Semantic segmentation ) • cityscape photo→labels • L1だけでもうまくいってい る • GAN系のモデルがラベル生成 に成功した初の例