20161113.関西cvprml勉強会／ECCV16論文読み会・森
•Download as PPTX, PDF•
3 likes•174 views
20161113関西cvprml勉強会／ECCV16論文読み会 Perceptual Losses for Real-Time Style Transfer and Super-Resolution
Recommended
More Related Content
Featured
Featured (20)
20161113.関西cvprml勉強会／ECCV16論文読み会・森
- 1. Perceptual Losses for Real-Time Style Transfer and Super-Resolution Justin Johnson, Alexandre Alahi, Fei-Fei Li Stanford University ECCV’16 論文読み会 2016/11/7 森 直幸@㈱ergovision† 2016年11月13日 1 † www.ergovision.co.jp
- 2. やりたいこと：画像の変換(image transformation) 2016年11月13日 2 ①画風の転移(Style transfer)の高速化 ②超解像(Super Resolution)の高精度化 →15sec →0.015sec
- 3. 要点の整理 • Perceptual Losses for Real-Time Style Transfer and Super-Resolution 2016年11月13日 3 目的 CNNによる画像変換（画風の転移・超解像）の高度化 技術的課題 ①推論時に都度最適化が必要なため遅い ②大局的な最適化がないため、精度が低い 解決アイディア ①ネットワーク構造の改良により推論時の最適化計算を廃止し、 処理を高速化 ②PerPixelのみの最適化に加え、conceptualなレベルの最適 化を加えることによって、超解像精度を向上 評価 ①MSCOCOデータセットを用い、処理時間を定量評価 ②SetX,BSD100データセットを用い、見た目評価
- 5. 従来手法 • A Neural Algorithm of Artistic Style, Gatys et al.2015 – CNNで画像を生成 – 画風の損失関数、画像の損失関数 – アルゴリズム： 1. 白色ノイズ画像を入力 2. 損失を計算 3. 白色ノイズ画像の各画素値をパラメタとして、SGDにより更新 – 出力画像１個を生成するごとにforward/backwardを数百回実行 – 非常に時間がかかる 2016年11月13日 5※Broyden, Fletcher, Goldfarb, Shanno
- 6. 提案手法 2016年11月13日 6 Image Transformation Network “画像変換ネットワーク” ↓ Residual network LossFunctionNetwork “損失関数ネットワーク” ↓ VGG-16, pretrained 入力画像 出力画像 →ネットワークの内部構造についての説明はのちほど。 conv_3x3 conv_3x3 conv_3x3 conv_3x3 conv_3x3 conv_3x3 conv_3x3 conv_3x3 conv_3x3 conv_3x3 Loss
- 11. ネットワーク内部構造 • Residual network … Deep Residual Learning for Image Recognition, Microsoft Research Asia • VGG-16 … Very Deep Convolutional Networks for Large-Scale Image Recognition, 2014, oxford univ. ImageNet datasetでpretrained(14M画像、22kクラス) 2016年11月13日 11 Residual network VGG-16
- 13. 評価 • 学習 – Microsoft COCO dataset • Microsoft COCO: Common Objects in Context, ECCV 2014 • 80k training images – 40k iteration, Adam, LearningRate:10^-3 – 4hours with Titan X GPU x1 2016年11月13日 13
- 14. 定性評価1/2 2016年11月13日 14 入力画像 x 教師画像 ys 従来手法 提案手法 従来手法と同様、画風を転移できている
- 15. 定性評価2/2 人物はdetailが残っている 背景は変形が多発して視認できない 2016年11月13日 15 猫の顔ははっきりと視認できる 猫の体は適当なテクスチャで埋 められているように見える • 損失関数ネットワークの訓練データセットに「人」「猫」のクラス • 学習対象クラスの物体とそうでない物体に対して選択的に処理が行われる のではないか
- 19. 従来手法 • Image super-resolution using deep convolutional networks, Dong et al.2015 • SRCNNという手法 – CNNで超解像 – 33x33ピクセルのパッチ内で画素の差異を最小化 – ILSVRC2013データセットで学習 – Epoch 10^9以上 2016年11月13日 19※Broyden, Fletcher, Goldfarb, Shanno
- 20. 評価（超解像） • 学習 – MS-COCO の画像10ｋ枚 – ガウスぼかし（σ=1.0)の後にbicubicでダウンサンプリング – Epoch 200k, Adam, Learning Rate:10^-3 • 比較データ – Set5, Set14, BSD100 • 比較方法 – 見た目評価 – PSNR, SSIMによる定量評価（無意味だとの主張） 2016年11月13日 20
- 21. 見た目評価 1/2 2016年11月13日 21 Ground truth 従来手法（SRCNN） 提案手法 • 繊細な箇所の復元に成功 • 変な模様が発生 The feature reconstruction loss gives rise to a slight cross-hatch pattern visible under magnication,
- 22. 見た目評価 2/2 2016年11月13日 22 Ground truth 従来手法（SRCNN） 提案手法
- 23. 定量評価（無意味だとの主張） • 各数値はPSNR／SSIMと読んでください • [This Image]行はテスト画像の評価値 • [SetX mean], [BSD100 mean]は各データセットの平均評価値 • 画質の良し悪しと相関していない • 相関のなさを主張している論文が５本引用されている • “The traditional metrics”はダメなので、見た目評価のみで良否を 判断する、と主張 2016年11月13日 23
- 24. まとめ • 画風の転移、超解像を実現する手法の提案 – 推論時の最適化計算を廃止し、処理を高速化 – PerPixelのみの最適化に加え、conceptualなレベルの最適化を 加えることによって、超解像精度を向上 2016年11月13日 24