Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

The Perception Distortion Tradeoff

461 views

Published on

NN論文を肴に酒を飲む会 #8

Published in: Engineering
  • Be the first to comment

The Perception Distortion Tradeoff

  1. 1. The Perception-Distortion Tradeoff NN論⽂を肴に酒を飲む会 #8 @s_aiueo32 2019-01-23 1
  2. 2. 今回紹介する論⽂ The Perception-DistortionTradeoff [Blau et al., CVPR 2018] Image Restorationにおけるメトリックと知覚品質の関係を定量評価 ◦ ⼀般的なメトリックで最適化しても知覚品質が良くない ◦ GANを使うと知覚品質がいいが,メトリックは良くない ◦ 両者の間にトレードオフがあることを証明 3
  3. 3. What is Image Restoration? 画像の劣化を修復し,元の状態を再構成 Super Resolution Inpainting Dehazing Denoising debruring 4
  4. 4. Image Restorationのゴール Low Distortion Ground Truthと似てればOK! ◦ ロジックは単純明快 ◦ 相違度,類似度で測る ◦ 相違度: MAE, MSE etc. ◦ 類似度: PSNR, SSIM etc. Good PerceptualQuality ⼈間からして⾃然ならOK! ◦ 評価が難しい; そもそも⾃然って何 ◦ 評価⽅法 ◦ アンケート調査の分布の⽐較 ◦ ウェーブレット係数間のKL divergence 天 ⼆物 与 (本論⽂の主張) 2つのゴールを同時に達成することは不可能 5
  5. 5. 経験的実証 - SRGAN[Ledig et al. 2017] における⽐較 - 滑らかすぎる ⾃然だが似てない ⽬が離れすぎている 6
  6. 6. 経験的実証 - Perception-Distortion Planeへのプロット - 両立しているモデルは存在しない 7
  7. 7. 経験的実証 - 疑り深いあなたへ - 8
  8. 8. 定義: Image Restoration 自然画像 𝑥 再構成画像 𝑥" 劣化画像 𝑦 𝑝%|' 𝑝'(|% Algorithm 9
  9. 9. 定義: Distortion 自然画像 𝑥 再構成画像 𝑥" 𝔼[Δ(𝑋, 𝑋()] 非負性: Δ 𝑣, 𝑤 ≥ 0 同一律: Δ 𝑣, 𝑣 = 0 SSD, SSIM, MS-SSIM, IFC, VIF, VGG, … 10
  10. 10. Perceptual Qualityの測り⽅ 自然画像 𝑥 再構成画像 𝑥" Real? Fake? 𝑝6788966 ∝ 𝑑<=(𝑝', 𝑝'() 50% 50% 11
  11. 11. 定義: Perceptual Quality 自然画像 𝑥 再構成画像 𝑥" 𝑑(𝑝', 𝑝'() 非負性: 𝑑 𝑝, 𝑞 ≥ 0 同一律: 𝑑 𝑝, 𝑞 = 0 ⟺ 𝑝 = 𝑞 TV, KL, Hellinger, 𝜒B , Renyi, Wasserstein, … 12
  12. 12. 定式化まとめ 問題 𝑋 → 𝑌 → 𝑋( 尺度の定式化 Distortion: 𝔼[Δ(𝑋, 𝑋()] Perceptual Quality: 𝑑(𝑝', 𝑝'() 13 とはいえ… Distortionってそんなにダメなんですか?
  13. 13. 単純な確率分布におけるDenoisingの例 𝑌から𝑋の真の分布を推定したい 𝑌 = 𝑋 + 𝑁 where 𝑋~𝑝', 𝑁~𝒩 0,1 2つの推定法を⽐較 ◦ MMSE推定: Δ 𝑥, 𝑥" = 𝑥 − 𝑥" B の最⼩化 ◦ 事後確率の平均 ◦ 𝑝'は離散値,推定値𝑝'(OOPQ は連続値 ◦ 平均化された中途半端な出⼒ ◦ MAP推定: 事後確率最⼤のものを選ぶ ◦ 0が出⼒されない 14
  14. 14. MNISTで試すと… 15
  15. 15. トレードオフ関数 𝑃 𝐷 = min WXY|Z 𝑑(𝑝', 𝑝'() 𝑠. 𝑡. 𝔼 Δ 𝑋, 𝑋( ≤ 𝐷 16 DistortionMethod Perception 𝐷 −3dB 𝑃 𝐷 P(D)は単調減少であり,凸性を持つ
  16. 16. 実際のデータで 17 −3dB
  17. 17. トレードオフを横断 解くタスクによって𝑃(𝐷)上の動作点を決めたい 18 𝑃 𝐷 = min WXY |Z 𝑑(𝑝', 𝑝'() 𝑠. 𝑡. 𝔼 Δ 𝑋, 𝑋( ≤ 𝐷 ℓ`9a = ℓbc6defdcea + 𝜆ℓhbi ≈ 𝔼 Δ 𝑋, 𝑋( + 𝜆𝑑(𝑝', 𝑝'() 𝜆 ⟷ 𝐷
  18. 18. 実験 19 ℓ`9a = ℓbc6defdcea + 𝜆ℓhbi
  19. 19. まとめ 1. DistortioinとPerceptual Qualityの間にトレードオフがある 2. 「最適なアルゴリズム」は応⽤依存 3. まずDistortionレベルを決めた後,限界に近いものを探しましょう 4. GAN損失の⽐率によってトレードオフ関数を横断できます 20
  20. 20. 付録 21
  21. 21. PIRM2018の結果 22
  22. 22. Region 1 Winner: EPSR 23
  23. 23. Region 2 Winner: DBPN 24
  24. 24. Region 3 Winner: ESRGAN 25
  25. 25. 参考⽂献 [1] Blau, Yochai, and Tomer Michaeli. "The perception-distortion tradeoff." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. [2] Ledig, Christian, et al. "Photo-realistic single image super-resolution using a generative adversarial network." 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017. [3] Ignatov, Andrey, et al. "Pirm challenge on perceptual image enhancement on smartphones: Report." arXiv preprint arXiv:1810.01641 (2018). [4] Vasu, S., Nimisha, T.M., & Rajagopalan, A.N. (2018). Analyzing Perception-Distortion Tradeoff using Enhanced Perceptual Super-resolution Network. In proceedings of European Conference on Computer Vision Workshops. [5] Haris, Muhammad, Gregory Shakhnarovich, and Norimichi Ukita. "Deep back-projection networks for super-resolution." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. [6] Wang, Xintao, et al. "ESRGAN: Enhanced super-resolution generative adversarial networks." arXiv preprint arXiv:1809.00219 (2018). [7] https://japanese.engadget.com/2017/02/08/google-8-8/ [8] Pathak, Deepak, et al. "Context encoders: Feature learning by inpainting." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016. [9] Zhang, He, and Vishal M. Patel. "Densely connected pyramid dehazing network." The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018. 26

×