Successfully reported this slideshow.

[第2回3D勉強会 研究紹介] Neural 3D Mesh Renderer (CVPR 2018)

23

Share

Upcoming SlideShare
Thing i am thankful for
Thing i am thankful for
Loading in …3
×
1 of 42
1 of 42

[第2回3D勉強会 研究紹介] Neural 3D Mesh Renderer (CVPR 2018)

23

Share

Download to read offline

Description

第2回3D勉強会の研究紹介スライドです。

[論文概要]
ニューラルネットワークに組み込むことができる3Dメッシュのレンダラーである Neural Renderer を開発しました。『逆伝播』と呼ばれる処理をニューラルネットワークに適した形に定義し直したことがポイントです。そしてこのレンダラーを (a) 単一画像からの3Dメッシュの再構成 (b) 画像から3Dへのスタイル転移と3D版ディープドリームへと応用しました。

Transcript

  1. 1. • • • • • • • • • •
  2. 2. 3D Reconstruction 2D-to-3D Style Transfer 3D DeepDream
  3. 3. • • • • • • • • • • •
  4. 4. !!
  5. 5. Images are from http://cse.iitkgp.ac.in/~pb/research/3dpoly/3dpoly.html http://waldyrious.net/learning-holography/pb-cgh-formulas.xhtm http://www.cs.mun.ca/~omeruvia/philosophy/images/BunnyWire.gif
  6. 6.
  7. 7. • • ✗
  8. 8.
  9. 9. • • ✗
  10. 10.
  11. 11. • •
  12. 12. • •
  13. 13. ! " x x p p #$ #%
  14. 14. !" !# = ∆" ∆# x x x p p p Δp Δx
  15. 15. x x x p p p Δp Δx ! "# "$ 0 < "# "$ ! ' • ∆' < 0 ) ' "* "$ = ∆* ∆$ • 0 < ∆' ) ' ) "* "$ = 0 0 < "# "$ "# "$ < 0 • ∆, -. -, < / -0 -, = ∆0 ∆, • / ≤ ∆, -. -, -0 -, = /
  16. 16. !! • • •
  17. 17. • • !!
  18. 18. • !!
  19. 19. airplane bench dresser car chair display lamp speaker rifle sofa table phone vessel mean .5564 .4875 .5713 .6519 .3512 .3958 .2905 .4600 .5133 .5314 .3097 .6696 .4078 .4766 .5556 .4924 .6823 .7123 .4494 .5395 .4223 .5868 .5987 .6221 .4938 .7504 .5507 .5736 .6172 .4998 .7143 .7095 . 4990 .5831. 4126 .6536 .6322 .6735 .4829. 7777 .5645 .6016 • •
  20. 20. • •
  21. 21. Juan Gris, “Portrait of Pablo Picasso” Pieter Bruegel the Elder, “The Tower of Babel”
  22. 22. https://github.com/google/deepdream • •
  23. 23.
  24. 24. • •
  25. 25. • • • • • • •
  26. 26. • • • • • • • • •
  27. 27. • • • • • • • • • • • •

Description

第2回3D勉強会の研究紹介スライドです。

[論文概要]
ニューラルネットワークに組み込むことができる3Dメッシュのレンダラーである Neural Renderer を開発しました。『逆伝播』と呼ばれる処理をニューラルネットワークに適した形に定義し直したことがポイントです。そしてこのレンダラーを (a) 単一画像からの3Dメッシュの再構成 (b) 画像から3Dへのスタイル転移と3D版ディープドリームへと応用しました。

Transcript

  1. 1. • • • • • • • • • •
  2. 2. 3D Reconstruction 2D-to-3D Style Transfer 3D DeepDream
  3. 3. • • • • • • • • • • •
  4. 4. !!
  5. 5. Images are from http://cse.iitkgp.ac.in/~pb/research/3dpoly/3dpoly.html http://waldyrious.net/learning-holography/pb-cgh-formulas.xhtm http://www.cs.mun.ca/~omeruvia/philosophy/images/BunnyWire.gif
  6. 6.
  7. 7. • • ✗
  8. 8.
  9. 9. • • ✗
  10. 10.
  11. 11. • •
  12. 12. • •
  13. 13. ! " x x p p #$ #%
  14. 14. !" !# = ∆" ∆# x x x p p p Δp Δx
  15. 15. x x x p p p Δp Δx ! "# "$ 0 < "# "$ ! ' • ∆' < 0 ) ' "* "$ = ∆* ∆$ • 0 < ∆' ) ' ) "* "$ = 0 0 < "# "$ "# "$ < 0 • ∆, -. -, < / -0 -, = ∆0 ∆, • / ≤ ∆, -. -, -0 -, = /
  16. 16. !! • • •
  17. 17. • • !!
  18. 18. • !!
  19. 19. airplane bench dresser car chair display lamp speaker rifle sofa table phone vessel mean .5564 .4875 .5713 .6519 .3512 .3958 .2905 .4600 .5133 .5314 .3097 .6696 .4078 .4766 .5556 .4924 .6823 .7123 .4494 .5395 .4223 .5868 .5987 .6221 .4938 .7504 .5507 .5736 .6172 .4998 .7143 .7095 . 4990 .5831. 4126 .6536 .6322 .6735 .4829. 7777 .5645 .6016 • •
  20. 20. • •
  21. 21. Juan Gris, “Portrait of Pablo Picasso” Pieter Bruegel the Elder, “The Tower of Babel”
  22. 22. https://github.com/google/deepdream • •
  23. 23.
  24. 24. • •
  25. 25. • • • • • • •
  26. 26. • • • • • • • • •
  27. 27. • • • • • • • • • • • •

More Related Content

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

×