Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
5. ライトフィールドの特性と解析
5.1 エピポーラ画像(EPI)
5.2 ライトフィールドのフーリエ変換
5.3 空間周波数領域におけるレンズのぼけ
2016/06/12
@sumisumith
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
自己紹介
Page 1
これ↓を作った人です(ニコニコ技術部で...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
目次
 出落ちの自己紹介
 導入
 5. ライトフィール...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
Computational Photograpy
“Compu...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
Computational Photography とは?
P...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
Computational Camera とは?
Page 5...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
目次
 出落ちの自己紹介
 導入
 5. ライトフィール...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
ライトフィールドの特性と解析
 4節まで、で、ライトフィール...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
ライトフィールドの特性と解析
 5節では、ライトフィールドの...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
エピポーラ画像(EPI)のイメージ
Page 9
参照論文:E...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
エピポーラ画像(EPI) [っぽいLumigraph] のイメ...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
エピポーラ幾何のおさらい
 2つのカメラで同一の物体を撮像し...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
エピポーラ画像(EPI)
 サイコロの「1の目」を特徴点とし...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
 エピポーラ画像は、画像間の対応点を、引き伸ばしたよう
な画...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
 座標系で表現すると、エピポーラ線が乗った
2次元平面上で直...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
エピポーラ画像(EPI)
 平面全体に(エピポーラ)直線の束...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
ライトフィールドのフーリエ変換
 エピポーラ線の集合として、...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
ライトフィールドのフーリエ変換
 EPIに、ぼけフィルタをか...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
空間周波数領域におけるレンズのぼけ
 EPIにぼけフィルタを...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
空間周波数領域におけるレンズのぼけ①
 空間周波数領域では、...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
 空間周波数領域では、どのように「ぼけ」が観察されるか?
空...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
空間周波数領域におけるレンズのぼけ②
 車にカメラを付けて移...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
空間周波数領域におけるレンズのぼけ②
Page 22
EPIが...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
空間周波数領域におけるレンズのぼけ②
Page 23
ベタが1...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
あとは
Page 24
残りの重要な部分は、綺麗に、
@tom...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
(おまけ)商業利用:最近のLytro
 Lytro Cine...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
(おまけ)商業利用?:Raskerらの研究開発
 ハンディに...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
(おまけ)今の先端研究:有名な方々
 Sheer K. Na...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
(おまけ)最新の動向(Nayer)
 Nayerさんの論文
...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
(おまけ)最新の動向(Nayer)
 フレキシブルなマイクロ...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
(おまけ)最新の動向(Rasker)
 検眼、個人の目の特性...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
(おまけ)最新の動向(日浦ら)
 Active onesho...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
(おまけ)最新の動向(日浦ら)
 Active onesho...
Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
まとめ
 5. ライトフィールドの特性と解析
 5.1 エ...
Computer Vision and Image Media 5 – Section 2 Page 34
ありがとうございました (^ω^)
@sumisumith
Upcoming SlideShare
Loading in …5
×

20160612 関東cv勉強会 sumisumithパート

669 views

Published on

CV4
part 2.5
sumisumith part

Published in: Technology
  • Be the first to comment

20160612 関東cv勉強会 sumisumithパート

  1. 1. 5. ライトフィールドの特性と解析 5.1 エピポーラ画像(EPI) 5.2 ライトフィールドのフーリエ変換 5.3 空間周波数領域におけるレンズのぼけ 2016/06/12 @sumisumith
  2. 2. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 自己紹介 Page 1 これ↓を作った人です(ニコニコ技術部で、最高3位) 動画リンク:http://www.nicovideo.jp/watch/sm23048131
  3. 3. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 目次  出落ちの自己紹介  導入  5. ライトフィールドの特性と解析  5.1 エピポーラ画像(EPI)  5.2 ライトフィールドのフーリエ変換  5.3 空間周波数領域におけるレンズのぼけ Page 2
  4. 4. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 Computational Photograpy “Computational photography extends digital photography by providing the capability to record much more information and by offering the possibility of processing this information afterward.” --Oliver Bimber-- - 従来のデジタル写真技術の限界をコンピュータ処理により 補間・拡張する技術分野 - 出力結果は通常の写真、但し従来技術では得られなかったもの - CG, CV, 応用光学など様々な分野と関連 - 新しい研究分野のため、正確で完全な定義や分類はない Page 3 参照:IEEE Computer, Vol.39, Issue 8 (2006)
  5. 5. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 Computational Photography とは? Page 4  Sheer K. Nayar (Columbia Univ.)による定義 参照:http://www1.cs.columbia.edu/CAVE/projects/what_is/
  6. 6. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 Computational Camera とは? Page 5  Sheer K. Nayar (Columbia Univ.)による定義 参照:http://www1.cs.columbia.edu/CAVE/projects/what_is/ CV4本の2章で 語られているのは ここ
  7. 7. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 目次  出落ちの自己紹介  導入  5. ライトフィールドの特性と解析  5.1 エピポーラ画像(EPI)  5.2 ライトフィールドのフーリエ変換  5.3 空間周波数領域におけるレンズのぼけ Page 6 ひと言でいうと、、、 エピポーラ情報はやっぱり使える フーリエ変換はやっぱり使える
  8. 8. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 ライトフィールドの特性と解析  4節まで、で、ライトフィールドの取り込み方と、 その表現法について紹介 →4D の表現を変えて、 2D として、ライトフィールドを表現できる Page 7 4D的な表現 2D的表現 u x 1 2 3 4 5 ),,,( yx ),( ux
  9. 9. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 ライトフィールドの特性と解析  5節では、ライトフィールドの特性と解析を紹介  全てのライトフィールド情報が必要か? →否、冗長  ライトフィールドカメラの幾何特徴を良く内包している エピポーラ画像(EPI) を用いることで、冗長性を減らせる Page 8 EPIのイメージ 平行 移動 参照論文:Efficient Fourier-Based Approach for Detecting Orientations and Occlusions in Epipolar Plane Images for 3D Scene Modeling, Z. Zhu, 2005
  10. 10. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 エピポーラ画像(EPI)のイメージ Page 9 参照論文:Epipolar-Plane Image Analysis An Approach to Determining Structure from Motion, R.C.Bollesら,1987 写真を用いた 分かりやすい イメージ図 ちょっとずつ ずれている→
  11. 11. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 エピポーラ画像(EPI) [っぽいLumigraph] のイメージ Page 10 参照論文:The Lumigraph, S. J. Gortlerら, 1996 写真を用いた 分かりやすい イメージ図 ちょっと ずれている→
  12. 12. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 エピポーラ幾何のおさらい  2つのカメラで同一の物体を撮像したとき、 カメラAの投影中心から物体のある特徴点への光線は、 カメラBでは、直線=エピポーラ線として得られる Page 11 Camera BCamera A OA エピポーラ線 参照:http://www.slideshare.net/sumisumith/20150328-cv-sumisumithv13-46524314
  13. 13. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 エピポーラ画像(EPI)  サイコロの「1の目」を特徴点として、 エピポーラ線が、水平に全視点でつながっているとする  ステレオカメラのイメージに近い(平行等位) Page 12 水平移動する場合のステレオ ライトフィールドカメラのうち、 一組のステレオカメラセットの 模式図のイメージ
  14. 14. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2  エピポーラ画像は、画像間の対応点を、引き伸ばしたよう な画像になる エピポーラ画像(EPI) Page 13 ステレオ配置の場合の、EPIの考え方 角度変化 位置変化 ステレオカメラが 大量に並んでいると 思えば、理解しやすいかも ※ y は変わらない状況
  15. 15. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2  座標系で表現すると、エピポーラ線が乗った 2次元平面上で直線として表現できる エピポーラ画像(EPI) Page 14 ライトフィールドカメラから作られるEPI ステレオカメラのように、 エピポーラ線がすべて平行であれば 平行線の縞模様状になる ステレオカメラが 大量に並んでいると 思えば、理解しやすいかも u x ux 
  16. 16. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 エピポーラ画像(EPI)  平面全体に(エピポーラ)直線の束があるだけ →周波数成分に変換すれば、表現の簡単化(圧縮)が可能 Page 15
  17. 17. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 ライトフィールドのフーリエ変換  エピポーラ線の集合として、EPI画像は得られるので、 2次元FFTをかけると、直交方向にスペクトルとして得られる Page 16
  18. 18. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 ライトフィールドのフーリエ変換  EPIに、ぼけフィルタをかけて、FFTすると、高周波成分が消される →ノイズ成分が減る Page 17 ぼけフィルタ
  19. 19. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 空間周波数領域におけるレンズのぼけ  EPIにぼけフィルタをかけることは、 フーリエ変換された画像に対しての、ローパスフィルタ効果がある  窓的にフィルタをかけることで、ノイズ状の高周波成分が消えて、 主要なエピポーラ方向の推定ができる - 主なエピポーラ方向が決定され、第2位のエピポーラ方向検出もすることで、 オクルージョン部 側面部 などを発見できる Page 18 ② Efficient Fourier-Based Approach for Detecting Orientations and Occlusions in Epipolar Plane Images for 3D Scene Modeling ① CV4本で紹介されている話 参照論文:Efficient Fourier-Based Approach for Detecting Orientations and Occlusions in Epipolar Plane Images for 3D Scene Modeling, Z. Zhu, 2005
  20. 20. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 空間周波数領域におけるレンズのぼけ①  空間周波数領域では、どのように「ぼけ」が観察されるか? Page 19 • ピントが合っている場合 • ライトフィールドの空間周波数のうち、 上のみを取り込み • ピントが合っているので、高周波成分(細かい模様)まで取り込める x~ 注目プレーン
  21. 21. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2  空間周波数領域では、どのように「ぼけ」が観察されるか? 空間周波数領域におけるレンズのぼけ① Page 20 • ピントがはずれている場合 • 空間周波数成分は、斜め線方向に伸びた分布となる • 低周波は取れるが、高周波成分が取り込めない →ローパスフィルタ 注目プレーン
  22. 22. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 空間周波数領域におけるレンズのぼけ②  車にカメラを付けて移動(たくさんカメラを並べるのと、ほぼ等価)の 状況で撮影されたライトフィールド画像を想定 Page 21 参照論文:Efficient Fourier-Based Approach for Detecting Orientations and Occlusions in Epipolar Plane Images for 3D Scene Modeling, Z. Zhu, 2005
  23. 23. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 空間周波数領域におけるレンズのぼけ② Page 22 EPIが生成される様子 オクルージョン部や側面部で、EPI上で変化が起きる 参照論文:Efficient Fourier-Based Approach for Detecting Orientations and Occlusions in Epipolar Plane Images for 3D Scene Modeling, Z. Zhu, 2005
  24. 24. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 空間周波数領域におけるレンズのぼけ② Page 23 ベタが1番、 破線が2番、 に強い方向成分 参照論文:Efficient Fourier-Based Approach for Detecting Orientations and Occlusions in Epipolar Plane Images for 3D Scene Modeling, Z. Zhu, 2005 結果が異なるポイント  ガウシアン(ぼけ)フィルタ後のEPIを、フーリエ変換すると、主方向が取れる例 時間
  25. 25. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 あとは Page 24 残りの重要な部分は、綺麗に、 @tomoaki_teshima さん が、まとめてくれます (^ω^) おまけ
  26. 26. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 (おまけ)商業利用:最近のLytro  Lytro Cinemaを用いた、映画 Life 2016/04 公開! (米のみと思われる) Page 25 参照:http://japanese.engadget.com/2016/04/12/7-40k-lytro-cinema-3d/
  27. 27. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 (おまけ)商業利用?:Raskerらの研究開発  ハンディに簡単に扱える医療用3Dデバイスの応用 Page 26 参照:http://cameraculture.media.mit.edu/handheld-3d-imager-to-visualize-features-in-the-throat-like-tonsils/
  28. 28. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 (おまけ)今の先端研究:有名な方々  Sheer K. Nayar - Columbia Univ., Computer Science Dept. - Computer Vision Laboratory (CAVE) の偉い人 - Research Interests - 賢いビジョンセンサ - 物理ベースのモデルデザイン - シーン補間アルゴリズム開発  Ramesh Raskar - MIT, Media Lab - 元MERL (Mitsubishi Electric Research Laboratories) - Research Interests - Computational Light Transport - コンピューテショナルフォトグラフィ - HCIにおける逆問題 Page 27 参照:http://www.cs.columbia.edu/~nayar/ 参照: http://web.media.mit.edu/~raskar/ http://cameraculture.media.mit.edu/
  29. 29. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 (おまけ)最新の動向(Nayer)  Nayerさんの論文 Towards Flexible Sheet Cameras : Deformable Lens Arrays with Intrinsic Optical Adaptation Page 28
  30. 30. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 (おまけ)最新の動向(Nayer)  フレキシブルなマイクロレンズアレイシートを開発 回折限界を超えた画像撮影が可能に Page 29
  31. 31. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 (おまけ)最新の動向(Rasker)  検眼、個人の目の特性にあわせたディスプレイのフォーカス位置調整 Page 30 参照:https://www.cgarts.or.jp/report/rep_kr/rep0413-3.html
  32. 32. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 (おまけ)最新の動向(日浦ら)  Active oneshot scan for wide depth range using a light-field projector based on coded aperture, ICCV2015 川崎、日浦ら  ライトフィールド技術をプロジェクタに応用 アパーチャコードの考えで被写界深度の限界を超えて、パターン符号化を行う 符号化情報をベースに3D計測を試みている Page 31
  33. 33. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 (おまけ)最新の動向(日浦ら)  Active oneshot scan for wide depth range using a light-field projector based on coded aperture, ICCV2015 川崎、日浦ら  ライトフィールド技術をプロジェクタに応用 アパーチャコードの考えで被写界深度の限界を超えて、パターン符号化を行う 符号化情報をベースに3D計測を試みている Page 32
  34. 34. Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2 まとめ  5. ライトフィールドの特性と解析  5.1 エピポーラ画像(EPI) - 画像のステレオ特徴をよく現しているエピポーラ特性を 利用したEPIを利用するのが効率よい  5.2 ライトフィールドのフーリエ変換 - ライトフィールド画像を、効率よく表現するために、 フーリエ変換が有効  5.3 空間周波数領域におけるレンズのぼけ - EPIのぼけは、遮蔽やシーン情報の解析等に役立つキーポイント  おまけ - 商業利用も出てきた - CPの応用技術もよく研究されており、まだまだ発展中 Page 33
  35. 35. Computer Vision and Image Media 5 – Section 2 Page 34 ありがとうございました (^ω^) @sumisumith

×