SSII2020 [O3-01] Extreme 3D センシング
•
0 likes•1,432 views
SSII2020 [O3-01] Extreme 3D センシング 6月12日 (金) 11:00 - 12:30 メイン会場（vimeo + slido） 登壇者：川崎 洋 氏（九州大学） 概要：スマートフォンにおける顔の３次元形状の取得による顔認証技術や、自動運転における LiDAR センサによる周辺環境の把握など、３Dセンシング技術は広く一般に利用され効果が認められている。さらに、得られた３次元情報を用いた解析や検査、可視化や AR/VR 利用など幅広い分野での応用や研究開発が実施されている。本講演では、そのような３Dセンシング技術の現状について概観し、その限界や今後の新たな方向性や展望について、講演者の取り組みを中心に紹介・解説する。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to SSII2020 [O3-01] Extreme 3D センシング
Similar to SSII2020 [O3-01] Extreme 3D センシング (20)
More from SSII
More from SSII (20)
Recently uploaded
Recently uploaded (9)
SSII2020 [O3-01] Extreme 3D センシング
- 1. Extreme 3Dセンシング 2020.6.12 川崎 洋 （九州大学）
- 2. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中３次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 2
- 3. 3Dセンシング基礎 • パッシブ手法 ☺ カメラだけで実現可能 テクスチャが必要 精度を高めるには、多数の画像が必要 • 動的シーンの場合、同期して撮影可能な多数のカメラを必要とする • アクティブ手法 ☺ 高密度で安定した計測 ☺ 少ない数のカメラで実現可能 プロジェクタなどの光源が必要 3
- 4. パッシブ3Dセンシング • 写真測量 • Visual SLAM • Multiview stereo Gengshan Yang, Joshua Manela, Michael Happold, Deva Ramanan, Hierarchical Deep Stereo Matching on High-resolution Images, CVPR 2019 Xiang Gao, Rui Wang, Nikolaus Demmel and Daniel Cremers, LDSO: Direct Sparse Odometry with Loop Closure, IROS 2018 Jonathan Starck, Adrian Hilton, Surface Capture for Performance-Based Animation, pp. 21-31, vol. 27, IEEE Computer Graphics 2007, 4
- 5. アクティブ3Dセンシング 1. Time-of-flight による手法 2. 三角測量に基づく方法 3. Depth from Defocusによる手法 5
- 6. Time-of-Flight センサ • Light Detection and Ranging (LIDAR) • レーザを放射し、受光する • 放射から受光までの時間から、距離を測る 2 ct D = 1. Time-of-flight 2. 三角測量 3. Depth from Defocus 6
- 7. 三角測量 アクティブセンサ ・Kinect v1など 1. Time-of-flight 2. 三角測量 3. Depth from Defocus 日経エレクトロニクス、2010年12月27日号、pp76-78 7
- 8. Depth from Defocusによる手法 ドットパターンを投影 ボケ具合からデプスを推定 1. Time-of-flight 2. 三角測量 3. Depth from Defocus “Active Refocusing of Images and Videos,” F. Moreno-Noguer, P.N. Belhumeur and S.K. Nayar, ACM SIGGRAPH Aug, 2007. 8
- 9. Active scannerの精度と計測可能範囲 [Lange2006] 1. Time-of-flight による手法 2. 三角測量に基づく方法 3. Depth from Defocus手法 DfD 9
- 10. 3D sensing まとめ ◎○ △不要△△△△△パッシブSLAM Leica, K2T△不要△◎◎△◎TOF（ポイント） △ Kinect, Grid Stereo, Random dot, 例 Gray code, Phase shift, Micro phase shift Kinect2, PMD 写真測量、MVS 精 度 解 像 度 デ プ ス レ ン ジ 計 測 可 能 距 離 ハ イ ス ピ ー ド 化 ベ ー ス ラ イ ン シ ス テ ム 自 由 度 パッシブステレオ ○ △ ◎ ◎ ◎ 要 ◎ TOF（エリア） ○ ○ ○ ○ ○ 不要 △ 三角測量 （ワンショット） ◎ ○ ○ ○ ◎ 要 ◎ 三角測量 （時間エンコード） ◎ ◎ △ △ △ 要 △ DfD △ △ ○ △ ◎ 不要 ○ レーザ使用トレード・オフ 10
- 11. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中３次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 11
- 12. 3D sensing ◎○ △不要△△△△△パッシブSLAM Leica, K2T△不要△◎◎△◎TOF（ポイント） △ Kinect, Grid Stereo, Random dot, 例 Gray code, Phase shift, Micro phase shift Kinect2, PMD 写真測量、MVS 精 度 解 像 度 デ プ ス レ ン ジ 計 測 可 能 距 離 ハ イ ス ピ ー ド 化 ベ ー ス ラ イ ン シ ス テ ム 自 由 度 パッシブステレオ ○ △ ◎ ◎ ◎ 要 ◎ TOF（エリア） ○ ○ ○ ○ ○ 不要 △ 三角測量 （ワンショット） ◎ ○ ○ ○ ◎ 要 ◎ 三角測量 （時間エンコード） ◎ ◎ △ △ △ 要 △ DfD △ △ ○ △ ◎ 不要 ○ レーザ使用トレード・オフ 12
- 13. What’s next? Shape Gray-code, phase-shift Time Captured image Projected image Object motion is faster than camera exposure time Motion encoded by high fps pattern One-shot CVPR08-ICCV11 ICCV 2017 Multiplex & decomposition Time Faster motion Slow Fast motion 13
- 14. Motion blur Projection pattern Captured image Projector Object motion Camera Multiple pattern projection (Our technique) How to decompose the multiplexed pattern? No blur 14
- 15. camera projector Learning-based approach [Kawasaki et.al. ICCV2017] Capture all patterns at all depths Blur and distortion are also captured 15
- 16. Data augmentation DB Objects Projector Camera reconstructed Pattern 1 Pattern 2 d Pattern 0 Synthesized image Velocity map Depth map Learning-based approach Search 2D search depth & velocity Captured image 16
- 17. Objective function: stereo + speed 3D search for all the pixels Coarse to fine approach camera projector 1. Coarse: constant velocity 2. Fine: arbitrary velocity 17
- 18. System overview Off-the-shelf cameras and projectors: Digital Light Processing (DLP) projectors Pattern switching is faster than cameras fps (~10,000Hz) Projector Camera DLP projector 18
- 19. Comparison on depth estimation results on a plane Evaluation 0.000 0.001 0.002 0.003 0.004 0.005 0.006 0.007 0.008 0.009 0.010 stoped slow normal fast RMSE [m] Speed 1 3 6 Kinect 1 3 6 Previous method STOP Slow Fast The number of patterns projected within an exposure time [ICCV2017] Our method 19
- 20. Temporal shape super-resolution Depth map Captured image Super-resolved shapes Fast moving object – rotating fan Camera: 200 fps Projector: 1000 fps [ICCV2017] 20
- 21. Balls Table tennis Input image Depth map Velocity map + 1.5 [m/s] - 1.5 0 Velocity estimation from single image [ICCV2017] 21
- 22. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中３次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 22
- 23. 3D sensing ◎○ △不要△△△△△パッシブSLAM Leica, K2T△不要△◎◎△◎TOF（ポイント） △ Kinect, Grid Stereo, Random dot, 例 Gray code, Phase shift, Micro phase shift Kinect2, PMD 写真測量、MVS 精 度 解 像 度 デ プ ス レ ン ジ 計 測 可 能 距 離 ハ イ ス ピ ー ド 化 ベ ー ス ラ イ ン シ ス テ ム 自 由 度 パッシブステレオ ○ △ ◎ ◎ ◎ 要 ◎ TOF（エリア） ○ ○ ○ ○ ○ 不要 △ 三角測量 （ワンショット） ◎ ○ ○ ○ ◎ 要 ◎ 三角測量 （時間エンコード） ◎ ◎ △ △ △ 要 △ DfD △ △ ○ △ ◎ 不要 ○ レーザ使用トレード・オフ 解決が必要 23
- 24. • Robust Active 3D Measurement Method against Bokeh Using Projector- Camera System with Coded Aperture [Horita, Kawasaki et al., IEICE Trans.D, 2013] - Install the coded aperture on projector - DfD based on deconvolution - Coded aperture stabilize DfD process Coded Aperture Changyin Zhou, Shree Nayar ICCP’09 符号化開口をプロジェクタに使用 24
- 25. 25システムの構成 Actual implementation レンズ & 符号化開口 LED光源 • Lens: achromatic lens - Focal length：150.0mm， Diameter：50.0mm • Code aperture： - Zhou et.al., “What are Good Apertures for Defocus Debluring?” ICCP2009 - Light path through 70% • Projector： LED 20x20 • CCD camera： Pointgrey JHF12M-5MP 25
- 26. 26逆畳み込みによるデプス推定 1. Project pattern with CA1. Project pattern with CA 2. Deconvolve with each depth parameters2. Deconvolve with each depth parameters 3. Compare similarity between original & deconvolved img.3. Compare similarity between original & deconvolved img. 4. Select depth of maximum similarity4. Select depth of maximum similarity 250mm 290mm 350mm 0.9similarity 0.2 0.4 250mm Reconstruction algorithm Convolution process 26
- 27. 27実験 - 平面板のデプス推定 - Results of planar board Captured image Depth 250mm 250mm 290mm 350mm 290mm 350mm 27
- 28. 28実験 - 平面板のデプス推定 - Evaluation (a) Average error (b) RMSE In focus of camera In focus of camera of projector of projector 28
- 29. 29実験 - 自由形状物体の復元 -Target object Reconstructed shape Captured image 29
- 30. Coarsepattern (Bluechannel) Densepattern (Redchannel) The measurement of dynamic scene 30 • Recover the depth map only from single-shot ※By using color channels enables the hierarchical reconstruction with single shot Captured scene Reconstructed depth map 120 70 [cm] 精度と解像度が低い 30
- 31. Active One-Shot Scan for Wide Depth Range Using a Light Field Projector Based on Coded Aperture, Hiroshi Kawasaki, Satoshi Ono, Yuki Horita, Yuki Shiba, Ryo Furukawa, Shinsaku Hiura; ICCV, 2015 Slit aperture Line pattern DfDとステレオを同時に行う手法 高周波パターンによる高周波ライトフィールド構築 31
- 32. O d Coded aperture Projected pattern Projector lens Camera Focal plane Scene surface fd Defocus blur process of a projector Depth-dependent pattern High frequency preserved for out-of-focus projection 32
- 33. Wide range reconstruction results [H. Kawasaki, H. Shiba, S. Hiura and R.Furukawa ICCV 2015] Reconstructed shapes Top view 3D shapes Top view Captured image 33
- 34. Accuracy evaluation 34 RMSE[mm] Depth of plane [mm]
- 35. Reconstruction results [H. Kawasaki, H. Shiba, S. Hiura and R.Furukawa ICCV 2015] 35 Captured images 3D shapes (low resolution) 3D shapes (high resolution)
- 36. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中３次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 36
- 40. Multi-scale CNN stereo matching 40 ×2 ×4 Output Similarity Score・ Left Input Patch Flatten Inner Product Concat Conv(3×3) 64filters MaxPooling (2×2) UpSampling (2×2) From Right Branch ・ Inner Product From Right Branch ・・・ MaxPooling (2n ×2n ) UpSampling (2n ×2n ) ・・・ FCNによる統合 より多くのスケール Conv(3×3) 64filters Relu BatchNorm Conv(3×3) 64filters Relu BatchNorm Conv(3×3) 64filters Relu BatchNorm Conv(3×3) 64filters Relu BatchNorm https://github.com/klabkyushu/Underwater-Multi-scale-CNN-stereo コードを以下で公開しています。
- 42. 実験セットアップ • カメラ: Point Grey Grasshopper 3 • プロジェクタ: Canon LV-HD420 • 水槽: 90×45×45cm 42
- 43. 入力画像 mc-cnn ms-cnn-lin Ours (2-scale) Ours (3-scale) Ours (3-scale + transfer learning) 43
- 44. 定量評価 44
- 46. Fish scene 1 Fish scene 2 Swimming human scene 46
- 47. 発表内容 1. 3Dセンシング基礎 1. パッシブ3Dセンシング 2. アクティブ3Dセンシング 2. Extreme3Dセンシング 1. 超高速3Dセンシング 2. 小型3Dセンシング 3. 水中３次元計測 3. 3Dセンシングのポストプロセス 1. レジストレーション 2. アクティブステレオ・バンドル調整 47
- 48. Background 48 •SLAM • Depth seonsor + self localization •Kinect Fusion 3D Endoscope Projector and camera are not fixed each other!!
- 49. Bundle adjustment approach for a projector- camera system is difficult!! • Bundle adjustment • Depends on “3D points observable for multiple frames” • Problem: • Projected features are NOT real 3D points observable for multiple frames projector Object camera No information for inter-frame correspondences 49
- 50. Active bundle adjustment: [Kawasaki and Furukawa, ECCV18workshop, 3DV2019] • The shapes should be consistent for different frames. 1C 2C 2P 1P Inconsistencies between frames comes from calibration errors minimize differences by optimize parameters 50
- 51. Active bundle adjustment: [Kawasaki and Furukawa, 3DV2019] Regarded as a single point.Regarded as a single point. )( 1,1 jpπ 1,1 jp )( 2,2 jpπ 2,2 jp 1, jip : 3D point (frame i) ()π : Line-of-sight projection 51
- 52. Active BA experiment Capture scene 52
- 53. まとめ • 3次元センシングの最近の動向 • 超高速3次元センシング • 回転するタービンブレードの計測可能 • 超小型3次元センシング • 内視鏡のヘッドに使用 • Extreme環境3次元センシング • 水中での3次元センシングを実現 • ポストプロセス • Active bundle adjustment 53