Downloaded 156 times
![センサとキャリブレーション結果のずれ 29
y = 0.9914x + 3.4665
1000.0
1500.0
2000.0
2500.0
1000 1500 2000 2500
キャリブレーションのZ値[mm]
センサのZ値 [mm]
オフセットと定数倍のずれ](https://image.slidesharecdn.com/3-170930142646/85/3-29-320.jpg)
Uploaded byNorishige Fukushima
3次元計測とフィルタリング
精密工学会画像応用技術専門委員会 2017年第3回定例研究会 http://www.tc-iaip.org/research/
More Related Content
![SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions](https://cdn.slidesharecdn.com/ss_thumbnails/dlreadingpaper20180720-180723071258-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]SlowFast Networks for Video Recognition](https://cdn.slidesharecdn.com/ss_thumbnails/20191206slowfastnetworkkuboshizuma-191206010601-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2020 [O3-01] Extreme 3D センシング](https://cdn.slidesharecdn.com/ss_thumbnails/200612-ssii-extreme3dsensing-print3-200608114658-thumbnail.jpg?width=640&height=640&fit=bounds)
3次元計測とフィルタリング
- 1. ３次元計測とフィルタリング 福嶋 慶繁 名古屋工業大学 http://fukushima.web.nitech.ac.jp/ 精密工学会 画像応用技術専門委員会2017年度第3回研究会 2017/9/29 中央大学・後楽園キャンパス
- 2.
- 3.
- 4. センサのタイプ Structured Light Coding •Kinect V1, Xtion, RealSense F200, RealSense SR300 Time of Fight • Kinect V2, MESA SR4000, DepthSense525 Stereo Camera + Unstructured Light • RealSense R200, RealSense RS400 Stereo Camera 主なメーカー Microsoft Kinect V1, V2 Intel RealSense R/F xxx R: Rear F: Front 近年のデプスセンサの種類 4
- 5. Microsoft Kinect V15 RGBカメラ 640x480@30fps, 1280x960＠12fps デプスセンサ 640x480@30fps 方式 Light Coding 有効範囲 800~4000mm, (Nearモード設定時：400 ~ 3500mm) 発売時期 2010 接続 USB2.0 備考 室内限定．複数台置くと干渉．RGBカメラの質が相当低い． 商用のデバイスはプレミア価格．非商用は半額．
- 6. Microsoft Kinect V26 RGBカメラ 1080p@30fps デプスセンサ 512x424@30fps 方式 Time of Flight 有効範囲 800~4000mm．libfreenect2を使えば8m越えで使える． 発売時期 2014 接続 USB3.0 備考 室内限定．RGBカメラの質がだいぶ上がった．
- 7. Intel RealSense F2007 RGBカメラ 1080p@30fps デプスセンサ 640x480@30fps 方式 Light Coding 有効範囲 200~1200mm 発売時期 2015 接続 USB3.0 備考 近距離用．発売終了．SR300が後継機．
- 8. Intel RealSense SR3008 RGBカメラ 1080p@30fps, 720p@60fps デプスセンサ 640x480@60fps, 640x240@110fps 方式 Light Coding 有効範囲 20~120mm（この範囲でソフトウェアが最適化） 発売時期 2016 接続 USB3.0 備考 近距離用．室内限定．
- 9. Intel RealSense R2009 RGBカメラ 1080p@30fps デプスセンサ 640x480@60fps 方式 Stereo + Unstructured Light Projection 有効範囲 500~3500mm．野外は10M．400~2800mm（この範囲でソフ トウェアが最適化） 発売時期 2015 接続 USB3.0 備考 ステレオカメラ．
- 10. Intel RealSense ZR30010 RGBカメラ 1080p@30fps デプスセンサ 640x480@60fps 方式 Stereo + Unstructured Light Projection 有効範囲 500~3500mm．野外は10M．400~2800mm（この範囲でソフ トウェアが最適化） 発売時期 2017 接続 USB3.0 備考 ステレオカメラ．ジャイロや加速度が取れる． Linux用．R200に比べてデプスカメラの水平画角大きい． 魚眼カメラ VGA 60fps
- 11.
- 12. Xtion2 12 RGBカメラ 2592ｘ1944@15fps,1080p 30fps, 1280x720 60fps デプスセンサ 640x480@30fps 方式 Time of Flight 有効範囲 80mm~3500mm 発売時期 2017 接続 USB3.0．外部電源不要． 備考 OpenNI2.2で動作．
- 13. Intel RealSense 40013 RGBカメラ N/A デプスセンサ N/A 方式 Stereo + Unstructured Light Projection 有効範囲 N/A 発売時期 2017（予定） 接続 USB3.0 備考 ステレオカメラ．R200の後継 ？
- 14. Structure Sensor 14 RGBカメラN/A デプスセンサ 640x480@30fps, 320x240@60fps 方式 Light Coding 有効範囲 400mm~3500mm 発売時期 2014 接続 USB3.0 備考 iPad専用．iPadの内部カメラと連携する．室内限定．
- 15. ASUS Zenfone AR15 RGB Camera Depth Sensor Tracking Camera Snapdragon 821 2.35GHz 4core 1000$ 2017/7 Google Project Tango
- 16. Lenovo Phab2 Pro16 RGB Camera Depth Sensor Tracking Camera Chipset Qualcomm Snapdragon 652 for Tango 1.8GHz x 8core 500$ 2016/11 Google Project Tango
- 17.
- 18. Windows Kinect for WindowsSDK 2.0 Intel RealSense SDK OpenNI：メンテナンス終了 Linux, MacOS OpenKinect: libfreenect, libfreenect2 librealsense（Windows用よりも機能が貧弱） STRUCTURE SDK OpenNI：メンテナンス終了 SDK一覧 18
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25. センサ内・間キャリブレーション 25 センサ間の距離が近いため，キャリブ レーションの精度はそれなりで良い． センサ間距離が広いため，高いキャ リブレーション精度が要求される． チェスボードを使った キャリブレーション（OpenCV） • stereoCalibrate関数 • センサ間のキャリブレーション • calibrateCamera 関数 • カメラ単体のキャリブレーション カメラ自身のキャリブ レーションも必要
- 26.
- 27.
- 28.
- 29. センサとキャリブレーション結果のずれ 29 y =0.9914x + 3.4665 1000.0 1500.0 2000.0 2500.0 1000 1500 2000 2500 キャリブレーションのZ値[mm] センサのZ値 [mm] オフセットと定数倍のずれ
- 30. ICPを使った外部キャリブレーション Iterative Closest Point（ICP） •点集合マッチングの代表的な手法 • Point Cloud Library（PCL）を使って実装 異なる視点で取得されたポイントクラウド間で レジストレーションを行い， 𝑹と𝑻を推定 • 対応がない点であるアウトライヤ多いと動作しない ため，合わせるためにはトリミングが必須 • 初期値が大きく外れていると収束しないため妥当な 初期値を与える必要 センサ間キャリブレーションの改善 30
- 31.
- 32. 𝑹と𝑻の推定（Z補正無し） 31 KINECTの座標系における外部パラ メータ行列𝑴 𝑴 = 𝑹𝑻 𝟎 1 = 0.04 −0.02 −0.99 2.08 0.07 0.99 −0.01 0.13 0.99 −0.07 −0.04 1.91 0 0 0 1 三次元モデリング結果．
- 33. 𝑹と𝑻の推定（Z補正有り） 31 KINECTの座標系における外部パラ メータ行列𝑴 𝑴 = 𝑹𝑻 𝟎 1 = 0.04 −0.02 −0.99 2.08 0.07 0.99 −0.01 0.13 0.99 −0.07 −0.04 1.91 0 0 0 1 三次元モデリング結果．
- 34. 𝑹と𝑻の推定（ICP） 31 KINECTの座標系における外部パラ メータ行列𝑴 𝑴 = 𝑹𝑻 𝟎 1 = 0.01 −0.02 −0.99 2.05 0.08 0.99 −0.02 0.13 0.99 −0.08 0.01 1.97 0 0 0 1 三次元モデリング結果．
- 35. ToFの干渉 35 干渉無し 干渉有り 干渉があるため，できるだけ角度を開けて取るほうが良いが，角度を開けると キャリブレーションが難しくなる．ToFやStructureLight方式は本質的にはマルチ デバイスによる取得は推奨されない．複数台のためには，パターンプロジェク ション＋IRステレオがいい．
- 36. 複数台の接続 36 USB3.0 10GbE RGB:JPEG 8bit Depth: LZ4 16bit Clients Server Imaged decode (CPU) Rendering (GPU) 10GbE Hub Kinect V2(s) infiniband で接続して非圧縮通信でも可
- 37.
- 38. 取得デプスマップの問題点 (1/2) 38 取得不能オクルージョンざらつき 輪郭の不一致アウトライヤ Kinectによる取得 ステレオマッチングによる取得
- 39. 取得デプスマップの問題点 (1/2) 39 ToFの特徴 •オクルージョンはない • 小さなホールが多数生じる • 干渉から，中間値が生じてフ ライングピクセルができる • 周辺の画素の推定精度が低い • 反射する物体では推定が不安 定
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46. 有効画素率 全体の何％デプスが求まっているか？ • 不安定な場所やオクルージョンを無効化 値域の精度 Ｚが何ミリ以内か？ • 平滑化フィルタでスムージング・デノイジング 空間の精度 ｘ，ｙのエッジの位置がRGBとあっているか？ •RGB画像をガイドにしたフィルタによる復元 デプスマップの精度指標と対策 46
- 47.
- 48.
- 49. Kinect V1・V2の誤差平均，標準偏差 49 O.Wasenmüller and D. Stricker, Comparison of Kinect v1 and v2 Depth Images in Terms of Accuracy and Precision, Proc. ACCV2016.
- 50.
- 51. 温度変化による精度の変化 51 O. Wasenmüllerand D. Stricker, Comparison of Kinect v1 and v2 Depth Images in Terms of Accuracy and Precision, Proc. ACCV2016. 温度によるドリフト SLのほうが低消費電力．ToFはアクティブに空冷しないとだめ． V１は起動直後は安定しない．
- 52. ToFのデコード方法の改善 52 Felix JäremoLawin, Per-Erik Forssén, Hannes Ovrén, Efficient Multi-Frequency Phase Unwrapping using Kernel Density Estimation, ECCV 2016． OpenKinectを使ってRAWデータからToFのデコード方法を実装している．
- 53. デプスマップのデータセットのリンク集 Michael Firman, “RGBDDatasets: Past, Present and Future,” in Proc. CVPR Workshops, 2016. http://www0.cs.ucl.ac.uk/staff/M.Firman/RG BDdatasets/ デプスマップのデータセット 53
- 54.
- 55.
- 56.
- 57. 中間値の除去 ショックフィルタベースの処理 erode, dilate後の値との差分で閾値処理するこ とで中間値を フライングピクセル対策 アウトライヤ除去 (2/2)57 信号 中間値を閾値等で除去 周辺の最大値 周辺の最小値
- 58.
- 59.
- 60. バイラテラルフィルタ outputinput x 画素ごとにカーネルのウェイトが異なる • 中心の色に近いほど高い重み：値域ガウシアン • 中心の位置に近いほど高い重み：空間ガウシアン C.Tomasi, and M. Roberto, "Bilateral filtering for gray and color images," ICCV1998.
- 61. Gaussian Smoothing * * * input output SameGaussian kernel everywhere Averages across edges ⇒ blur Slides taken from Sylvain Paris, Siggraph 2007
- 62. Bilateral Filtering * * * input output Kernelshape depends on image content Avoids averaging across edges Slides taken from Sylvain Paris, Siggraph 2007
- 63.
- 64.
- 65.
- 66.
- 67.
- 68.
- 69. 画素を混ぜないためのフィルタが必要 メディアンフィルタ Weighted Median Filter，WeightedMode Filter バイラテラルフィルタの重みを考慮したメディ アンフィルタ，最頻値フィルタ 統計値フィルタのバイラテラルフィルタ拡張 統計値ベースのフィルタ 69
- 70.
- 71.
- 72.
- 73.
- 74.
- 75.
- 76.
- 77. ガイド画像つきフィルタの組み合わせはデ プスマップだけではなく，そのほかの組み 合わせで色々な応用可能 デプスマップ × RGB画像 デプスマップ× IR画像 動きベクトル × IR画像 セグメンテーション × RGB画像 RGB画像 × IR画像 RGB画像 × RGB画像 （フラッシュ，フォーカス，ISO，絞り） ガイド・画像の組み合わせ 77
- 78. デュアルカメラスマホ 78 iPhone 7Plus HUAWEI P9/Mata9/ P10 Honor 8 Pro LG V20/G6 Xiaomi Mi5S PlusZTE Nubai Z17mini/V8 Asus Zenfone 3 Zoom
- 79. フラッシュ・ノンフラッシュフォトグラフィ フラッシュ画像 光源の変化→影の消失 色合いが不自然 コントラストがはっきり ノイズが少ない 「フラッシュを焚いて撮影した写真と 焚かずに取った写真を計算して統合する方法」 ノンフラッシュ画像 色合いが自然 影が正しく撮影 コントラストが曖昧 ノイズが多い
- 80.
- 81.
- 82.
- 83. Joint Bilateral Upsampling83 高解像度の色情報をガイド にして補間する値を決定
- 84.
- 85.
- 86.
- 87. 様々な高速化アルゴリズムが提案 Compressive Bilateral Filter •K. Sugimoto and S. I. Kamata, "Compressive Bilateral Filtering," in IEEE Transactions on Image Processing, vol. 24, no. 11, pp. 3357-3369, Nov. 2015. • グレイスケールかつVGAなら，１０ｍｓ程度で任意の フィルタカーネルサイズで計算可能（しかもCPU） 乱択バイラテラルフィルタ • 藤田秀, 木村誠, 福嶋慶繁, "乱択化バイラテラルフィルタ による高速エッジ保持平滑化," 情報処理学会コンピュー タビジョンとイメージメディア研究会(CVIM), Jan．2016. • 乱数を使ってフィルタリングを間引くことで簡単に高速 化．カラーでも高速化可能． エッジ保存平滑化フィルタの高速化 87
- 88. Weighted joint bilateralfilter with slope depth compensation filter for depth map refinement," in Proc. The 8th International Conference on Computer Vision Theory and Applications (VISAPP), Feb. 2013. 重み付きバイラテラルフィルタ出力と近傍の値へ の置き換えをすることで最頻値フィルタの近似を する Zhang, Qi, Li Xu, and Jiaya Jia. "100+ times faster weighted median filter (WMF)." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. WMFの近似高速化アルゴリズム．上の処理のほう がだいぶはやい． 最頻値フィルタの高速化 88
- 89. ノンローカルミーンフィルタ デノイジングフィルタ．バイラテラルフィルタではどうしてもノ イズが抑えられなかったらこれ BM3D 最高峰のデノイジングフィルタ．デプスマップのデノイズには， これほどの処理はいらない guided filter ボックスフィルタを組み合わせることで，ガイド画像を線形当て はめした出力（局所線形性）を出力 domain transformfilter エッジ保存可能なIIRフィルタ．最も高速に動作するが，ノイズに 弱い Fast Global Smoother Filter 全画像をフィルタリングカーネルの対象にしたフィルタの近似高 速化．穴埋めにはこのフィルタのほうが強い その他のエッジ保存平滑化フィルタ 89
- 90. OpenCV デファクトスタンダート画像処理ライブラリ imgproc, photo, ximgproc,xphotoモジュールに 紹介したフィルタが実装されている OpenCP 福嶋が作ったエッジ保存平滑化フィルタ等を公 開したライブラリ https://github.com/norishigefukushima/OpenC P AVXに対応作業が進行中 実装 90
- 91.
- 92. ドメイン固有言語：Domain Specific Language（DSL） 何かに特化した専用プログラミング言語 画像処理専用DSL Halide (http://halide-lang.org/) Darkroom(http://darkroom-lang.org/) Forma (https://github.com/NVIDIA/Forma) など，近年多数登場． 高速な実装・コンパイラ 92
- 93.
- 94.
- 95.
- 96. 様々なデプスセンサが登場 Light Coding, Timeof Flight, Stereo + Unstructured Light, Stereo センサは方式により精度，誤差の乗り方が 違う デプスマップのフィルタリングによる改善 方法，その高速化方法を紹介 謝辞：本研究はJSPS 科研費JP17H01764 の助成を受けた． まとめ 96