More Related Content
What's hot
What's hot (20)
Similar to Yoshio Kato Bachelor Thesis
Similar to Yoshio Kato Bachelor Thesis (16)
More from pflab
More from pflab (19)
Yoshio Kato Bachelor Thesis
- 1. Extrinsic LiDAR-Camera Calibration using Depth Estimation 深度推定を用いたLiDAR-カメラ間キャリブレーション 理学部情報科学科 4年 加藤研究室 加藤善夫 (05-181010)
- 2. カメラ画像：2次元で密な情報 LiDAR点群：3次元で疎な情報 2 High-Fidelity Sensor Calibration for Autonomous Vehicles (https://medium.com/lyftlevel5/high-fidelity-sensor-calibration- for-autonomous-vehicles-6af06eba4c26) 背景 キャリブレーションの作業例
- 3. 先行研究（Target-based） チェッカーボードを利用して画像の明度と LiDARの反射強度から対応点を探索 [Wang et al., 2017] 3 走行前にしか行えない
- 4. 先行研究（Target-less） 自然に手に入る画像・点群から推定 • 二次元に投影した点群と画像を比較 [Levinson & Thrun, 2013][Pandey et al., 2014] • 連続画像から復元した看板等の三次元情報を照合 [Nagy et al., 2019] 4 移動物体の情報が扱えない 最適化の計算コストが大きい
- 5. 提案 深度推定を用いたTarget-lessなキャリブレーション手法 ➢カメラ画像から疑似的なLiDAR点群を生成する手法を活用 • Pseudo-LiDAR [Wang et al., 2019] • カメラ画像から推定した深度情報を疑似点群に変換 • 画像ベースでの三次元物体認識の精度が向上 • Pseudo-LiDAR++ [You et al., 2019] • 本物のLiDAR点群をヒントとして疑似点群を修正 • 遠くの物体に対する認識精度を向上 ➢疑似的なLiDAR点群と本物のLiDAR点群を直接照合 • 3D-NDT [Takeuchi & Tsubouchi, 2006] ➢繰り返し実行により深度推定の不確実性が引き起こす影響を軽減 5
- 7. 7 RGB画像入力 深度推定 疑似LiDAR点群 本物のLiDAR点群 点群を照合 新しい 変換行列 現在の 変換行列 提案 深度推定 疎だが受容野の広い畳み込みを活用したCNNを採用 [Fu et al., 2018]
- 8. 8 RGB画像入力 深度推定 疑似LiDAR点群 本物のLiDAR点群 点群を照合 新しい 変換行列 現在の 変換行列 提案 疑似LiDAR点群の生成 カメラの内部パラメータ（焦点 距離等）を既知として生成
- 9. 9 RGB画像入力 深度推定 疑似LiDAR点群 本物のLiDAR点群 点群を照合 新しい 変換行列 現在の 変換行列 提案 点群を照合 3D-NDT [Takeuchi & Tsubouchi, 2006]を 用いた変換行列の推定
- 10. 10 RGB画像入力 深度推定 疑似LiDAR点群 本物のLiDAR点群 点群を照合 新しい 変換行列 現在の 変換行列 提案 繰り返し実行 小さな修正を反復することにより不完全な 深度推定によるミスリードを抑制
- 11. 評価 • KITTI raw dataset [Geiger et al., 2013] からテストデータを作成 • キャリブレーション実行前と実行後のパラメータ誤差を比較 ➢キャリブレーション実行前の誤りは人工的に生成 i. {2,4,6,…,20}度から一つ選びランダムな軸で回転 ii. 0~15cmの範囲でランダムな方向に平行移動 • キャリブレーションの反復回数による性能変化を調査 ➢1回のみ実行した場合と10回反復した場合を比較 11
- 12. 12 1回のみ実行 10回反復 betterworse 結果① 回転パラメータの誤差 • 反復回数を増やすことで12度から平均2.6度まで改善 • 最良のケースでは初めの誤差によらず0.5度以下まで改善
- 16. まとめ • 深度推定を用いたTarget-lessなキャリブレーション手法の提案 • 成果 回転要素：12度のずれに対し平均で78%改善し2.6度まで減少 （最良時は0.5度以下） 並進要素：20cm程度のずれを修正することは困難 今後の課題 • 深度推定が壊れたり照合に失敗したときに推定結果を破棄 点群の一致度を測る関数の利用 • GPU実装などによる高速化 16
- 17. 引用 [Wang et al., 2017] W. Wang, K. Sakurada, and N. Kawaguchi, “Reflectance Intensity Assisted Automatic and Accurate Extrinsic Calibration of 3D LiDAR and Panoramic Camera Using a Printed Chessboard,” arXiv, 2017. [Levinson & Thrun, 2013] J. Levinson and S. Thrun, “Automatic Online Calibration of Cameras and Lasers,” Robotics: Science and Systems, 2013. [Pandey et al., 2015] G. Pandey, J. R. McBride, S. Savarese, and R. M. Eustice, “Automatic Extrinsic Calibration of Vision and Lidar by Maximizing Mutual Information,” Journal of Field Robotics, 2015. [Takeuchi & Tsubouchi, 2006] Eijiro Takeuchi and Takashi Tsubouchi, “A 3-D Scan Matching using Improved 3-D Normal Distributions Transform for Mobile Robotic Mapping,” IEEE/RSJ International Conference on Intelligent Robots and Systems, 2006. [Nagy et al., 2019] B. Nagy, L. Kovács, and C. Benedek, “Online Targetless End-to-End Camera-LIDAR Self- calibration,” 16th International Conference on Machine Vision Applications (MVA), 2019. [Wang et al., 2019] Y. Wang, W. Chao, D. Garg, B. Hariharan, M. Campbell, and K. Weinberger, “Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving,” CVPR, 2019. [You et al., 2019] Y. You, Y. Wang, W. Chao, D. Garg, G. Pleiss, B. Hariharan, M. Campbell, and K. Q. Weinberger, “Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving,” arXiv, 2019. [Fu et al., 2018] H. Fu, M. Gong, C. Wang, K. Batmanghelich, and D. Tao, “Deep Ordinal Regression Network for Monocular Depth Estimation,” CVPR, 2018. 17
- 19. 補足 実行時間 • 環境 • CPU：Intel i7-9700K CPU @3.60GHz • GPU：GeForce RTX 2070 • 結果 • 深度マップ読み込み→マッチング終了まで89.4ms (σ=13.4) • 深度推定は1秒 • 全体でのリアルタイム化は難しい • より高速な深度推定、GPU上で完結させる等で改善可能 19