Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

3次元レジストレーション(PCLデモとコード付き)

22,067 views

Published on

3次元点群に対するレジストレーション(位置合わせ)手法について解説する。

3次元レジストレーション手法の概要の把握。 ICP程度の手法を実装できるスキルの取得。

1. レジストレーションとは:2次元のレジストレーションの例から始めて,3次元レジストレーションの基礎を学ぶ。最小二乗法,最適化,Procrustes analysis
2. ICPとその変種:基本的なアルゴリズムであるICP(Iterative Closest Point)と,その拡張を学ぶ。ICP,Softassign,EM-ICP
3.さまざまなレジストレーション手法を学ぶ.剛体レジストレーション,非剛体レジストレーション

Published in: Technology
  • If you want to download or read this book, copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • If you want to download or read this book, copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { https://urlzs.com/UABbn } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • If you want to download or read this book, Copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ,Download or read Ebooks here ... ......................................................................................................................... Download FULL PDF EBOOK here { https://urlzs.com/UABbn }
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

3次元レジストレーション(PCLデモとコード付き)

  1. 1. 1 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 3次元画像センシング技術 2014/11/14 14:50∼16:45 (115分)! 玉木徹(広島大学) @ttttamaki 玉木 徹 tamaki@hiroshima-u.ac.jp 3次元レジストレーション 3次元点群に対するレジストレーション(位置合わせ)手法について解説する。 <成果目標> 3次元レジストレーション手法の概要の把握。 ICP程度の手法を実装できるスキルの取得。 1.  レジストレーションとは:2次元のレジストレーションの例から始めて,3次元レジストレーション の基礎を学ぶ。 最小二乗法,最適化,Procrustes analysis 2. ICPとその変種:基本的なアルゴリズムであるICP(Iterative Closest Point)と,その拡張を学ぶ。 ICP,Softassign,EM-ICP 3.さまざまなレジストレーション手法を学ぶ 剛体レジストレーション,非剛体レジストレーション
  2. 2. 2 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 3次元点位置合わせ:大仏の形状スキャン 大石岳史,増田智仁,倉爪亮,池内克史,創建期奈良大仏及び大仏殿のデジタル復元,日本 バーチャルリアリティ学会論文誌, Vol. 10, No. 3, pp.429-436, 2005.10.
  3. 3. 3 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCL:3次元点群処理ライブラリ The PCL Registration API, http://pointclouds.org/documentation/tutorials/registration_api.php"
  4. 4. 4 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki レジストレーション:応用 応用: パノラマ写真の作成 応用: 医用画像位置合わせ 応用: 3次元点位置合わせ 画像1 画像2パノラマ画像" ボリューム1 ボリューム2ボリューム 点集合1 点集合2点集合
  5. 5. 5 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 分類:2Dと3D 2D画像の位置合わせ 3Dボリュームの位置合わせ 3D点群の位置合わせ 画像1 画像2パノラマ画像" ボリューム1 ボリューム2ボリューム 点集合1 点集合2点集合 2D-2Dレジストレーション 3D-3Dレジストレーション 3D-3Dレジストレーション
  6. 6. 6 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 分類:利用する情報 特徴点ベース 輝度差の最小化 仮の対応を与える 点集合1 点集合2点集合 各点は位置情報のみ" 仮の対応を与えて推定,反復" 画像から抽出される特徴点" 対応は特徴点マッチング 画像の輝度値" ボリュームのボクセル値" 点対応は未知 特徴点 対応を見つける 各点の値 値が近い" 所を探す 対応を与える(仮) 2D-2D点" 3D-3D点" 3D-3Dボ 2D-2D" 3D-3Dボ 2D-2D点 3D-3D点
  7. 7. 7 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 2次元レジストレーション
  8. 8. 8 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki レジストレーションを構成する3つの要素 1st Image " Template" Fixed image" model 2nd Image " Observation" Moving image" measurements I1 I2p 運動パラメータ" 変形パラメータ 似ているか?(類似度)" 近いか?(距離) I0 2 I1 I2p I0 2p 点の座標" 画素値ボクセル値" ユークリッド距離(L2)" ロバスト関数" SSD, NCC" 相互情報量(MI) 剛体変換(並進・回転)" アフィン変換" 非剛体変形" min との距離{ }と で を変換した ( ) ) (
  9. 9. 9 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki レジストレーションの一般的な形式 1st Image " Template" Fixed image" model 2nd Image " Observation" Moving image" measurements I1 I2p 運動パラメータ" 変形パラメータ 似ているか?(類似度)" 近いか?(距離) I0 2 The Robotics Institute, Mellon University, AAM Fitting Algorithms, http://www.ri.cmu.edu/research_project_detail.html?project_id=448&menu_id=261 運動パラメータpは思っているよりも複雑!
  10. 10. 10 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 補足:3枚以上の画像の位置合わせ I1 I2 In ...min { (  )と(  )との距離}I0 jI0 i i, j バンドル調整
  11. 11. 11 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki レジストレーションを構成する3つの要素 I1 I2p 運動パラメータ" 変形パラメータ 似ているか?(類似度)" 近いか?(距離) I0 2 I1 I2p I0 2p 点の座標" 画素値ボクセル値" ユークリッド距離(L2)" ロバスト関数" SSD, NCC" 相互情報量(MI) 剛体変換(並進・回転)" アフィン変換" 非剛体変形" min との距離{ }と で を変換した ( ) ) (
  12. 12. 12 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki レジストレーションを構成する3つの要素 I1 I2pI0 2 min p dist(I1, I0 2(p))もう少し数学的に..." I1 I2p I0 2p 点の座標" 画素値ボクセル値" ユークリッド距離(L2)" ロバスト関数" SSD, NCC" 相互情報量(MI) 剛体変換(並進・回転)" アフィン変換" 非剛体変形" min との距離{ }と で を変換した ( ) ) (
  13. 13. 13 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki min p X i ||x1i (x2i p)||2 特徴点ベースのレジストレーション:例 I1 I2 p min p dist(I1, I0 2(p)) 特徴点の場合を具体的に" min p X i dist(x1i, W(x2i, p)) x11 x12 x13 パラメータは並進だけ" x21 x22 x23 W 1
  14. 14. 14 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 特徴点ベースのレジストレーション:例 I1 I2 min p dist(I1, I0 2(p)) 特徴点の場合を具体的に" min p X i dist(x1i, W(x2i, p)) x11 x12 x13 パラメータは並進だけ" t x21 x22 x23 min t X i ||(x1i + t) x2i||2
  15. 15. 15 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki ||x11 + t x21||2 = 0 ||x12 + t x22||2 = 0 ||x13 + t x23||2 = 0 特徴点ベースのレジストレーション:例 I1 I2 x11 x12 x13 t x21 x22 x23 x11 + t = x21 x12 + t = x22 x13 + t = x23 ... ... min t X i ||(x1i + t) x2i||2 ユークリッド距離(L2ノルム)" の2乗"
  16. 16. 16 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki min t X i ||(x1i + t) x2i||2 特徴点ベースのレジストレーション:例 I1 I2 x11 x12 x13 t x21 x22 x23 ||x11 + t x21||2 ' 0 ||x12 + t x22||2 ' 0 ||x13 + t x23||2 ' 0 x11 + t = x21 x12 + t = x22 x13 + t = x23 ... ... 差の二乗和" 二乗誤差和" SSD" (sum of squared differences) ユークリッド距離(L2ノルム)" の2乗"
  17. 17. 17 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 最小二乗法・最適化
  18. 18. 18 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 目的関数の最適化(1次元) 目的関数 (objective function)" コスト関数 (cost function)" (エネルギー関数)" (大域的)最適解" (global minimum)" 目的関数Eの値 最適解" 局所最適解,局所解" (local minimum)" 極値,極小値" 局所解" 並進移動量 t = tx 0 tx の場合 E = X i ||(x1i + t) x2i||2
  19. 19. 19 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 目的関数の最適化(2次元) 目的関数 (objective function)" コスト関数 (cost function)" (エネルギー関数)" (大域的)最適解" (global minimum)" 目的関数Eの値 tx の場合 E = X i ||(x1i + t) x2i||2 t = ⇣ tx ty ⌘ ty 並進移動量 tx ty並進移動量
  20. 20. 20 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 目的関数の最適化=微分して0 ■  最適解では…" n  Eの接線の傾きが0" n  Eを微分して0" ■  微分" n  1次元:txで微分" n  2次元:t で微分" ■  Let’s 微分!" 目的関数 (objective function)" コスト関数 (cost function)" (エネルギー関数)" t = tx 0 の場合 E = X i ||(x1i + t) x2i||2 @E @t = 0 @E @t 6= 0 接線の傾き 接線の傾き 目的関数Eの値 並進移動量 tx
  21. 21. 21 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki Let’s 式展開&ベクトル微分 E = X i ||(x1i + t) x2i||2 = X i ((x1i + t) x2i)T ((x1i + t) x2i) = X i ((x1i x2i) + t)T ((x1i x2i) + t) = X i (x1i x2i)T (x1i x2i) + (x1i x2i)T t + tT (x1i x2i) + tT t = X i (x1i x2i)T (x1i x2i) + 2(x1i x2i)T t + tT t = X i ||x1i x2i||2 + 2(x1i x2i)T t + ||t||2 @E @t = X i (2(x1i x2i) + 2t) = 0 ( NX i 2(x1i x2i)) + 2Nt = 0 対応点の移動量の平均 解析解" (数式で表される) N:点の個数 ||a||2 = aT a @aT a @a = 2a @bT a @a = b 微分して0とおいて解く 平均同士の差 の場合t = ⇣ tx ty ⌘
  22. 22. 22 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki ポイント1:だからユークリッド距離 I1 I2 x11 x12 x13 t x21 x22 x23 ||x11 + t x21||2 ' 0 ||x12 + t x22||2 ' 0 ||x13 + t x23||2 ' 0 x11 + t = x21 x12 + t = x22 x13 + t = x23 ユークリッド距離(L2ノルム)" の2乗" 目的関数が2次関数" 最小値は解析的に求まる" 目的関数Eの値 並進移動量 tx
  23. 23. 23 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki t = ¯x1 ¯x2 ポイント2:外れ値に気をつけよう I1 I2 x11 x12 x13 t x21 x22 x23 ||x11 + t x21||2 ' 0 ||x12 + t x22||2 ' 0 ||x13 + t x23||2 ' 0 並進の推定値 ユークリッド距離(L2ノルム)" (の2乗)" 「ノイズが正規分布」を仮定" (最尤推定)"
  24. 24. 24 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki ポイント2:外れ値に気をつけよう I1 I2 x11 x12 x13 t x21 x22 x23 ||x11 + t x21||2 ' 0 ||x12 + t x22||2 ' 0 ||x13 + t x23||2 ' 0ユークリッド距離(L2ノルム)" (の2乗)" 並進の推定値 「ノイズが正規分布」を仮定" (最尤推定)" 外れ値に弱い!" 外れ値" ■  対策" n  L1ノルムを用いる" n  ロバスト距離関数を用いる" n  RANSACを利用 t = ¯x1 ¯x2
  25. 25. 25 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki p W (x1i, p) = x2i ||W (x1i, p) x2i||2 ' 0 補足:一般化 I1 I2 x11 x12 x13 x21 x22 x23 目的関数は一般に非2次関数" 最小値は解析的に求まらない" 目的関数Eの値 パラメータ ■  解析的に解ける" n  並進,回転,相似変換" n  アフィン変換" ■  反復法が必要" n  非線形関数" n  (スプライン,FFD,など)" 変換関数(ワープ関数)
  26. 26. 26 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 勾配法の例:最急降下法 ■  問題点" n  局所解に陥る" n  画像ピラミッドを利用" n  ステップサイズが固定" n  Newton法を採用" 目的関数Eの値 パラメータ p0 p1 p2 · · · 下る方向に進む (この場合は右方向) パラメータ更新式 ステップサイズ 降下方向一つ前の 推定値 新しい 推定値 最適解 局所解 pn = pn 1 + ↵ pn 1 pn
  27. 27. 27 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PROCRUSTES ANALYSIS
  28. 28. 28 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 分類:利用する情報 特徴点ベース 輝度差の最小化 仮の対応を与える 点集合1 点集合2点集合 各点は位置情報のみ" 仮の対応を与えて推定,反復" 画像から抽出される特徴点" 対応は特徴点マッチング 画像の輝度値" ボリュームのボクセル値" 点対応は未知 特徴点 対応を見つける 各点の値 値が近い" 所を探す 対応を与える(仮) 2D-2D点" 3D-3D点" 3D-3Dボ 2D-2D" 3D-3Dボ 2D-2D点 3D-3D点
  29. 29. 29 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 対応の与えられているマッチング問題 点集合X 点集合Y 対応が与えられている点集合 解くべき問題 ここで 点集合X 点集合Y 重心位置の計算 つまり,回転Rが与えられれば" 並進tも求められる ■  手順" n  Rを先に推定" n  次にtを計算 重心 重心
  30. 30. 30 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki Rのみの推定問題へ変形(行列形式) 3xn 1xn 3xn フロベニウスノルム 解くべき問題(各点の誤差の2乗和) 解くべき問題(行列ノルム最小化) ここで 重心位置を引く と: 解くべき問題(回転のみ) ここで 3xn 3xn ■  代表的な解法" n  四元数を用いる方法 n  SVDを用いる方法" 重心を引いたデータ" (センタリング済み)
  31. 31. 31 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki Lagrange乗数を用いた解法 最小化する項 制約条件 Lagrange乗数6つの異なるLagrange乗数を" 要素に持つ3x3対称行列 Shinji Umeyama. Least-squares estimation of transformation parameters between two point patterns. IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 13, No. 4, pp. 376–380, 1991. " 直交行列 行列式が+1 解くのは大変... 127 127 Eigen::umeyama という名前でEigenに実装されている
  32. 32. 32 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 四元数を用いた解法 1 2 3S Kの第1固有ベクトルを計算:q これを四元数qとみなす" 回転行列Rへ変換" Berthold K. P. Horn, Hugh M. Hilden, and Shahriar Negahdaripour. Closed-form solutions of absolute orientation using orthonormal matrices. Journal of the Optical Society of America, Vol. 5, pp. 1127–1135, 1988. Berthold K. P. Horn. Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical Society of America, Vol. 4, pp. 629–642, 1987. 行列Sを計算 行列Kを計算 nx3 3xn 3x3
  33. 33. 33 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki SVDを用いた解法 ■  トレースの性質" ■  Frobenius normと行列のト レース(tr) 解くべき問題(行列ノルム最小化) 解くべき問題(行列トレース最大化) K. S. Arun, T. S. Huang, and S. D. Blostein. Least-squares fitting of two 3-D point sets. PAMI, Vol. 9, No. 5, pp. 698–700, 1987. Peter H. Schönemman. A generalized solution of the orthogonal procrustes problem. Psychometrika, Vol. 31, No. 1, pp. 1–10, 1966.
  34. 34. 34 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki SVDを用いた解法 トレースの上界を計算" 特異値分解 (Singular Value Decomposition, SVD) だから最大値を与えるのは 直交行列" 対角行列 Schwarzの不等式で示せる" K. S. Arun, T. S. Huang, and S. D. Blostein. Least-squares fitting of two 3-D point sets. PAMI, Vol. 9, No. 5, pp. 698–700, 1987." Peter H. Schönemman. A generalized solution of the orthogonal procrustes problem. Psychometrika, Vol. 31, No. 1, pp. 1–10, 1966. 求めた回転行列 さっきの式 するとRの行列式は+1" でもRの行列式は+1か-1" Kenichi Kanatani. Analysis of 3-D rotation fitting. PAMI, Vol. 16, No. 5, pp. 543– 549, 1994." Shinji Umeyama. Least-squares estimation of transformation parameters between two point patterns. PAMI, Vol. 13, No. 4, pp. 376–380, 1991. " 金谷健一, 画像理解—3次元認識の数理—, 3.4節, 森北出版, 1990. S
  35. 35. 35 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki Orthogonal Procrustes Problem Procrustes. "Now then, you fellows; I mean to fit you all to my little bed!” The Modern Bed of Procrustes - Cartoon from the Project Gutenberg eBook of Punch, Volume 101, September 19, 1891, by John Tenniel. http://commons.wikimedia.org/wiki/File:The_Modern_Bed_of_Procustes_-_Punch_cartoon_-_Project_Gutenberg_eText_13961.png" Orthogonal Procrustes Extended Orthogonal Procrustes Generalized Orthogonal Procrustes Peter H. Schönemmanand Robert M. Carroll. Fitting one matrix to another under choice of a central dilation and a rigid motion. Psychometrika, Vol. 35, No. 2, pp. 245–255, 1970. Devrim Akca. Generalized procrustes analysis and its applications in photogrammetry. Technical report, ETH, Swiss Federal Institute of Technology Zurich, Institute of Geodesy and Photogrammetry, 2003. Peter H. Schönemman. A generalized solution of the orthogonal procrustes problem. Psychometrika, Vol. 31, No. 1, pp. 1–10, 1966. John R. Hurley, Raymond B. Cattell, The procrustes program: Producing direct rotation to test a hypothesized factor structure, Behavioral Science, Volume 7, Issue 2, pages 258–262, April 1962. 回転のみ 並進も たくさん
  36. 36. 36 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 絶対標定:Absolute Orientation Berthold K. P. Horn, Hugh M. Hilden, and Shahriar Negahdaripour. Closed-form solutions of absolute orientation using orthonormal matrices. Journal of the Optical Society of America, Vol. 5, pp. 1127–1135, 1988." Berthold K. P. Horn. Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical Society of America, Vol. 4, pp. 629–642, 1987. E. H. Thompson. An exact linear solution of the problem of absolute orientation. Photogrammetria, Vol. 15, pp. 163-179, 1958-1959." G.H. Schut, On exact linear equations for the computation of the rotational elements of absolute orientation, Photogrammetria, Volume 17, pp. 34-37, 1960–1961. E. H. Thompson, 1958-1959" 0 @ X Y Z 1 A = R 0 @ X0 Y 0 Z0 1 A これを求める
  37. 37. 37 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki DERiVE コンピュータビジョンブログ, 【シリーズ】「PCLを触ってみよう!」 第3回:Point Cloudデータの読み込みと可視化, 2011/10/29, http:// derivecv.tumblr.com/post/12067667202 付録:ノイズが非等方ガウスの場合! 点集合X 点集合Y Leo Dorst, "First Order Error Propagation of the Procrustes Method for 3D Attitude Estimation," PAMI, vol. 27, no. 2, pp. 221-229, 2005." 原裕貴,新妻弘崇,金谷健一, 不均一な誤差分布をもつ空間 データからの3次元回転の最適計算, 2011-CVIM-175-20, 2011.1" 松永力, 2次元/3次元幾何学変換の統一的な最適計算, SSII2012. 非等方ガウスノイズ 一方向にノイズが広がっている" 例:ステレオ復元など 不均一ノイズ分布 各点のノイズ分布が異なる" 例:Kinectで取得した点群など 等方ガウスノイズ ノイズ分布を表す楕円 すべての点のノイズが同一分布" 通常仮定されるノイズ" 一般的,非現実的 手前" 精度高い 奥" 精度低い Kinect点群 Tsukuba D. Scharstein and R. Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. IJCV 2002. http://vision.middlebury.edu/stereo/eval/newEval/tsukuba/ alg12t100.html
  38. 38. 38 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 点群の大きさが異なる場合:相似変換 R, tに加えてスケールsを推定しなければならない" n  単純解法" n  最適計算" " スケール •  本田卓士, 新妻弘崇, 金谷 健一, 3次元相似変換の最適化計算: ガウス・ニュートン法vs.ガウス・ヘルマート法, 2011- CG145CVIM179-12, 2011.11." •  原裕貴,新妻弘崇,金谷健一, 不均一な誤差分布をもつ空間 データからの3次元相似変換の最適計算, 2010-CVIM-176-15, 2011.3" s = tr(Y 0T X0 ˆR) tr(X0T X0) •  L. Dryden, K. V. Mardia, Statistical shape analysis, Wiley, 1998." •  Shinji Umeyama. Least-squares estimation of transformation parameters between two point patterns. IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 13, No. 4, pp. 376–380, 1991. " Toru Tamaki, Shunsuke Tanigawa, Yuji Ueno, Bisser Raytchev, Kazufumi Kaneda: "Scale matching of 3D point clouds by finding keyscales with spin images,” ICPR2010." n  Keyscale" n  3次元点群の大きさ特徴量を表すスケールを 見つけてそろえる(keypointのスケール版) 剛体変換の場合 相似変換の場合 Eigen::umeyama pcl::registration::Transformation EstimationSVDScale
  39. 39. 39 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCL1.7.1における! RとTの推定
  40. 40. 40 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki RとTの推定(通常版:point-to-point) 剛体変換の推定" •  出力" •  回転行列R,並進ベクトルT" •  (スケールs)" •  入力" •  点の対応関係" •  点数が同じ2つの点群" •  ソース,ターゲット" 点集合X 点集合Y 対応が与えられている点集合 •  pcl::registration::TransformationEstimationSVD" •  剛体変換:回転行列R,並進ベクトルT" •  pcl::registration::TransformationEstimationSVDScale" •  相似変換:回転行列R,並進ベクトルT,スケールs" スケール s = tr(Y 0T X0 ˆR) tr(X0T X0)
  41. 41. 41 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki RとTの推定(point-to-plane版) 剛体変換の推定" •  出力" •  回転行列R,並進ベクトルT" •  入力" •  点の対応関係" •  点数が同じ2つの点群" •  ソース,ターゲット" •  各ターゲット点の法線ベクトル" •  (オプション)対応の重み" 対応+法線が与えられている点集合 •  pcl::registration::TransformationEstimationPointToPlane" •  レーベンバーグ・マーカート法による最適化" •  pcl::registration::TransformationEstimationPointToPlaneLLS" •  線形最小二乗法による近似最適化" •  pcl::registration::TransformationEstimationPointToPlaneLLSWeighted" •  重み付き線形最小二乗法による近似最適化" point-to-plane" distance point-to-point" distance 遠い 近い 平面に" 近い 平面から" 遠い
  42. 42. 42 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki point-to-point" distance 遠い 近い point-to-plane" distance 平面に" 近い 平面から" 遠い point-to-point point-to-plane point-to-point vs point-to-plane Szymon Rusinkiewicz, Marc Levoy, Efficient Variants of the ICP Algorithm, 3DIM, 2001." http://www.cs.princeton.edu/~smr/papers/fasticp/" Szymon Rusinkiewicz, Derivation of point to plane minimization, 2013." http://www.cs.princeton.edu/~smr/papers/icpstability.pdf " Kok-Lim Low, Linear Least-Squares Optimization for Point-to-Plane ICP Surface Registration, Technical Report TR04-004, Department of Computer Science, University of North Carolina at Chapel Hill, February 2004." https://www.comp.nus.edu.sg/~lowkl/publications/lowk_point-to-plane_icp_techrep.pdf" point-to-planeのICPの方が収束がよい" ただし法線情報が必要
  43. 43. 43 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLサンプルコード:RとTの推定 メインパート PCL1.7.2ではこのバグは直っています(1.7.1ではバグあり) 1.7.2ではこの部分は不要です このsがなかった...
  44. 44. 44 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki ICP
  45. 45. 45 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki ICP:点集合マッチング ■  Iterative Closest Point (ICP) " n  点集合マッチングの代表的な手法" n  多数の派生手法が登場" ■  マッチング" n  =剛体レジストレーション" n  回転行列Rと並進ベクトルtを推定 する 並進ベクトルt 点集合X 点集合Y ?" 対応が与えられていない点集合 大石岳史,増田智仁,倉爪亮,池内克史,創建期奈良大仏及び大仏殿のデジタル復元,日本 バーチャルリアリティ学会論文誌, Vol. 10, No. 3, pp.429-436, 2005.10. Chen, Y. and Medioni, G. “Object Modeling by Registration of Multiple Range Images,” Proc. IEEE Conf. on Robotics and Automation, 1991. " Besl, P. and McKay, N. “A Method for Registration of 3-D Shapes,” Trans. PAMI, Vol. 14, No. 2, 1992. " 点集合Y
  46. 46. 46 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 対応が与えられていない点集合マッチング ■  問題" n  対応は与えられていない" n  点の座標しか情報がない" ■  ICPの基本アルゴリズム" 1.  仮の対応:Xの各点に最も近いY の点を求める (closest point) 2.  パラメータを求める:XをYに変 換するパラメータ(回転Rと並進 t)を推定する" 3.  仮の対応:RX+tの各点に最も近 いYの点を求める (closest point)" 4.  ステップ2と3を反復(iterate)" ■  ICPのコンセプト" n  「対応がない問題」を「対応のあ る問題」に置き換える" n  これを反復する" 点集合X 点集合Y ?" 対応が与えられていない点集合 点集合X 点集合Y 対応が与えられている点集合 玉木 徹 : 「姿勢推定と回転行列」, 電子情報通信学会 スマートインフォメ ディアシステム研究会(SIS)信号処理研究会(SIP)オーディオビジュアル 複合情報処理研究会(IPSJ-AVM), 電子情報通信学会技術報告 SIP2009-48, SIS2009-23, Vol.109, No.202, pp.59-64, 広島大学, 広島(2009 09)."
  47. 47. 47 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 点集合X 点集合Y 点集合Y 反復" 1回目 各点xiに最も近い" yiを対応させる 各点Rxi+tに最も近い" yiを対応させる Rとtを推定
  48. 48. 48 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 点集合X 点集合Y 点集合Y 反復" 1回目 反復" 2回目 各点xiに最も近い" yiを対応させる 各点Rxi+tに最も近い" yiを対応させる Rとtを推定 Rとtを推定 各点Rxi+tに最も近い" yiを対応させる
  49. 49. 49 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 点集合X 点集合Y 点集合Y 反復" 1回目 反復" 2回目 反復" 3回目 各点xiに最も近い" yiを対応させる 各点Rxi+tに最も近い" yiを対応させる Rとtを推定 Rとtを推定 Rとtを推定 各点Rxi+tに最も近い" yiを対応させる 各点Rxi+tに最も近い" yiを対応させる
  50. 50. 50 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 点集合X 点集合Y 点集合Y 反復" 1回目 反復" 2回目 反復" 3回目 反復" 4回目 各点xiに最も近い" yiを対応させる 各点Rxi+tに最も近い" yiを対応させる Rとtを推定 Rとtを推定 Rとtを推定 Rとtを推定 各点Rxi+tに最も近い" yiを対応させる 各点Rxi+tに最も近い" yiを対応させる 終了!"
  51. 51. 51 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 対応が与えられていない点集合マッチング ■  問題" n  対応は与えられていない" n  点の座標しか情報がない" ■  ICPの基本アルゴリズム" 1.  仮の対応:Xの各点に最も近いY の点を求める (closest point) 2.  パラメータを求める:XをYに変 換するパラメータ(回転Rと並進 t)を推定する" 3.  仮の対応:RX+tの各点に最も近 いYの点を求める (closest point)" 4.  ステップ2と3を反復" ■  ICPのコンセプト" n  「対応がない問題」を「対応のあ る問題」に置き換える" n  これを反復する" 点集合X 点集合Y ?" 対応が与えられていない点集合 点集合X 点集合Y 対応が与えられている点集合 玉木 徹 : 「姿勢推定と回転行列」, 電子情報通信学会 スマートインフォメ ディアシステム研究会(SIS)信号処理研究会(SIP)オーディオビジュアル 複合情報処理研究会(IPSJ-AVM), 電子情報通信学会技術報告 SIP2009-48, SIS2009-23, Vol.109, No.202, pp.59-64, 広島大学, 広島(2009 09)."
  52. 52. 52 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki point-to-planeの場合 ■  問題" n  対応は与えられていない" n  点の座標しか情報がない" ■  ICPの基本アルゴリズム" 1.  仮の対応:Xの各点に最も近いY の点を求める (closest point) 2.  パラメータを求める:XをYに変 換するパラメータ(回転Rと並進 t)を推定する" 3.  仮の対応:RX+tの各点に最も近 いYの点を求める (closest point)" 4.  ステップ2と3を反復" ■  ICPのコンセプト" n  「対応がない問題」を「対応のあ る問題」に置き換える" n  これを反復する" 点集合X 点集合Y ?" 対応が与えられていない点集合 点集合X 点集合Y 対応が与えられている点集合 玉木 徹 : 「姿勢推定と回転行列」, 電子情報通信学会 スマートインフォメ ディアシステム研究会(SIS)信号処理研究会(SIP)オーディオビジュアル 複合情報処理研究会(IPSJ-AVM), 電子情報通信学会技術報告 SIP2009-48, SIS2009-23, Vol.109, No.202, pp.59-64, 広島大学, 広島(2009 09)." ここがpoint-to-planeになる
  53. 53. 53 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki ICP on PCL 剛体変換の推定" •  出力" •  回転行列R,並進ベクトルT" •  (スケールs)" •  入力" •  2つの点群" •  ソース,ターゲット" •  (ターゲットの法線ベクトル)" •  ICP実装" •  pcl::IterativeClosestPoint" •  デフォルトで" •  変換推定にpoint-to-point" •  距離はpoint-to-point" •  pcl::IterativeClosestPointWithNormals" •  デフォルトで" •  変換推定にpoint-to-plane" •  距離はpoint-to-point !" •  どちらもメンバ関数で動作変更可能" •  pcl::Registration::setTransformationEstimation()" •  変換の推定方法(RTのみ,スケール含む,point-to-plane)" •  pcl::Registration::setCorrespondenceEstimation" •  距離計算の方法(point-to-point, point-to-plane, その他)" 点集合X 点集合Y ?" 対応が与えられていない点集合
  54. 54. 54 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLサンプルコード:point-to-point ICP メイン部分
  55. 55. 55 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCL1.7.1のICPデモ PCLのICP point-to-point PCLのICP point-to-plane
  56. 56. 56 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki SOFTASSIGN & EM-ICP
  57. 57. 57 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki ICPはかなりアドホック ■  ICP on PCL1.7.1" n  パラメータ多数..." n  setMaximumIterations" n  最大反復回数" n  setRANSACIterations" n  RANSAC回数" n  setRANSACOutlierRejectio nThrethold" n  RANSACのしきい値" n  setMaxCorrespondenceDist ance" n  対応を除外する距離のしきい 値" n  (必須のアドホック)" n  setTransformationEpsilon" n  収束判定" n  setEuclideanFitnessEpsilon" n  収束判定" ■  考えるべきこと多数" ■  距離しきい値が不要な手法" n  softassign" n  EM-ICP" n  sparse ICP
  58. 58. 58 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki arg min yj 2Y ||yj xi|| ICP:仮の対応を与える y1 y2x2 x1 X Y Y ⇤ y21 y43 y43 XとY*を用いてRとtを推定" X中の各点xiについて" 一番近いY中の点を探す 一般に点集合XとYの点の数は異なる Xと同じ点の数の集合Y*を作成 y⇤ i =
  59. 59. 59 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki arg min yj 2Y ||yj xi|| arg min yj 2Y ||yj (Rxi + t)|| ICP:仮の対応を与える y1 y2x2 x1 X Y Y ⇤ y21 y43 y43 y21 XとY*を用いてRとtを推定" X中の各点xiについて" 一番近いY中の点を探す 一般に点集合XとYの点の数は異なる Xと同じ点の数の集合Y*を作成 y⇤ i =
  60. 60. 60 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki arg min yj 2Y ||yj xi|| arg min yj 2Y ||yj (Rxi + t)|| ICP:仮の対応を与える y1 y2x2 x1 X Y Y ⇤ y21 y43 y43 y21 XとY*を用いてRとtを推定" X中の各点xiについて" 一番近いY中の点を探す 一般に点集合XとYの点の数は異なる Xと同じ点の数の集合Y*を作成 y⇤ i =
  61. 61. 61 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki ICP:仮の対応はHard assignment y1 y2 x2 x1 X Y Y ⇤ y21 y43 y43 y211 10 0 0 0 0 0 一般に点集合XとYの点の数は異なる Xと同じ点の数の集合Y*を作成 arg min yj 2Y ||yj (Rxi + t)||y⇤ i = XとY*を用いてRとtを推定"
  62. 62. 62 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki Softassign:仮の対応はsoft assignment y1 y2 x2 x1 X Y y21 y43 0.60.1 0.02 0.3 0.50.1 0.1 0.2 一般に点集合XとYの点の数は異なる XとYを重み付きで処理 XとYを用いて重み付きでRとtを推定" mijxi yj Steven Gold, Anand Rangarajan, Chien-Ping Lu, Suguna Pappu, Eric Mjolsness, "New algorithms for 2D and 3D point matching: pose estimation and correspondence," Pattern Recognition, Vol. 31, No. 8, pp. 1019-1031, 1998. 外れ値対策 外れ値対策
  63. 63. 63 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki mij Shinkhorn iterations:行と列の正規化 各行と列は" 和が1になるように正規化" (Shinkhorn iterations) sum up to 1 sum up to 1 sum up to 1 sum up to 1 行と列の正規化を交互に反復" (収束するまで)"
  64. 64. 64 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki mij 各行と列は" 和が1になるように正規化" (Shinkhorn iterations) Shinkhorn iterations:行と列の正規化 sumupto1 sumupto1 sumupto1 sumupto1 行と列の正規化を交互に反復" (収束するまで)"
  65. 65. 65 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki mij 各行と列は" 和が1になるように正規化" (Shinkhorn iterations) Shinkhorn iterations:行と列の正規化 sumupto1 sumupto1 sumupto1 sumupto1 行と列の正規化を交互に反復" (収束するまで)" sum up to 1 sum up to 1 sum up to 1 sum up to 1
  66. 66. 66 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 重み付きの四元数を用いた方法 𝑆 = 𝑆 = 𝑀 3 3 Normal version 重み付きversion 注:平均も重み付きで計算しておく Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda: "Softassign and EM-ICP on GPU", Proc. of UPDAS2010; The 2nd Workshop on Ultra Performance and Dependable Acceleration Systems, In Proc. of ICNC'10, pp. 179-183 (2010 11), Higashi Hiroshima, Japan, November 17-19, 2010.
  67. 67. 67 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki Pipeline of Softassing.GPU Compute with CUDA kernel Shinkhorn.GPU Centering.GPU Weighted Horn’s method and Solve" Eigenvalue" problem Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda, Marcos Slomp: "CUDA-based implementations of Softassign and EM-ICP,” CVPR2010 demo." Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda: "Softassign and EM-ICP on GPU", Proc. of UPDAS2010. =
  68. 68. 68 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki EM-ICP:仮の対応はsoft assignment y1 y2 x2 x1 X Y y21 y43 0.5 0.60.1 0.02 0.3 0.1 0.1 0.2 一般に点集合XとYの点の数は異なる Xと同じ点の数の集合Y*を作成" (重み付き)" XとY*を用いてRとtを推定" mijxi yj Sebastien Granger, Xavier Pennec, "Multi-scale EM-ICP: A Fast and Robust Approach for Surface Registration,” ECCV2002, Vol. 4, pp. 69-73, 2002 Y ⇤ 外れ値対策 Shinkhorn不要
  69. 69. 69 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki Pipeline of EM-ICP.GPU Compute with CUDA kernel Row normalization on GPU Centering.GPU 2 step weighted Horn’s method and Solve" Eigenvalue" problem Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda, Marcos Slomp: "CUDA-based implementations of Softassign and EM-ICP,” CVPR2010 demo." Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda: "Softassign and EM-ICP on GPU", Proc. of UPDAS2010. * =
  70. 70. 70 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki  GPU実装:コード+デモ映像 (CVPR2010 demo) 12/04/13 14:28CUDA-based implementations of Softassign and EM-ICP ABSTRACT DEMO MOVIES REFERENCES CODE SVN DOWNLOAD ABSTRACT This demonstration provides CUDA-based implementations of two 3D point sets registration algorithms: Softassign [Gold 1998] and EM-ICP [Granger 2002]. Both algorithms are known for being time demanding, even on modern multi-core CPUs. Our GPU-based implementations vastly outperform CPU ones. For instance, our CUDA EM-ICP aligns 5000 points in less than 7 seconds on a GeForce 8800GT, while the same implementation in OpenMP on an Intel Core 2 Quad would take 7 minutes. Registration (alignment) of 3D point sets is one of the most important problems in computer vision and several methods have been developed over the last two decades. The widely used Iterative Closest Point (ICP) algorithm [Besl 1992] provides quick registration, but requires a good initial alignment in order to prevent local minima and produce a plausible match. Softassign and EM-ICP represent efforts to overcome such limitations: instead of looking for "hard" correspondences between points (each point in one of the sets has to uniquely map to another point in the other set), the latter two algorithms focus on "soft" correspondences (each point in one of the sets corresponds somehow to every point in the other set by some weight). Although these algorithms can handle any initial arrangement, their associated computational cost has been preventing their practical usefulness even for moderately large number of points. Recent advances in graphics hardware and software have motivated us to implement Softassign and EM- ICP on a GPU and evaluate their corresponding behavior and performance. Our contribution is twofold: we introduce the GPU implementations and also demonstrate that most steps of these algorithms are GPU- friendly, consisting of either vector-matrix multiplications or element-wise operations. The registration process is iteratively tracked in a window with interactive manipulation. Connection to the main conference CUDA-based implementations of Softassign and EM-ICP Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda, Marcos Slomp Hiroshima University, Japan Contact address: tamaki@hiroshima-u.ac.jp CVPR2010 DEMO SUBMISSION 15th June 2010 The content of this page was presented at CVPR201 demo. SOURCE CODE 7th July 2010 Source code is now available! Download tarball (cuda_emicp_softassign.0.1.tar.gz) or brouse SVN See README.txt for usege. The demo is written in C++ and CUDA and is Linux/GCC compliant (Fedora 11), but should port easily to Windows or Mac platforms. Additional dependencies include freeglut (a modern GLUT alternative) for visualization and OpenMP for the ALIGN TWO 3D SETS OF 5000 POINTS WITHIN 7 SECONDS Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda: "Softassign and EM-ICP on GPU", Proc. of The 2nd Workshop on Ultra Performance and Dependable Acceleration Systems (UPDAS), CD-ROM, 5 pages, 2010." https://github.com/tttamaki/cuda_emicp_softassign" http://home.hiroshima-u.ac.jp/tamaki/study/cuda_softassign_emicp/
  71. 71. 71 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki ICPとの比較 EM-ICP (50%削減) point-to-point softassign (50%削減) point-to-point PCLのICP point-to-point
  72. 72. 72 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki SPARSE ICP
  73. 73. 73 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki sparse ICP Sofien Bouaziz, Andrea Tagliasacchi, Mark Pauly," Sparse Iterative Closest Point, Symposium on Geometry Processing 2013, Computer Graphics Forum, Volume 32, Issue 5, pages 113–123, August 2013." http://www.youtube.com/watch?v=ii2vHBwlmo8" http://lgg.epfl.ch/sparseicp" https://code.google.com/p/sparseicp/ ただしLpノルムではなくL2ノルムのp乗 ノイズに頑健" 重複領域が少なくても安定
  74. 74. 74 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki sparse ICPの定式化 ADMMで解く (Alternating Direction Method of Multipliers) 元の問題 割り当て問題 推定問題 変形 通常のclosest point探索 I:指示関数(条件を満たせば0,そうでなければ無限大)
  75. 75. 75 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki sparse ICPの比較 sparse ICP (p=0.1) point-to-plane(10倍速) sparse ICP (p=0.05) point-to-plane(10倍速) PCLのICP point-to-plane(1倍速) EM-ICP (50%削減) point-to-point(1倍速) sparse ICP (p=0.2) point-to-plane(10倍速) sparse ICP (p=0.2) point-to-point(10倍速)
  76. 76. 76 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki HKS:非剛体レジストレーションの ための特徴量
  77. 77. 77 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki HKS特徴による非剛体物体の対応点探索 Jian Sun, Maks Ovsjanikov and Leonidas Guibas, A Concise and Provably Informative Multi-Scale Signature Based on Heat Diffusion, SGP 2009." http://www.geomtop.org/paper_ppt/multiscale_htker.pdf M. Bronstein and I. Kokkinos, Scale-invariant heat kernel signatures for non-rigid shape recognition, Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2010. http://cvn.ecp.fr/personnel/iasonas/pubs/ BronsteinKokkinos_scale_invariance_CVPR10.p df Original Scaled Figure 3. Comparison of HKS (left) and the proposed scale-invariant HKS (right). First and third rows: three components of HKS and scaled HKS log(t) 1 2 3 4 3 4 1 2 1 Figure 1: top left: dragon model; top right: scaled HKS at points 1, 2, 3 and 4. all four signatures are close at small t’s while big t’s separate the points on the front claws from those on back; bottom left: the points (blue), whose signature is close to the signature of point 1 based on the smaller half estriction to the temporal hile on the other hand, it HKS inherits many useful rturbations of the shape. apture information about demonstrate the practical ng based on the HKS and es. scaled HKS log(t) 1 2 3 4 (a) Figure 8: Isometric matches in the SCAPE dataset [ASK+ 05]. (a) left, the landmark corresponde the map misses one of the arms. The second landmark correspondence allows to obtain good dens values of t reflects the properties of a local neighborhood of p. Thus, to match partial and incomplete shapes, we can con- struct the Heat Kernel Map by only considering small values of t. Figure 9 shows the result of applying our method for matching an arm to a human body and a leg to a horse model. Note that the arm model is significantly denser (containing 9k points, whereas the human model is 10k points), and the two maps shown in the figure are computed for the same arm model. To compute the heat kernel for the partial models, we used Dirichlet boundary conditions, and computed the Heat Kernel Embedding for time values such that the heat kernel at points close to the boundary remains negligible. Figure 9: Matching o e objects by finding two possible maps. (a) left: using a single landmark correspondence is su olated map,(a) middle: a single landmark correspondence provides a good map, but the ear omputing the second landmark correspondence (a) right. Even under considerable geodes ndences are enough to find high quality direct and symmetric maps, (b) left and right respect mark correspondence (Section 4). In this where, we have observed that Shape-DNA without using the Heat Kernel Signature. addition of the HKS, all three methods Moreover, the distortion levels out be- amples. Therefore, the dimensionality of ap is relatively low (we used 10 time sam- mples below). Finally, the top of Figure of adding HKS to the Heat Kernel Map. nse map is computed without HKS, and ches the tail of the model to its leg. Us- effect and allows us to find a high quality nly one landmark correspondence. Note of the average geodesic distortion when three discretizations. Figure 5 shows the our method for intrinsic symmetry de- ample shapes from the Nonrigid World 7]. In all of the remaining examples we Figure 7: Direct and symmetric maps found shapes from the dataset by Vlasic et al. [VBM diameter. Moreover, we are able to find the in try of the armadillo, by considering the seco for the initial feature correspondence (Figur This map, however, flips the two ears of the ar can be fixed by computing a second landm dence (Figure 6(a) right). Similarly, even und geodesic distortion (13.2% of the diameter), o find both the direct and the symmetric map (F Maks Ovsjanikov, Quentin Mérigot, Facundo Mémoli and Leonidas Guibas, One Point Isometric Matching with the Heat Kernel,” Symposium on Geometry Processing 2010, Computer Graphics Forum, Volume 29, Issue 5, pages 1555–1564, July 2010." http://www.lix.polytechnique.fr/~maks/papers/onepoint.pdf" 各点での特徴量が1次元関数で表される 似ている場所は似た特徴量(関数)になる 縦軸:特徴量 横軸:パラメータ(時間) 姿勢が変わっても 似た特徴量(関数) スケールが変わっても 似た特徴量(関数) 非剛体マッチング (対応点探索)
  78. 78. 78 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 熱拡散方程式 のフーリエ展開係数 境界条件初期条件 一般解 境界条件初期条件 一般解 多次元1次元 例1: 例2: 一般に と書ける 熱核 (heat kernel) グリーン関数 解釈:初期分布 f が熱核 Gt によって畳み込まれる 大石進一, フーリエ解析, 岩波書店, 1989. ガウス関数 ユークリッド空間ならLaplace演算子 多様体上ならLaplace-Bertlami演算子
  79. 79. 79 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 熱拡散方程式 境界条件初期条件 一般解 1次元 例1: 大石進一, フーリエ解析, 岩波書店, 1989. (基底関数) のフーリエ展開係数 時刻tが大きくなると(時間が経つと) 指数関数的に高周波成分が減る 初期条件 拡散後 初期条件のフーリエ係数展開(基底関数の線形和)を用いて 一般解を(基底関数✕指数関数)の線形和で構成する
  80. 80. 80 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 熱拡散方程式 境界条件初期条件 一般解 1次元 例2: 一般に と書ける 熱核 (heat kernel) グリーン関数 解釈:初期分布 f が熱核 Gt によって畳み込まれる 大石進一, フーリエ解析, 岩波書店, 1989. ガウス関数 -1.0 -0.5 0.0 0.5 1.0 0.2 0.4 0.6 0.8 1.0 -1.0 -0.5 0.0 0.5 1.0 0.2 0.4 0.6 0.8 1.0 -1.0 -0.5 0.0 0.5 1.0 0.2 0.4 0.6 0.8 1.0 -1.0 -0.5 0.0 0.5 1.0 0.2 0.4 0.6 0.8 1.0 -1.0 -0.5 0.0 0.5 1.0 0.2 0.4 0.6 0.8 1.0 -1.0 -0.5 0.0 0.5 1.0 0.2 0.4 0.6 0.8 1.0 -1.0 -0.5 0.0 0.5 1.0 0.2 0.4 0.6 0.8 1.0 -1.0 -0.5 0.0 0.5 1.0 0.2 0.4 0.6 0.8 1.0 -1.0 -0.5 0.0 0.5 1.0 0.2 0.4 0.6 0.8 1.0 初期条件 拡散後 熱核 畳み込み
  81. 81. 81 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 熱拡散方程式 のフーリエ展開係数 境界条件初期条件 一般解 境界条件初期条件 一般解 多次元1次元 例1: 例2: 一般に と書ける 熱核 (heat kernel) グリーン関数 解釈:初期分布 f が熱核 Gt によって畳み込まれる 大石進一, フーリエ解析, 岩波書店, 1989. ガウス関数 ユークリッド空間ならLaplace演算子 多様体上ならLaplace-Bertlami演算子
  82. 82. 82 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 熱拡散方程式 のフーリエ展開係数 境界条件初期条件 一般解 1次元 例1: 基底関数係数 類推 熱核の構成方法 多次元 大石進一, フーリエ解析, 岩波書店, 1989. ユークリッド空間ならLaplace演算子 多様体上ならLaplace-Bertlami演算子 (基底関数) 基底関数係数
  83. 83. 83 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki HSK: メッシュ物体上の特徴量 平面 ユークリッド空間 位置に依存しないガウス関数 (2点間の距離のみに依存) 多様体 メッシュ状の物体表面 2点の位置に依存する 熱核 Heat Kernel HKS (Heat Kernel Signature) ガウス関数でx=0の高さ 物体上の位置xに 固有の特徴量 (tに依存する1次元関数) of the heat diffusion process on a shape. Our signature, restricting the well-known heat kernel to the temporal mptions, HKS captures all of the information contained metry. This means that the restriction to the temporal and easily commensurable, while on the other hand, it y of the shape. In addition, HKS inherits many useful ar, that it is stable under perturbations of the shape. putable multi-scale way to capture information about ful in many applications. To demonstrate the practical non-rigid multi-scale matching based on the HKS and d across a collection of shapes. scaled HKS log(t) 1 2 3 4 3 4 1 2 Jian Sun, Maks Ovsjanikov and Leonidas Guibas, A Concise and Provably Informative Multi-Scale Signature Based on Heat Diffusion, SGP 2009. http://www.geomtop.org/paper_ppt/multiscale_htker.pdf 場所1と2は似ている 場所1と3は異なる 時間t 凸部はHKSの 値が大きい 凹部はHKSの 値が小さい 注意: 閉曲面にのみ定義されている (裏面のないKinectスキャン などは対象外)
  84. 84. 84 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 対応点ベンチマーク http://www.cs.princeton.edu/~vk/projects/CorrsBlended/doc_data.php
  85. 85. 85 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 特徴点検出器と特徴量記述子! PCLの場合
  86. 86. 86 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki pcl::Keypoint http://docs.pointclouds.org/1.7.1/
  87. 87. 87 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki Keypointの注意点 •  他の手法での注意点" •  点群かdepthかメッシュかボリュームか" •  シーンかオブジェクトか" •  オブジェクトには穴があるとダメ" •  PCLでの注意点" •  スケール:不変 or 固定" •  点の情報:座標のみ,+法線,+輝度値・色" •  構造:点群 or RGBD" 例:pcl::SIFTKeypointは3DのDoGを使うので" スケール不変.でも何のDoG?" •  何も指定しなければ<PointT>:点の輝度値" •  法線があれば<PointNormal>:法線の曲率" •  色があれば<PointXYZRGB>:点の輝度値に変換" ソースコードを見なければ分からない!" •  detectKeypoints()" •  detectKeyppointsForOctave()" •  computeScaleSpace()" •  SIFTKeypointFieldSelector型のgetFieldValue_()がオーバーロードされている" 例:pcl::HarrisKyepoint3Dは法線を使う...でもsetMethod()で手法が選べる.何?" •  HARRIS / NOBLE / LOWE / CURVATURE / TOMASI" ソースを見ないと何なのか分からない. 例:pcl::HarrisKeypoint6は,点の座標+輝度値の”mixed version”.実際 の処理はソースを見るしかない.ソースを見ると,手法はTomashiだけ... 3D SIFTって書いてあるから読んだらボリューム用だった" •  P. Scovanner, S. Ali, and M. Shah, “A 3-dimensional sift descriptor and its application to action recognition,” in ACM Multimedia, 2007, pp. 357–360." •  W. Cheung and G. Hamarneh, “n-sift: n-dimensional scale invariant feature transform,” in Trans. IP, vol. 18(9), 2009, pp. 2012–2021." 3D SURFは一回ボクセルにするからボリューム用" •  Jan Knopp, Mukta Prasad, Geert Willems, Radu Timofte, Luc Van Gool, Hough Transform and 3D SURF for Robust Three Dimensional Classification, Computer Vision – ECCV 2010, Lecture Notes in Computer Science Volume 6316, pp 589-602, 2010." 詳しくは" •  Tsz-Ho Yu, Oliver J. Woodford, Roberto Cipolla, A Performance Evaluation of Volumetric 3D Interest Point Detectors, International Journal of Computer Vision, Volume 102, Issue 1-3, pp 180-197, March 2013." こちらはrange image用." •  3D Geometric Scale Variability in Range Images: Features and Descriptors P. Bariya, J. Novatnack, G. Schwartz, and K. Nishino, in Int'l Journal of Computer Vision, vol. 99, no. 2, pp232-255, Sept., 2012"
  88. 88. 88 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki Fixed/Adaptive scale 3D keypoints Salti, S.; Tombari, F.; Di Stefano, L., "A Performance Evaluation of 3D Keypoint Detectors," 3D Imaging, Modeling, Processing, Visualization and Transmission (3DIMPVT), 2011 International Conference on , vol., no., pp.236,243, 16-19 May 2011. doi: 10.1109/3DIMPVT.2011.37" " Federico Tombari, Samuele Salti, Luigi Di Stefano, Performance Evaluation of 3D Keypoint Detectors, International Journal of Computer Vision, Volume 102, Issue 1-3, pp 198-220, March 2013." " http://vision.deis.unibo.it/keypoints3d/
  89. 89. 89 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki pcl::Feature 特徴量 法線を使う特徴量 局所座標系を" 持つ特徴量 http://docs.pointclouds.org/1.7.1/ •  他の手法での注意点" •  点群かdepthかメッシュかボリュームか" •  シーンかオブジェクトか" •  PCLでの注意点" •  スケール:不変 or 固定" •  点の情報:座標のみ,+法線,+輝度値・色" •  構造:点群 or RGBD" •  特徴:各点の特徴か,点群自体の特徴か"
  90. 90. 90 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLサンプルコード! 特徴量を用いたレジストレーション
  91. 91. 91 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLサンプルコード:特徴点を利用する 特徴点検出 •  Harris3D 特徴量計算 •  FPFH •  (SHOT) 対応点探索 •  FLANN kd-tree 誤対応除去 •  sample consensus 剛体変換推定 •  SVD 微修正 •  point-to-point ICP
  92. 92. 92 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLサンプルコード:特徴点検出
  93. 93. 93 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLサンプルコード:特徴量計算
  94. 94. 94 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLサンプルコード:対応点探索
  95. 95. 95 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki
  96. 96. 96 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLサンプルコード:誤対応除去
  97. 97. 97 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki
  98. 98. 98 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLサンプルコード:RとTの推定
  99. 99. 99 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki
  100. 100. 100 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLサンプルコード:ICPによる微修正
  101. 101. 101 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki
  102. 102. 102 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki PCLデモ:特徴点を利用した位置合わせ
  103. 103. 103 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki サンプルコード on the github ■  PCLのICP & RとTの推定 & 特徴点ベース" n  https://github.com/tttamaki/ICP-test n  icp1:ICP with point-to-point 途中表示なし" n  icp2:ICP with point-to-point" n  icp3:ICP with point-to-plane" n  icp4:特徴点ベース+ICP微修正" n  transform_estimation:RとTの変換 with point-to-point/plane" ■  sparse ICP" n  https://github.com/tttamaki/SICP-test n  scip1:sparse ICP with point-to-plane 途中表示なし" n  scip2:sparse ICP with point-to-plane" ■  EM-ICP" n  https://github.com/tttamaki/cuda_emicp_softassign n  ICP" n  EM-ICP.CPU" n  softassign.GPU" n  EM-ICP.GPU
  104. 104. 104 3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki 3次元画像センシング技術 2014/11/14 14:50∼16:45 (115分)! 玉木徹(広島大学) @ttttamaki 玉木 徹 tamaki@hiroshima-u.ac.jp 3次元レジストレーション 3次元点群に対するレジストレーション(位置合わせ)手法について解説する。 <成果目標> 3次元レジストレーション手法の概要の把握。 ICP程度の手法を実装できるスキルの取得。 1.  レジストレーションとは:2次元のレジストレーションの例から始めて,3次元レジストレーション の基礎を学ぶ。 最小二乗法,最適化,Procrustes analysis 2. ICPとその変種:基本的なアルゴリズムであるICP(Iterative Closest Point)と,その拡張を学ぶ。 ICP,Softassign,EM-ICP 3.さまざまなレジストレーション手法を学ぶ 剛体レジストレーション,非剛体レジストレーション   (sparse-ICP,特徴ベース) (HKS)

×