Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

4D Modeling

4,021 views

Published on

2016年10月25日 第9回AIセミナー 「コンピュータービジョンと AI」,2016年12月24日中部大学の大学院講義, 2017年2月25日名古屋CV・PRML勉強会の講演資料です。
http://www.airc.aist.go.jp/seminar/seminar_009.html

Published in: Engineering
  • Be the first to comment

4D Modeling

  1. 1. 多視点・多時刻の画像を用いた 4Dモデリング 櫻田 健 (Ken Sakurada) 工学研究科 名古屋大学
  2. 2. 目次 • 4Dモデリングとは • 3Dモデリングの研究状況 • 4Dモデリングの実例 • データの位置合わせ • 時間変化の検出手法 • まとめ 人工知能セミナー 2
  3. 3. 4Dモデリングとは 人工知能セミナー 3
  4. 4. 4Dモデリングとは 時間変化を明示的にモデル化し検出・認識 • 3D + 時間軸 人工知能セミナー 4 シーンの変化 変化の過程 1年目 2年目 Y年目 数カ月後
  5. 5. なぜ4Dモデリングが必要か? 社会的ニーズの高まり • 自動運転用地図の自動更新 • インフラ点検 • 災害対応 • 農業の自動化 人工知能セミナー 5
  6. 6. 4Dモデリングの社会的ニーズ 自動運転用地図の自動更新 • 広域を専用車両で繰り返し計測するのはコスト大 人工知能セミナー 6 [Google]
  7. 7. 4Dモデリングの社会的ニーズ インフラの点検 • クラックなどの微細な変化を検出するには熟練の技術が必要 人工知能セミナー 7 [S. Stent et al., BMVC2015] 異常あり
  8. 8. 4Dモデリングの社会的ニーズ 災害対応 • 減災のために迅速な被害の把握が必要 人工知能セミナー 8 3次元構造変化の検出 市街地の瓦礫分布の推定 [K. Sakurada et al., CVPR2013, ACCV2014]
  9. 9. 4Dモデリングの社会的ニーズ 農業の自動化 • 農作物の生育状況のモニタリング 人工知能セミナー 9 入力画像 -100 -50 0 X (m) -150 GPS trajectory Measurement sites Fig. 11: Top left is the tractor collected the dataset; Down left shows sensors and computer (RTK-GPS is not shown); Right is a sample RTK-GPS trajectory, and sites of manual measurements are taken, overlay on Google Maps. Fig. 12: Eight sample images taken at approximately same location in the field, dates taken are marked on images. -86 X (m) -87-88 Fig. 13: Cross section of part of the sparse results at 3rd row. Only 4 sessions are sho clear. Best viewed in digital. the dataset as GPS input, and ignored low data. Since the peanut field contains two su overlap (see Fig. 11), the two sub-fields w independently and aligned by GPS. Sinc back and forth in the field, we only us the tractor driving south (odd rows), to av with reconstruction results from even rows reconstructed 4D results are shown in Fig Although Fig. 1 shows that the 3D reco for each single session qualitatively appear these results useful to precision agricul are interested in evaluating the approach particular we wanted to answer the follow 4Dモデリングの結果 [J. Dong et al., arXiv, 2016]
  10. 10. 社会的背景の変化 撮影範囲の拡大 • センサを搭載した移動体が普及 人工知能セミナー 10 運転支援・自動化のための車載カメラ [ J. Levinson et al., IV2011] ドローン搭載の上空視点カメラ (https://goo.gl/R8JX96)
  11. 11. 社会的背景の変化 人工知能セミナー 11 将来はあらゆる場所の環境情報を取得可能に 環境情報の オンラインビッグデータ 道路状況の更新 オンラインストリートマップ 植生モニタリング 犯罪の監視
  12. 12. 3Dモデリングの研究状況 人工知能セミナー 12
  13. 13. 3Dモデリングの研究状況 多様なセンサデータ • 衛星、航空、車載カメラ、インターネット画像 • 他のセンサーデータと融合 車載カメラの画像を用いた市街地の3次元復元 [M. Pollefeys et al., IJCV2008] 画像とLIDARを利用した街並みの3次元復元 [R. Cabezas et al, CVPR2014] 人工知能セミナー 13
  14. 14. 3Dモデリングの研究状況 SfM (Structure from Motion) 14 多視点画像 3次元形状(点群)+カメラ軌跡
  15. 15. 人工知能セミナー 3Dモデリングの研究状況 15 SfM (Structure from Motion) • インターネット上の画像から街並みを復元 [S. Agarwal et al., ICCV2009]
  16. 16. 3Dモデリングの研究状況 MVS (Multi-view Stereo) • カメラ姿勢が既知の条件のもと3次元形状を密に復元 16 [ Y. Furukawa et al., Computer2010] 人工知能セミナー
  17. 17. 3Dモデリングの研究状況 MVS (Multi-view Stereo) • カメラ姿勢が既知の条件のもと3次元形状を密に復元 17 [ Y. Furukawa et al., CVPR2010]
  18. 18. 3Dモデリングの研究状況 研究から応用の段階へ 人工知能セミナー 18 PTAMAutodesk 123D Catch [G. Klein et al., ISMAR2007]
  19. 19. 次の課題:3Dから4Dへ 人工知能セミナー 19 視点数 時間 (シーン変動) 1 2 10 10000 1 ∞ (連続) SLAM 監視カメラ 応用 ステレオ カメラ 多視点モデリング 多視点・多時刻画像 から 空間の変化を推定
  20. 20. アウトライアとして除去 人工知能セミナー 20 3Dモデリングにおける変化の扱い 95 95 0.8 0.9 1 1.1 1.280 82 84 86 88 90 92 94 96 Error [mm] Completeness[%] 0.8 0.9 1 1.1 1.288 90 92 94 96 98 100 Completeness (dino) Error [mm] Completeness[%] Furukawa Goesele Pons Tran Strecha Proposed method Hernandez’ Vogiatzis 0.5 0.4 0.3 0.2 0.1 Accuracy [mm] 4Dモデリング変化を除去せず認識 [ Y. Furukawa et al., TPAMI 2010]
  21. 21. 4Dモデリングの実例 人工知能セミナー 21
  22. 22. 4Dモデリングの実例 3次元点の存在期間の推定 • 全時刻の画像を一括でSfM • 各視点の可視性から存在期間を推定 人工知能セミナー 22 [G. Schindler et al., CVPR2010]
  23. 23. 4Dモデリングの実例 3次元形状変化の検出 • 過去の詳細な3次元モデルを少数の新しい画像で更新 人工知能セミナー 23 [A. Taneja et al., CVPR2013] 市街地の3Dモデル + 変化の検出結果
  24. 24. 4Dモデリングの実例 3次元形状変化の検出 • 3次元モデル不要 人工知能セミナー 24 [K. Sakurada et al., CVPR2013]
  25. 25. 4Dモデリングの実例 テクスチャ変化の推定 • 各視点の可視性から画像のタイムスタンプを補正 人工知能セミナー 25 [K. Matzen et al., ECCV2014]
  26. 26. 4Dモデリングの実例 拡張現実(AR)で過去の街並みを表示 人工知能セミナー 26 [S. Sato et al., CVIM2012] 画像データベース どこで撮影したか わからない写真 画像類似度に 基づく位置推定 ここで撮影!
  27. 27. 4Dモデリングの実例 ブラウザ上で同じ場所の異なる時刻の画像を切替え表示 人工知能セミナー 27 [Mapillary, 2016]
  28. 28. 4Dモデリングの実例 オンラインストリートマップ • 車載カメラで検出した人をGoogle Earth上にマッピング • 3次元空間にマッピングするため車と歩行者の位置を推定 人工知能セミナー 28 (http://allison.ee.washington.edu/kuanhuilee/mcpt/) [Kuan-Hui Lee et al., ITSC2014]
  29. 29. シーン変化の画像データセット 人工知能セミナー 29
  30. 30. シーン変化の画像データセット 様々な条件のデータセットが存在 • 衛星、監視、車載などのカメラ画像 人工知能セミナー 30 固定カメラ [Y. Wang et al., CVPRW2014] 車載カメラ [K. Sakurada et al., BMVC2014]
  31. 31. シーン変化の画像データセット データ収集の一例 • 同じ地域を定期的に走行して撮影 人工知能セミナー 31 400 km 40 TB
  32. 32. シーン変化の画像データセット 岩手県大槌町,地震後約1ヶ月
  33. 33. シーン変化の画像データセット 同じ場所の画像を比較して変化を観測 2011/4 2011/7 2012/1
  34. 34. 何が難しいの? 人工知能セミナー 34
  35. 35. 4Dモデリングの難しさ 人工知能セミナー 35 以下の変化をシーン変化と分離して認識することが必要 • 撮影環境 (例)照明条件、雲、地面の汚れ • 撮影条件 (例)カメラ視点、解像度、ぶれ
  36. 36. 撮影環境 照明条件、雲、地面の状態で見えが変化 人工知能セミナー 36 岩手県釜石市(左:震災当日、右:震災約3週間後)
  37. 37. 撮影条件:車載カメラ画像における困難(1) 異時刻の画像間で視点変化が大 • 単純な画像差分では変化を検出できない 人工知能セミナー 37 同じ場所を車載カメラで撮影した画像
  38. 38. 撮影条件:車載カメラ画像における困難(2) 黄:変化なし 赤:消失 青:出現 人工知能セミナー 38 3次元復元結果の差分から変化を推定 • 大まかな変化は認識可能
  39. 39. 撮影条件:車載カメラ画像における困難(2) 視点の不足により密な3次元復元が困難 • 3次元復元結果の差分では変化検出の精度が低い 人工知能セミナー 39
  40. 40. 計算量 都市や地方スケールでは密な3次元復元とピクセルレベルの位置 合せは計算コストが高い 人工知能セミナー 40
  41. 41. 4Dモデリングの基本的な流れ 人工知能セミナー 41 O1 O2 O 𝑔 • 撮影環境と条件の変化に頑健 • 低コストな計算量 変化検出 • GPSの位置情報や画像間の対 応関係を利用 t1 t2 データの位置合わせ
  42. 42. 4Dモデリングの基本的な流れ 人工知能セミナー 42 データの位置合わせ O1 O2 O 𝑔 • GPSの位置情報や画像間の対 応関係を利用 t1 t2 • 撮影環境と条件の変化に頑健 • 低コストな計算量 変化検出
  43. 43. データの位置合わせ 人工知能セミナー 43
  44. 44. データの位置合わせ 異なる時刻 • 撮影視点が異なる場合に必要 異なる撮影条件 • 撮影範囲のスケール • 上空視点、地上視点 • 計測対象の表裏 • 屋内、屋外 • センサの種類 • カメラ、レーザー 人工知能セミナー 44
  45. 45. データの位置合わせ 異なる時刻 • 撮影視点が異なる場合に必要 異なる撮影条件 • 撮影範囲のスケール • 上空視点、地上視点 • 計測対象の表裏 • 屋内、屋外 • センサの種類 • カメラ、レーザー 人工知能セミナー 45
  46. 46. 異時刻データの位置合わせ GPSの位置情報 • 低精度 • シーンに非依存 画像特徴や3次元点の対応関係 • 高精度 • シーンに依存 • 計算コスト大 人工知能セミナー 46
  47. 47. 異時刻データの位置合わせ 各時刻の3次元復元結果を同一座標系に登録 • 異時刻間で3次元点を対応付けて全体最適化 人工知能セミナー 47 初期推定値 最終推定値 [K. Sakurada et al., CVPR2013]
  48. 48. 異時刻データの位置合わせ 共通の特徴点が十分に存在する環境ではピクセルレベルの位置合 わせが可能 人工知能セミナー 48 エピポーラ幾何 異時刻の画像セット 位置合わせ後のエピポーラ線 [K. Sakurada et al., CVPR2013]
  49. 49. 異時刻データの位置合わせ ピクセルレベルの位置合せができれば、多視点幾何を利用して詳 細な3次元構造の変化を検出可能 人工知能セミナー 49 … … 𝑡1 𝑡2 𝑡1 - = 𝑡2 SfMSfM 位置合わせ 変化検出 [K. Sakurada et al., CVPR2013]
  50. 50. 異時刻データの位置合わせ 共通部分が少ない環境では特徴点を用いた位置合わせが困難 人工知能セミナー 50
  51. 51. データの位置合わせ 異なる時刻 • 撮影視点が異なる場合に必要 異なる撮影条件 • 撮影範囲のスケール • 上空視点、地上視点 • 計測対象の表裏 • 屋内、屋外 • センサの種類 • カメラ、レーザー 人工知能セミナー 51
  52. 52. データの位置合わせ 異なる時刻 • 撮影視点が異なる場合に必要 異なる撮影条件 • 撮影範囲のスケール • 上空視点、地上視点 • 計測対象の表裏 • 屋内、屋外 • センサの種類 • カメラ、レーザー 人工知能セミナー 52
  53. 53. 異なる撮影条件のデータの位置合わせ 上空と地上の視点間では画像を直接対応付けることが困難 • 建物の輪郭でマッチング 人工知能セミナー 53 [R. S. Kaminsky et al., CVPRW2009][C. Strecha, et al., CVPR2010]
  54. 54. 異なる撮影条件のデータの位置合わせ 上空・地上視点画像の対応関係を学習 • インターネットからジオタグ付きの画像を収集 人工知能セミナー 54 [T. Lin et al., CVPR2013] and ale In ort ms
  55. 55. 異なる撮影条件のデータの位置合わせ 斜め上空から撮影した画像と地上視点画像のマッチング • 航空画像と地上視点画像の対応関係をCNNで学習 人工知能セミナー 55 ning task. GPS [17] was ge location by reasing num- websites and world at street boil down to und-level im- ssive scale of nd street-view und-level ref- 45°$ 0°$ Street%view%Projec- on%on% %depth%plane% Figure 2: This diagram shows the relationship between our A (CNN) B (CNN) Data Pairs x y fA(x) fB(y) Loss Layer Labels l (a) Training Trained A Query Image x fA(x) Aerial Images Trained B {y} {fB(y)} Fast KNN Matching Offline (b) Testing Figure 5: Our network architecture for cross-view image 3. C fc on re tin er of va to tio tr se [T. Lin et al., CVPR2015]
  56. 56. 異なる撮影条件のデータの位置合わせ 斜め上空から撮影した画像と地上視点画像のマッチング • 航空画像と地上視点画像の対応関係をCNNで学習 人工知能セミナー 56 [T. Lin et al., CVPR2015] Street%view)Query) Bird’s)Eye)Matches) Heat)Map) Chicago)Charleston))
  57. 57. 斜め上空から撮影した画像と地上視点画像のマッチング • ビルの格子模様を利用 異なる撮影条件のデータの位置合わせ 人工知能セミナー 57 [M. Wolff et al., CVPR2016] オクルージョンに頑健 マッチング結果 マッチした他の地上視点画像
  58. 58. 異なる撮影条件のデータの位置合わせ 屋内と屋外の計測データの位置合わせ • 窓の輪郭を利用 人工知能セミナー 58 [A. Cohen et al., ECCV2016]
  59. 59. 異なる撮影条件のデータの位置合わせ SfMとLIDARの3次元点群は特性が大きく異なる • マッチする可能性が高い領域を複数推定し精細なマッチング (Coarse-to-fine) 人工知能セミナー 59 [X. Huang et al., DICTA2016]
  60. 60. 時間変化の検出 人工知能セミナー 60
  61. 61. 2次元的変化の検出 CNN特徴によるGPSの位置情報精度での変化検出 人工知能セミナー 61 スーパーピクセル セグメンテーション CNN特徴の抽出 Geometric Context t1 t2 シーン変化の検出 “ImageNet Classification with Deep Convolutional Neural Networks”, Alex Krizhevsky, Ilya Sutskever, Geoffrey Hinton, NIPS 2012 [K. Sakurada et al., BMVC2015]
  62. 62. 2次元的変化の検出 人工知能セミナー 63 時刻1 時刻2 検出結果 人による 判定結果 画像の 直接比較 [K. Sakurada et al., BMVC2015]
  63. 63. 2次元的変化の検出 人工知能セミナー 64 [K. Sakurada et al., BMVC2015] 上層 • 抽象度の高い(物体レベル)変化を検出 下層 • 低レベルな変化(エッジ等)に反応 pool-5 pool-3 pool-2 pool-4 pool-1正解ラベル(手動、時刻2) 入力画像 (時刻1) ローカルパッチ Dense-SIFT ベースライン Change Not Change
  64. 64. 2次元的変化の検出 パッチが変化したか否かをCNNで学習(2クラス分類) • 合成画像でデータセットを作成 人工知能セミナー 65 [S. Stent et al., BMVC2015] 過去と現在のパッチの変化をCNNで判定
  65. 65. 2次元的変化の検出 人工知能セミナー 66 [S. H Khan et al., arXiv, 2016] 変化領域をCNNで検出 • 画像ペアを入力、変化領域マスクを教師データとして学習 Salman H Khan et al. in a pair of images. image-level labels anged pixels. Left: ost our change lo- notes ahigh change d box for clarity). ges have rich back- otion patterns (e.g., and subtle changes second row), which ery challenging. Paired Images Change Map 入力画像ペアと推定した変化マップ 衛星画像と地上視点画像に適用した結果
  66. 66. 2次元的変化の検出 人工知能セミナー 67 [S. H Khan et al., arXiv, 2016] CNNを用いたEnd-to-Endの学習 • 領域推定と分類のネットワークの出力を統合 classification branch segmentation branch
  67. 67. 3次元構造変化の検出 画像を3Dモデルへ投影し整合性を判断 • 基準時刻の3Dモデルが必要 人工知能セミナー 68 [A. Taneja et al., ICCV 2011] 変化検出の一例 2D inconsistency map
  68. 68. 3次元構造変化の検出 シーン形状を確率的に扱うことで変化を正確に推定 • 3Dモデル不要 • 異時刻間でデプスの確率分布のみ共有するため照明条件の変化に頑健 人工知能セミナー 69 … … 𝑡1 𝑡2 [K. Sakurada et al., CVPR2013]  dp 異時刻画像セットの多視点幾何 異時刻間の共有データ
  69. 69. 衛星・車載カメラの統合による広域状態推定 車載カメラで計測できないエリアを衛星画像で外挿 人工知能セミナー 70 [K. Sakurada et al., ACCV2014] 衛星画像 標高マップ(DEM) 地上視点画像 瓦礫検出 位置合せ・投影 ガウス過程回帰 瓦礫の分布
  70. 70. 震災1カ月後 震災2年後 Before After 衛星・車載カメラの統合による広域状態推定 人工知能セミナー 71 [K. Sakurada et al., ACCV2014] 異時刻の推定結果を比較して変化を可視化(瓦礫)
  71. 71. 震災1カ月後 震災2年後 Before After 衛星・車載カメラの統合による広域状態推定 人工知能セミナー 72 [K. Sakurada et al., ACCV2014] 異時刻の推定結果を比較して変化を可視化(緑の植物)
  72. 72. 画像と地図を利用した建物の残存判定 震災前の地図と震災後の車載カメラ画像から建物の有無を推定 • 津波被災地の大半が震災前は車載カメラで未計測 人工知能セミナー 73 [D. Tetsuka et al., WACV2015] Existing Vanished 入力データ 推定結果
  73. 73. 建物のポリゴンデータと3次元点群を比較して判定 • ベイズ推定の枠組みで定式化 画像と地図を利用した建物の残存判定 74 [D. Tetsuka et al., WACV2015] 人工知能セミナー SfM 住宅地図(過去) 車載カメラの画像から復元した3次元点群(現在) 残存 消失
  74. 74. 画像と地図を利用した建物の残存判定 人工知能セミナー 75 [D. Tetsuka et al., WACV2015]
  75. 75. まとめ • 4Dモデリング:時間変化を明示的にモデル化し検出・認識 • 3Dモデリング:変化した部分を外れ値として除去 • 各データ間で位置合わせが必要 • 異なる時刻 • 異なる撮影条件 • 時間変化の検出 • 多視点幾何 • ディープラーニング 人工知能セミナー 76
  76. 76. 今後の方向性 • 視点の違いに対するロバスト性の向上 • 大規模データの学習による認識精度向上 • 異種データの統合 • 変化の分類および統計的集約 • オンライン、リアルタイム化 人工知能セミナー 77
  77. 77. ご清聴ありがとうございました! • 謝辞 • 産業技術総合研究所人工知能センター • 東北大学 岡谷研究室 • 連絡先 • 櫻田 健 ( sakurada@nagoya-u.jp ) • Twitter ( sakuDken ) 78

×