1. コンピュータビジョン
勉強会＠関東
ECCV2012読み会
2012/12/16
@ketsumedo_yarou
1

2. 論文
 “Reconstructing the World’s Museums”
 Jianxiong Xiao (MIT) and Yasutaka
Furukawa (Google)
 Oral, Best student paper
2

3. 論文
 “Reconstructing the World’s Museums”
 Jianxiong Xiao (MIT) and Yasutaka
Furukawa (Google)
 Oral, Best student paper
しゅごい人 しゅごい人
この論文はGoogleへのイン Google Research 唯一の日
ターン中の仕事らしい 本人（らしい）
(NIPS2012, Siggraph PMVS(Patch-based multi-
Asia2012, ECCV2012, view stereo)
CVPR2012, CVPR2010(SUN CV最先端ガイド5にmulti-
Dataset), …) viewの記事
3

4. 目的＝屋内Google Map
屋内の3D復元＆可視化
 入力：画像＆デプス画像たくさん撮影
 出力：→
 MOVIE
4

5. しゅごいところ
技術的：Inverse CSGによる，
大規模屋内3D復元
実現したこと：地面から撮影
した画像だけ→俯瞰する視点
から可視化 (屋内Google Map)
5

6. アウトライン
1. 屋内の撮影
2. 3D形状復元
3. 任意視点から可視化
6

7. アウトライン
1. 屋内の撮影
2. 3D形状復元
3. 任意視点から可視化
7

8. アウトライン
1. 屋内の撮影
2. 3D形状復元
3. 任意視点から可視化
8

9. アウトライン
1. 屋内の撮影
2. 3D形状復元
3. 任意視点から可視化
9

10. 基本的な考え方
部屋の構造は単純図形の組み
合わせ→CSGモデルで表現
2D CSG(部屋のスライス) →
3D CSG(部屋全体)
10

11. 11

12.  全方位カメラ＋レーザレンジ
センサー付けた台車で撮影
 画像と3D点群を得る
 画像枚数(>40,000)
 点群数(>200,000,000)
12

13. 3D点群のうち，ある高さで
切った平面について考える
13

14. 空間か，壁より外か，の制約
14

15. ハフ変換して直線を出す
15

16. 直線を元に色々な長方形仮説(𝑇)
を考え当てはめる最適化問題
𝐸 𝑇 = 𝑤1 𝐸1 𝑇 + 𝑤2 𝐸2 𝑇 + 𝑤3 𝐸3 (𝑇)
16

17. 空間を充填して 長方形の輪郭は入力3D
直線を元に色々な長方形仮説(𝑇)
いるか？ 点と重なっているか？
を考え当てはめる最適化問題
𝐸 𝑇 = 𝑤1 𝐸1 𝑇 + 𝑤2 𝐸2 𝑇 + 𝑤3 𝐸3 (𝑇)
正則化．複雑すぎるとダメ
17

18. 部屋のある高さについて，
CSG表現できた
18

19. 重ねると部屋全体のモデル
これだけでは不正確（垂直方
向の連続性無い）
19

20. 2Dと同じ最適化問題を解き，
垂直方向にも滑らかにする
部屋全体の3D CSGモデルが
出来た
20

21. CSGモデルを元に壁を作る
（ルールベース）
21

22. テクスチャのスティッチング
＆マッピング[1]
[1] S. N. Sinha, et al. “Interactive 3D architectural modeling
from unordered photo collections” SIGGRAPH Asia 2008
22

23. 結果
23

24. 3D復元について既存手法と比較
Furukawa et al. Hernandez et al. Proposed method
24

25. 3D復元について既存手法と比較
Furukawa et al. Hernandez et al. Proposed method
複雑すぎて見栄え悪い
計算時間かかる手法
25

26. 3D復元について既存手法と比較
Furukawa et al. Hernandez et al. Proposed method
全然ダメ
26

27. 3D復元について既存手法と比較
Furukawa et al. Hernandez et al. Proposed method
おｋ！！
27

28. 統計情報
28

29. 統計情報 美術館６館（！）で試してる・・だと・・
29

30. 統計情報
処理そのものは数時間オーダで終わる
（撮影はどれくらい時間かかるのだろう？）
30

31. まとめ
屋内3D復元＆可視化＝屋内
Google Mapの実現
技術的貢献：Inverse CSGによ
る大規模3D復元
新規性：地面の高さの画像群
から俯瞰視点の可視化
31

32. 感想
 シンプルな技術貢献＋間違いなく有用
な応用（多分将来Google Map搭載）
 細かいところは結構はしょって書いて
いる（テクスチャマッピングとか）
 実験量が熱い（美術館６館）
 「美術館」のように，他分野を題材に
したｺﾝﾋﾟｳﾀﾋﾞﾖﾝ応用は面白いしもっと
やるべき．やりたい．
32