Downloaded 21 times
![λx=K [R∣t ] X
K
t カメラの位置
キャリブレーション行列
R カメラの向き](https://image.slidesharecdn.com/4-141130081201-conversion-gate02/85/Developers-vol4-33-320.jpg)
![[R∣t ]はカメラの位置と向き
を表したの3×４の行列](https://image.slidesharecdn.com/4-141130081201-conversion-gate02/85/Developers-vol4-47-320.jpg)
![[R∣t ]=(r11 r12 r13 t x
r21 r22 r23 t y
r31 r32 r33 t z)](https://image.slidesharecdn.com/4-141130081201-conversion-gate02/85/Developers-vol4-48-320.jpg)
![1つ目の画像は、カメラの向きを回転せず、に透視投影
した画像である。カメラ行列の設定と射影は12行～14行
で行っている
P = hstack((eye(3),array([[0],[0],[-10]])))
cam = camera.Camera(P)
x = cam.project(points)
カメラ行列P=(Pの設定、内容は以下の通り1 0 0 0
0 1 0 0
)
である
0 0 1 −10](https://image.slidesharecdn.com/4-141130081201-conversion-gate02/85/Developers-vol4-62-320.jpg)
![２つ目の画像は、カメラの向きをランダムに回転軸と回
転量を決め、20回透視投影した結果を重ねた画像であ
る。カメラ行列の設定は23行～24行で行って、投影は
28行～31行で行っている
r = 0.05*random.rand(3)
rot = camera.rotation_matrix(r)
figure()
for t in range(20):
cam.P = dot(cam.P,rot)
x = cam.project(points)
plot(x[0],x[1],'k.')
show()](https://image.slidesharecdn.com/4-141130081201-conversion-gate02/85/Developers-vol4-63-320.jpg)
![特徴点からホモグラフィーを推定す
る。(27行～34行)
matches = sift.match_twosided(d0,d1)
ndx = matches.nonzero()[0]
fp = homography.make_homog(l0[ndx,:2].T)
ndx2 = [int(matches[i]) for i in ndx]
tp = homography.make_homog(l1[ndx2,:2].T)
model = homography.RansacModel()
H = homography.H_from_ransac(fp,tp,model)[0]](https://image.slidesharecdn.com/4-141130081201-conversion-gate02/85/Developers-vol4-97-320.jpg)
More Related Content
![SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～](https://cdn.slidesharecdn.com/ss_thumbnails/ts1-01-210607042113-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）](https://cdn.slidesharecdn.com/ss_thumbnails/os3-01-210605061816-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2020 [O3-01] Extreme 3D センシング](https://cdn.slidesharecdn.com/ss_thumbnails/200612-ssii-extreme3dsensing-print3-200608114658-thumbnail.jpg?width=640&height=640&fit=bounds)
静岡Developers勉強会コンピュータビジョンvol4発表用資料
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16. x '=x ,y '=y x , y x ' , y ':スクリーン上の座標 :実座標
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24. x '=xz ,y '= y z x ' , y ' :スクリーン上の座標 x , y , z :実座標
- 25.
- 26.
- 27.
- 28.
- 29. どうすればレンズ中 心と焦点距離が任意 の値でも平面に投影 することが出来るの か
- 30.
- 31. λx=PX x P X 画像上の座標 λ 奥行の逆数 カメラ行列 被写体の座標
- 32.
- 33. λx=K [R∣t ]X K t カメラの位置 キャリブレーション行列 R カメラの向き
- 34.
- 35.
- 36. K=(αf s Cx 0 f Cy 0 0 1 ) α アスペクト比 s スキュー f 焦点距離 Cx ,Cy画像中心
- 37.
- 38. アスペクト比が1でない場合、別々 焦点距離の値を使用する f= f y , αf = f x のとき、 α=1 縦横の焦点距離が同じ場合 f = f y= f x
- 39.
- 40.
- 41.
- 42. 撮像素子が少しずれて いるためスキューを考 慮しなければならない 場合があるが基本的に 値は0と仮定してよい
- 43.
- 44. R=(r11 r12 r13 r21 r22 r23 r31 r32 r33)
- 45.
- 46. t=(t x ty t z)
- 47.
- 48. [R∣t ]=(r11 r12r13 t x r21 r22 r23 t y r31 r32 r33 t z)
- 49.
- 50.
- 51.
- 52. λ(x yz 0f cy 0 0 1 )(r11 r12 r13 tx )=(f 0 cx r21 r22 r23 t )(X Y y r31 r32 r33 t zZW )
- 53.
- 54.
- 55.
- 56. URL http://www.robots.ox.ac.uk/~vgg/data/data-mview.html http://www.robots.ox.ac.uk/~vgg/data/dunster/3D.tar.gz からダウンロード、解 凍しhouse.p3dファイ ルを取得する
- 57.
- 58.
- 61.
- 62. 1つ目の画像は、カメラの向きを回転せず、に透視投影 した画像である。カメラ行列の設定と射影は12行～14行 で行っている P = hstack((eye(3),array([[0],[0],[-10]]))) cam = camera.Camera(P) x = cam.project(points) カメラ行列P=(Pの設定、内容は以下の通り1 0 0 0 0 1 0 0 ) である 0 0 1 −10
- 63. ２つ目の画像は、カメラの向きをランダムに回転軸と回 転量を決め、20回透視投影した結果を重ねた画像であ る。カメラ行列の設定は23行～24行で行って、投影は 28行～31行で行っている r = 0.05*random.rand(3) rot = camera.rotation_matrix(r) figure() for t in range(20): cam.P = dot(cam.P,rot) x = cam.project(points) plot(x[0],x[1],'k.') show()
- 64.
- 65.
- 66. カメラ行列だけ分かってい る場合、キャリブレーショ ン行列とカメラの位置と向 きを求めるにはどうすれば いいのか。
- 67.
- 68. RQ分解を行うとキャ リブレーション行列 と、カメラの向き(回 転行列)を求めること が出来る
- 69. カメラの位置は、カメラ 行列の4列目に対して、 キャリブレーション行列 の逆行列をかけることで 求めることが出来る。
- 70.
- 71.
- 72.
- 73.
- 74.
- 75.
- 76. 平らな台にカメ ラと物体を置 く。物体はカメ ラ中央に置く
- 77. 物体とカメラの 間の距離を測定 する。この結果 をdzとする
- 78.
- 79.
- 80.
- 81. f x=2555 fy=2586
- 82.
- 83.
- 84. 市販のカメラのほとん どが、焦点距離の可変 (光学ズーム機能)を有 しているので、キャリ ブレーションを行うさ いはズームを行わない
- 85.
- 86.
- 87.
- 88. マーカ画像とマーカ画像 が映っている画像のホモ グラフィを計算する。ホ モグラフィから、カメラ 行列を求め、マーカ上に 立方体を射影する
- 89.
- 90. 以下のファイルを 4.3.cube.pyと同じ フォルダに置く。 book_frontal.JPG book_perspective.JPG
- 91.
- 95.
- 96. SIFTによって2つの画像の特徴点を取得す る。 (20行～24行) sift.process_image('book_frontal.JPG','im0.sift') l0,d0 = sift.read_features_from_file('im0.sift') sift.process_image('book_perspective.JPG','im1.sift') l1,d1 = sift.read_features_from_file('im1.sift')
- 97. 特徴点からホモグラフィーを推定す る。(27行～34行) matches= sift.match_twosided(d0,d1) ndx = matches.nonzero()[0] fp = homography.make_homog(l0[ndx,:2].T) ndx2 = [int(matches[i]) for i in ndx] tp = homography.make_homog(l1[ndx2,:2].T) model = homography.RansacModel() H = homography.H_from_ransac(fp,tp,model)[0]
- 98.
- 99.
- 100.
- 101.
- 102. ホモグラフィー推定後、 カメラ行列を取得する。 事前に用意した正方形と 立方体の座標をカメラ行 列を用いて射影する。
- 103.
- 104.
- 105.
- 106.
- 107.
- 108.
- 109.
- 110.
- 111.
- 112. 4.3で作成したarcamera.pklを読み込みカメラ 行列を取得する。 (119行目～121行目) with open('ar_camera.pkl','r') as f: K = pickle.load(f) Rt = pickle.load(f)
- 113.
- 114. カメラ行列をOpenGL形式に変換する。(14 行の set_projection_from_camera関数) 焦点距離から、画角、アスペクト比を 計算する。画像のサイズ、前方クリッ プ面（描画する最前面)、後方クリップ 面(描画する最背面)を設定する
- 115. ティーポッドを描画する座標(位置)と姿 勢(向き)を計算する。 (34行set_modelview_from_camera関数) この際、ティーポッドをx軸周りで回転 させる。
- 116.
- 117.
- 118. オブジェクトファイルの ダウンロードし、toyplane.obj を取得する http://www.oyonale.com/modeles.php?page=56
- 119. mtlファイルの作成 toyplane.mtlを作成する newmtllightblue Kd 0.5 0.75 1.0 illum 1
- 120.
- 121. objloader.pyの作成 http://www.pygame.org/wiki/OBJFileLoader 上側のソースをコピー (MLT関数、OBJクラスが記述さ れている箇所)
- 122.
- 123.
- 124.
- 125.