OpenCVSharpを使ってステレオカメラから距離を求めるまでの手順を書きました。

1. ステレオカメラ作成の道
丹野 嘉信
サイト http://ytanno.herokuapp.com/
連絡先 tannoyoshinobu@gmail.com

2. 目次
• ステレオカメラって何？
• 利用したもの
• 作成手順
• 躓いたところ

3. ステレオカメラって何
• 二つ並べたカメラ
• 縦もできるが普通は横向き
• 目のような働き（物体までの距離が分かる）
＝

4. 利用したもの 色々
• OpenCVSharp2.4.5
• OpenCV2.4.5
• Visual Studio 2012 C#
• Logicool® HD Pro Webcam C920 x 2
• キャプチャーボード
• カメラの固定フレーム
• OpenCV 2 プログラミングブック
• OpenCVのドキュメント

5. 手順1 フレームの作成
• 左右にカメラを設置します。
• 移動させたときにずれないように固定する仕組みが必要

6. 手順２ キャリブレーション - 1
キャリブレーションとはカメラの歪みや位置の補正をすること
• まず、キャプチャボードを用意
• ボードを移動させながら2台のカメラで撮影
• 20－30枚くらい撮影する

7. 手順２ キャリブレーション 2
1. 撮影した画像をグレースケール変換
2. コーナー検知 （FindChessboardCorners関数）でキャプチャボード
の世界座標を求める
3. ステレオキャリブレーション （Stereocalibrate関数）で2台のカメ
ラの内部パラメータ（焦点距離など）や外部パラメータ（歪みな
ど）を求める
4. ステレオカメラの更正 （StereoRectify関数）でお互いが水平に見
えるように回転行列と移動行列を求める。この時視差を距離に変
換するための透視変換行列も求められる
詳しくはOpenCVSharpのサンプルプログラム
CalibrateStereoCamera.csを参照してください

8. 画像の補正
1. InitUndistortRectifyMap関数で補正するためのパラメータを求
める
2. Remap関数でUSBカメラから取得した画像を補正する
Before
After

9. 視差の計算
• 補正した画像を元に視差を計算する。
• OpenCVには視差を求める関数が色々ある。
• CvStereoBMState、FindStereoCorrespondenceBMを使用して
BlockMatchを採用。計算時間が短いのでリアルタイムで更新が
可能

10. 距離変換
• ReprojectImageTo3D関数で視差を距離に変換する
• 下記画像はクリックした所の距離を表示しているプログラム

11. 躓いたところ１
CalibrateStereoCamera.csの
CvMat distCoeffs1 = new CvMat(1, 4, MatrixType.F64C1);
CvMat distCoeffs2 = new CvMat(1, 4, MatrixType.F64C1);
を
CvMat distCoeffs1 = new CvMat(1, 8, MatrixType.F64C1);
CvMat distCoeffs2 = new CvMat(1, 8, MatrixType.F64C1);
に直すといいパラメータが得られた

12. 躓いたところ２
• cvFindStereoCorrespondenceBMで出力する視差のマップを16ビッ
ト符号ありを選択すると視差が16倍された値が帰ってくる
• つまりこの時、距離変換時も16倍する必要がある