Kinect V1 Marker-based AR マーカー（marker.png）を印刷して実行してみてください。 マーカーの中心までの距離（青色）の表示と、そのDepth値（赤色）を表示します。 https://github.com/SatoshiRobatoFujimoto/KinectV1-Marker-based-AR

1. Mastering OpenCV
KinectV1 Marker-based AR
藤本賢志
2015/03/18

2. AR(Augmented Reality)とは
• 実世界にコンピュータグラフィクスを重ねたもの
• リアルタイムに情報を環境に重ね合わせて表示すること
• ユーザーの周りでインタラクティブに情報を操作できる

3. ARアプリケーションを作ろう
• 使用する機器やソフトウェア環境
• Kinect v1
• Visual Studio 2013（C++)
• OpenCV 2.4.10
• OpenGLの代わりにViz
• 手順
• プロジェクトの作成
• アプリケーションのフローチャート
• Kinectに接続とデータ取得
• マーカー検出
• マーカーID（コード）作成
• マーカーコード認識
• マーカーの3D位置推定
• 情報提示
• 3Dオブジェクトのレンダリング

4. プロジェクト作成とOpenCVの使い方
• めんどくさい
• 詳しくはKinect for Windows SDK 実践プログラミングを買ってね♥
• RGB-D取得のプログラムを参照

5. アプリケーションのフローチャート
• Kinectに接続（省略）
• RGB-Dデータの取得（省略）
• マーカーの検出
• マーカーの識別
• マーカーの3次元位置を推定
• 情報提示
• （ここではマーカー中心の推定値とDepth値を表示してみる）
• ３Dオブジェクトを表示して電脳っぽくしたいね

6. マーカー検出
• 次のマーカーを用意する
• マーカーのサイズを測っておく
• 内側の白い四角形（５×５）がマーカーIDとなる
9cm
9cm

7. マーカー検出の流れ
1. 取得したカラー画像をグレースケールにする
2. グレースケールから二値化する
3. 輪郭を検出する
4. マーカーの候補を検出する
5. マーカーのデコードと検出
6. マーカーの3次元位置を推定する

8. １．カラー画像をグレースケールにする
• Kinectのカラー画像は4チャンネル
• cv::Mat colorMat(rows, cols, CV_8UC4), grayMat(rows, cols, CV_8UC1);
• カラー画像をグレースケールに変換
• cv::cvtColor(colorMat, grayMat, CV_BGRA2GRAY);

9. ２．グレースケールを二値化する
• 二値化（白255か黒0）にする処理
• 今回、輪郭を検出するために用いる
• 一般的な二値化
• cv::threshold(grayMat, binMat, 0, 255, cv::THRESH_BINARY |
cv::THRESH_OTSU);

10. ３．輪郭検出
• 二値画像を入力するとポリゴンのコーナー点が出力される
• cv::findContours
• minContourPointsAllowed以下のサイズの輪郭を除く
• 輪郭の線を描く

11. ４．マーカーの候補を探す
• 輪郭のコーナー（ポリゴンの頂点）が４点
• 輪郭のサイズが閾値以上のもの

12. ５．マーカーのデコードと検出
• 輪郭コーナー４点から平面に投影し、デコードする
• IDが一致すれば、検出される

13. ６．マーカーの３次元位置推定
• 検出したマーカーのコーナー４点より、マーカーの実際のサイズが分
かっているとき、３次元位置が推定できる

14. 情報提示
• マーカーの中心位置（3D位置）が分かったので、推定した奥行Z値を
表示する
• ３次元位置からカラー画像上の座標を求め、Depthからカラー画像
上に変換した点群より、Depth値を求める
• 推定値とDepth値を比べてみよう

15. 参考文献
• Code for the book "Mastering OpenCV with Practical Computer Vision
Projects" by Packt Publishing 2012.
• https://github.com/MasteringOpenCV