Recommended
More Related Content
What's hot
What's hot (20)
Similar to Azure kinect DKハンズオン
Similar to Azure kinect DKハンズオン (20)
More from Takashi Yoshinaga
More from Takashi Yoshinaga (20)
Recently uploaded
Recently uploaded (8)
Azure kinect DKハンズオン
- 6. Kinectの歴史 ハックされた後、ロボットやxR系の研究者やアーティストに普及 バージョンアップが繰り返されたがV2が2017年に生産中止 XBOX版 Kinect for Windows Kinect V2 DevKit Kinect V2 for Windows/XBOX
- 7. Azure Kinect DK 2019年6月末に発売開始(米国・中国のみ) ゲーム用ではなくビジネス向けの計測機器として販売
- 8. Azure Kinect DKの機器概要 Depth、カラー画像、音声、加速度・角速度 複数のKinectの間での同期も可能 7つのマイク Depthカメラ (TOF方式) Colorカメラ 加速度・各速度 複数Kinectの同期
- 10. Azure Kinect vs Kinect V2 http://azure-v2.glitch.me
- 11. 特徴②：計測設定のバリエーション 広角 挟角 視野角は広角/挟角から選択可能 解像度を犠牲して奥行きの範囲の拡大も可能 カラー画像やIMUやマイクなど様々なセンサと併用可能
- 12. Azure Kinect Viewerで動かそう Open Device
- 13. Azure Kinect Viewerで動かそう [Depth計測の設定] NFOV:視野角→狭い WFOV:視野角→広い Binned:計測距離→長い ただし解像度低下 Startで計測開始
- 14. Azure Kinect Viewerで動かそう 赤外線画像 Depth画像 Color画像 IMU (加速度・角速度) マイク
- 15. Azure Kinect Viewerで動かそう ① 3D ②マウスで視点変更
- 18. プロジェクトの作成 New
- 20. プロジェクトの作成
- 24. .NET環境の切り替え Scripting Runtime Versionを .NET 4.X Equivalent Api Compatibility Levelを .NET 4.X
- 30. AzureKinect SDKの導入 ①SDKがインストールされたフォルダを開く C:¥Program Files¥Azure Kinect SDK v1.2.0¥sdk¥windows-desktop¥amd64¥release¥bin ②depthengine_2_0.dllを Pluginsフォルダにドラッグ&ドロップ
- 44. Point Cloud描画用スクリプトの作成 ①Point Cloud ②Add Component
- 47. Ctrl +S
- 50. AzureKinectの起動と終了 using UnityEngine; using Microsoft.Azure.Kinect.Sensor; public class KinectScript : MonoBehaviour { Device device; //Kinectの情報を扱う変数 void Start() { InitKinect(); //Kinectを初期化 } void InitKinect() { //Kinectの初期化を行う(次のページ) } /*スペースの都合上割愛*/ }
- 51. AzureKinectの起動と終了 void InitKinect() { device = Device.Open(0); //Kinectに接続 device.StartCameras(new DeviceConfiguration { ColorFormat = ImageFormat.ColorBGRA32, ColorResolution = ColorResolution.R720p, DepthMode = DepthMode.NFOV_Unbinned, SynchronizedImagesOnly = true, CameraFPS = FPS.FPS30, }); } void OnDestroy() { device.StopCameras(); }
- 52. 動作確認 Play
- 53. 動作確認 LEDが点灯
- 55. PointCloud描画の準備 Device device; int width, height, num; //Depth画像の縦幅・横幅・全ピクセル数 void Start(){ /*スペースの都合により割愛*/ } void InitKinect() { device = Device.Open(0); device.StartCameras ( /*スペースの都合により割愛*/ ); //Depth画像の横幅と縦幅を取得し、全点数を算出 width = device.GetCalibration(). depth_camera_calibration.resolution_width; height = device.GetCalibration(). depth_camera_calibration.resolution_height; num = height * width; }
- 56. PointCloud描画の準備 int width, height, num; Mesh mesh; //点(図形)の集合を描画するために使用 Vector3[] vertices; //点群(PointCloud)の各座標を格納 Color32[] colors; //各頂点の色情報を格納 int[] indices; //描画する頂点のリスト void Start() { InitKinect(); InitMesh(); //メッシュ情報の初期化 } void InitMesh() { //次のページで解説 }
- 57. PointCloud描画の準備 void InitMesh() { mesh = new Mesh(); //65535点以上描画する際に下記を記述 mesh.indexFormat = UnityEngine.Rendering.IndexFormat.UInt32; //Depth画像の総ピクセル数分の頂点や色の記憶領域を確保 vertices = new Vector3[num]; colors = new Color32[num]; indices = new int[num]; //次のページに続く }
- 59. PointCloud描画の準備 /*前ページの続き(InitMesh内)*/ int index = 0; //何番目の点を操作するのかを表す変数 for (int y = 0; y < height; y++) { for (int x = 0; x < width; x++) { vertices[index].x = x ; vertices[index].y = y ; vertices[index].z = 2; colors[index].r = 0; colors [index].g = 0; colors [index].b = 255; colors [index].a = 255; indices[index] = index; index++; } } 各頂点の座標を仮置き 各頂点の色を仮置き(=青) index番目の点は描画する
- 60. PointCloud描画の準備 /*前頁の続き*/ int index = 0; for (int y = 0; y < height; y++) { for (int x = 0; x < width; x++) { /*スペースの都合により割愛*/ } } //頂点座標と色をmeshに渡す mesh.vertices = vertices; mesh.colors32 = colors; //リストに格納した番号の頂点座標を点として描画 mesh.SetIndices(indices, MeshTopology.Points, 0); //メッシュをこのオブジェクトのMeshFilterに適用 gameObject.GetComponent<MeshFilter>().mesh = mesh;
- 61. 動作確認 ちょっと見づらい
- 63. AzureKinectからのデータ取得 Int[] indices; Transformation trans; //座標変換(Depth画像→xyzなど) void Start() { /*割愛*/ } void InitKinect() { /*割愛*/ width = device.GetCalibration(). depth_camera_calibration.resolution_width; height = device.GetCalibration(). depth_camera_calibration.resolution_height; num = height * width; /*Depth画像(pixel)を実空間の座標系(mm)に変換したり カラー画像との座標を合わせたりするのに使用する*/ trans = device.GetCalibration().CreateTransformation(); }
- 64. AzureKinectからのデータ取得 using UnityEngine; using Microsoft.Azure.Kinect.Sensor; //非同期処理を行う準備 using System.Threading.Tasks; public class KinectScript : MonoBehaviour { Device device; int width, height, num; Mesh mesh; Vector3[] vertices; Color32[] colors; int[] indices; /*以下割愛*/
- 65. AzureKinectからのデータ取得 void Start() { InitKinect(); InitMesh(); Task t = KinectLoop( ); } private async Task KinectLoop( ) { while (true) { //この中でAzureKinectからデータを取り続ける } }
- 66. AzureKinectからのデータ取得 While (true) { //GetCaptureでKinectから送られてくるフレームを取得 using (Capture capture = await Task.Run(() => device.GetCapture()).ConfigureAwait(true)) { //capture.Depthデプス画像を取得。 //さらにDeptuImageToPointCloudでxyzに変換 Image pImage = trans.DepthImageToPointCloud(capture.Depth); //変換後のデータから純粋に点の座標のデータのみを取得 Short3[] pointCloud = pImage.GetPixels<Short3>().ToArray(); /*このあとPointCloudを描画する*/ } }
- 67. AzureKinectからのデータ取得 using (Capture capture = await Task.Run(() => device.GetCapture()).ConfigureAwait(true)) { Image pImage = trans.DepthImageToPointCloud(capture.Depth); Short3[] pointCloud = pImage.GetPixels<Short3>().ToArray(); //Kinectで取得した全点の座標をmeshで使用する頂点配列に代入 for (int i = 0; i < num; i++) { vertices[i].x = pointCloud[i].X * 0.001f; vertices[i].y = pointCloud[i].Y * 0.001f; vertices[i].z = pointCloud[i].Z * 0.001f; } //meshに情報を反映 mesh.vertices = vertices; mesh.RecalculateBounds(); }
- 70. Azure Kinectの座標系
- 71. AzureKinectからのデータ取得 using (Capture capture = await Task.Run(() => device.GetCapture()).ConfigureAwait(true)) { Image pImage = trans.DepthImageToPointCloud(capture.Depth); Short3[] pointCloud = pImage.GetPixels<Short3>().ToArray(); //Kinectで取得した全点の座標をmeshで使用する頂点配列に代入 for (int i = 0; i < num; i++) { vertices[i].x = pointCloud[i].X * 0.001f; vertices[i].y = -pointCloud[i].Y * 0.001f; vertices[i].z = pointCloud[i].Z * 0.001f; } //meshに情報を反映 mesh.vertices = vertices; mesh.RecalculateBounds(); }
- 73. 色情報の反映 (KinectLoop内) while (true) { using (Capture capture = await Task.Run(() => device.GetCapture()).ConfigureAwait(true)) { //Depth画像との位置・サイズ合わせ済みの画像を取得 Image modifiedColor = trans.ColorImageToDepthCamera(capture); //純粋に各ピクセルの色情報だけを抜き出す BGRA[] colorArray = modifiedColor.GetPixels<BGRA>().ToArray(); Image pImage = trans.DepthImageToPointCloud(capture.Depth); Short3[] pointCloud = pImage.GetPixels<Short3>().ToArray(); /*次のページに続く*/
- 74. 色情報の反映 (KinectLoop内) /*前頁からの続き*/ //Kinectで取得した全点の座標をmeshで使用する頂点配列に代入 for (int i = 0; i < num; i++) { vertices[i].x = pointCloud[i].X * 0.001f; vertices[i].y = -pointCloud[i].Y * 0.001f; vertices[i].z = pointCloud[i].Z * 0.001f; colors[i].a = 255; colors [i].b = colorArray[i].B; colors [i].g = colorArray[i].G; colors [i].r = colorArray[i].R; } //meshに情報を反映 mesh.vertices = vertices; mesh.colors32 = colors; mesh.RecalculateBounds();
- 75. 動作確認
- 80. Vuforia ①XR Settings ②Vuforia Augmented Reality
- 81. Vuforia Accept
- 84. Vuforia 空白を右クリック
- 90. 位置や大きさを整える ①PointCloud ②位置と大きさを調整 Position 0 0.5 -1 Scale 1 1 1
- 91. カメラの選択 ②Open Vuforia Engine Configuration ①ARCamera
- 93. このマーカーを使って動作確認
- 94. 完成