Download as PDF, PPTX
![ColorSpacePoint
カラー画像の点を表す（X,Y）の値
BodyIndexの任意の点が、カラー画像上のどの点に対応するかを取得できる
bodyIndexData[100]の点
カラー画像のX=1100, Y=200の点](https://image.slidesharecdn.com/kinect-160319003330/85/FMCN-Kinect-92-320.jpg)
FMCN Kinectハンズオン
- 1. FMCN Kinect ハンズオン 長峰慶三(Keizo Nagamine) Jollystics Inc.
- 2. 今日の流れ はじめに (13:00~13:10) Kinect について(13:10~13:25) Unity について (13:25~13:40) Kinect x Unity ハンズオン (13:45~15:00) 自由制作時間 (15:00~17:00)
- 3.
- 4. 自己紹介 ➢ 長峰慶三 (KeizoNagamine) ➢ Jollystics Inc. ➢ アプリ開発など（Unity / Xamarin） ➢ 勉強会とかハッカソンとか好き（FMCN / Unity Fukuoka） ➢ Twitter : @KzoNag
- 5.
- 6. 今日の資料など ➢ ハンズオンのUnityプロジェクトリポジトリ ○ https://github.com/KzoNag/UnityKinect/tree/master ➢ハンズオン解説用のGistコード ○ https://gist.github.com/KzoNag/70770b8bfca8a54bd00d ○ https://gist.github.com/KzoNag/3602488de99ff1586e9a ➢ 発表資料 ○ http://www.slideshare.net/KeizoNagamine/fmcn-kinect
- 7. アンケート ➢ 開発環境はどうですか？（PC, SDK） ➢Kinectさわったことありますか？ ➢ Unityさわったことありますか？
- 8. おことわり ➢ 今回はKinect &Unity に触れてみる、導入部分を目的とします ➢ なるべく分かりやすく説明したい ➢ 厳密でなかったり、深く言及しない部分もあります ➢ ハンズオン形式は慣れてないのでゴメンナサイ。。。 ➢ 楽しくやりたいので質問などドンドンしてください！
- 9.
- 10.
- 11. システム要件 OS Windows8 ~ CPUCore i7 3.1GHz以上の64ビットCPU メモリ 4G以上 USB USB3.0 グラフィック DirectX11 対応グラフィックカード 開発環境 Visual Studio 2012~ Unity5
- 12. 動作仕様 (1/2) カラー解像度 1920x 1080 カラーフレームレート 30fps / 15fps(暗所) 深度データ解像度 512 x 424 深度データフレームレート 30fps 深度センサー方式 ToF (Time of Flight) 深度測定範囲 500mm ~ 8000mm 水平視野角 70度 垂直視野角 60度
- 13. 動作仕様 (2/2) 人の検出人数 6人 人の検出可能距離500mm ~ 4500mm 骨格数 25カ所 / 人 ジェスチャー検出 ◯ 手のポーズ検出 ◯ マイク 4 (マイクアレイ) 音声入力 ◯
- 14. 接続 (Kinect forXbox One + PCアダプター) Kinect for Xbox One PCアダプター 電源 USB
- 15. ソフトウェア構成 Kinect Kinect Driver Kinect Service KinectSDK Application Kinect SDK Application Kinect SDK Application
- 16.
- 17.
- 18.
- 19.
- 20.
- 21. 役に立つツール①Kinect Configuration Verifier SDKBrowserから “Kinect Configuration Verifier” をRun コンピューターがシステム要件を 満たすかを確認できる
- 22.
- 23. Kinect Studioでデータを保存 ① RECORDタブを選択 ②Kinectが接続された状態で Connectボタン ③ 設定ボタンからプレビューするデータを選択 ④ 保存するデータを選択 ⑤ 録画ボタン ⑥ 録画終了するときはもういちど録画ボタン ① ⑤,⑥ ③ ④ ②
- 24. Kinect Studioでデータを再生 ① PLAYタブを選択 ②接続状態にする （Kinectは実際に接続しなくも OK） ③ 再生ボタン ※別のデータを再生したい場合は FILEから選択 ① ② ③
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35. スクリプティング C#/JSで記述できる（今回はC#） MonoBehaviourを継承するとコンポーネントになる publicで定義したメンバはInspectorで設定可能 特定のタイミングで実行される特別なメソッドがある - Start :最初のUpdateの前に１度だけ実行される - Update : 毎フレーム実行される - OnDestroy : ゲームオブジェクトが破棄されるときに実行される - … 他にもたくさん
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43. Body Index +Color 3D空間
- 44.
- 45. ステップ ① 3D空間を用意しよう ② BodyIndexを表示しよう ③Colorデータを参照しよう
- 46.
- 47.
- 48.
- 49. ビューのレイアウトを調整 ①ここを”2 by 3”にすると同じビューの レイアウトになる（自由にしてください） ②Projectビューの設定を”OneColumn Layout”にすると同じ見た目に （好きなほうでいいです）
- 50.
- 51.
- 52. シーンビューでの配置方法 移動 回転 拡縮 右クリック→ ドラッグ / WASDキーで視点を移動・回転
- 53.
- 54. シーンを保存しておこう Ctrl + Sでシーンを保存 シーンの状態を変更したらこまめに 保存しましょう！
- 55.
- 56. 画像を表示するゲームオブジェクトを配置する ①HierarchyのCreateから “UI” > “RawImage”を選択 ②Hierarchyに -Canvas -RawImage ができるのでRawImageの配置を調整
- 57.
- 58.
- 59. 作成したコンポーネントをRaw Imageにアタッチ ① HierarchyのRawImageを選択 ① ② ② コンポーネントをInspectorにD&D （Add Componentボタンあたりに）
- 60.
- 61. Unity用のKinect SDKをインポートする① Unity用KinectプラグインをProjectにD&D プラグインの入手先 https://dev.windows.com/en-us/kinect/tools ( "Toolsand extensions" の "Unity Pro packages")
- 62.
- 63.
- 64.
- 65.
- 66.
- 67. 初期化（Start） 1. センサー取得 2. リーダー取得 3.BodyIndexを受け取るバッファを用意 4. RawImageに表示するテクスチャを用意 5. テクスチャをRawImageにセット 6. センサーを開く
- 68.
- 69.
- 70. Texture2D 画像を表すクラス サイズとフォーマットを指定してインスタンス化する 画像表示オブジェクトにセットすると表示される byte配列のバッファを読み込んで更新できる R G BA R G B A R G B A R G ... ... バッファの構造
- 71.
- 72.
- 73. 更新処理（Update） 1. BodyIndexの最新データを取得 2. ピクセルごとにテクスチャデータを更新 3.テクスチャにデータをロード・反映
- 74.
- 75. ピクセルごとにテクスチャデータを更新 各ピクセルごとにBodyIndexの値を調べる BodyIndexの値に応じてテクスチャデータを更新 255でなければ人物領域なので色付け 255なら人物領域でないので透明に 255 0 0255 0 0 0 0 ... 1 255 255 255 2 2 2 2 ...BodyIndex テクスチャ データ
- 76.
- 77. スクリプトのエラーを確認 Window > Consoleを選択 エラーがある場合はここに赤字で表示される
- 78.
- 79.
- 80.
- 81. Raw Imageの設定を調整して上下反転させる Raw Imageの UV Rect を Y = 1 H = -1 に設定する
- 82.
- 83.
- 84.
- 85.
- 86.
- 87. Colorデータ byte型 ピクセルごとに4つのbyte値 RGBAの値 左上ピクセルから開始される１次元配列 124 213 84255 145 4 19 255 ...
- 88.
- 89. 更新処理（Update）追加・変更 1. Color, Depthの最新データを取得 2.Colorデータを参照するための対応情報を取得 3. ピクセルごとの処理を変更（人物領域はColorデータを参照して色付け）
- 90.
- 91.
- 92.
- 93.
- 94.
- 95.
- 96.
- 97.
- 98. まとめ ➢ KinectのデータはReaderからFrameを取得し、バッファにコピーすることで得られる ➢ KinectのデータをもとにTexture2Dを作ればUnity上で表示できる ➢データ間の対応関係はCoordinateMapperから取得できる
- 99. ここからは自由に遊んでみてください ➢ BodyIndexだけでも「かまいたちの夜」ごっことかできそう ➢ 3Dのキャラクターと共演するとか ➢Bodyデータを使えば当たり判定もつけられる？