2015年06月23日 (火) に TechBuzz Space にて行われた「第32回 Unity 勉強会」での発表資料です。

1. Unity meets Kinect
-Unity で NUI を扱ってみた-
2015.06.23 (Tue) / Unity 勉強会 #32
株式会社キッズスター
システムデベロプメントチーム リーダー
森 哲哉

2. こんばんは！

3. 「またお前か」
でお馴染みの
もんりぃです！

4. 今日は

6. meets

8. というコトで

9. Natural
User
Interface

10. のおはなしです

11. おしながき

12. おしながき
• Kinect って？
• Unity Kinect の準備
• Unity Kinect の開発
• おまけ

13. さて、本題

14. の、前に

15. 自己紹介

16. whoami
• 森 哲哉 と申します
• a.k.a: もんりぃ / T: @monry / F: monry84
• 30歳 / ♂ / O型 / 天 座 / 既婚
• 趣味は「お酒」と「合唱」です

17. whoami
• 大学を (自主的に) 卒業後、ベンチャーを転々
• Web のフロントエンド、サーバサイドが得意
• Unity 歴 2 年くらい
• インフラ (AWS) も、ちょいちょいやってます
• Cocos2d-JS も触ってます

18. jobs
• 株式会社キッズスター って会社で働いてます
• 未就学児∼小学生のお子さまをお持ちの
ファミリーをターゲットにした、知育/教育に
関わるアプリ・サービスを展開しております
• 「IID 世田谷ものづくり学校」という、
元中学校に入居しております

19. office

20. office

21. apps
なりきり!!
ごっこランド
パズル&テイルズ
おかしのくにを
つくるのじゃ!!
なりきり!!
アイスクリーム
屋さんごっこ
なりきり!!
ママごっこ
お弁当をつくろう！
おかしの家を
つくろう！
ハンバーガー
やさんごっこ
飛行機を
組み立てよう！
i18n i18n i18n
i18n
ゆかいな
お花屋さん
App Store / Google Play
カテゴリランキング1位
多数獲得！！！
きかんしゃ
トーマスと
パズルで
あそぼう！
キョロちゃん
大冒険

22. events

23. events

24. 今度こそ、本題

25. Kinect って？

26. Kinect って？
• Microsoft が開発した NUI デバイス
• 複数のセンサーを搭載
• v1 と v2 がある

27. Kinect って？
詳しくは ココ 参照

28. Kinect って？

29. Kinect って？
今なら何と！

30. Kinect って？
¥16,178-
(2015/06/22 現在)

31. Kinect って？
更に！！

32. Kinect って？
別売りの
Windows PC アダプタ
(¥5,378-) も付けて…

33. Kinect って？
¥21,556-
(2015/06/22 現在)

34. Kinect って？
(きゃー)
(やす∼い！)

35. Kinect って？
お求めはコチラから！
本体
アダプタ

36. Unity Kinect の準備

37. 準備
• 大まかな流れは以下の通り
1. Kinect 買う
2. マシン要件確認
3. SDK インストール
4. Unity Package 取得

38. 準備
• Kinect 買う
• 買いましょう。
• 届くのをソワソワしながら待ちましょう。

39. 準備
• ハードウェア要件
• OS: Windows 8 (64bit) 以降
• 端子: USB 3.0
• CPU: Intel Core i7 3.1GHz 以上
• GPU: DirectX 11
• RAM: 4GB 以上

40. 準備
セレブ向けですね！

41. 準備
なお、GPU の絡みで
Parallels Desktop とかの
VM では動きません！

42. 準備

43. 準備
• SDK インストール
• Kinect for Windows SDK 2.0
• Kinect Studio とか色々指示に従ってｲﾝｽｺ
• Visual Gesture Builder とか大事

44. 準備
• Unity Package 取得
• Unity で Kinect に繋ぐためのスクリプトと
DLL が含まれてる
• これが、地味に見付けづらい！
• コチラにあります。

45. Unity Kinect の開発

46. 開発
• 「最低限動かしてみたい！」って場合は
• Kinect v2 with MS-SDK (Unity 5.0.1 以上)
• FreeKinectV2 Bone (Unity 4.5.5 以上)
• 辺りを使えば楽に出来るんじゃないかな？

47. 開発
先ずは基本
KinectSensor sensor = KinectSensor.GetDefault();
if (!sensor.IsOpen) {
sensor.Open();
}
これで、センサーとの接続を確立

48. 開発
Color Camera のデータを取得
FrameDescription frameDescription = sensor.ColorFrameSource
.CreateFrameDescription(ColorImageFormat.Rgba);
byte[] data = new byte[
frameDescription.BytesPerPixel * frameDescription.LengthInPixels
];
ColorFrame frame = reader.AcquireLatestFrame();
if (null != frame) {
frame.CopyConvertedFrameDataToArray(data, ColorImageFormat.Rgba);
frame.Dispose();
frame = null;
}
これで data に画像データが格納される

49. 開発
IR Camera / IR Projector から骨格情報を取得
BodyFrameReader reader = sensor.BodyFrameSource.OpenReader();
BodyFrame frame = reader.AcquireLatestFrame();
Windows.Kinect.Body[] data =
new Windows.Kinect.Body[sensor.BodyFrameSource.BodyCount];
if (null != frame) {
frame.GetAndRefreshBodyData(data);
frame.Dispose();
frame = null;
}
これで data に認識可能人数分の骨格データが入る
ただし、認識していないデータは null

50. 開発
あとは、ドキュメント読むと
良いと思うよ！

51. 開発
と、言うのもアレなので
Visual Gesture Builder
のおはなしを

52. 開発
• Visual Gesture Builder って？
• Kinect の骨格認識を用いたジェスチャーの
機械学習補助ツール
• Kinect SDK 2.0 に付随
• まだ Preview 版 (Stable まだー？)

53. 開発
• Visual Gesture Builder の使い方
• 先ずは Kinect Studio でストリームを記録
• KSConvert.exe で xrf → xef への変換
• Visual Gesture Builder で学習

54. 開発
• Visual Gesture Builder の使い方
• 学習結果のデータベース (.gbd) を出力
• Unity Package に含まれる
Microsoft.Kinect.VisualGestureBuilder
.VisualGestureBuilderDatabase
を使って読み込む
• 後は頑張るｗ

55. 開発
Visual Gesture Builder
の使い方については
この動画が詳しいです。

56. おまけ

57. おまけ
• AR ライブラリと組み合わせると死ねる
• Color Sensor は WebCam 扱いにならない
• DLL の取り回しが非常に厄介
• 私は metaio と組み合わせようとして爆死

58. おまけ
• Visual Gesture Builder は Preview 版
• Continuous ジェスチャの学習時に
フレーム挿入になるような操作をすると
クラッシュ！
• そもそも xrf → xef の変換ﾏﾝﾄﾞｸｾ

59. おまけ
• BootCamp 行けます！
• MacBook Air (13-inch, Mid 2012)
• CPU: 1.8 GHz Intel Core i5
• GPU: Intel HD Graphics 4000 1024 MB
• RAM: 8GB

60. おまけ
• しかし！
• 一定時間以上稼働させると、突然 Kinect が
沈黙する事象が発生
• 熱暴走なのか、MBA との組み合わせの
問題なのかは
• Surface Pro 3 で動かした場合は無問題

61. おまけ
• 「マイクロソフト、Kinect for Windows v2 の
販売を終了」
• 「マジかよ！！！」
• とか思ったけど、"Kinect v2" と Windows 用
アダプタの同梱セットの販売を終了しただけ
• 普通に Xbox One 用の Kinect とアダプタを
買いましょう

62. Any Questions ?

63. Thank you for
your attention !!