NUI and Kinect

Copyright© 2013, pnop Inc., All Rights Reserved.
Microsoft テクノロジーの歩き方
NUI/Kinectを使ってみよう
Keiji Kamebuchi
pnop Inc.

Self introduction
{
"name" : "Keiji Kamebuchi",
"corporation" : "pnop Inc.",
"mail" : "kamebuchi@pnop.co.jp",
"web" : "http://buchizo.wordpress.com/",
"twitter" : "@kamebuchi",
"facebook" : "https://www.facebook.com/keijikamebuchi"
}
KeijiKamebuchi buchizo@kamebuchiSenior Fellow

Goal
 Kinect について知る、実際に触ってみる、使ってみる
 関連する知識へのポインタを得る
 可能性について思いを馳せる

Agenda
 Microsoft のテクノロジーの俯瞰
 NUI と Kinect
 Kinect
 Hands on
 まとめ

Microsoftテクノロジーの俯瞰

http://www.codeview.net/2013/01/23/microsoft-technologies-infographic/

MSDN Library

Kinect の場合
http://www.microsoft.com/en-us/kinectforwindows/develop/developer-downloads.aspx

Kinect の場合
Kinect
.NET Framework C++
WPF XNA / Direct X

最新情報など
 Kinect for Windows
 http://www.microsoft.com/en-us/kinectforwindows/
 Kinect for Windows Product Blog
 http://blogs.msdn.com/b/kinectforwindows/
 CodePlex Samples
 http://kinectforwindows.codeplex.com/
 NeaRael / IMYGraphics
 http://andorelseif.com/Neareal/index.php?Kinect
 http://andorelseif.com/IMYGraphics/Wiki/doku.php?id=kinect
 Channel 9
 http://channel9.msdn.com/search?term=Kinect

NUI と Kinect

NUI?
 Natural User Interface
 直感的な行動、自然な操作（タッチ操作や話す・ジェスチャーする等）を
インターフェースに

NUI != Kinect

沿革
 In 2006 Christian Moore established an open research community with
the goal to expand discussion and development related to NUI
technologies.
 In a 2008 conference presentation "Predicting the Past," August de los
Reyes, a Principal User Experience Director of Surface Computing at
Microsoft described the NUI as the next evolutionary phase following
the shift from the CLI to the GUI.
 2009年6月1日 - ロサンゼルスで開催されたE3 2009のカンファレンスで
「Project Natal」の名で発表された。
 2010年6月13日 - ロサンゼルスで開催された「The World Premiere
Kinect for Xbox 360 Experience」にて正式名称が「Kinect」であること
が発表された。
 2010年11月4日 - 北米にて発売。大規模なローンチイベントが開催され
た。マイクロソフトのドン・マトリックは、受注が好調なためKinectの
年内の販売予測を300万台から500万台に引き上げたと発表した。
http://en.wikipedia.org/wiki/Natural_user_interface
http://ja.wikipedia.org/wiki/Kinect

NUI
http://research.microsoft.com/en-us/collaboration/focus/nui/default.aspx

Kinect

Kinect?
 Microsoftが提供するXBOX360用のコントローラー
 NUIの入り口、高機能センサー

Two Extremes of
Touch Interaction
http://research.microsoft.com/en-us/news/features/touch-101711.aspx

Kinect for Windows
 Windows 向けの Kinect
 Windows 7 / Windows 8 / Windows Embedded Standard 7 / Windows
Embedded POSReady 7 / Windows Embedded Standard 8
Kinect for Windows Kinect for XBOX
商用利用 OK NG
Kinect for Windows SDK OK OK
Kinect for Windows SDK User Runtime OK NG
XBOX360 での利用 NG OK
Nearモード OK NG

距離カメラ（深度センサー）
RGBカメラ
指向性マイクアレイチルトモーター
ハードウェア

ハードウェア

アプリケーションRawデータ
センサーから得られる情報
RGBカメラ
深度センサー
指向性マイク
USB2.0
RGBデータ
深度情報
PCM音声
Kinect SDK
Speech SDK
骨格情報
音声認識
顔・表情
3D モデリング

深度センサー
出典：“Human Interface Guideline”

Demo
深度センサー

可動範囲とセンサー範囲

音声入力

Demo
チルトモーターと音声認識

骨格追跡 (Skeleton tracking)
骨格トラッキングは2名まで
プレイヤー認識は6名まで

骨格追跡 (Skeleton tracking)
HandLeft
WristLeft
ShoulderLeft
Head
ElbowLeft
ShoulderRight
HandRight
WristRight
ElbowRight
ShoulderCenter
FootLeft
AnkleLeft
KneeLeft
HipLeft
HipCenter
HipRight
FootRight
AnkleRight
KneeRight
Spine
Seated (10)
Default (20)

座標軸（右手座標系)
Negative
Positive
Positive Negative
Positive

トラッキングの種類とスムージング
実測の場合 : Tracked
予測の場合 : Inferred
TransformSmoothParameters でスムージングなどの
細かいパラメータを指定できる
スムーズ
生データ

Demo
骨格追跡

ネットワークのデモ
http://xxx.xxx.xxx:xxx/

Coming Soon?
旧Kinect 新Kinect
カメラ解像度 1280 x 1024 / 640 x 480 1920 x 1080
深度取得方式赤外線パターン方式 Time Of Flight
深度解像度 Player Index : 320 x 240
Depth only : 640 x 480
？
スケルトントラッキング 2人 6人
FPS 30 fps 30 fps
視野角 + 60%
その他指、顔の表情認識
アクティブIR
音声認識の向上
秒間2Gbの情報量
関節の向きの認識
人体物理モデルによる重心把握、心拍数
取得など

Hands on

Scenario
A) Kinect を接続して制御してみましょう
B) 深度情報を表示してみましょう
C) 骨格情報を追跡してみましょう
D) コントロールを活用してジェスチャーを組み込んでみましょう
実際のシチュエーションや用途を思い浮かべながら、触ってみましょう
資料のダウンロード
http://xxx.xxx.xxx:xxx/

ヒント
 Kinect Studio を使うとセンサーのデータを再現できます
※デバイスをエミュレートしてくれるわけではありません

ヒント
 利用シーンを想定しましょう
 Near （近距離）なのか通常使用なのか
 トラッキングできる人数や骨格情報、範囲が異なります
 GUIな画面を操作する場合
 操作がぶれることを想定
 コントロールを大きめにする
 トリガーとインタラクション/フィードバック
 意図しない操作になる可能性があることを考慮しましょう
 横方向のジェスチャーと斜め方向のジェスチャーで異なる意味を持たせる等は不適切で
す
 XBOXの音声操作：「エックスボックス」という音声コマンドをトリガーに
 処理がなされているかどうかがわかりにくい → 操作に対して色が変わる、音が
鳴る等
 無理のない操作を
 Kinectでジェスチャーは意外と疲れます

Coding4Fun Kinect Toolkit
http://c4fkinect.codeplex.com/

まとめ

まとめ
 知識の深堀りと関連分野の裾野を広げましょう
 高速道路を飛ばしながらも下道を散策
 継続は力、実践は訓練
 NUI をどう使うかはまだまだこれから
 デバイスは進化するものです
 Kinect 以外
 Leap motion
 Intel Perceptual Computing
 Google Glass
 などなど
 Kinect を入り口に新しい世界を作りましょう！

Challenge!
http://k4wa.com/

Appendix

出典 / 補足情報
 Microsoft Technologies Infographic
 http://www.codeview.net/2013/01/23/microsoft-technologies-infographic/
 Human Interface Guideline
 Building Apps with the Kinect for Windows SDK
 http://channel9.msdn.com/Events/TechEd/NorthAmerica/2013/DEV-B305
 Kinect for Windows SDK EULA
 http://www.microsoft.com/en-us/kinectforwindows/develop/sdk-eula_ja-jp.aspx
 NUI – Wikipedia
 http://en.wikipedia.org/wiki/Natural_user_interface
 NUI – Microsoft Research
 http://research.microsoft.com/en-us/collaboration/focus/nui/default.aspx
 Kinect – Wikipedia
 http://ja.wikipedia.org/wiki/Kinect

NUI and Kinect

More Related Content

Similar to NUI and Kinect

NUI and Kinect