2011 05 23 Kinect for Windows SDK

Bruno Capuano
MVP – Visual Studio ALM
b.capuano@avanade.com
Avanade
www.elbruno.com
Kinectfor Windows SDK
Primavera 2011
Todavía no:(

XBOX llama a MSR: Septiembre 2008
Necesitamos un body tracker con
All body motions…
Allagilities…
10x Real-time…
Formultipleplayers…
… and it has to be 3D 

Carta a los reyes magos
Sin calibración
Sin pose para inicio/pausa
Sin calibración para el fondo
Sin calibración para el cuerpo
Uso mínimo de la CPU
Independiente de la iluminación
3

body size
hair
FOV
body type
clothes
angle
pets
furniture
Pruebas: The test matrix
4

MSR & xBox: Machine Learning
Paso 1: Recolección de información
El equipo visita diferentes ubicaciones y se dedica a filmar usuarios reales de Xbox
Hollywood motion capture studiogeneratesbillions of CG images

J. Shotton, J. Winn, C. Rother, A. Criminisi, TextonBoost: Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation. European Conference on Computer Vision, 2006
MSResearch: Reconocimiento de Objetos

Training
Millones de imágenescomoreferncias-> millones de parámetros de clasificación
Very far from “embarrassingly parallel”
Nuevo algoritomopara resolver árboles de decisióndistribuidos
Utilizaciónmasiva de DryadLINQ
Disponibleparadescargar
Distributed Data-Parallel Computing Using a High-Level Programming Language
M Isard, Y Yu
International Conference on Management of Data (SIGMOD), July 2009

Programmers View

¿Qué es Kinect?

¿QuéesKinect?
Voice Recognition
Una nueva forma de jugar, donde TU eres el mando
Gesture Recognition
Face Recognition
YouRecognition

Opción A:
¿Porqué Kinect?

¿Porqué Kinect?
Opción TU:

¿Qué es Kinect?
Dispositivo que combina una cámara RGB, un sensor de profundidad y un array de micrófonos
Cámara RBG para el reconocimiento de los tres colores básicos
Sensor de Profundidad que permite “ver una habitación en 3D”
El array de micrófonos detecta las voces y las aisla del ruido ambiental
Caja negra de software que une todo y hace toda la magia

¿Qué es Kinect?
①
③
②

Source: iFixit
15
¿Qué es Kinect?

¿Qué es Kinect?
3D Depth Sensors
①
③

Invisible Infrared (IR) Dots
320x240

¿Qué es Kinect?
RGB Camera
②

19
¿Qué es Kinect?
IR laser projector
IR camera
RGB camera
Source: iFixit

RGB Camera
Se utiliza para el reconocimiento facial
El reconocimiento facial requiere una fase de “training”
Necesita una buena iluminación
20

¿Qué es Kinect?
Multi-array Microphone

Sensores de sonido
22
4 channel multi-array microphone
Sincronizado con la consola para eliminar el sonido de los juegos

¿Qué es Kinect?
Motorized Tilt

Y la “cajanegra”
Software
Research
Testing
Data collection

Prime Sense Chip
Xbox Hardware Engineering mejorónotablemente la calidad y velocidadbasado en los diseños de Prime Sense

Projected IR pattern
Source: www.ros.org
26

Depth computation
Source: http://j.mp/eXsCiE
27

Depth map
Source: www.insidekinect.com
28

Salida de video en Kinect
30 HZ frame rate
57deg field-of-view
8-bit VGA RGB640 x 480
11-bit monochrome320 x 240
29

XBox 360 Hardware
Triple Core PowerPC 970, 3.2GHz
Hyperthreaded, 2 threads/core
500 MHz ATI graphics card
DirectX 9.5
512 MB RAM
2005 performance envelope
Must handle
real-time vision AND
a modern game
Source: http://www.pcper.com/article.php?aid=940&type=expert
30

¿Cómo funciona Kinect? (I)

1- ¿Cómo sabe Kinectlo que hago?
“Xbox?!”
“Let’s Play!”

Architectura extensible
33
Expert 1
fuses the hypotheses
Arbiter
Expert 2
Expert 3
probabilistic
Final
estimate
Raw
data
Skeleton
estimates
Sensor
Stateless
Statefull

Mapa de
profundidad
Sensor
Separación por jugador
basado en el fondo
Paso a paso para el reconocimiento
34
Clasificación de
partes del cuerpo
Identificación de
“joints”
Creación de
“Skeleton”

Analizalasposiciones 3D del todaslaspartesidentificadas del cuerpo
Genera unacolección (posicion, confidence)/parte
Genera múltiplesopcionesparacada parte del cuerpo
El trabajo lo realiza la GPU
35
Paso 1: «Body» a «Joint Positions»

Basado en 3 modelos de “Skeleton“
El proceso se realiza en:
Cálculo de distancia entre puntos conectados(relativos al «tamaño del cuerpo»)
Cercanía de los huesos con las partes del cuerpo
Aplica además patrones para el «smoothness»
36
Paso 2: «Joint Positions» a «Skeleton»

Como definir el “skeleton”?
37

Ejemplos
38

KINECT FOR WINDOWS SDK

KINECT FOR WINDOWS SDK
Presentado en el MIX11
Permitirá desarrollos sobre .Net Framework en C#, Visual Basic.Net y C++
Fecha prevista de lanzamiento «primavera 2011»

Bruno Capuano
MVP – Visual Studio ALM
b.capuano@avanade.com
Avanade
www.elbruno.com
Kinectfor Windows SDK
Primavera 2011
Todavía no:(

¿Cómo funciona Kinect? (II)
APÉNDICE

Preproceso
44
Identificar el suelo (ground plane)
Aislar el fondo (aislar un sofá)
Identificar los jugadores

2 “Seguidores” (trackers)
Seguimiento de cabeza y manos
Seguimiento de cuerpo
45
not exposed through SDK

El problema del seguimiento de cuerpo
46
Classifier
Input
Depth map
Output
Body parts
Runs on GPU @ 320x240

Entrenando a Kinect
47
Comienza desde datos ground-truth
Alineados con partes del cuerpo
Es necesario entrenar a Kinect para trabajar con
Poses
Posición por escena
Tamaño y formas del cuerpo

48
Entrenando a Kinect
Use synthetic data (3D avatar model)
Inject noise

Motion Capture:
Unrealistic environments
Unrealistic clothing
Low throughput
49
Entrenando a Kinect

50
Entrenando a Kinect
Manual Tagging:
Requires training many people
Potentially expensive
Tagging tool influences biases in data.
Quality control is an issue
1000 hrs @ 20 contractors ~= 20 years

51
Entrenando a Kinect
Amazon Mechanical Turk:
Build web based tool
Tagging tool is 2D only
Quality control can be done with redundant HITS
2000 frames/hr @ $0.04/HIT -> 6 yrs @ $80/hr

Clasificando pixel a pixel
Compute P(ci|wi)
pixels i = (x, y)
body part ci
image window wi
Learn classifier P(ci|wi) from training data
randomized decision forests
example image windows
window moves with classifier
52

Features
53
𝑓𝜃𝐼, 𝑥=𝑑𝐼𝑥+𝑢𝑑𝐼𝑥-𝑑𝐼𝑥+𝑣𝑑𝐼𝑥

𝑑𝐼𝑥

-- depth of pixel x in image I
-- parameter describing offetsu and v
𝜃 = (u,v)

http://geeks.ms	178
http://static.slidesharecdn.com	8
http://labloguera.net	8
http://translate.googleusercontent.com	2

2011 05 23 Kinect for Windows SDK

by Bruno Capuano on May 23, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

4 Embeds 196

Statistics

2011 05 23 Kinect for Windows SDK — Presentation Transcript