Morra cinese in salsa gesture con contorno di SignalR by Massimo Bonanni, Marco Dal Pino, Nicolò Carandini

Marco Dal Pino,
Nicolò Carandini,
Massimo Bonanni
Morra cinese in salsa gesture con contorno di
SignalR

DomusDotNet (www.domusdotnet.org),
DotNetToscana (www.dotnettoscana.org)

Chi siamo!
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet
Massimo Bonanni (www.domusdotnet.org), DotNetToscana
(www.dotnettoscana.org)

Marco Dal Pino
Freelance Consultant .NET, Embedded
@marcodalpino
www.mobileprog.net
m.dalpino@dpcons.com

Massimo Bonanni Nicolò Carandini
Senior .NET Developer @ THAOS Senior Developer @ TPCWare
@massimobonanni @TPCWare
http://codetailor.blogspot.com blogs.ugidotnet.org/Nick60
massimo.bonanni@domusdotnet.org nicolo.carandini@domusdotnet.org

Agenda
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

• Introduzione
• La mente: SignalR
• Il braccio destro: Intel Perceptual SDK
• Il braccio sinistro: Kinect SDK
• Facciamo una partita? (demo)

Introduzione
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

ASP.NET SignalR

SignalR
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

ASP.NET SignalR
Incredibly simple real-time web for .NET

SignalR
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

client/server ?

REQUEST
INTERNET

RESPONSE
INTERNET

<HTML> Page

SignalR
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Uno, due, tre… stella!

Quando il server riceve dati da un
client, deve poter inviare dati
agli altri client.

Per farlo posso usare le tecniche di
polling, long polling e websocket.

Utilizzando SignalR. 

SignalR
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

• SignalR è la nuova libreria che aggiunge
funzionalità Real-Time alle applicazioni web
• Fa parte della famiglia ASP.NET !

SignalR
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

• Implementa, ove possibile, WebSockets.
• Fa il downgrade in modo trasparente alle altre tecniche
di polling.
• Fornisce una API di alto livello, molto semplice da
usare, per fare RPC da server a client in un'applicazione
ASP.NET (si possono chiamare funzioni JavaScript lato
client da codice .NET lato server, e viceversa).
• Offre funzionalità di gestione degli eventi di connessione
e sconnessione e la gestione delle autorizzazioni.

SignalR
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Match Making

SignalR
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Svolgimento di un turno di gioco

SignalR
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Pubblicare il servizio su Azure

Perceptual
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Il braccio destro: Intel Perceptual SDK

Perceptual
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

• Video Camera RGB HD 720p
• Sensori di profondità: proiettore IR +
Camera IR
• Array di microfoni stereo
Video Camera
RGB HD 720p

Sensore di
profondità 3D

Doppio Array
di microfoni Base multi
attacco

Perceptual
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Architettura

Unity Port
CoreFramework
PXCMSession Microsoft. Speech.dll
PXCMImage (v11)
PXCMAudio
I/O
PXCMCapture
Algorithms UtilPipeline(C++)
PXCMGesture
PXCMFaceAnalysis
PXCMVoiceRecognition
PXCMVoiceTTS
Pipeline
UtilMCapture
UtilCapture(C++)
UtilMPipeline
C++
Core framework I/O Algorithms
PXCSession PXCCapture PXCGesture
PXCFaceAnalysys
PXCImage
PXCVoiceRecognition
PXCAudio PXCVoiceTTS

Perceptual
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Gesture Recognition Module
Input: flusso immagini RGB, distanza, stream infrarosso
Output: gesture riconosciute o risultati di tracciamento intermedi
• Blob: risultati intermedi
• Tracciamento di nodi geometrici: nodi di scheletro umano o parti di esso
• Notifica di Pose o gesture: predefinite, eventi attivaz. disattivaz.
• Notifica di Alert: errori (nodevice, out of view ecc)

Perceptual
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Codice….

Perceptual
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Pro
• Documentazione ampia (con molti sample)
http://software.intel.com
• Gesture e posture native

Contro
• Utilizzabile solo da vicino
• SDK non accessibile a tutti (ma cresce porting in C#)
• Diffusione scarsa
• Costo device alto (prevista integrazione in UB next
gen.)

Kinect
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Il braccio sinistro: Kinect SDK

Kinect
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

• Video Camera RGB (CMOS)
• Sensori di profondità: proiettore IR +
Camera IR (CMOS)
• Inclinazione motorizzata (±27 gradi)
• 4 Microfoni Video Camera
RGB

Sensori di
profondità

Batteria di 4
microfoni
Inclinazione
Motorizzata

Kinect
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Architettura

Microsoft. Speech.dll
KinectInteraction Microsoft.Kinect.dll (v11)
Speech Runtime
(v11)
Kinect for Windows
Runtime + Drivers

Kinect
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Sensor Data Stream

C D A
Color Depth Audio

IR AC
Infrared Accelerometer

Kinect
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Recognition Stream

ST S FT
Skeleton Tracking Speech Recognition Face Tracking

D A C D ST
Skeleton
Depth Audio Color Depth Tracking

IS
Interaction Stream

D ST
Skeleton
Depth Tracking

Kinect
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Kinect SDK 1.7
(www.kinectforwindows.org)

• KinectInteraction Framework;
• Miglioramento dell’engagement model;
• Kinect Fusion.

Kinect
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

KinectInteraction
Framework

Insieme di classi e
componenti che forniscono
funzionalità di base per
l’implementazione
dell’interazione tra il device
e le nostre applicazioni.

Kinect
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Kinect Fusion

Kinect
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Pro
• SDK di facile utilizzo
• Documentazione ampia (con molti sample)
• Possibilità di gestire figura intera o metà (seated mode)
• Possibilità di gestire fino a 4 device
• Gestione di due player in maniera completa

Contro
• Gesture non out-of-the-box (solo Grip e Press)
• Device ingombrante
• Hub USB dedicato
• Costo device alto (ma è compresa la licenza di distribuzione)

Kinect
Marco Dal Pino,
Nicolò Carandini,
DomusDotNet

Codice….

Morra cinese in salsa gesture con contorno di SignalR by Massimo Bonanni, Marco Dal Pino, Nicolò Carandini

Recommended

Recommended

More Related Content

Similar to Morra cinese in salsa gesture con contorno di SignalR by Massimo Bonanni, Marco Dal Pino, Nicolò Carandini

Similar to Morra cinese in salsa gesture con contorno di SignalR by Massimo Bonanni, Marco Dal Pino, Nicolò Carandini (12)

More from Codemotion

More from Codemotion (20)

Morra cinese in salsa gesture con contorno di SignalR by Massimo Bonanni, Marco Dal Pino, Nicolò Carandini