Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Igor Antonacci  http://blog.technothink.net/Igor.antonacci@dotdotnet.org
   La DotDotNet è unassociazione culturale con il compito di    promuovere la più ampia diffusione dellinformatica, della...
   NUI – Natural User Interfaces   Kinect Overview   Kinect SDK   Demo
   HCI – Human Computer Interaction è un argomento    “HOT” in questo momento; sono nati nuovi tipi di    interazioni Uom...
TouchTouch
Object Recognition
Gestures
Voice
Augmented Reality
Touchless
   Com’è fatta / Sensori e Componenti   Architettura HW   Come funziona
   Camera VGA 640x480 (CMOS).   Infrared Camera 640x840 (CMOS).   Proiettore Infrarossi   Tilt Motorizzato.   Batteri...
   Download:    http://www.microsoft.com/en-us/kinectforwindows/   L’SDK Include    ◦ Driver per l’utilizzo su PC (Windo...
   Kinect SDK – Layer tra HW e Software   Flusso di dati “grezzo” e “raffinato”
   Massimo due “player” riconosciuti    contemporaneamente   “Joints” <x, y, z> per ogni giocatore / utente   Ogni “Joi...
   Nuovo Progetto WPF o WinForms   Referenziare la DLL: Microsoft.Research.Kinect   Scrivere codice     ◦ nui = Runtim...
   Rappresenta il singolo frame con riconoscimento    scheletrico
   Stream Video dal sensore video a colori del Kinect   E’ necessario “aprirlo” (inizializzarlo) prima di ricevere I    ...
   Ogni frame della scena è rappresentato da un oggetto    di tipo PlanarImage   I pixel della scena sono rappresentati,...
   “Fotogramma” di profondità   Ogni coppia di byte rappresenta la distanza per il pixel    corrispondente (per ogni gio...
   Ogni pixel della scena è rappresentato da DUE byte   I due byte possono contenere due informazioni    principali    ◦...
   Gestione “managed” dell’Audio   Start – Capture – Stop dell’audio con    riconoscimento della direzione   Kinect Aud...
   Visualizzazioni scientifiche   Healthcare   Games
   Kinect SDK    http://www.microsoft.com/en-us/kinectforwindows/   Coding4Fun – Kinect    http://channel9.msdn.com/codi...
Kinect and brave new applications
Kinect and brave new applications
Kinect and brave new applications
Kinect and brave new applications
Kinect and brave new applications
Kinect and brave new applications
Kinect and brave new applications
Kinect and brave new applications
Upcoming SlideShare
Loading in …5
×

Kinect and brave new applications

641 views

Published on

Igor is introducing the Kinect for Windows and all the possible applications you can develop with the help of Kinect for Windows SDK.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Kinect and brave new applications

  1. 1. Igor Antonacci http://blog.technothink.net/Igor.antonacci@dotdotnet.org
  2. 2.  La DotDotNet è unassociazione culturale con il compito di promuovere la più ampia diffusione dellinformatica, della telematica, della multimedialità e dei collaborative tools, con particolare attenzione allo sviluppo di software su piattaforma Microsoft .NET. (dall’art. 1 dello statuto DotDotNet) Associazione no-profit ◦ Opera in tutta la regione Gruppo di professionisti, studenti e appassionati. Modulo di adesione Feedback
  3. 3.  NUI – Natural User Interfaces Kinect Overview Kinect SDK Demo
  4. 4.  HCI – Human Computer Interaction è un argomento “HOT” in questo momento; sono nati nuovi tipi di interazioni Uomo-Macchina che interessano il grande pubblico E gli sviluppatori Sono state vendute più chitarre virtuali che reali nel 2009
  5. 5. TouchTouch
  6. 6. Object Recognition
  7. 7. Gestures
  8. 8. Voice
  9. 9. Augmented Reality
  10. 10. Touchless
  11. 11.  Com’è fatta / Sensori e Componenti Architettura HW Come funziona
  12. 12.  Camera VGA 640x480 (CMOS). Infrared Camera 640x840 (CMOS). Proiettore Infrarossi Tilt Motorizzato. Batteria di 4 Microfoni 3D DEPTH SENSORS RGB CAMERA MULTI-ARRAY MIC MOTORIZED TILT
  13. 13.  Download: http://www.microsoft.com/en-us/kinectforwindows/ L’SDK Include ◦ Driver per l’utilizzo su PC (Windows 7, … ) ◦ API per l’accesso ai sensori, documentazione ◦ Esempi con codice sorgente (in C# , C++ … )
  14. 14.  Kinect SDK – Layer tra HW e Software Flusso di dati “grezzo” e “raffinato”
  15. 15.  Massimo due “player” riconosciuti contemporaneamente “Joints” <x, y, z> per ogni giocatore / utente Ogni “Joint” ha degli stati ◦ Tracked – Il riconoscimento è “accurato” ◦ Not Tracked – Non si è giunti al riconoscimento di quel joint ◦ Inferred – L’accuratezza è minima, l’elemento è coperto e non facilmente riconoscibile  interpolato
  16. 16.  Nuovo Progetto WPF o WinForms Referenziare la DLL: Microsoft.Research.Kinect Scrivere codice  ◦ nui = Runtime.Kinects[0]; ◦ nui.Initialize(RuntimeOptions.UseSkeletalTracking); ◦ nui.SkeletonFrameReady += new EventHandler<SkeletonFrameReadyEventArgs>(nui_Skeleto nFrameReady);
  17. 17.  Rappresenta il singolo frame con riconoscimento scheletrico
  18. 18.  Stream Video dal sensore video a colori del Kinect E’ necessario “aprirlo” (inizializzarlo) prima di ricevere I frame ◦ nui = Runtime.Kinects[0]; ◦ nui.Initialize(RuntimeOptions.UseColor); ◦ nui.VideoFrameReady += nui_VideoFrameReady; ◦ nui.VideoStream.Open(ImageStreamType.Video, 2, ImageResolution.Resolution640x480, ImageType.Color);
  19. 19.  Ogni frame della scena è rappresentato da un oggetto di tipo PlanarImage I pixel della scena sono rappresentati, ognuno, con 4 byte NON utilizzabile come Source di una Image (nè in WPF, nè in WinForms) Coding4Fun.Kinect.Wpf – ToBitmapSource() extension method ◦ image1.Source = e.ImageFrame.ToBitmapSource();
  20. 20.  “Fotogramma” di profondità Ogni coppia di byte rappresenta la distanza per il pixel corrispondente (per ogni giocatore nella scena) ◦ nui = Runtime.Kinects[0]; ◦ nui.Initialize(RuntimeOptions.UseDepth); ◦ nui.DepthFrameReady += nui_DepthFrameReady ◦ nui.DepthStream.Open(ImageStreamType.Depth, 2, ImageResolution.Resolution640x480, ImageType.Depth);
  21. 21.  Ogni pixel della scena è rappresentato da DUE byte I due byte possono contenere due informazioni principali ◦ ID del Player (in caso di più utenti sulla scena) ◦ La distanza dell’oggetto (in mm) L’ID dell’utente/giocatore è presente se: ◦ nui.Initialize(RuntimeOptions.UseDepthAndPlayerIndex); … assente nel caso in cui ◦ nui.Initialize(RuntimeOptions.UseDepth);
  22. 22.  Gestione “managed” dell’Audio Start – Capture – Stop dell’audio con riconoscimento della direzione Kinect Audio Demo tra gli esempi dell’SDK Riconoscimento vocale se utilizzato insieme alle Speech API ◦ Riconoscimento “solo” della lingua inglese… per ORA!
  23. 23.  Visualizzazioni scientifiche Healthcare Games
  24. 24.  Kinect SDK http://www.microsoft.com/en-us/kinectforwindows/ Coding4Fun – Kinect http://channel9.msdn.com/coding4fun/kinect Coding4Fun – Kinect for Windows SDK Quickstart http://channel9.msdn.com/Series/KinectSDKQuickstarts How does it works – Kinect http://gilotopia.blogspot.com/2010/11/how-does- kinect-really-work.html

×