(N)UI FOR REALLa mia esperienza con Kinect, 3D e computervision
LA RICHIESTA Tracciare la scelta degli utenti Esperienza breve Qualcosa di diverso
COSA HO USATO Computer Vision Kinect XNA per il 3D
DEMO
COMPUTER VISIONLo scopo principale della visione artificiale è quello di riprodurre la vistaumana. Vedere è inteso non sol...
LIBRERIE CHE HO VALUTATOAForge.NEThttp://www.aforgenet.com Hanno implementato loro lefunzionalità Usa DirectShow per la ...
COSA SI PUÒ FARE Object detection Face detection Motion detection Riconoscimento dei segnali stradali
HO VALUTATO ANCHE IL FACERECOGNITION L’idea Fotografia prima di usare il totem Il totem riconosce l’utilizzatore Probl...
KINECT
COSA PERMETTE DI FARE Riconosce 2 giocatori Distanza da 1.5 mt a 3mt Rileva 20 nodi per ogni scheletro Riconoscimento ...
PROBLEMI La distanza dell’utente non deve cambiare Le coordinate sono -1...0…1 Altezze diverse del giocatore I gesti v...
IL NUOVO SDK 1.7 Aggiunte due nuove gesture. «Push» e «Grip» Cambiata la «Human Interface Guidelines». Adesso si usa «Pu...
XNA E 3DSon tutti triangoli
A COSA FARE ATTENZIONE Cercare di non aprire troppi spriteBatch.Begin() Numero di poligoni dei modelli Back-face cullin...
NUMERO POLIGONI
BACK-FACE CULLING
HIGH LEVEL SHADER LANGUAGE Deriva dal C Nato come progetto congiunto tra NVIDIA e Microsoft Poi han litigato :/ Viene ...
COLLISIONI Collisioni in 2D è l’intersezione tra le due immagini Collisioni in 3D si fanno con Bounding Box e Bounding S...
XNA È MORTO C++ DirectXTK (http://directxtk.codeplex.com) DirectX Tex (http://directxtex.codeplex.com) C# MonoGame (h...
LIBRI DEL WEEKEND Learning XNA 4.0 Learning OpenCV
GRAZIE! bettercoderwannabe.blogspot.com github.com/iridio @collaalessandro
Upcoming SlideShare
Loading in …5
×

Nui for real

912 views

Published on

La mia esperienza con Kinect, Computer Vision, XNA 4.0 e 3D

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
912
On SlideShare
0
From Embeds
0
Number of Embeds
258
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Nui for real

  1. 1. (N)UI FOR REALLa mia esperienza con Kinect, 3D e computervision
  2. 2. LA RICHIESTA Tracciare la scelta degli utenti Esperienza breve Qualcosa di diverso
  3. 3. COSA HO USATO Computer Vision Kinect XNA per il 3D
  4. 4. DEMO
  5. 5. COMPUTER VISIONLo scopo principale della visione artificiale è quello di riprodurre la vistaumana. Vedere è inteso non solo come lacquisizione di una fotografiabidimensionale di unarea, ma soprattutto come linterpretazione delcontenuto di quellarea.
  6. 6. LIBRERIE CHE HO VALUTATOAForge.NEThttp://www.aforgenet.com Hanno implementato loro lefunzionalità Usa DirectShow per la webcam Supporta i Lego Mind StormEmguCVhttp://www.emgu.com Wrap di openCV Compila sotto Mono Performance migliori con la versionicommerciali (IPP, TBB)
  7. 7. COSA SI PUÒ FARE Object detection Face detection Motion detection Riconoscimento dei segnali stradali
  8. 8. HO VALUTATO ANCHE IL FACERECOGNITION L’idea Fotografia prima di usare il totem Il totem riconosce l’utilizzatore Problemi Le foto dovevano essere fatte precise Troppa variazione di luce non permette un riconoscimento accurato
  9. 9. KINECT
  10. 10. COSA PERMETTE DI FARE Riconosce 2 giocatori Distanza da 1.5 mt a 3mt Rileva 20 nodi per ogni scheletro Riconoscimento vocale Near mode (40 cm)
  11. 11. PROBLEMI La distanza dell’utente non deve cambiare Le coordinate sono -1...0…1 Altezze diverse del giocatore I gesti vanno creati e gestiti Non ci deve essere ressa intorno al giocatore
  12. 12. IL NUOVO SDK 1.7 Aggiunte due nuove gesture. «Push» e «Grip» Cambiata la «Human Interface Guidelines». Adesso si usa «Push» Ci dice direttamente lui se la mano è aperta o meno Aperto il segnale del laser (1.6) Aggiunto Kinect Fusion
  13. 13. XNA E 3DSon tutti triangoli
  14. 14. A COSA FARE ATTENZIONE Cercare di non aprire troppi spriteBatch.Begin() Numero di poligoni dei modelli Back-face culling. Gli shader giusti sulle varie mesh dei modelli
  15. 15. NUMERO POLIGONI
  16. 16. BACK-FACE CULLING
  17. 17. HIGH LEVEL SHADER LANGUAGE Deriva dal C Nato come progetto congiunto tra NVIDIA e Microsoft Poi han litigato :/ Viene trasformato in assembler e sparato direttamente allascheda video XNA li pilota tramite gli «Effect» con cui gli passiamo i parametri Per ogni gruppo di mesh possiamo applicare diversi shader(era tutto in tedesco e diverso per ogni auto. YAY!)
  18. 18. COLLISIONI Collisioni in 2D è l’intersezione tra le due immagini Collisioni in 3D si fanno con Bounding Box e Bounding Sphere
  19. 19. XNA È MORTO C++ DirectXTK (http://directxtk.codeplex.com) DirectX Tex (http://directxtex.codeplex.com) C# MonoGame (http://monogame.codeplex.com)
  20. 20. LIBRI DEL WEEKEND Learning XNA 4.0 Learning OpenCV
  21. 21. GRAZIE! bettercoderwannabe.blogspot.com github.com/iridio @collaalessandro

×