Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Računalnik te gleda

912 views

Published on

Vmesniki kot tisti v filmu Minority Report niso več znanstvena fantastika.

  • Login to see the comments

  • Be the first to like this

Računalnik te gleda

  1. 1. Pozor, računalnik te gleda! Borut Kumperščak, CTO, UNIKI d.o.o. @kumpri, borut@uniki.euSerija predavanj Do gležnjev v blatu,@vblatu, http://meetup.com/vblatu November 2011 
  2. 2. Vsebina• ideja “nevidnega vmesnika”• zakaj računalniški vid• sodobni senzorji in algoritmi• aplikacije
  3. 3. Ideja “nevidnega” UI• prostor se odziva na prisotnost oseb• velike vizualne površine - projekcija, LED wall• več uporabnikov hkrati• “Naravni vmesnik”, NI, NUI
  4. 4. Minority report• video: Minority report - oglasi http://www.youtube.com/watch? v=oBaiKsYUdvg
  5. 5. Zahteve “nevidnega” UI• neposreden odziv na gibe in kretnje• visoka toleranca do uporabnika• oddaljeni senzorji• delovanje v realnem času
  6. 6. Zakaj računalniški vid• kamera je oddaljena od objekta opazovanja• delovanje v realnem času• velika količina zgoščenih informacij
  7. 7. Računalniški vid deluje• kontrola in nadzor• touch UI Janez Primc, Emil Jerman, Mitja Zabavnik: Avtomatska detekcija prometa v slovenskih predorih, ROSUS 2009 Reactable, Reactable Systems• klasifikacija in razpoznavanje objektov• knjižnica OpenCV je švicarski nož
  8. 8. Računalniški vid ne deluje• ozek spekter uporabnosti (2D aplikacije)• potreben “man in the middle”• kontrolirano okolje• primer: izločanje ozadja
  9. 9. Zakaj ne deluje?• pomanjkljivi vhodni podatki (2D)• šum - neželjene motnje na vhodu• procesorska zahtevnost algoritmov (OpenCV požre CPU za malico)
  10. 10. Rešitev?• dodatni vmesniki, senzorji• globinsko zaznavanje (3D)• boljši algoritmi
  11. 11. Globinsko zaznavanje• 3D slika okolja• posnema človeško dojemanje• celovito zaznavanje v kombinaciji z RGB sliko
  12. 12. Stereo kamera• kombinacija dveh kamer• umerjena pozicija in razdalja med njima• koreliramo točke na dveh slikah Point Grey Bumblebee 2
  13. 13. Stereo kamera• zahteven proces umerjanja• CPU zahtevna korelacija• visoka cena
  14. 14. TOF kamera• kombinacija senzorja in osvetlitve• senzor in osvetlitev zelo natančno sinhronizirana• točke merijo čas potovanja žarka (princip radarja) Panasonic D-Imager
  15. 15. TOF kamera• zahtevna izdelava• visoka cena
  16. 16. Strukturirana osvetlitev• prostor osvetljen z znanim vzorcem svetlobe• navadna kamera (senzor)• iz korelacije vzorca s posnetkom se izračuna globinski odklon za vsako točko XBox Kinect vzorec projicirane svetlobe
  17. 17. Strukturirana osvetlitev• podobno stereo kameri, ena od kamer nadomeščena z izvorom• manj CPU zahtevno• problem je osvetlitev
  18. 18. PrimeSense• osvetlitev je IR• osvetlitev je laserska• CPU vgrajen v kamero• osnova za XBox Kinect in Asus WAVI Xtion XBox Kinect Asus WAVI Xtion
  19. 19. Kje nam to pomaga?• enostavno izločanje ozadja• preprosto polje kazalca - ravnina v 3D• zajem prostora, pozicije objektov,...• naprednejši algoritmi
  20. 20. Boljši algoritmi• primer: algoritem za sledenje postavi Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake: Real-Time Human Pose Recognition in Parts from Single Depth Images, Microsoft Research Cambridge & Xbox Incubation
  21. 21. NITE middleware• izdelal PrimeSense za svoj senzor• implementacija algoritmov zaznavanja, klasifikacije, sledenja (prostor, oseba, roka)• multithreaded, <10% CPU (trenutna generacija)
  22. 22. It gets better - OpenNI• OpenNI framework za NI aplikacije• abstrakcija povezave senzor -> middleware -> aplikacija• future-ready OpenNI User Manual
  23. 23. It gets even better• OpenNI je konzorcij, cross-platform, open source• NITE je cross-platform, licenca dovoljuje uporabo v komercialne namene
  24. 24. Kinect• prva komercialna kamera s PrimeSense senzorjem• 3D slika, RGB slika, 3D zvok• ni programsko omejen ali zaklenjen (uporablja se PrimeSense driver, ki je open source)• poceni
  25. 25. Kinect SDK• ni narejen na OpenNI• dodaten nivo abstrakcije• dodelane funkcije iz NITE• podpora za 3D zvok• samo za Windows
  26. 26. XBox Kinect• video: XBox Kinect promo http://www.youtube.com/watch? v=4OMLjXRfaDQ
  27. 27. Kaj se zares dogaja?• pravi brezdotični in brezšarni 3D vmesnik• prvi osvojili vizualni umetniki, takoj za njimi marketing• odziv presenetil tudi Microsoft
  28. 28. Kinect Hacks• video: Follow this! http://vimeo.com/29032379
  29. 29. UNIKI• video: 3D avatars http://www.youtube.com/user/ UNIKIInteractive#p/a/u/0/1QkBIxGjcMY
  30. 30. UNIKI• video: Photo booth interface http://www.youtube.com/user/ UNIKIInteractive#p/a/u/2/FJjjWCtvq_M
  31. 31. Priložnosti za razvoj• OpenNI Arena: http://arena.openni.org/• Kinect Accelerator: http://www.microsoft.com/bizspark/ kinectaccelerator/
  32. 32. Minority report• video: Minority report - vmesnik http://www.youtube.com/watch? v=NwVBzx0LMNQ
  33. 33. Hvala.

×