Workshop Kinect

1,133 views
1,054 views

Published on

Workshop Kinect - Mestrado de Comunicação Multimédia e Criação Artistica

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,133
On SlideShare
0
From Embeds
0
Number of Embeds
14
Actions
Shares
0
Downloads
61
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Workshop Kinect

  1. 1. KINECTWORKSHOP Universidade de Aveiro Mestrado Comunicação Multiméida / Interactivo Disciplina - Narrativas e Jogos Interactivos Disciplina - Multimédia em ambientes Artísticos Ivan Terra
  2. 2. TÓPICOS Evolução dos controladores nos videojogos Videojogos e a realidade mista Interfaces Naturais Interação Gestual
  3. 3. TÓPICOS Introdução ao Microsoft Kinect Kinect sensor Xbox 360 The Kinect Windows PC Kinect hardware Video camera Depth camera Microfones Potencionalidades do Kinect Projetos Kinect
  4. 4. TÓPICOS Asus Xtion Pro Desenvolvimento com Kinect OpenNI SDK Microsoft Linguagens de programação Processing
  5. 5. EVOLUÇÃO
  6. 6. 70” Evolução80”90”00”10”
  7. 7. WIIContrariando a tendência dos videojogos realistas, em 2006, a Nin-tendo revolucionou o mercado com jogos com imagens não realistas, masapostando numa nova forma de interacção, onde o controlo dos vide-ojogos é feito através da movimentação do corpo (Ferreira, 2009).
  8. 8. MoveEm junho de 2009 a Sony, anunciou o lançamento do Move um con-trolador de movimento combinado com a PlayStation Eye, uma pequenacâmara já usada pela Playstation anteriormente.
  9. 9. KINECTInicialmente chamado de projecto natal, o Kinect é lançadopara o mercado em Novembro de 2010.Este dispositivo permite a interação do utlizador sem ser precisonenhum acessório.Em pouco meses, tornou-se o produto electrónico mais rápidoa ser vendido, entrando assim no Guinness.Em 60 dias foram vendidos mais de 8 milhões
  10. 10. REALIDADE MISTA
  11. 11. REALIDADE MISTACom o lançamento da Wii, Move e Kinect, entramos numa era de inter-faces gestuais, que permitem a mistura de realidades, entre a nossa salae o videojogo.Realidade virtual - o utilizador não vê directamente o cenário real.Realidade mista - envolvem a fusão do mundo real e virtual, que se ref-erem genericamente como realidade mista, provavelmente a mais conhe-cido é a realidade aumentada. – Representação da realidade mista (Fumio & Paul, 1994)
  12. 12. INTERFACES NATURAIS
  13. 13. INTERFACES NATURAISAs Interfaces Naturais, também conhecido pela sua abreviatura NUI.Não é uma tecnologia, mas sim uma experiência que pode ser criada usandoa tecnologia. As interfaces naturais, podem ser criadas de diversas formas,desde a iteração táctil, ao multitoque, a captação de gestos, reconhecimentode voz, entre outros. Diferentes tecnologias de interacção são adequadas adiferentes situações (Wigdor & Wixon, 201 não é porque conseguimos fazer 1),interfaces gestuais que estas são apropriadas para todas as situações.As interfaces naturais, representam uma revolução na computação, não sóporque substituem a actual interacção, mas porque permitem expandir novoshorizontes e porque reduzem o tempo de aprendizagem do utilizador.
  14. 14. INTERAÇÃO GESTUAL
  15. 15. INTERAÇÃO GESTUALAtualmente, a maioria das interfaces gestuais podem ser categorizadoscomo “touchscreen” or “free-form”.touchscreen - exigem que o utilizador toque directamente no dispositivo.free-form - não exigem que o utilizador toque ou tenha de manusear o objetodirectamente. Às vezes, um controlador ou luva é usado como um dispositivode entrada, mas cada vez mais o dispositivo de entrada é apenas corpo,como é o caso do Kinect.
  16. 16. KINECT
  17. 17. KINECT XBOX360
  18. 18. KINECT XBOX360 100 € Para ligar ao PC necessário ligar o trasnformador* não incluido em pacotes com a xbox 360 S
  19. 19. KINECT PARA WINDOWSlançado a 1 de fevereiro 2012.Preço 250 DólaresSDK Licença comercial para aplicaçõeshttp://www.microsoft.com/en-us/kinectforwindows/
  20. 20. KINECT HARDWARE
  21. 21. KINECT HARDWARE Câmara RGB 640 x 480 30 FPS Uma câmara de profundidade Um projetor de infra-vermelhos Microfone array Software
  22. 22. KINECT HARDWARE
  23. 23. PROJECTOS KINECT
  24. 24. VIDEOS
  25. 25. ASUS XTION PRO
  26. 26. Xtion PROSaiu em Abril/Maio de 201 1Preço $149.00desenvolvido para ComputadoresSDK de desenvolvimentoLicença Comercial
  27. 27. DESENVOLVIMENTO KINECT
  28. 28. KINECT OPENNIA organização OpenNI é uma organização sem fins lucrativosque promove a compatibilidade das aplicações e dos disposi-tivos de interacção natural. Um dos objetivos da organizaçãoOpenNI é acelerar a introdução de aplicações interacção natu-ral no mercado.Desenvolvendo uma framework open source.A PrimeSense, a empresa parceira do Kinect, e a ASUS, são par-ceiros.http://www.openni.org/
  29. 29. KINECT OPENNIPrimeira frameworks estável do kinectDisponível para Windows XP , vista, seven 32/64Bits Linux Ubuntu 10.10, 32/64Bits apenas testado em Windowns seven 32 e 64 btis
  30. 30. KINECT OPENNIProcessinghttp://code.google.com/p/simple-openni/Unity 3Dhttp://zigfu.com/en/Emulador de Teclas via gestoshttp://projects.ict.usc.edu/mxr/faast/(várias linguagens)
  31. 31. KINECT SDK1º SDK Beta lançado em junho de 201 1-não comercialVersão 1 Fevereiro 2012Compativel com Windows apenasSoftware: Microsoft® Visual Studio® 2010 Express or other Visual Studio2010 edition .NET Framework 4.0 http://www.microsoft.com/en-us/kinectforwindows/
  32. 32. KINECT FAAST Let’s try
  33. 33. KINECT UNITY3D
  34. 34. KINECT PROCESSING
  35. 35. KINECT OPEN NIInstalar OPEN NIhttp://www. simple-openni.googlecode.com/files/OpenNI_NITE_Installer-Win32-0.26.zip1 OpenNI Installer2 NITE Installer3 Sensor4 Driver KinectOU All-in-one OpenNI Kinect Auto Driver Installerhttp://www.brekel.com/?page_id=160
  36. 36. KINECT PROCESSINGInstalar Processinghttp://processing.org/download/Download:http://simple-openni.googlecode.com/files/SimpleOpenNI-0.26.zipCopiar o conteudo da pasta libary para a pasta libraries doprocessing, normamente encontra-se na pasta dos documentos/Procossegin/libraries
  37. 37. KINECT PROCESSINGAtivar camârasimport SimpleOpenNI.*;SimpleOpenNI context;void setup(){ context = new SimpleOpenNI(this); // enable depthMap generation if(context.enableDepth() == false) { println(“Can’t open the depthMap, maybe the camera is not connected!”); exit(); return; } if(context.enableRGB() == false) { println(“Can’t open the rgbMap, maybe the camera is not connected or there is no rgbSensor!”); exit(); return; } // enable skeleton generation for all joints context.enableUser(SimpleOpenNI.SKEL_PROFILE_ALL); background(200,0,0); stroke(0,0,255); strokeWeight(3); smooth(); size(context.depthWidth() + context.rgbWidth() + 10, context.rgbHeight());}
  38. 38. KINECT PROCESSINGMostrar camâras e chamar função de esqueletovoid draw(){context.update(); // draw depthImageMapimage(context.depthImage(),0,0); // draw irImageMap image(context.rgbImage(),context.depthWidth() + 10,0); // draw the skeleton if it’s available if(context.isTrackingSkeleton(1)) drawSkeleton(1);}
  39. 39. KINECT PROCESSINGDraw Skeleton// draw the skeleton with the selected jointsvoid drawSkeleton(int userId){ /// to get the 3d joint data context.drawLimb(userId, SimpleOpenNI.SKEL_HEAD, SimpleOpenNI.SKEL_NECK); context.drawLimb(userId, SimpleOpenNI.SKEL_NECK, SimpleOpenNI.SKEL_LEFT_SHOULDER); context.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_SHOULDER, SimpleOpenNI.SKEL_LEFT_ELBOW); context.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_ELBOW, SimpleOpenNI.SKEL_LEFT_HAND); context.drawLimb(userId, SimpleOpenNI.SKEL_NECK, SimpleOpenNI.SKEL_RIGHT_SHOULDER); context.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_SHOULDER, SimpleOpenNI.SKEL_RIGHT_ELBOW); context.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_ELBOW, SimpleOpenNI.SKEL_RIGHT_HAND); context.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_SHOULDER, SimpleOpenNI.SKEL_TORSO); context.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_SHOULDER, SimpleOpenNI.SKEL_TORSO); context.drawLimb(userId, SimpleOpenNI.SKEL_TORSO, SimpleOpenNI.SKEL_LEFT_HIP); context.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_HIP, SimpleOpenNI.SKEL_LEFT_KNEE); context.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_KNEE, SimpleOpenNI.SKEL_LEFT_FOOT); context.drawLimb(userId, SimpleOpenNI.SKEL_TORSO, SimpleOpenNI.SKEL_RIGHT_HIP); context.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_HIP, SimpleOpenNI.SKEL_RIGHT_KNEE); context.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_KNEE, SimpleOpenNI.SKEL_RIGHT_FOOT);}
  40. 40. KINECT PROCESSINGSimpleOpenNI events if (successfull)void onNewUser(int userId) {{ println(“ User calibrated !!!”); println(“onNewUser - userId: “ + userId); context.startTrackingSkeleton(userId); println(“ start pose detection”); } else { context.startTrackingSkeleton(userId); println(“ Failed to calibrate user !!!”); println(“ Start pose detection”);} context.startPoseDetection(“Psi”,userId); }void onLostUser(int userId) }{ println(“onLostUser - userId: “ + userId); void onStartPose(String pose,int userId) {} println(“onStartPose - userId: “ + userId + “, pose: “ + pose); println(“ stop pose detection”);void onStartCalibration(int userId){ context.stopPoseDetection(userId); println(“onStartCalibration - userId: “ + userId); context.requestCalibrationSkeleton(userId, true);} }void onEndCalibration(int userId, boolean successfull) void onEndPose(String pose,int userId){ { println(“onEndCalibration - userId: “ + userId + “, successfull: “ + successfull); println(“onEndPose - userId: “ + userId + “, pose: “ + pose); }
  41. 41. REFERÊNCIASFumio, K., & Paul, M. (1994). A taxonomy of mixed reality. Paper presented at the IEICE Transactions on Information Systems, Vol E77-D, No.12December 1994Guiness. (201 Kinect Confirmed As Fastest-Selling Consumer Electronics Device 1).Medeiros, R. T. (201 O controle em suas mãos: a evolução da interação entre jogador e videogame. Universidade de Brasília, Brasília. 1).Microsoft. (2009). Xbox 360 Fact sheetSaffer, D. (2008). Designing Gestural Interfaces. In M. Treseler (Eds.), O’Reilly Media, Inc.Svedström, T. (2010). Gesture interfaces. Aalto university school of science and technology - Faculty of Information and Natural SciencesWigdor, D., & Wixon, D. (201 Brave NUI World: Designing Natural User Interfaces for Touch and Gesture (1st ed.). San Francisco, CA, USA: 1).Morgan Kaufmann PublishersXbox (Producer). (201 Xbox Xbox. retrieved from http://support.xbox.com/pt-pt/pages/kinect/body-controller/default.aspx 1)http://www.microsoft.com/en-us/kinectforwindows/http://openni.org/http://code.google.com/p/simple-openni/http://zigfu.com/http://www.brekel.com/http://projects.ict.usc.edu/mxr/faast/
  42. 42. GAME OVER!!! KINECT Obrigado ivan.terra@ua.pt

×