TDC: Intel Perceptual Computing SDK

1,511 views

Published on

Apresentação do Intel Perceptual Computing SDK, que permite que os desenvolvedores criar aplicações que percebam as ações do usuário e proporcionem interfaces naturais, intuitivas e imersivas

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,511
On SlideShare
0
From Embeds
0
Number of Embeds
531
Actions
Shares
0
Downloads
18
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide
  • Use Case Examples The Intel® Perceptual Computing SDK can be used to develop a wide range of applications running on the Intel® Architecture based systems. User Interface Interactivity With the speech recognition and gesture tracking features, the SDK extends the input methods outside of the mouse clicks and key presses. The user can command the computer using his or her voice: “Start Email application”, “Compose new message to John Smith”, etc. GamingThe SDK supports popular game engines such as Unity* and Processing*.  The gesture recognition, hand and figure tracking, speech recognition, and facial tracking features can be used to develop casual games such as operating a car, shooting an arrow, catching a flying object, or controlling a floating raft in a whitewater stream.SecurityUsing the facial recognition features, applications can decide the user’s identity and either grant or decline access to the applications. This will provide a higher level security than using a login user id and password.Augmented RealityThe SDK’s sensory inputs and the 2D/3D object tracking and facial tracking features can be used to develop applications to capture and augment the environment elements. For example, it can be used to generate images to show how the user looks like when trying out a pair of stylish sunglasses.  Other UsagesBesides those use cases listed in this section, the Intel® Perceptual Computing SDK also provides a foundation for the applications in many other important areas, such as productivity, education, medical and healthcare, immersive teleconferencing, and entertainment, etc. Several demo videos of the application based on the SDK are posted on http://intel.com/software/perceptual.
  • TDC: Intel Perceptual Computing SDK

    1. 1. Intel Perceptual Computing SDK Felipe Pedroso
    2. 2. ‹#›‹#› Software and Services Group Felipe Pedroso •Gerente da Comunidade de Ultrabooks/Windows no grupo de Software da Intel •Nascido em Sorocaba/SP •Formado em Engenharia da Computação na FACENS •Desenvolvedor nas horas vagas (se é que elas existem...) •Gosta de C, C++, C#, Java, Python, HTML5, Férias ou qualquer coisa que seja programavel.
    3. 3. ‹#›‹#› Software and Services Group O que é Perceptual Computing?
    4. 4. ‹#›‹#› Software and Services Group •Forma de interação homem-máquina −Ações do usuário são sentidas/percebidas −Proporciona uma interface natural, imersiva e intuitiva •Como prover essa interface? −Gestos com as mãos/dedos −Rastreamento/Análise da face −Reconhecimento de voz −Realidade aumentada O que é Perceptual Computing?
    5. 5. ‹#›‹#› Software and Services Group
    6. 6. ‹#›‹#› Software and Services Group •Biblioteca de detecção de padrões e implementações de algoritmos de reconhecimento (áudio e imagem) •Muda o foco do desenvolvedor na implementação dos algoritmos para inovações no desenvolvimento das aplicações •Flexibilidade: Permite trabalhar em alto e baixo nível •Extensível: permite a adição de novos modos de utilização •Aceleração de Hardware em plataformas da Intel® Intel Perceptual Computing SDK
    7. 7. ‹#›‹#› Software and Services Group Casos de uso •Interface de Usuário Interativa •Jogos •Segurança •Realidade Aumentada •Auxílio a portadores de deficiência
    8. 8. ‹#›‹#› Software and Services Group O que usar para desenvolver? •Linguagens −C++ −C# −Java •Frameworks −Unity3D −Processing −openFrameworks
    9. 9. ‹#›‹#› Software and Services Group Creative* Camera •Captura de imagem HD (720p) •Sensor de profundidade •Array de dois microfones •Alimentação USB (<2.5W) •Drivers para Windows 7 e Windows 8 (Desktop)
    10. 10. ‹#›‹#› Software and Services Group Câmeras Integradas aos Ultrabooks!
    11. 11. ‹#›‹#› Software and Services Group •8-bit RGB in RGBA/RGB24/NV12/YUY2 −Creative* camera supports up to 1280x720 •16-bit depthmap, confidence map and vertices. −Creative camera supports up to QVGA (320x240) −Depthmap smoothing by default Captura de Imagem
    12. 12. ‹#›‹#› Software and Services Group •Rastreamento dos “nós” −7 pontos: pontas dos dedos, centro da palma e punho •Gestos e poses padronizadas −Poses: positivo/negativo, paz −Gestos: swype, círculo, aceno e High-5 Rastreamento de dedos
    13. 13. ‹#›‹#› Software and Services Group •Detecção/rastreamento de múltiplas faces •Detecção de 7 pontos de referência: olhos, nariz e boca •Reconhecimento: semelhanças entre um conjunto de faces •Detecção de atributos: faixa etária, sexo, sorriso e abertura dos olhos (em desenvolvimento) Rastreamento e Análise de Faces
    14. 14. ‹#›‹#› Software and Services Group •Desenvolvido pela empresa Nuance •Reconhecimento de comandos pré-definidos •Ditado •Sintetização de frases curtas Reconhecimento e Síntese de Voz
    15. 15. ‹#›‹#› Software and Services Group •Rastreamento de superfícies planas 2D −Posição e orientação •Rastreamento de objetos 3D −Baseado em modelos 3D •Orientação de faces Rastreamento de objetos 2D/3D
    16. 16. ‹#›‹#› Software and Services Group •Informa ao usuário final toda vez que alguma aplicação ativa a câmera Notificação de privacidade
    17. 17. ‹#›‹#› Software and Services Group Arquitetura
    18. 18. ‹#›‹#› Software and Services Group Hello World  C++ class MyPipeline: public UtilPipeline { public: MyPipeline(void):UtilPipeline() { EnableGesture(); } virtual void PXCAPI OnGesture (PXCGesture::Gesture *data) { printf_s(“%dn”,data->label); } }; int wmain(int argc, WCHAR* argv[]) { MyPipeline pipeline; pipeline.LoopFrames(); return 0; } C# class MyPipeline: UtilMPipeline { public MyPipeline():base() { EnableGesture(); } public override void OnGesture (ref PXCMGesture.Gesture data) { Console.WriteLn(data.label); } }; class Program { static void Main(string[] args) { MyPipeline pipeline=new MyPipeline(); pipeline.LoopFrames(); pipeline.Dispose(); } }
    19. 19. ‹#›‹#› Software and Services Group Demos
    20. 20. Mas como conseguir uma câmera?
    21. 21. ‹#›‹#› Software and Services Group Programa de Parcerias: Intel + Smyowl Mais informações sobre parcerias: http://software.intel.com/pt-br/partner-home
    22. 22. ‹#›‹#› Software and Services Group Para desenvolvedores •Participar ativamente do IDZ : −Apresentar uma proposta de um bom projeto −Se comprometer a escrever artigos técnicos com a câmera em mãos −Depende da disponibilidade e do comprometimento do desenvolvedor •Comprar a câmera: www.intel.com/software/perceptual −149 dólares (+ impostos) −Entrega no Brasil •Ou…
    23. 23. ‹#›‹#› Software and Services Group … Perceptual Challenge Brasil!!! Saiba mais em: http://software.intel.com/perceptualchallengebrasil
    24. 24. Hands-on: Perceptual Tetris!
    25. 25. Dúvidas?
    26. 26. ‹#›‹#› Software and Services Group http://software.intel.com/pt-br/ Quer saber mais?
    27. 27. ‹#›‹#› Software and Services Group Comunidade Ultrabooks/Windows
    28. 28. ‹#›‹#› Software and Services Group http://software.intel.com/pt-br/ https://www.facebook.com/intelswbrasil Contatos Felipe Pedroso felipe.pedroso@intel.com @felipeapedroso Muito Obrigado!
    29. 29. ‹#›‹#› Software and Services Group •Intel Perceptual Computing SDK −http://intel.com/software/perceptual •Documentação −http://software.intel.com/sites/landingpage/perceptual_computing /documentation/html/ •Guia sobre a interface −http://download- software.intel.com/sites/default/files/article/325946/perc- humaninterfaceguidelines.pdf Referências

    ×