Session présentée par Nicolas Calvi (Expertime), Xavier Hallade (Intel)
Session présentant les fonctionnalités et les usages des capteurs gestuels tels que Microsoft Kinect, Orbbec Astra et Intel RealSense
http://www.nuiday.com/nui-day-2015/programme/experiences-gestuelles/
3. Qu’est-ce qu’une interface
gestuelle ?
Le périphérique reconnais ma tension musculaire
Il détecte le mouvement de mes jambes
Mon visage en dit long
Du bout des doigts sans rien toucher
4. Les avantages
- Pas de contact
- Diversité des gestes
- Micro gestion de certaines parties du corps
- Engagement fort dans l’expérience
- Expérience immersive
5. Les inconvénients
- Fatiguant
- Envahissant quant il s’agit du corps complet
- Timide s’abstenir pour n’avoir pas peur du ridicule
- Les gestuelles complexe a déterminer
- Parfois difficile de faire la bonne gestuelle pour l’utilisateur
8. Caméra Couleur
1920x1080 @ 30 IPS (16:9)
1920x1080 @ 15 IPS (16:9) en lumière basse
Caméra de profondeur
512x424 @ 30 IPS
Squelette
Jusqu’à 6 squelette complet en même temps
25 points de jointure pour le corps
Détection de la main (en 3 points) pour 2 squelettes
Détection de la rotation des jointures
Microphones
4 microphones directionnels
Réduction du bruit ambiant
Visage
Détection d’un visage
27 points de jointure
Détection des expressions
On modèle un visage sur 1367 vertices
Développement
Microsoft .NET
Unity 3D
App Windows 8.1
Outils
SDK documenté et ressources en ligne
Kinect Studio
Kinect Fusion
11. Zone de capture – 0.4m - 8m
Très bonne précision – Mesure de profondeur avec une précision de 0,5 cm à une distance de 2 mètres
Haute resolution – Dégradés plus homogènes et la capacité de filtrer les pixels de profondeur de faible de qualité
d'une façon précise via un algorithme propriétaire.
Faible latence – C’est la plus rapide du marché
Orbbec Astra Pro
12. Orbbec Persee est la première « caméra-ordinateur » de son genre sur le marché. C’est une caméra Astra
Pro avec un « ordinateur » intégré sous une distribution Linux spécifique :
• Un quad-core 1.8 GHz ARM CPU
• 600 MHz GPU avec le support OpenCL
• Wi-Fi et Ethernet
• 2 GB DDR3 RAM
• 16 GB eMMC Flash intégré
Orbbec Persee
13. Existe en format intégrable !
Plus d’information sur « http://www.orbbec.com/ »
16. World Facing
Intel® RealSense™ SDK Modules
Scene
Perception
Enhanced
Photography
Augmented
Reality
Person & Face
Tracking
Gesture
Recognition
Background
Removal
Object
Recognition and
Tracking
Speech
Recognition
3D Object
Scanning
Hand & Blob
Tracking
User Facing
17. Intel® RealSense™ SDK Architecture
*
Your Application HERE
- C++
Alphas:
+ UWP modules:
Streams, Blobs
+Windows.Devices.Perception
IR-only for now
18. Typical Flow of Intel® RealSense™ Application
Create
SenseManager
Enable Module(s)
Configure
Module(s)
Create Module(s)
Output Data
Object(s)
Procedural or
Event Based
Implementation
Release
Resources
19. User Facing Technologies
Capabilities Features
• Fingers Tracking / Gesture
Recognition
• Blob tracking
• Cursor Mode
• 22-point Hand and Finger Tracking
• Poses and Dynamic Gestures
• Face Tracking
• Face Recognition
• Multiple Face Detection and tracking
• 78-point Face Landmarks
• Facial Expressions
• Face Recognition
• Pulse Estimator
• Speech Recognition
• Voice Synthesis
• Command and Control
• Dictation
• Text to Speech
• Segmentation
• 3D Scanning
• Augmented Reality
• Background Segmentation
• 3D Object / Face / Room Scanning
• 2D/3D Object Tracking
21. Capabilities
Camera F200 Camera SR300 Camera R200
RGB stream 1080p/30fps 1080p/30fps 1080p/30fps
Depth stream 640x480/60fps 640x480/60fps 628x468/60fps
Depth range 0.2-1.2m 0.2-1.2m 0.7-4.0m+
Blob Tracking 20-85cm 20-150cm 50-300cm
Hand Segmentation 20-80cm
(1m/s)
20-110cm
(1.5m/s)
NA
Hand Tracking/Gestures 20-60cm
(0.75m/s)
20-85cm
(1m/s)
NA
Cursor Mode NA 20-110cm NA
Person Tracking NA 50-200cm 100-250cm
Devices integration Laptops/AIO Laptops/AIO/
peripheral
Phablets/tablets
detachables
28. Pourquoi devrions nous communiquer différemment avec nos
outils ?
NATURSOFTWARE
NOTRE CONVICTION
29. Nous ne devrions pas nous adapter aux outils...
Ce sont nos outils qui devraient s’adapter
à nous et à notre manière naturelle
de communiquer
NATURSOFTWARE
NOTRE CONVICTION
32. NATURSOFTWARE
INTERACTIONS BASÉES SUR LES MOYENS DE COMMUNICATION
NATURELS
Reconnaissance
vocale
Reconnaissance TactileReconnaissance
s
Gestuelles
Reconnaissances
faciale et émotionnelle
33. NATURSOFTWARE
Offrir via les Interfaces utilisateurs Naturelles :
➔ des outils collaboratifs centrés utilisateurs
➔ une collaboration sur les moyens naturels et intuitifs de communication
➔ une expérience de travail disruptive, digitale et fun , favorisant l’émulation et
l’engagement
➔ Le développement de l’enthousiasme, de la créativité et du bien-être des équipes
TRAVAILLEZ DE FAÇON NATURELLE ET INTUITIVE
Se pilote avec son corps
Sans contact avec un support.
La détection peut-être local ou globale.
A contrario le Tactile demande un contact, gestuelle limité au contact ou mouvement de deux doigts.
Pas de contact.
Si tout le corps on peut imaginer des gestuelles plus complexes.
L’engagement est fort car les gestuelles accapare notre attention et demande d’être concentré pour corriger ses mouvements.
L’interface peut être entièrement lié a notre corps (par ex Kinect), ce qui augmente notre sentiment d’interaction avec l’interface.
On croit que l’interface est dans le réel, dans le cas d’Hololens la réalité est en lien directe avec ses gestes.
Ce type d’interface est limité par les possibilités de mouvement de chaque personne (quid des personnes a mobilité réduite)
Si gestuelle trop complexe, souvent échec des utilisateurs a faire ce qui est demandé.
Mais dans le même temps solutionne ces problème de mobilité (exemple Eye Tracking)
Si dans un lieu publique, expose les utilisateurs au regard des autres par leurs gestes et leur posture.
Gestuelle difficile a programmer, souvent besoin d’une machine learning.
Intimidant pour certaines personnes.
Bien prendre le temps de savoir quel technologie pour quel usage.
Bien connaitre aussi les limitations de chaque device.
Min requirements
We focus on user facing cameras
3. Assume a minimum palm size of 5.5 cm, about a fix-year old kid palm size. Interaction speed limitation is noted in parentheses. The segmentation assumes 60fps 640x240. The tracking and gesture assume 45fps 640x480 or 640x320.
Coded light vs stereoscopy