Identity-Aware Tabletop Interaction

Identity-AwareTabletop Interaction Pieter De Decker Promotor prof. dr. Kris Luyten Contactpersoon Davy Vanacken

Introductie• Evolutie aanraakschermen – Ondersteuning voor multitouch – Nieuwe interactietechnieken zoals pinch-to-zoom – Ze zijn overal o.a. in gsm’s, GPS-toestellen, tablets en tabletops Volgende mijlpaal: Kunnen we gebruikers herkennen? Bron foto: ZDNet.com.

Waarom identiteitsherkenning?• Samenwerken op tabletops – Bv. tekenen met aparte kleurinstellingen voor iedereen• Einde wachtwoorden: snelle accounttoegang – Combinatie met cloud? • Gepersonaliseerde browser • Bestandstoegang Foto uit Enriching Touch van Raf Ramakers.

Waarom identiteitsherkenning?• Multiplayerspellen voor tabletops – Complexe kaart- en bordspellen – Nieuwe spelconcepten – Naadloze scorebordintegratie Screenshot uit Magic: The Gathering - Duels of the Planeswalkers 2012.

Bestaande identificatiesystemen De infraroodring werkt met tokens Bootstrapper werkt met schoenen Carpus werkt met handen Afbeeldingen gebruiken materiaal van Dave Brasgalla, Everaldo Coelho en Mushii.

De infraroodring

De infraroodring• Gebruikers moeten een speciale ring dragen• Elke ring zendt een uniek signaal uit met Manchester-encodering• Buurt van de ring = eigen aanrakingen Foto’s afkomstig uit The IR Ring: Authenticating Users Touches on a Multi-Touch Display.

Bootstrapper

Bootstrapper• Gebruikers worden herkend via hun schoenen• Camera onderaan de tabletop• Plaatsing van schoenen en handen wordt aangewend om aanrakingen te herkennen Foto’s afkomstig uit Bootstrapper: Recognizing Tabletop Users by their Shoes en een demonstratievideo op YouTube.

Carpus

Carpus• Gebruikers worden herkend aan hun handen• Overheadcamera registreert activiteit Systeem ontworpen door Raf Ramakers, masterstudent UHasselt Foto’s afkomstig uit Enriching Touch.

Beperkingen van Carpus• Niet alle posturen worden even goed herkend• Ongeregistreerde gebruikers kunnen er niet zomaar uitgefilterd worden• Identificatiesnelheid: merkbare vertraging – Vertraging van 0,5 tot 2 seconden – Alternatieven zijn ook traag Foto afkomstig uit Enriching Touch.

Voordelen van CarpusIn vergelijking met de IR-ring:• Geen ring nodig• Hand kan niet gestolen wordenIn vergelijking met Bootstrapper:• Andere schoenen dragen mag• Identiteit kan moeilijk nagebootst worden

Carpus: werkwijze• Een gebruiker raakt het scherm aan 1 Armen scheiden van de achtergrond (huidsegmentatie) 2 Hand die aanraking uitvoerde zoeken 3 Handanalyse: best overeenkomende gebruiker zoeken gebruikt Local Binary Patterns Foto’s afkomstig uit videobeelden die werden opgenomen voor Carpus.

Kan Carpus verbeterd worden? Introductie van armtracking Het plus-icoontje werd beschikbaar gemaakt door Gentleface.com onder een CC BY-NC-licentie.

Wat is armtracking?• Carpus leeft in het moment Gebruiker 5? Gebruiker 5? Gebruiker 2? tijdsverloop• Er wordt geen rekening gehouden met eerdere resultaten voor dezelfde hand

Wat is armtracking?• Wat als we eerdere resultaten konden linken? Arm 1 Arm 1 Arm 1 Gebruiker 5? Gebruiker 5? Gebruiker 2? Of gebruiker 5? tijdsverloop• Huidige frame zegt gebruiker 2, maar in het verleden was het altijd gebruiker 5

Hoe armtracking realiseren?• Armen over frames heen aan elkaar linken – Gebruik van object tracking-algoritmes Video tracking is the process of locating a moving object (or multiple objects) over time using a camera. Bron: Wikipedia• Opbouwen trackinggeschiedenis per arm• Waarom volledige arm, niet de hand? Makkelijker te tracken Bron foto: cim.mcgill.ca

Trackinggeschiedenis• Bevat vorige resultaten handanalyse Armnummer Gebruikersnummer Aantal voorkomens 0 0 2 0 1 1 0 2 25 0 3 4 Fictief voorbeeld• Wanneer betrouwbaar? – Er is genoeg data voorhanden “Totaal aantal voorkomens voor arm X ligt hoger dan Y” – Er is een duidelijke winnaar “Er bestaat een gebruiker voor arm X waarvan zijn aantal voorkomens minstens Y% van het totaal aantal voorkomens voor die hand uitmaakt”

Armtracking: werkwijze• In elk frame – huidsegmentatie – koppelen gevonden armen aan armnummers Arm 3• In frames tijdens of vlak na touchinteracties – als de uitvoerende arm te weinig trackinggeschiedenis heeft: • handanalyse uitvoeren • resultaat in geschiedenis opslaan

Armtracking: werkwijze• In frames tijdens touchinteracties – Rapporteer identiteit van uitvoerende arm • Te weinig trackinggeschiedenis? Gebruik handanalyse van Carpus. • Genoeg trackinggeschiedenis? Geef de vaakst voorkomende gebruiker voor deze arm door.

Implementatie• Simulatie op basis van videofragment + log van touch events

Observaties na systeemtests• Tracking kan sommige fouten van handanalyse corrigeren = verhoogde nauwkeurigheid• Ongeregistreerde gebruikers verwarren het systeem Gebruiker 1? Gebruiker 3? Gebruiker 5? Gebruiker 1? Gebruiker 5? Gebruiker 3? Gebruiker 3?

VRAGEN

http://labs.pieterdedecker.be	273
http://www.pieterdedecker.be	12
http://192.168.1.4	5
http://feeds.feedburner.com	3

Identity-Aware Tabletop Interaction

by Pieter De Decker on Jun 29, 2012

Accessibility

Categories

Upload Details

Usage Rights

4 Embeds 293

Statistics

Identity-Aware Tabletop Interaction Presentation Transcript