Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Identity-Aware Tabletop Interaction

714 views

Published on

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Identity-Aware Tabletop Interaction

  1. 1. Identity-AwareTabletop Interaction Pieter De Decker Promotor prof. dr. Kris Luyten Contactpersoon Davy Vanacken
  2. 2. Introductie• Evolutie aanraakschermen – Ondersteuning voor multitouch – Nieuwe interactietechnieken zoals pinch-to-zoom – Ze zijn overal o.a. in gsm’s, GPS-toestellen, tablets en tabletops Volgende mijlpaal: Kunnen we gebruikers herkennen? Bron foto: ZDNet.com.
  3. 3. Waarom identiteitsherkenning?• Samenwerken op tabletops – Bv. tekenen met aparte kleurinstellingen voor iedereen• Einde wachtwoorden: snelle accounttoegang – Combinatie met cloud? • Gepersonaliseerde browser • Bestandstoegang Foto uit Enriching Touch van Raf Ramakers.
  4. 4. Waarom identiteitsherkenning?• Multiplayerspellen voor tabletops – Complexe kaart- en bordspellen – Nieuwe spelconcepten – Naadloze scorebordintegratie Screenshot uit Magic: The Gathering - Duels of the Planeswalkers 2012.
  5. 5. Bestaande identificatiesystemen De infraroodring werkt met tokens Bootstrapper werkt met schoenen Carpus werkt met handen Afbeeldingen gebruiken materiaal van Dave Brasgalla, Everaldo Coelho en Mushii.
  6. 6. De infraroodring
  7. 7. De infraroodring• Gebruikers moeten een speciale ring dragen• Elke ring zendt een uniek signaal uit met Manchester-encodering• Buurt van de ring = eigen aanrakingen Foto’s afkomstig uit The IR Ring: Authenticating Users Touches on a Multi-Touch Display.
  8. 8. Bootstrapper
  9. 9. Bootstrapper• Gebruikers worden herkend via hun schoenen• Camera onderaan de tabletop• Plaatsing van schoenen en handen wordt aangewend om aanrakingen te herkennen Foto’s afkomstig uit Bootstrapper: Recognizing Tabletop Users by their Shoes en een demonstratievideo op YouTube.
  10. 10. Carpus
  11. 11. Carpus• Gebruikers worden herkend aan hun handen• Overheadcamera registreert activiteit Systeem ontworpen door Raf Ramakers, masterstudent UHasselt Foto’s afkomstig uit Enriching Touch.
  12. 12. Beperkingen van Carpus• Niet alle posturen worden even goed herkend• Ongeregistreerde gebruikers kunnen er niet zomaar uitgefilterd worden• Identificatiesnelheid: merkbare vertraging – Vertraging van 0,5 tot 2 seconden – Alternatieven zijn ook traag Foto afkomstig uit Enriching Touch.
  13. 13. Voordelen van CarpusIn vergelijking met de IR-ring:• Geen ring nodig• Hand kan niet gestolen wordenIn vergelijking met Bootstrapper:• Andere schoenen dragen mag• Identiteit kan moeilijk nagebootst worden
  14. 14. Carpus: werkwijze• Een gebruiker raakt het scherm aan 1 Armen scheiden van de achtergrond (huidsegmentatie) 2 Hand die aanraking uitvoerde zoeken 3 Handanalyse: best overeenkomende gebruiker zoeken gebruikt Local Binary Patterns Foto’s afkomstig uit videobeelden die werden opgenomen voor Carpus.
  15. 15. Kan Carpus verbeterd worden? Introductie van armtracking Het plus-icoontje werd beschikbaar gemaakt door Gentleface.com onder een CC BY-NC-licentie.
  16. 16. Wat is armtracking?• Carpus leeft in het moment Gebruiker 5? Gebruiker 5? Gebruiker 2? tijdsverloop• Er wordt geen rekening gehouden met eerdere resultaten voor dezelfde hand
  17. 17. Wat is armtracking?• Wat als we eerdere resultaten konden linken? Arm 1 Arm 1 Arm 1 Gebruiker 5? Gebruiker 5? Gebruiker 2? Of gebruiker 5? tijdsverloop• Huidige frame zegt gebruiker 2, maar in het verleden was het altijd gebruiker 5
  18. 18. Hoe armtracking realiseren?• Armen over frames heen aan elkaar linken – Gebruik van object tracking-algoritmes Video tracking is the process of locating a moving object (or multiple objects) over time using a camera. Bron: Wikipedia• Opbouwen trackinggeschiedenis per arm• Waarom volledige arm, niet de hand? Makkelijker te tracken Bron foto: cim.mcgill.ca
  19. 19. Trackinggeschiedenis• Bevat vorige resultaten handanalyse Armnummer Gebruikersnummer Aantal voorkomens 0 0 2 0 1 1 0 2 25 0 3 4 Fictief voorbeeld• Wanneer betrouwbaar? – Er is genoeg data voorhanden “Totaal aantal voorkomens voor arm X ligt hoger dan Y” – Er is een duidelijke winnaar “Er bestaat een gebruiker voor arm X waarvan zijn aantal voorkomens minstens Y% van het totaal aantal voorkomens voor die hand uitmaakt”
  20. 20. Armtracking: werkwijze• In elk frame – huidsegmentatie – koppelen gevonden armen aan armnummers Arm 3• In frames tijdens of vlak na touchinteracties – als de uitvoerende arm te weinig trackinggeschiedenis heeft: • handanalyse uitvoeren • resultaat in geschiedenis opslaan
  21. 21. Armtracking: werkwijze• In frames tijdens touchinteracties – Rapporteer identiteit van uitvoerende arm • Te weinig trackinggeschiedenis? Gebruik handanalyse van Carpus. • Genoeg trackinggeschiedenis? Geef de vaakst voorkomende gebruiker voor deze arm door.
  22. 22. Implementatie• Simulatie op basis van videofragment + log van touch events
  23. 23. Observaties na systeemtests• Tracking kan sommige fouten van handanalyse corrigeren = verhoogde nauwkeurigheid• Ongeregistreerde gebruikers verwarren het systeem Gebruiker 1? Gebruiker 3? Gebruiker 5? Gebruiker 1? Gebruiker 5? Gebruiker 3? Gebruiker 3?
  24. 24. VRAGEN

×