Actuele Trends in HCI



Wearable Computing
         Steve Bottelbergs
           Mathias Raets
          Wim Vastmans
Overzicht
1.   Definitie
2.   Geschiedenis
3.   Locatie Wearable Computer
4.   Vormen van input
5.   Vormen van feedback
6.   Algemene voor- en nadelen
7.   Toekomst
8.   Onze visie



                                 2
1. Definitie
Wearable Computing ??




                        3
1. Definitie
Kenmerken:

•   Draagbaar en operationeel
•   Actieve sensoren
•   Veel vormen van input
•   Multitasking
•   Uitbreiding intellect / zintuigen




                                        4
2. Geschiedenis
        Opkomst
        polshorloge


                      “Draagbare” computer
 1892                 – roulette voorspellen




              1966                             1e Sony Walkman




                                1979                             5
2. Geschiedenis
          1e commerciële head-
          mounted display




   1989
                     Prof. Steve Mann
                     - Wireless Webcam



           1994
                                         OmniTouch
                                                     6

                                 2011
3. Locatie Wearable Computer
•   Hoofd
•   Armen
•   Pols
•   Schouder
•   Schoenen
•   T-shirts



Conclusie:
- Volledig lichaam kan benut worden
                                      7
4. Vormen van input
1)   Touch
2)   Gestures
3)   Sensor
4)   Keyboard
5)   Voice




                      8
4.1. Touch input
• Vb. Zypad: wrist-worn input


• Één of meerdere vingers
• Stylus
• Tonen van interface




                                9
4.1. Touch input
Voordelen

• Geavanceerde input mogelijk
• Scherm + input device



Nadelen

•   Kostprijs
•   Formaat
•   Gevaar voor krassen
•   Gebruiker moet naar scherm kijken
                                        10
4.2. Gestures
• Vb. The Tinmith System:
  Gestures m.b.v. handschoenen

•   Gebaren
•   Trackers / bedrade handschoen
•   Camera’s




                                    11
4.2. Gestures
Voordelen

• Intuïtief
• Gemakkelijk aan te leren / onthouden
• Geschikt voor augmented reality




                                         12
4.2. Gestures




                13
4.2. Gestures
Nadelen

•   Intensief
•   Niet altijd even correct
•   Vaak nood aan camera’s     kalibreren
•   “Gorilla Arm”




                                            14
4.3. Sensors
• Vb. Motorola MotoACTV


•   Constant data vergaren
•   Hands-free
•   Beweging en lichaamsstatus monitoren
•   Meten van positie, beweging, temperatuur, …
•   Vaak ingebouwd in kledij




                                                  15
4.3. Sensors
Voordelen

•   Klein
•   Goedkoop
•   Zuinig in verbruik
•   Makkelijk in te bouwen




                             16
4.3. Sensors
Nadelen

•   Passief: reageren enkel op omgeving
•   Positie op lichaam belangrijk
•   Niet altijd even accuraat
•   Comfort van drager
•   Nood aan stroom




                                          17
4.4. Keyboard
• Vb. iKey AK 39


• Draagbaar toetsenbord
• Met één hand te bedienen

Voordelen

•   Eenvoudig
•   Snel
•   Complexe input mogelijk
•   Geen aanpassing nodig
                              18
4.4. Keyboard
Nadelen

• Groot
• Beide handen nodig (één als steun, één als bediening)
• Gebruiker moet naar toetsenbord kijken


• Mogelijke oplossing: Twiddler




                                                          19
4.5. Voice
• Vb. Nomadic Radio

• Commando’s geven via stem

Voordelen

•   Hands-free
•   Klein (enkel microfoon nodig)
•   Niet storend
•   Geen focus nodig van gebruiker



                                     20
4.5. Voice
Nadelen

• Niet herkennen van commando’s
• Wanneer beginnen opnemen ?
• Omgeving hoort mee




                                  21
5. Vormen van feedback
• Augmented Reality
  • Geprojecteerd (direct)
  • (Wearable) Head’s Up Displays (indirect)
• Audio
• Haptic feedback




                                               22
5.1 Augmented reality
• Beeld van de echte wereld waaraan computer gegenereerde
  onderdelen worden toegevoegd
     •   Geluid
     •   Video
     •   Graphics
     •   GPS data
• Real-time




                                                            23
5.1 Augmented reality
Doel:
• Perceptie van realiteit aanpassen
• Omgeving interactief en digitaal manipuleerbaar maken
• Kloof tussen realiteit en computer wereld elimineren



• Voorbeelden:
  • IKEA interactive catalogue
  • Slow motion
  • Visual filtering voor slechtzienden
                                                          24
5.1 Augmented reality
Indirect augmented reality: Augmented Reality Gaming
  TinMith Quake 1:




                                                       25
5.1 Augmented reality
Direct augmented reality: SixthSense

•   Alle oppervlakken gebruiken als interface
•   Digitale informatie toevoegen aan fysieke objecten
•   Intuïtieve interactiemethode
•   Onmiddellijke feedback




                                                         26
5.1 Augmented reality
Direct augmented reality: SixthSense (Wear Ur World)




                                                       27
5.2 Haptic feedback
SwimMaster


• Analyseert gegevens van zwemmer a.d.h.v. sensoren
  • Body balance
  • Body rotation
  • Stroke efficiency
• Helpt techniek van zwemmer te optimaliseren

• SwimMaster stuurt trilsignaal naar sensoren op pols indien
  gemerkt wordt dat de zwemmer iets mis doet
      Zwemmer kan techniek aanpassen en optimaliseren
                                                               28
6. Algemene voor- en nadelen
Voordelen

• Meer aandacht voor omgeving
      zie schema

• Specifieke problemen oplossen
• Wearable Computer is altijd aan
• Zéér veel mogelijkheden
      Heads-up displays, combatsuits,
      geavanceerde polshorloges etc.

                                                   Bron:               29
                                        http://www.wearitatwork.com/
6. Algemene voor- en nadelen
Nadelen

•   Privacy bij projecties etc.
•   Toestel kan storend zijn
•   Batterij technologie nog niet op punt
•   Nauwkeurigheid sensoren kan beter




                                            30
7. Toekomst
• Miniaturisatie pc creëert nieuwe mogelijkheden
  vb. sensoren binnen het lichaam plaatsen




                       Amal Graafstra (2005)

• RFID tag in linkerhand       bestuurt licht en deur ..

• Nuttiger binnen de medische sector                       31
7. Toekomst
OmniTouch

• Microsoft’s versie van het SixthSense-project
• Maakt gebruik van picoprojectie en de Kinect
• Nog vrij log, maar biedt perspectief bij verdere miniaturisatie




                 OmniTouch: Wearable Multitouch Interaction Everywhere
         Paper: http://www.chrisharrison.net/projects/omnitouch/omnitouch.pdf
                                                                                32
7. Toekomst




              33
7. Toekomst
Iets verdere toekomst -> Concepten

1.   Momenta – Pc In Your Neck
2.   Nokia Morph
3.   Holo 2.0
4.   Frontpack for Search and Rescue




                                       34
7. Toekomst
1. Momenta – PC In Your Neck




                               35
7. Toekomst
1. Momenta – PC In Your Neck

•   Monitoring lichaam
•   Vastleggen spannende momenten
•   Ingebouwde picoprojector
•   WiFi
•   Eigen skins e.d.




                                                       36
Finalist Microsoft NextGen Design Competition (2008)
7. Toekomst
2. Nokia Morph – Concept smartphone

•   Geïntegreerde sensoren
•   Volledig flexibel display
•   Zelfreinigend
•   Opladen via zonne-energie
•   Monitoring milieu via nanosensoren




                                         37
Bron: http://research.nokia.com/morph
7. Toekomst
3. Holo 2.0

• Holografische projectie via armband
• Opladen d.m.v. beweging
• Volledig flexibel

• Grotere modellen kunnen volledige
  monitor projecteren



                                                                         38
Bron: http://www.tuvie.com/holo-2-0-future-wearable-computer-for-2015/
7. Toekomst
4. Frontpack for Search and Rescue

•   Rugzak met ingebouwde laptop
•   Projectie met huidige locatie
•   Snel tracken van hulpzoekenden
•   Snel medische info opvragen




                                                                               39
Bron: http://www.yankodesign.com/2010/05/24/frontpack-for-search-and-rescue/
8. Onze visie
• Technologie nog niet volwassen

• Privacy blijft een probleem
     OmniTouch voorziet interessante oplossing

• Batterijen nog niet krachtig genoeg voor “altijd aan” systeem

• Interessante toekomst afgaande op de verscheidene concepten



                                                                  40

Wearable computing

  • 1.
    Actuele Trends inHCI Wearable Computing Steve Bottelbergs Mathias Raets Wim Vastmans
  • 2.
    Overzicht 1. Definitie 2. Geschiedenis 3. Locatie Wearable Computer 4. Vormen van input 5. Vormen van feedback 6. Algemene voor- en nadelen 7. Toekomst 8. Onze visie 2
  • 3.
  • 4.
    1. Definitie Kenmerken: • Draagbaar en operationeel • Actieve sensoren • Veel vormen van input • Multitasking • Uitbreiding intellect / zintuigen 4
  • 5.
    2. Geschiedenis Opkomst polshorloge “Draagbare” computer 1892 – roulette voorspellen 1966 1e Sony Walkman 1979 5
  • 6.
    2. Geschiedenis 1e commerciële head- mounted display 1989 Prof. Steve Mann - Wireless Webcam 1994 OmniTouch 6 2011
  • 7.
    3. Locatie WearableComputer • Hoofd • Armen • Pols • Schouder • Schoenen • T-shirts Conclusie: - Volledig lichaam kan benut worden 7
  • 8.
    4. Vormen vaninput 1) Touch 2) Gestures 3) Sensor 4) Keyboard 5) Voice 8
  • 9.
    4.1. Touch input •Vb. Zypad: wrist-worn input • Één of meerdere vingers • Stylus • Tonen van interface 9
  • 10.
    4.1. Touch input Voordelen •Geavanceerde input mogelijk • Scherm + input device Nadelen • Kostprijs • Formaat • Gevaar voor krassen • Gebruiker moet naar scherm kijken 10
  • 11.
    4.2. Gestures • Vb.The Tinmith System: Gestures m.b.v. handschoenen • Gebaren • Trackers / bedrade handschoen • Camera’s 11
  • 12.
    4.2. Gestures Voordelen • Intuïtief •Gemakkelijk aan te leren / onthouden • Geschikt voor augmented reality 12
  • 13.
  • 14.
    4.2. Gestures Nadelen • Intensief • Niet altijd even correct • Vaak nood aan camera’s kalibreren • “Gorilla Arm” 14
  • 15.
    4.3. Sensors • Vb.Motorola MotoACTV • Constant data vergaren • Hands-free • Beweging en lichaamsstatus monitoren • Meten van positie, beweging, temperatuur, … • Vaak ingebouwd in kledij 15
  • 16.
    4.3. Sensors Voordelen • Klein • Goedkoop • Zuinig in verbruik • Makkelijk in te bouwen 16
  • 17.
    4.3. Sensors Nadelen • Passief: reageren enkel op omgeving • Positie op lichaam belangrijk • Niet altijd even accuraat • Comfort van drager • Nood aan stroom 17
  • 18.
    4.4. Keyboard • Vb.iKey AK 39 • Draagbaar toetsenbord • Met één hand te bedienen Voordelen • Eenvoudig • Snel • Complexe input mogelijk • Geen aanpassing nodig 18
  • 19.
    4.4. Keyboard Nadelen • Groot •Beide handen nodig (één als steun, één als bediening) • Gebruiker moet naar toetsenbord kijken • Mogelijke oplossing: Twiddler 19
  • 20.
    4.5. Voice • Vb.Nomadic Radio • Commando’s geven via stem Voordelen • Hands-free • Klein (enkel microfoon nodig) • Niet storend • Geen focus nodig van gebruiker 20
  • 21.
    4.5. Voice Nadelen • Nietherkennen van commando’s • Wanneer beginnen opnemen ? • Omgeving hoort mee 21
  • 22.
    5. Vormen vanfeedback • Augmented Reality • Geprojecteerd (direct) • (Wearable) Head’s Up Displays (indirect) • Audio • Haptic feedback 22
  • 23.
    5.1 Augmented reality •Beeld van de echte wereld waaraan computer gegenereerde onderdelen worden toegevoegd • Geluid • Video • Graphics • GPS data • Real-time 23
  • 24.
    5.1 Augmented reality Doel: •Perceptie van realiteit aanpassen • Omgeving interactief en digitaal manipuleerbaar maken • Kloof tussen realiteit en computer wereld elimineren • Voorbeelden: • IKEA interactive catalogue • Slow motion • Visual filtering voor slechtzienden 24
  • 25.
    5.1 Augmented reality Indirectaugmented reality: Augmented Reality Gaming TinMith Quake 1: 25
  • 26.
    5.1 Augmented reality Directaugmented reality: SixthSense • Alle oppervlakken gebruiken als interface • Digitale informatie toevoegen aan fysieke objecten • Intuïtieve interactiemethode • Onmiddellijke feedback 26
  • 27.
    5.1 Augmented reality Directaugmented reality: SixthSense (Wear Ur World) 27
  • 28.
    5.2 Haptic feedback SwimMaster •Analyseert gegevens van zwemmer a.d.h.v. sensoren • Body balance • Body rotation • Stroke efficiency • Helpt techniek van zwemmer te optimaliseren • SwimMaster stuurt trilsignaal naar sensoren op pols indien gemerkt wordt dat de zwemmer iets mis doet Zwemmer kan techniek aanpassen en optimaliseren 28
  • 29.
    6. Algemene voor-en nadelen Voordelen • Meer aandacht voor omgeving zie schema • Specifieke problemen oplossen • Wearable Computer is altijd aan • Zéér veel mogelijkheden Heads-up displays, combatsuits, geavanceerde polshorloges etc. Bron: 29 http://www.wearitatwork.com/
  • 30.
    6. Algemene voor-en nadelen Nadelen • Privacy bij projecties etc. • Toestel kan storend zijn • Batterij technologie nog niet op punt • Nauwkeurigheid sensoren kan beter 30
  • 31.
    7. Toekomst • Miniaturisatiepc creëert nieuwe mogelijkheden vb. sensoren binnen het lichaam plaatsen Amal Graafstra (2005) • RFID tag in linkerhand bestuurt licht en deur .. • Nuttiger binnen de medische sector 31
  • 32.
    7. Toekomst OmniTouch • Microsoft’sversie van het SixthSense-project • Maakt gebruik van picoprojectie en de Kinect • Nog vrij log, maar biedt perspectief bij verdere miniaturisatie OmniTouch: Wearable Multitouch Interaction Everywhere Paper: http://www.chrisharrison.net/projects/omnitouch/omnitouch.pdf 32
  • 33.
  • 34.
    7. Toekomst Iets verderetoekomst -> Concepten 1. Momenta – Pc In Your Neck 2. Nokia Morph 3. Holo 2.0 4. Frontpack for Search and Rescue 34
  • 35.
    7. Toekomst 1. Momenta– PC In Your Neck 35
  • 36.
    7. Toekomst 1. Momenta– PC In Your Neck • Monitoring lichaam • Vastleggen spannende momenten • Ingebouwde picoprojector • WiFi • Eigen skins e.d. 36 Finalist Microsoft NextGen Design Competition (2008)
  • 37.
    7. Toekomst 2. NokiaMorph – Concept smartphone • Geïntegreerde sensoren • Volledig flexibel display • Zelfreinigend • Opladen via zonne-energie • Monitoring milieu via nanosensoren 37 Bron: http://research.nokia.com/morph
  • 38.
    7. Toekomst 3. Holo2.0 • Holografische projectie via armband • Opladen d.m.v. beweging • Volledig flexibel • Grotere modellen kunnen volledige monitor projecteren 38 Bron: http://www.tuvie.com/holo-2-0-future-wearable-computer-for-2015/
  • 39.
    7. Toekomst 4. Frontpackfor Search and Rescue • Rugzak met ingebouwde laptop • Projectie met huidige locatie • Snel tracken van hulpzoekenden • Snel medische info opvragen 39 Bron: http://www.yankodesign.com/2010/05/24/frontpack-for-search-and-rescue/
  • 40.
    8. Onze visie •Technologie nog niet volwassen • Privacy blijft een probleem OmniTouch voorziet interessante oplossing • Batterijen nog niet krachtig genoeg voor “altijd aan” systeem • Interessante toekomst afgaande op de verscheidene concepten 40