Your SlideShare is downloading. ×
Veranstaltungsreihe:” Software-ergonomische Herausforderungen in verteilten und virtuellen Systemen” Teil 2
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Standard text messaging rates apply

Veranstaltungsreihe:” Software-ergonomische Herausforderungen in verteilten und virtuellen Systemen” Teil 2

184
views

Published on

Seminar SS / WS 2014 …

Seminar SS / WS 2014

Universität Kassel - Institut für Arbeitswissenschaft und Prozessmanagement FB Arbeits- und Organisationspsychologie


0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
184
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Der Ereignishorizont der Software-Ergonomie Claus Neugebauer (LA) Universität Kassel - Institut für Arbeitswissenschaft und Prozessmanagement FB Arbeits- und Organisationspsychologie Titel Veranstaltungsreihe:” Software-ergonomische Herausforderungen in verteilten und virtuellen Systemen” Foliensatz 2
  • 2. Übersicht und Inhalte I. Die Bio-Computational Engine 1. Philosopie 2. Modelle für Technologie- und Markttrends 3. Softwareentwicklung und Software-Ergonomie 4. Methoden und Vorgehensweisen der Software-Ergonomie 5. Normen, Standards, Styleguides II. Mobile Computing 1. Direkte Manipulation 2. Consumerization 3. Responsive Design 4. Google Android UX Design Prizipien und Methoden vs Microsoft Metro 5. Gamification (incl. Serious Games)
  • 3. Übersicht und Inhalte III. Virtual Reality 1. Konzepte Immersion, Flow, Cognitive Absorbtion, Presence 2. Gaming 3. CAVE 4. Parameter und Messung von Immersion / Presence 6. Trade-offs - Wieviel Immersion ist genug? 7. Simulator/ Gaming Sickness 8. Stress und Beanspruchung am Beispiel von Global Hawk Drohnen Piloten IV Augmentation 1. Augmented Reality 2. Life Logging und Bio-Feedback 3. Augmented Cognition 4. Meßgrößen und Sensibilität der Maße 5. Brain-Computer-Interface
  • 4. Virtual Reality Die Evolution des UI Virtuelle Realität Definitionen Augemented Reality Mixed Reality Immersion Flow Cognitiv Absoprtion Technology Adoption ("Acceptance") Model WoW Gaming CAVE "Elbe Dom" Immersion und Performanz Messung Immersion Genug Immersion? Simulator Sickness Stress bei Drohnenpiloten
  • 5. Die Evolution des “User Interface” HH D CC WW I HH D CC WW HH CC WWD CC WWHH Direkte Manipulation Touchables/ Wearables VR / AR BCI AugmentedCognition
  • 6. Realität (Wiederholung) ● Kant (1781) – Aprioris und Posterioris bzw- analytische und synthetische Schlüsse – Aprioris und Evolution (vgl. G. Vollmer 1975) ● Schopenhauer (1819) – Die Welt als Wille und Vorstellung ● Maturana und Varela (2009) – U-Boot Metapher – Autopoesis – Struktur und Organisation ● Niels Bohr (1963) – “It is wrong to think that the task of physics is to find out how nature is. Physics is concerned with what we can say about nature...”
  • 7. Virtuelle Realität - Definitionen und Konzepte ● “Als virtuelle Realität, kurz VR, wird die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet.” (WIKIPedia 2014) ● “Virtual Reality – a three dimensional, computer generated simulation in which one can navigate around, interact with, and can be immersed in another environment” (J. Briggs 1996) ● Verwandte Gebiete – Augmented Reality – Mixed Reality
  • 8. ● Immersion – “Immersion into virtual reality is a metaphoric use of the experience of submersion applied to representation, fiction or simulation. Immersion can also be defined as the state of consciousness where a "visitor" (Maurice Benayoun) or "immersant" (Char Davies)’s awareness of physical self is transformed by being surrounded in an engrossing environment; often artificial, used for describing partial or complete suspension of disbelief enabling action or reaction to stimulations encountered in a virtual or artistic environment.” (WIKIpedia, aufgerufen 2014) ● Dimensionen von Immersion – Tactile, strategic, narrative (E.W. Adams 2004) – Senso-motoric, cognitive, emotional and spatial (vgl. S. Björk & J. Holopainen 2004) – AIP Cube (Autonomy, Interaction, Presence) (vgl Zeltzer 1992) ● Mit Immersion verwandte Begriffe – Flow (Mihaly C. 1993) – Cognitive Absorption (vgl. Agarwal 2000) – Presence (vgl. Slater 1998), Presence ~ Eigenschaft des Benutzers, Immersion ~ Eigenschaft des technischen Systems Virtuelle Realität - Definitionen und Konzepte
  • 9. Flow Exkurs: Arousal is a physiological and psychological state of being awake or reactive to stimuli. It involves the activation of the reticular activating system in the brain stem, the autonomic nervous system and the endocrine system, leading to increased heart rate and blood pressure and a condition of sensory alertness, mobility and readiness to respond. (WIKIpedia 2014) Dimension of Flow (Mihaly C. 2010f) – Clear goals and immediate feedback – Equilibrium between the level of challenge and personal skill – Merging of action and awareness – Focussed concentration – Sense of potential control – Loss of self-consciousness – Time distortion – Autotelic or self-rewarding experience Vgl Yerkes-Dodson Law (1908)
  • 10. Presence and Cognitive Absorption ● Cognitive Absorption (vgl. z.B. Agarwal et al 2000, Raafat Saade 2005 S. Weniger & C. Loebbecke 2011) – “With its multi-dimensional conceptualization, CA combines affective and cognitive components Control, curiosity, temporal dissociation, and focused immersion represent cognitive dimensions. Heightened enjoyment constitutes an affective dimension.” ● Exkurs Technology Adoption Modell (zit nach R. Saade 2006) ● Presence (vgl. z.B. Slater et al. 1998 / 2013) – “Presence is a state of consciousness, the (psychological) sense of being in the virtual environment.” (pp.4ff, ebd) – “The fundamental idea is that participants who are highly present should experience the VE as more the engaging reality than the surrounding physical world, and consider the environment specified by the displays as places visited rather than as images seen” (ebd.).
  • 11. Gaming ● Empirische Studie zu “game usability heuristics” (H. Desuvire & C. Wiberg 2009) – Drei verschiedene Game-Genre, Fragebogenaktion, n=54, abhängige T-Tests ● Drei Kategorien mit jeweils 20 Unterkategorien – I. Kategorie “Game Play”: a. Enduring play,Challenge, Strategy and Pace, Consistency in Game World, Goals, Variety of Players and Game Styles, Players Perception of Control – II. Kategorie “Coolness/Entertainment/Humor/Emotional Immersion “: a. Emotional Connection, Coolness/Entertainment, Humor, Immersion – III. Kategorie: “Usability & Game Mechanics” : Documentation/Tutorial, Status and Score, Game Provides Feedback, Terminology, Burden On Player, Screen Layout, Navigation, Error Prevention, Game Story Immersion
  • 12. Gaming ● Schritte in “Designing a Game” ( T. Fullerton 2008) – Conceptualization 2. Prototyping 3. Digital Prototyping, 4. Playtesting, 5. Functionality, Completeness, and Balance, 6. Fun and Accessability ● “Playtesting is the single most important activity adesigner engages in, and ironically, it is often the one designers understand the least about.” (p. 267 ebd.)
  • 13. CAVE (Cave Automatic Virtual Environment) Mehrseiten-Projektionssystem mit folgenden Komponenten: ● 3 Seitenwände und eine Bodenprojektion mit je 2,3 Metern Kantenlänge ● Stereoskopische Darstellung ● Trackingsystem ● Seitenwände können aufgeklappt werden Anwendungsgebiete ● Schnelle Design-Reviews kleinerer Inhalte, wie Maschinen, Innenarchitektur oder Montageabläufen ● Individuelles Arbeitsinstrument für kleinere Personengruppen.
  • 14. CAVE+ – Der Elbe Dom (Frauenhofer IFF) ● Mixed-Reality-Labor – Form eines Zylinders – Durchmesser von 16 Metern, Höhe von 6,5 Metern, 360°-Projektionsfläche von über 300 m². – Rundum-Leinwand, sechs Laserprojektoren, Hochleistungs- Schärfentiefe und Farbdarstellung – Interaktion e.g. Infrarot-Trackingsystem und verschiedene Direct-Input-Geräte, mehrbenutzertauglich
  • 15. Messung von Immersion / Presence ● Several approaches of measuring Immersion, most of them are questionnaire based in regards to measuring presence – The „presence“ questionnaire from Witmer, B.G und Singer M.J. 1998 (Measuring Presence in Virtual Environments: A Presence Questionnaire) is the most often used or adapted – One of the rare methodological studies from Usoh, M. 2000, comparing presence questionnaires (incl. The Witmer and Singer questionnaire) ● Typical usage of questionnaire in studies are ● Measuring and defining the experience of immersion in games (Jennett C. et al. 2008) ● The effects of immersion on visual attention and detection of signals performance for virtual reality training systems (Shiau-Feng Lin et at 2011) ● A study of the effects of virtual reality on the retention of training (Jacquet, C.R. 1993)
  • 16. Wieviel Immersion ist genug? - Research in Progress ● “A common assumption guiding research in virtual environments is that increased immersion (i.e. technological affordances) permits improvements in performance or engagement, with this effect mediated through user experience of 'presence'.” (J.J. Cummings et al. 2012) ● Prinzipiell sollte gelten “...that a system is more likely to be immersive – or to shut out physical reality – if it (1) offers high fidelity simulations through multiple sensory modalities,” J.J. Cummings et al ebd.) ● Meta-Analyse bestehender Literatur – Studien mit positiver Beziehung zwischen immersion und verschiedneen performance Maßen, z.B. search ability (Pausch, Proffitt, & Williams, 1997), recall (Lin, Duh,Parker, Abi-Rached, & Furness, 2002), und spatial judgments (Slater, Linakis, Usoh, & Kooper, 1996). – Studien mit geringer oder keiner postivien Beziehung zwischen immersion und performance(e.g., Narayan et al., 2005; McMahan, Gorton, Gresock, McConnell, & Bowman, 2006; Polys, Kim & Bowman, 2006). ● Bowman and McMahan (2007) - “...multiple “immersion component” technologies independently influence a variety of potential “immersion elemenis,” including presence, which in turn independently influence application effectiveness and performance.” ● Variablen – Tracking level., Stereoskopic vision, Image quality, Field of View (FOV), sound quality, display type, update rate, user perspective, overall high/low
  • 17. Simulator - bzw. Gaming Sickness ● “Der Begriff Simulatorübelkeit oder englisch Simulator Sickness ... bezeichnet ein Gefühl der Übelkeit, das durch eine Täuschung oder Irritation der Sinnesorgane zustande kommt. (Wikipedia, aufgerufen 2014) ● Der Begriff Spielübelkeit oder englisch Gaming Sickness (deutsch etwa Übelkeit durch Spielen) bezeichnet ein Gefühl der Übelkeit, das durch das Spielen von Computerspielen hervorgerufen wird. (Wikipedia, aufgerufen 2014) ● Symptomatische Überlappung mit umgangssprachlich “Reisekrankheit” (Kinetose) ● Erklärungansätze (vgl. D.M. Johnson 2005, S. Hoffmann et al. 2003) – Gifttheorie – Theorie zur Haltungsinstabilität – Sensorische Konflikttheorie ● Vestibuläres und visuelles System sowie Muskelrezeptoren liefern mit sich / oder der Lernerfahrung konfligierende Informationen und lösen damit Orientierungs und Stressbedingte Beschwerden aus ● Bisher keine abschließende Klärung der gesamten Symptomatik in allen Simulationssituationen – Bekannstestes Opfer von Simulator Sickness Brendan Iribe (CEO Oculus Rift)
  • 18. Stress bei Drohnenpiloten ● Studie von 2011 klagten 48% von 840 Drohnenpiloten (Global Hawk Drones) über “High operational stress” ● Studie des Armed Forces Surviellance Center (zitiert nach NY Times 23,02.2013) – 1300 Drohnen weltweit m Einsatz. 2015 mehr Drohnenpiloten als Kampfpiloten – Drohnenpiloten haben die gleiche Häufigkeit von psychischen Problem wie Kampfpiloten in Irak und Afganistan u.U. Sogar höher (teilweise unklare Befundlage). Dazu gehören Depressionen, Angsterkrankungen und PTSD – Gründe gemäß der Studie ● Traumatisierende Bilder von Gewalt und Tod über Video ● Isoliertes Arbeiten in unregelmäßigem (“flexible”) Schichtsystem ● Pilotenmangel
  • 19. Augmented Reality Definitionen Display Taxonomie Usability Engineering in AR HCI Prinzipien Google Glass Funktionen Interaktion und Usability UI Patterns Zukünfitige Entwicklung ARVIKA
  • 20. Augmented Reality - Definition und Konzepte ● “Unter erweiterter Realität (auch englisch augmented reality, kurz AR) versteht man die computergestützte Erweiterung der Realitätswahrnehmung.” (Wikipedia, aufgerufen 2014) ● R.J. Azuma (1997) “...VAR as systems that have the following three characteristics – Combines real and virtual – Interactive in real time – Registered in 3-D” ● Perspektiven auf AR – AR als Gegenstand der Software-Ergonomie – Software-ergonomisches Hilfsmittel (“tools”) – AR im Einsatz in der Psychologie
  • 21. Augmented Reality - Taxonomie Displays Spatial Body attachedHead attached Spatial See Through Display Head Mounted Display Head Mounted Projector Hand Held Display Hand Held Projector Nach Bimber & Raskar 2003 / 2006 Epson Moverio Display Nomad Systems Retina Display Www.vuzix.com
  • 22. Usability Engineering in Augmented Reality ● Hauptschritte Usability engineering für VR / AR (Gabbard & Swan 2008) – User task analysis – Expert guidelines-based evaluation – Formative user-centered evaluation – Summative comparative evaluations – “While similar methodologies have been applied to traditional (GUI-based) computer systems, this methodology is novel because we specifically designed it for and applied it to VEs, and it leverages a set of heuristic guidelines specifically designed for Ves.” M. Billinghurst et al. 2013
  • 23. Usability Engineering in Augmented Reality ● HCI Prinzipien für AR (Billingshurst et al. 2007) – Affordance ● The concept of affordance [13, 28] suggests that there is an inherent connection between a user interface and its functional and physical properties. – Reducing cognitive overhead – Low physical effort – Learnability – User satisfaction – Flexibility in use – Responsiveness and feedback – Error tolerance ● “....Swan and Gabbard [2008] analysed 266 AR related publications from 1998-2004 and found that only 38 of those (14%) addressed some aspect of HCI, while just 21 had any formal user-based experiments...” (Billinghurst et al. , ebd, vgl Product life cycle!)
  • 24. Augmented Reality - Google GlASS Kamera Touch Pad Projektor Prisma (Display) Batterie CPU Laut- sprecher
  • 25. Augmented Reality - Google GlASS Funktionen ● Funktionen (heute 2013) – Uhr – Kamera (sprachgesteuert) – Video (sprachgesteuert) – Echtzeit sharing – Navigation – Instant messaging – Augemented reality – Translattion (von Sprache) – Predictive ssistenance (“context aware”) ● Design Principles – Dont get in the way – Keep it relevant – Avoid the Unexpected – Build for people (“Fire and forget”)
  • 26. Augmented Reality - Google GLASS Funktionen
  • 27. Augmented Reality - Google GLASS Usability Interface – Timeline (“The timeline controls most of the user experience. ...virtual timeline that is comprised of 640 × 360 pixel cards”) – Live Cards – Static Cards – Immersions – Menus – Input
  • 28. Augmented Reality - Google GLASS UI Patterns ● Patterns – “Use common UX patterns to give users a consistent experience across all Glassware.” – Periodic notifications – Ongoing task – Immersion ● Sonstiges – Branding Guidelines – Best practices
  • 29. Augmented Reality - Google GLASS Zukunft ● Google Patente im Zusammengang mit Google Glass – “In accordance with example embodiments, hand gestures can be used to provide user input to a wearable computing device, and in particular to identify, signify, or otherwise indicate what may be considered or classified as important or worthy of attention or notice. A wearable computing device, which could include a head-mounted display (HMD) and a video camera, may recognize known hand gestures and carry out particular actions in response. Particular hand gestures could be used for selecting portions of a field of view of the HMD, and generating images from the selected portions. The HMD could then transmit the generated images to one or more applications in a network server communicatively connected with the HMD, including a server or server system hosting a social networking service.” (Patent Abstract, 15.10 2013) ● “Pinch to zoom” ● “Crop” ● “Heart shaped” gestures – Like – Save – Share
  • 30. ARVIKA - Augmented Reality für Entwicklung, Produktion und Service ● “...vom Ministerium für Bildung und Forschung (BMB+F) geförderten Leitprojekt ARVIKA (Herv. d.A.) werden Augmented-Reality Technologien (AR) zur Unterstützung von Arbeitsprozessen in Entwicklung, Produktion und Service für komplexe technische Produkte und Anlagen benutzerorientiert und anwendungsgetrieben erforscht und realisiert.” (W. Friedrich, tbd.)
  • 31. Life Logging / Quantified Self Quantified Self Konzepte Beispiele Übersicht Anwendungen Biofeedback Biofeedback- Anwendungen
  • 32. Life Logging / QS – Definition und Konzepte ● “Lifelogging is the process of tracking personal data generated by our own behavioral activities. ... Lifelogging tracks personal activity data like exercising, sleeping, and eating. ...The Quantified Self movement takes the aspect of simply tracking the raw data to try and draw correlations and ways to improve our lives from it.” (http://lifestreamblog.com/lifelogging/ aufgerufen 2014) ● “The Quantified Self is an international collaboration of users and makers of self- tracking tools.” (http://quantifiedself.com/about/ aufgerufen 2014) ● Beispiele – Fitbit(Schrittzähler, Entfernung, Kalorienverbrauch, Schlafdauer und- Qualität) – Withings Pulse (& Herzratenmonitor) – Strava (Radfahren und Wandern) – The Trace (skate-, snow- oder sufrboard – Geschwindigkeit, Entfernung, Sprundhöhe, Kalorienverbrauch und mehr) – Monthly cycles, MyCycles, iPeriod oder auch Spreadsheets – http://www.getsaga.com/
  • 33. Life Logging / QS in der Übersicht
  • 34. Verwandte Konzepte - Biofeedback ● “Mit dem Begriff Biofeedback (altgr. bios „Leben“ und engl. feedback „Rückmeldung“) wird eine Methodeβίος bezeichnet, bei der Veränderungen von Zustandsgrößen biologischer Vorgänge, die der unmittelbaren Sinneswahrnehmung nicht zugänglich sind, mit technischen (oft elektronischen) Hilfsmitteln beobachtbar, d. h. dem eigenen Bewusstsein zugänglich gemacht werden.” (WIKIPEDIA, aufgerufen 2014) (vgl. Auch Neurofeedback) ● Anwendungsgebiete (N. Birbaumer et al. Edts, 2011) – Chronische Rückenschmerzen, – Spannungskopfschmerzen und Migräne, – essentielle Hypertonie – Somatoforme Störungen – Angststörungen – Tinnitus – Inkontinenz und Obstipation – Asthma bronchiale – Lähmungen – ADHS – Epilepsien – Schlafstörungen – Lock-in Syndrom
  • 35. Augmented Cognition Die Evolution des UI II Definitionen Forschungsschwerpun kte Augmented Cognition in Training und Ausbildung Information Exoskeleton Maße und Indikatoren Meßgenauigkeit
  • 36. HH Die Evolution des “User Interface” SS CC D CC WWHH Life Logging AR + D CC WWHH SS Augmented Cognition (“closed loop system”)
  • 37. Augmented Cognition – Definitionen und Konzepte ● “Augmented cognition (AugCog) is a research field at the frontier between human-computer interaction, psychology, ergonomics and neuroscience, that aims at creating revolutionary human-computer interactions. The creation of such interactions stems from the ability of technology to measure human information processing and a user’s cognitive state. … Another main concept of AugCog is to design closed-loop systems to modulate information flow with respect to the user's cognitive capacity.” (WIKIPEDIA, aufgerufen 2014) ● “...the objective of cognitive machines is not to think like a human,...These cognitive systems are truly beginning to augment our human cognitive capabilities much as earlier machines have augmented our physical ones” (Irving Wladawsky-Berger, 2013) ● “The objective of Augmented Cognition is to extend, by an order of magnitude or more, the information management capacity of the human-computer integral by developing and demonstrating quantifiable enhancements to human cognitive ability in diverse, stressful, operational environments.” (D. Schmorrow et al.) ● “Augmented Cognition explores the interaction of cognitive, perceptual, neurological, and digital domains to develop improved performance application concepts.” (D. Schmorrow)
  • 38. Augmented Cognition Forschungsschwerpunkte ● Hauptschwerpunkte des Augmented Cognition Forschungsgebiets (vgl. D.D. Schmorrow, Foundations of Augmented Cognition. 2013) – Augmented Cognition in Training and Education* – Team Cognition – Cognitive Load, Stress and Fatigue* – Brain Activity Measurement – Understanding and Modeling Cognition ● Augmented Cognition is stark durch den militärischen Bereich getrieben, teilweise DARPA finanziert
  • 39. Augmented Cognition in Training und Ausbildung (1 /2 ) ● Beispiel “Bio-reckoning: Perceptual User Interface Design for Military Training” (T. Griffith et al. 2013) ● Ausgangspunkt – (Video-)spiele als Trainingumgebung – Heutige (2013) Benutzungsschnittstelle mangelt es an Direktheit, sie werden e.g. joystick etc. bedient – In ihnen können Emotionsregulation unter Stress nur sehr bedingt trainiert werden – Der Lerntransfer ist eingeschränkt, da das ursrpüngliche Ziel von Videospielen Unterhaltung war ● Lösungsansätzte – Low cost Game Interfaces (Wii, MSFT Kinect) – Spracheingabe (“Voice Controller”) ● Perceptual User Interfaces für die militärische Ausbildung – “Perceptual User Interface (PUI) design takes into account naturalistic human nonverbal and verbal human responses as part of the device or sensor input to the human-computer system” – PUIs kennen die Körperposition, Gesicht bzw. Gesichtsausdruck und die Bewegungen (e.g. Hand) des Benutzers – Multi-modale Interfaces, z.b. Auch Spache und Blickbewegungen als Eingabe – Multimedia-Systeme zur Darstellung der Lerninhalte
  • 40. Augmented Cognition in Training und Ausbildung (2 /2 ) ● Beispiel “Bio-reckoning: Perceptual User Interface Design for Military Training” (T. Griffith et al. 2013) ● BRI – Bio-Reckoning Interface – Brain-computer Interface Techniques – Eye-Tracking – Face recognition ● Beispiel für erste Ansätze “Enhanced Dynamic Geo-Social Environment (EDGE)” – “EDGE is a government owned architecture designed using AMSAA approved standards (e.g., OneSAF) to provide highly accurate virtual simulations of military operational environments utilizing state-of-the-art Multiplayer Online Gaming Bio-reckoning: Perceptual User Interface Design for Military Training 37 (MOG) technologies.”
  • 41. Augmented Cognition - Information Exoskeleton (IE) Beispiel “The Information Exoskeleton: Augmenting Human Interaction with Information Systems” (J.P. Allen 2013)
  • 42. Augmented Cognition - Information Exoskeleton (IE) ● Beispiel “The Information Exoskeleton: Augmenting Human Interaction with Information Systems” (J.P. Allen 2013) ● Hauptaufgaben des IE – “Assessing the warfighter’s operational context” – “Assembling information based on context” – “Adapting the user interface to the information and user operational context” ● Komponetenübersicht – “Data Manager store all of the information collected by the system in a form that is easily accessible from the rest of the system” – “Context Tracker determines what is relevant to the human based on a set of predetermined contexts: biometrical, world, human and tactical contexts” – “The Anomaly/Alert Manager component monitors the data and produces alerts based on the rules of the context in which it is operating.” – “Alerts generated by the Alert Manager are delivered to the Information Assembler for processing. The Information Assembler collects, organizes and correlates relevant data, producing useful information for the warfighter.” – “The Presentation Manager component determines how to deliver the data via an appropriate set of modalities to the user’s interface based on the user’s current needs.” – “Given updated contexts from the context tracker, the Information Needs Assessment component determines the types of information that best support the current state of the mission.”
  • 43. Physiologische Meßgrößen ● Deutliche Zunahme der non-ivasiven und portablen Meßinstrumente in den letzten zwei Jahrzehnten ● Blickbewegungsmessung ● EEG – Vgl. Auch Yu M. Chi (2013) A Practical Mobile Dry EEG System for Human Computer Interfaces ● Evozierte Potenziale – VEP (visuell), AEP (akustisch), (S)SEP (somatisch, Somatosensibel), MEP (motorisch) ● fNIRS (Functional near-infrared spectroscopy) ● fMRI (Funktionelle Magnetresonanztomographie) ● Sonstige – HR, GSR (Hautwiderstand)
  • 44. Differentielle Sensibilität Physilogischer Meßgrößen D.A. Kobus et al. (2007)
  • 45. Brain Computer Interface (BCI) Bio-Computational Engine II Ereigniskorrelierte Potentiale SEP SSEP "Neurophone" Definition und Aufbau BCI "rubber hand" Digital body "The Ultimate Interface" Aufgaben eines BCI usability engineers BCI illiteracy Anwendungsgebiete BCI
  • 46. Bio-Computational Engine Annahmen ● Amplitudenmodulation ~ “Das ereignisskorrelierte Potential ist also darauf zurückzuführen, dass elektrische Generatoren in einer zeitlich festgelegten Reihenfolge an- und ausgeschaltet werden und somit positive oder negative Gipfel hervorbringen” ● Phasenmodulation ~ “Phasensynchronisation verschiedener Rhythmen zustande kommt, die durch das Ereignis ausgelöst wird.... lässt sie (sich” durch Mittelung nicht eliminieren...”
  • 47. Ereigniskorrelierte Potentiale ● Ereignis vs. Reaktionsbezogene Potentiale ● Beispiel VEP (SEP) Komponenten – P1 / N1 (100ms) ● P1 ~Aufmerksamkeitsreaktion ● N1 Genauere Erfassung des Stimulus – PN (“Processing Negativity”) – MMN (“Mismatch Negativity”) nur bei akustschen Reizen) ● “.... tritt sie nur auf Reize auf, die in irgendeiner Form vom erwarteten physikalischen Kontext abweichen, und zwar auch dann, wenn diese Reize nicht beachtet werden” – P3 – Maß für Dauer für Reizanalyse und Bewertung ● Die Amplitude der P3 variiert mit der Häufigkeit des seltenen Reizes, je seltener, desto größer. Sie ist unabhängig von der Modalität – P3a – Orientierungsreaktion ● “unbekannter Reiz (der) atomatisch Aufmerksamkeit auf sich zieht...” – N400 - “...assoziiert mit einer enttäuschten Erwartung, die auf semantischem Priming beruht.” ● “...Amplitude ist abhängig davon wie gut bzw. schlecht das Wort in den gegebenen Kontext passt, je geringer der Zusammenhang, desto größer die N400.”
  • 48. Einleitendes Beispiel – Das “Neurophone” Schritt 1 Schritt 2 Schritt 3 Schritt 4
  • 49. Brain Computer Interface ● “Ein Brain-Computer-Interface (BCI), ...ist eine spezielle Mensch-Maschine- Schnittstelle, die ohne Aktivierung des peripheren Nervensystems, wie z. B. die Nutzung der Extremitäten, eine Verbindung zwischen dem Gehirn und einem Computer ermöglicht.” (Wikipedia, aufgerufen 2014) ● Der grundsätzliche Aufbau eines BCI's enthält (M. Slater et al 2010) 1. Preprozessor (artifact reduction electrooculogram (EOG) and electromyogram (EMG)), application of signal processing methods, i.e., low-pass or high-pass filters, methods to remove the influence of the line frequency, and, in the case of multi-channel data, the use of spatial filters (bipolar, Laplacian, common average reference) 2. Musteranalyse (“featue extraction”) (“...find a suitable representation (signal features) of the electrophysiological data that simplifies the subsequent classification or detection of specific brain patterns” ) 3. Klassifikation 4. Signalnehmer 5. Applikations Interface
  • 50. Brain Computer Interface – The digital body ● Ausgangspunkt “The Rubber Hand Illusion” (vgl. Botvinick & Cohen, 1999) – s.a. body-ownership, multi-sensory integration, Neuroplastizität ● Towards a digital body: the virtual arm illusion (M. Slater et al. 2008) – “In this study we show that the illusion can be produced within an immersive virtual environment (VE), and provide subjective, behavioural and physiological evidence for this.” – Versuchsaufbau ● (AV=EMG, Fragebogen) ● Synchron vs asynchron ● Die “rubber hand illusion” kann in einem VE nachgestellt werden, mit einem virtuellen Ball (!) – Hoher (loglinearer) korrelativer Zusammenhang zwischen EMG Maßen und Fragenbogen bei Synchronität – Kein Zusammenhang in der asynchronen Bedingung. Signifikanter Unterschied in den Fragebogenergebnissen ziwschen den Bedingungen – Vergleichbare Unterschiede für den “propriocentive drift”
  • 51. Brain Computer Interface - “The Ultimate Interface” ● Friedmann & Slater (2008) - Kombination aus EEG-basiertem Graz BCI und hoch immersiven CAVE-Artigen VR Umgebung – Usability Herausforderungen ● Asnychrones (“continuous”) oder synchrones BCI ● Anzahl der erkannten Input-Möglichkeiten (“classes”) ● Feedback ● Abbildung der Vorstellung und ent- sprechenden Handlungenauf die virtuelle Umgebung – Vesuchsaufbau 1 ● n=10, Navigationsaufgabe in einer virtuellen Straße durch die Vorstellung von Hand bzw. Fußbewegung ● Die Hälfte der VPN arbeiteten selbständig an einer einfachen Aufgabe, die Anderen nach Vorgabe
  • 52. Brain Computer Interface - “The Ultimate Interface” ● Experimentalgruppe (“Free Will”) – “Annähernd” Asynchrones BCI ● “The free-choice paradigm we tested involves moving forward to reach objects and then touching them.” ● “Sleeping beauty” Szenario ● Kontrollgruppe (“No free will”) – Using this paradigm the subject had no free choice . BCI control wasas follows: if the trigger indicated that the participant could walk, the participant had to imagine foot movement to move forward. ● Ergebnis – Exp.Grp. BCI Genauigkeit 75.0% ( = 7.9, n = 10),σ Kontrollgruppe 82.1% ( = 6.7, n = 10)σ – Große interindividuelle Differenzen
  • 53. Brain Computer Interface - “The Ultimate Interface” ● Friedmann & Slater (2008) - Kombination aus EEG-basiertem Graz BCI und hoch immersiven CAVE-Artigen VR Umgebung – Vesuchsaufbau 2 Kontrolle eines virtuellen Körpers ● N=3 ● T”he environment included two furnished virtual rooms. The avatar wasprojected (using stereo display) to appear standing approximately half a meter in front of the subject, who was sitting on a chair.” ● Zwei Versuchsbedingungen – “First condition, which we call the normal condition, the mapping between the “thought” pattern and result in the IVE was intuitive: when the subjects imagined moving their right arm the avatar would wave its right arm – “In the second condition the mapping was reversed” ● Ergebnisse – “Data include 8 runs per subject, and each run includes 3200 trials. BCI accuracy is determined by the percentage of successful trials” – BCI Genauigkeit zwischen 72% und 96%
  • 54. Brain Computer Interface - “BCI illiteracy” ● Zirka 20% aller untersuchten Personen können ein typisches BCI-System nicht verwenden (Alison & Neuper 2010). Technische Lösungen bisher nur marginal erfolgreich – Individuelle Differenzen in den kortikalen Strukturen – Elektronische Artefakte, e.g. Muskel Artefakte – Effekt ist konstant über verschiedene physiologische (Steuerungs-) Parameter ● ERD BCIs sind tendenziell empfindlicher ERP BCIs ● Aufgabengebiete eines BCI-”usability engineers”? – “Improve selection and/or classification of existing brain signals through improved algorithms – Use sensor systems that provide richer information (Different neuroimaging technologies, more or better sensors) – Incorporate error correction or reduction (Improved interfaces that make errors less likely and/or allow error correction, additional signals, from the EEG or elsewhere, that convey error) – Generate brain signals that are easier to categorize (Within existing BCI approaches, using novel BCI approaches,.by switching to a different approach, by combining different approaches)”
  • 55. Brain Computer Interface – Gegenwärtige und zukünftige Anwendungsgebiete ● BCIs for Assistive Technology – Communication ● Yes/No Communication ● Spellers ● Web Browsers – Environmental Control – Mobility ● Wheelchair Control ● Robotics ● BCIs for Recreation – Games – Virtual Reality – Creative Expression ● Music ● Visual Art ● BCIs for Cognitive Diagnostics and Augmented Cognition – Coma Detection – Meditation Training – Computational User Experience – Visual Image Classification – Attention Monitoring ● Rehabilitation and Prosthetics
  • 56. Appendix - Internet of Things