• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content

Loading…

Flash Player 9 (or above) is needed to view presentations.
We have detected that you do not have it on your computer. To install it, go here.

Like this presentation? Why not share!

Wiimote

on

  • 613 views

presentation took at Taller de Sistemes Interactius I (2010) subject from UPF (Universitat Pompeu Fabra) covering the following research papers:...

presentation took at Taller de Sistemes Interactius I (2010) subject from UPF (Universitat Pompeu Fabra) covering the following research papers:
Around the Wiimote:
 Torben Schou, Henry J. Gardner, A Wii remote, a game engine, five sensor bars and a virtual reality theatre, OZCHI '07: Proceedings of the 19th Australasian conference on Computer-­‐Human Interaction: Entertaining User Interfaces
 Akihiko Shirai, Erik Geslin, Simon Richir, WiiMedia: motion analysis methods and applications using a consumer video game controller, Sandbox '07: Proceedings of the 2007 ACM SIGGRAPH symposium on Video games
 Sreeram Sreedharan, Edmund S. Zurita, Beryl Plimmer, 3D input for 3D worlds, OZCHI '07: Proceedings of the 19th Australasian conference on Computer-­‐ Human Interaction: Entertaining User Interfaces
 Thomas Schlömer, Benjamin Poppinga, Niels Henze, Susanne Boll, Gesture recognition with a Wii controller, TEI '08: Proceedings of the 2nd international conference on Tangible and embedded interaction
 Takaaki Shiratori, Jessica K. Hodgins, Accelerometer-­‐based user interfaces for the control of a physically simulated character, SIGGRAPH Asia '08: SIGGRAPH Asia 2008 papers
 Luigi Gallo, Giuseppe De Pietro, Ivana Marra, 3D interaction with volumetric medical data: experiencing the Wiimote, Ambi-­‐Sys '08: Proceedings of the 1st international conference on Ambient media and systems
 Torben Schou, Henry J. Gardner, A surround interface using the Wii controller with multiple sensor bars, VRST '08: Proceedings of the 2008 ACM symposium on Virtual reality software and technology
 Elaine L. Wong, Wilson Y. F. Yuen, Clifford S. T. Choy, Designing Wii controller: a powerful musical instrument in an interactive music performance system, MoMM '08: Proceedings of the 6th International Conference on Advances in Mobile Computing and Multimedia
 Cheng Guo, James Everett Young, Ehud Sharlin, Touch and toys: new techniques for interaction with a remote group of robots, CHI '09: Proceedings of the 27th international conference on Human factors in computing systems

Statistics

Views

Total Views
613
Views on SlideShare
610
Embed Views
3

Actions

Likes
2
Downloads
0
Comments
0

1 Embed 3

http://www.linkedin.com 3

Accessibility

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • Hola bona tarda, avui els meus companys I jo tenim preparada una presentació centrada en un dels dispositius que més ha revolucionat el camp de l’interacció dels últims anys
  • Començarem amb una petita introducció al Wiimote, estem segurs que tots el coneixeu I es molt probable que n’hagueu tingut un a la mà, per si un cas de totes formes inclourem moltes fotos…
  • Al llarg de les ultimes decades es dona sobretot en el mon dels videojocs una recerca cap a noves maneres de interactuar mab la maquina. La HCI (Human Computer Interaction) es una necesitat a l’hora de donar uns inputs. L’evolució dels mandos de les consoles n’es un gran exemple desde mitjans dels 70 fins avui en dia les innovacions no han sigut tampoc excesives. A finals del any 2006 l’empresa Nintendo presenta al mercat la seva nova consola Wii, on la part més destacada de la mateixa no son precisament la seva potencia gràfica en els jocs, sino tot una nova manera d’interactuar. Per primer cop es parlava més del “control” de la consola que de la propia consola.
  • Si analitzem a fons alguns dels detalls de l’exit del Wii Remote o tb conegut amb el nom de Wiimote podem destacar per una banda una comunicació sense fils mitjançant tecnologia bluetooth, les entrades de dades trobem buttons I pad direccional molt tipicspero a més a més un accelerometre amb 3 graus de llibertat I un sensor òptic que fa tracking de fins a 4 punts de llum infraroja (IR). I coma feedback de retroalimentació disposa de 3 tipus de feedback, visual amb 4 leds, sonor amb un altaveu I haptic al poder vibrar el comandament.
  • Un dels majors encerts es precisament es aquesta caracteristica de obtenir l’acceleració (NO LA ROTACIÓ, per la rotacio es necesari un giroscopi I es precisament el que incorpora la actualitzacio del Motion Plus) en els 3 eixos gracies al un accelerometre com el ADXL330 que incorpora el mando de la wii. L’accelerometre de fet es quelcom molt petit, us en passem un per que us en feu una idea ( ;) )
  • Si s’analitza amb detall a més a més quines son els inputs més utilitzats donant-lis més color verd als més utilitzats com input podem observar en aquest grafic que la mayor part de la interacció es amb moviment, apuntar y els botons A I B. Despres el més utilitzat es la fletxa cap abaix seguit de les altres fletxes y els butons de home + I -. Per últim els menys utilitzats son el power I els botons de 1 i 2.
  • .A més com a mando es interesant destacar que es controla amb una sola ma, te una forma bastant hergonomica(per exemple com deiem abans, els botons mes utilitzats son els més acesiblesrapidament, mentre els de menys us son més llunyans I dificilsd’accedir) I el seu cost es relativament baix, el que el converteix en un dispositiu molt atractiu per experimentar. Un dispositiu ideal per interficiesmultimodals. Cal dir que per accedir a totes les dades dels sensors s’ha fet enginyeria inversa I webs com wiibrew.org contenen tota la informació al detall que s’ha aconseguit obtenir per tal de permetre una communicacióbidireccional amb el wiimote. Altres coses interesants derivades de les seves caracteristiques es que al ser inalambric I nomes requerir una mà dona com més llibertat a l’usuari, evidentment Nintendo ho ha sapigut explotar desde un bon principi treient jocs com el de tennis. Per que amb aquesta llibertat de moviment el que es preten també es crear una interacció més immersiva.
  • Aprofitant la binentesad’ambientsimmersiusnema mostrar primerament un projecte que fa servir algunes de les capacitats del mando de la wii per crear un espai d’interaccio més immersiu
  • Com deia abans “algunes” de les capacitats del mandoperque no n’aprofita pas totes. De fet el que tracta de fer es controlar la posició respecte el mon virtual a traves del tracking IR que pot fer el mando. No s’en fa us de l’accelerometre tot I que podria haver sigut una opció interesant doncs per exemple carregar l’arma amb una sacsejada. El projecte consta de dos parets en angle de 90 graus amb 2 projectors un per a cada parte on a la imatge projectada se li ha aplicat la corresponent distorsió. Com s pot veure en el grafic de sote I com dit anteriorment el mando de la wiinomes pot fer tracking de fins a 4 punts pert tant aixo limita l’espai de moviment a l’hora de moures.
  • Pero potser una de les coses més atraients de poder moures lliurement es poder reconeixer precisament els gestos empleats
  • Primerament dir que els pasostipics a l’hora de reconeixer un gest solen ser l’obtenció de les dades, filtrane aquestes, per exemple en el cas del mando de la wii les dades directes del accelerometren contenen molt de soroll, molts salts per tant cal suavitzar una mica a més a més de detectar el moment en que no es fa res per a no detectar el “no-res” com a moviment, quantitzar, utilitzar un model ocult de markov I finalment un classificador de Bayes. No entrarem en detall pero si que aquests dos ultimspasos en el cas del 1$ recognizer que van aprlar els nostres companys en una presentació es porta de manera diferent sense utilitzar estadistica.En quant als resultats sobre la implementació d’aquet model coma reconeixedor cal dir que el nombre d’usuaris que es van evaluar era bastant limitat (només 6) pero els resultats son bastant prometedors amb un reconeixement del 85 al 95, el que deixa encara bastant espai. Tot el projecte es pot trobar online a http://wiigee.sourceforge.net
  • Existeixen projectes només dedicats al reconeixement de gestos, com wiigee que es l’mplementació del model anterior I els resultats mostrats anteriorment, I d’altres com WiiGle. Ambdosopensource.
  • Per a qué ens pot interesarreconeixergestos? Doncs perques’obren moltes més posibilitats que no pas totes les combinacions de botons posibles, I en molts casos fins I tot els gestos son més facils de recordar. Nem a veure alguns exemples de mapeig de gestos
  • Alguns exemples es trovenfacilment en el mon de la música. Per exemple el director d’orquestra que mou la seva baqueta per conduir-la. Son facilmentidentificables coma mínim 4 caracteristiques de control amb el seu moviment. A la esquerra per exmpel es troben els gestos pels compasos 2/4 I 4/4 (fer el gest). Ara bé cal analitzar les dades rebudes a partir del accelerometre per veure com mapejar els 4 controls
  • Primer de tot cal identificar el “beat”, el que no es trivial. En el cas del 2/4 podem només observant la informació de l’eix de les y detectar les pujades I baixades I determinar quan es produeix el beat. Amb el compas 4/4 caldrà a més tenir en compte l’eix de les X. Un cop es poden identificar una sequencia de “beats” aquets son els que determinen el “tempo”. El volum es pot facilmentmapejar amb l’amplitud del gest. Per últim 2 propietats de l’articualaciótbfacils de reconeixer son el Legato (transició de notes suaument) y el Staccato (transició brusca de notes, notes separades. Veien les grafikes veiem kom al Staccato son cops “secs” ambinstatnts petits d’acceleració, mentre el patró del Legato es molt més suau.
  • Provem ara amb quelcom més dificl com una bateria. S’intentamapejarnomes el Tom, el Snare y el Hi-hat que es poden veure marcats a la foto. A més a més es fara servir un Nunchukconectat (el k ens dona un acelerometre més) Amb 2 mandos es vol mapejar 3 instruments de la bateria. Si s’observa el patro dels accelerometres com k el Hi-Hat està una mica més elevat que el Tom la força que s’aplica sobre aquest també es menor. A la grafica podem observar que la força aplicada sobre Hi-hat esta per sota de 0, mentre que per sobre de 0.7 sempre esta Tom. Aquest dos mapejos van ser provats tan amb usuaris amb experiencia en musica com amb usuaris sense cap tipus d’experiencia. Cal remarcar que mentres els que en sabien de musica estaven més pendents del so generat I era molest el retard, pels usuaris sense nocions era més important la relacioaccio-reaccio amb el gest I no eren tan capazos de notar el retard. Els usuaris sense nocions de musica tot I continuar trovant-se amb dificultats per seguir el ritme es divertien tocant de manera aleatoria, per tant es pot dir que hi havia una certa afinitat, un cert tipus de “user experience” agradable del sistema.
  • Es fan tests amb 15 voluntaris (pocs), 7 estudiants d’informatica. Conclusions, els testos de les 3 interaccions respecte al joystick normal tenen significativament menys “failures”.Leg interface menys problemes a les curves k joystick. No rellevant en salts I caigudes.Tpk rellevant temps fins primer error ni temps en acabar recorregut. Canells I cames millor puntuacio com a immersiok el joystick. Tb han agradat més.Wiimoted based interfaces control més fàcil. Segons les enquestes legs mes immersive, pero alguns trovaven a faltar k no coria/caminava a la mateixa velocitat k ells movien les cames. Girar era mes facil per alguns mentre d’altres van valorar menys divertit el fet de haver de girar el cap, ja que girar el cap es gira el punt de vista I es fa més dificil. Canellstb més immersivakjoystick.moltfacilde fer nar potser derivat del fet k requereix menys moviment k la interficiecames o braços.La arm interface tot I k la valoren intuitiva es trovenk es dificil de fer servir. Tb coma comentari alguns van fer notar k la interfici amb les cames era la que cansava més.El que es interesant destacar que amb les interficies creades que son més immersives que el joystick normal també tenen més delay, perosemlar ser que el fet de ferles més immersives mitiga les queixes per delay. Intuitivament els usuaris sabem kdespres de fer una accio hi ha un cert temps de retard fins k el caracter virtual la “copia”.
  • No per aixo tots els mapejos hand e ser directament de les dades rebudes dels accelerometres. Aquest es un exmplemolt concret en un context molt determinat d’on primerament es van identificar tota una serie de requisits que despres es van mapejar. En aquest cas l’objectiu es poder treballar de manera semmiimmersiva amb dades volumetriques (per exemple una TAC). Es van posar en contacte amb cirurgians I es va pensar la manera que poguessin tenir una eina poc invasiva, hergonomica I util a les seves necesitats de visualització. L’analisis de necesitatas va fer veure que principalment eren dues, apuntar I manipular. Amb subaccions diferents depenent l’estat. En l’esttad’apuntar doncs agrandar el punter, fixar-lo o simplement mourel, mentresk en l’stat de manipulació doncs rotar, fer zoom, etc. Finalment es va optar com a millor solucio utilitzar un wiimote on el canvi d’stat principal es far mitjançant el boto HOME mentres totes les altres operacions encesaries es mapejen. El tot es va desenvolupar fent servir tb una llibreria opensource per visualitzar dades mediques anomenada MITO. Entre les conclusions a destacar per a que pugui tenir un major exit de futur es considerar la multiinteracció ja que normalemnt els metges comparteixen I discuteixen sobre un model.
  • De les conclusions dels estudis anteriors el que tb ens hauriem de fixar no es només en com mappegar els gestos, sino en saber evaluar la usabilitat dels mateixos, si son comprensibles I facils de fer servir, si son útils. Per aixo en destacarem un petit projecte on el mapeig dels gestos no es tant important en si, sinol’evaluacio de l’usabilitat dels mateixos
  • La idea es poder fer controlar alguns gestos dels personatges virtuals de Second Life. De fet hi ha molt poca literatura referent a com disenyargestos en 3D. Una de les posibles guies a seguir son els pasos que indica en Nielsen.
  • Es van fer servir 10 eprsones, totes habituades a teclat/ratoliperok no havien fet mai servir el wiimote. Primer sles demana gestosrelacionantsmab la navegacio.Sel’s va demanar com farien els gestos de Hey,laught,point me, point you, yes/agree, no/disagree. Per la navegacio van observar que els participants preferien fer servir els buttons que fer un gest. Per la segona meitad de gestos es va tendir ha imitar el moviment de la mà del avatar, fins hi tot en accions on la ma de l’avatarapenes es mou. Per el Si/no nomes 2 persones van preferir butons. Com a curiositat una persona es va posar el mando al cap per fer el moviment del cap, mentres la resta va fer el tipic moviment de dalt a baix pel si I de dreta-esquerra pel no. El “laught” no es pot mapejar bé pero ho van intentar de diverses formes. Dlesgestos van bservarknomes 5 eren comuns a tos els participants: Hey, yes, no, point at me, point at you. Cal destacar que tot I les repostes positives de feedback el percentatge de encert al primer intent es encara distant de d’altres més convencionals com el teclat
  • Un dels projectes per crear aplicacions amb el wiimote es la llibreria WiiMedia. Algunes de les aplicacions fetes amb aquesta llibreria son AceSpeeder2Wii (simulador de carreres amb coxes antigravetat tipus wipeout), PapierPoupee Painter (programa per nens per dibuixar per pantalla), JaWii (simulador d’esgrima)

Wiimote Wiimote Presentation Transcript

  • Around the Wiimote
    Xavier Cosp
    Jordi Vallverdú
    Ignasi Delgado
  • Introduction
  • Immersive environments
    • Use Wiimote’s IR tracking capability
    • 5 sensor bars
    • Half Life 2 game engine
    • Screen image was split in half
    • View point for each is rotated 45 degrees
    • Aiming and looking modified to follow bounding box approach
  • Gesture Recognition
  • Example gestures:
    Example recognizer model:
    Some results:
  • Mapping Gestures
  • Gestures in Music: Conducting
    A gesture to control:
    • Tempo
    • Volume
    • Legato
    • Staccato
  • Gestures in Music: Percussion
  • Gestures for virtual characters: virtual creature
  • Other Mappings: Volumetric Medical Data
  • Usability
  • Gestures for virtual characters: Second Life
    Determine the desired functions
    Study the actions potential users would use to perform
    Use that information to determine gesture vocabulary
    Benchmark the gesture interface using usability tests
    (Nielsen)
  • Gestures were easier to remember and more enjoyable
    Hand gestures as “Hey” can be easily mapped in an intuitive gesture, rather than facial gestures like “look”
  • Conclusions
  • Innovative multimodal input device
    More freedom of movement (+ immersive)
    Wireless communication
    Acceleration as input
    Intuitive
    Ergonomic
    Cheap
    Not much literature on 3D input navigation
    Not enough usability interfaces tests
    “Ease” of use (lots of information on Web, and frameworks resources)
  • Thanks!
  • References
    • Torben  Schou,  Henry  J.  Gardner,  A  Wii  remote,  a  game  engine,  five  sensor  bars   and  a  virtual  reality  theatre,  OZCHI  '07:  Proceedings  of  the  19th  Australasian   conference  on  Computer-­‐Human  Interaction:  Entertaining  User  Interfaces  
    • Akihiko  Shirai,  Erik  Geslin,  Simon  Richir,  WiiMedia:  motion  analysis  methods   and  applications  using  a  consumer  video  game  controller,  Sandbox  '07:   Proceedings  of  the  2007  ACM  SIGGRAPH  symposium  on  Video  games  
    • Sreeram Sreedharan,  Edmund  S.  Zurita,  Beryl  Plimmer,  3D  input  for  3D  worlds,   OZCHI  '07:  Proceedings  of  the  19th  Australasian  conference  on  Computer-­‐ Human  Interaction:  Entertaining  User  Interfaces  
    • Thomas  Schlömer,  Benjamin  Poppinga,  Niels  Henze,  Susanne  Boll,  Gesture   recognition  with  a  Wii  controller,  TEI  '08:  Proceedings  of  the  2nd  international   conference  on  Tangible  and  embedded  interaction  
    • Takaaki Shiratori,  Jessica  K.  Hodgins,  Accelerometer-­‐based  user  interfaces  for   the  control  of  a  physically  simulated  character,  SIGGRAPH  Asia  '08:  SIGGRAPH   Asia  2008  papers  
    • Luigi  Gallo,  Giuseppe  De  Pietro,  Ivana  Marra,  3D  interaction  with  volumetric   medical  data:  experiencing  the  Wiimote,  Ambi-­‐Sys  '08:  Proceedings  of  the  1st   international  conference  on  Ambient  media  and  systems  
    • Torben  Schou,  Henry  J.  Gardner,  A  surround  interface  using  the  Wii  controller   with  multiple  sensor  bars,  VRST  '08:  Proceedings  of  the  2008  ACM  symposium   on  Virtual  reality  software  and  technology  
    • Elaine  L.  Wong,  Wilson  Y.  F.  Yuen,  Clifford  S.  T.  Choy,  Designing  Wii  controller:  a   powerful  musical  instrument  in  an  interactive  music  performance  system,   MoMM  '08:  Proceedings  of  the  6th  International  Conference  on  Advances  in   Mobile  Computing  and  Multimedia