Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Usabilidad, ux … cómo lo medimos?

2,767 views

Published on

Conferencia realizada enla Universidad Autonomade Occidente (Cali, Colombia)

Fecha: jueves 30 de julio
Hora: 10:30
Lugar: auditorio Xepia

Published in: Engineering
  • Be the first to comment

Usabilidad, ux … cómo lo medimos?

  1. 1. Usabilidad, UX … ¿cómo medimos? Universidad AUTÓNOMA de Occidente Cali, Colombia Toni Granollers (julio, 2015)
  2. 2. Usabilidad Interfaz Amigable User Friendly User eXperience Factores humanos Accesibilidad …… Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 2 / 60
  3. 3. Pero Qué pasaba hace tan solo unos años? Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 3 / 60
  4. 4. Usaqué ? 2000 2013 Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 4 / 60
  5. 5. Índice • Contextualización • Usabilidad • UX • HCI / IPO • Medición de la usabilidad • a partir de los atributos que la definen • System Usability Scale (SUS) • Medición del componente emocional Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 5 / 60
  6. 6. Evolución de las TICs 1981 Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 6 / 60
  7. 7. 1983: 400 computers on the #internet. Today: one billion + (plus smart phones!) http://vimeo.com/album/3096607/video/110794988 Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 7 / 60
  8. 8. Usabilidad • Definición “coloquial” [J. Preece, 1994] • Sistemas fácilesde usar y de aprender • Definición formal [ISO 9241-11] • la medida en la que un producto se puede usar por determinados usuarios para conseguir objetivos específicos con efectividad, eficiencia y satisfacción en un contexto de uso especificado” Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 8 / 60
  9. 9. Usabilidad USABILIDAD EFECTIVIDAD EFICIENCIASATISFACCIÓN Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 9 / 60
  10. 10. Dimensiones de la usabilidad EFECTIVIDAD EFICIENCIASATISFACCIÓN puede ser medida o evaluada por observación del usuario mientras realiza tareas de interacción y se puede medir mediante métodos tradicionales indica la usabilidad percibida o satisfacción de uso, y es difícil de entender y de medir Usabilidad OBJETIVA o inherente Usabilidad SUBJETIVA o aparente Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 10 / 60
  11. 11. Usabilidad en Objetos cotidianos Los objetos bien diseñados son fáciles de interpretar y de comprender. Los objetos mal diseñados pueden ser difíciles de utilitzar y frustran al usuario Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 11 / 60
  12. 12. No confundir usabilidad con otros atributos de la interfaz de usuario (UI) http://www.awwwards.com The awards for design, creativity and innovation on the Internet Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 12 / 60
  13. 13. User eXperience Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 13 / 60
  14. 14. Car UX http://www.teslamotors.com/models/photo-gallery Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 14 / 60
  15. 15. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 15 / 60
  16. 16. UI UX Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 16 / 60
  17. 17. UX design is about usability submit submit vs UI design Function: it works submit vs Usbility design Action: it works WELL cancel submit cancel Yes, complete my order UX design Emotion: it works well and makes me say Wow! No, thanks Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 17 / 60
  18. 18. User Experience Honeycomb Peter Morville http://www.pageportfolio.net/2013/05/31/ux-services-i-provide Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 18 / 60
  19. 19. Experiencia de usuario User eXperience (UX) “La experiencia de usuario atiende a todos los factores, tanto internos como externos del usuario y del sistema interactivo, que causen alguna sensación a quien esté utilizando un sistema interactivo concreto en un determinado contexto de uso.” • Is a “consequence of the presentation, functionality, system performance, interactive behaviour, and assistive capabilities of the interactive system” • It includes aspects such as human factors, design, ergonomics, HCI, accessibility, marketing as well as usability http://usabilitygeek.com/the-difference-between-usability-and-user-experience Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 19 / 60
  20. 20. Human-Computer Interaction (HCI) Interacción Persona-Ordenador (IPO) • Disciplina relacionada con el diseño, implementación y evaluación de sistemas informáticos interactivos para el uso de personas y con el estudio de los fenómenos más importantes con los que se relaciona [ACM SIGCHI curriculla, 1992, p 6] http://sigchi.org Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 20 / 60
  21. 21. Índice Contextualización Usabilidad UX HCI / IPO • Medición de la usabilidad • a partir de los atributos que la definen • System Usability Scale (SUS) • Medición del componente emocional Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 21 / 60
  22. 22. Los humanos tenemos la necesidad de medirlo todo Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 22 / 60
  23. 23. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 23 / 60
  24. 24. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 24 / 60
  25. 25. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 25 / 60
  26. 26. Fuente. http://www.cida.ve/cida_home/index.php?option=com_content&view=article&id=601:-el-cida-promueve-proyecto-eratostenes-america&catid=1:ultimas-noticias&Itemid=54 Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 26 / 60
  27. 27. pero .... ¿cómo medimos la usabilidad y/o la UX ? Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 27 / 60
  28. 28. Medición de la Usabilidad • Inicialmente, la medición de la usabilidad SOLO estaba enfocada a la efectividad y a la eficiencia • did people reach the right conclusion with a minimum expenditure of effort and as few mistakes as possible? • effectiveness and efficiency were key to the safety of industrial processes, or decisions with potentially serious consequences. mitad 80’s Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 28 / 60
  29. 29. Medición de la Usabilidad • Posteriormente, especialmente desde la emergencia de la ofimática, las opiniones de lo susuarios finales adquiren relevancia • If a system gained a reputation for being difficult to use, that often led to greater requirements for support (and consequent costs), both within the organization deploying the system, and for the vendor of the system, and potentially had a major influence on initial decisions to purchase the system • Surge la necesidad de medir las opiniones subjetivas sobre el uso de un sistema mitad 90’s Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 29 / 60
  30. 30. Medición de la Usabilidad • No concreta sobre la usabilidad, solo que algo es usable si es apropiado en su contexto de uso ISO 9241 part 11 El contexto incluye: • Las tareas • El backgroud • La experiencia del usuario • El entorno Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 30 / 60
  31. 31. Unix shell command line interface es usable esta interfaz? Fuera de su contexto (mediados 70’s, para ingenieros y científicos que manipulaban expresiones simbólicas) NO Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 31 / 60
  32. 32. Medición de la Usabilidad USABILIDAD EFECTIVIDAD EFICIENCIASATISFACCIÓN si la gente puede completar sus tareas y alcanzar sus metas el grado en que se consumen los recursos en la consecución de sus objetivos el nivel de comodidad que experimentan en el logro de esos objetivos Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 32 / 60
  33. 33. EFECTIVIDAD Medición de la Usabilidad • Atributo definido en función de las TAREAS por las cuales un sistema es utilizado • Expresado en términos de recursos utilizados o en actividad no productiva (cómo en solucionar errores), TIEMPO. EFICIENCIA Parámetros relativamente fáciles de medir Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 33 / 60
  34. 34. SATISFACCIÓN Medición de la Usabilidad • Expresado en términos de OPINIONES subjetivas de un conjunto de usuarios. • Condicionado por: • Conocimiento de otros sistemas (comparación) • Cada uno tiene su percepción personal • Estado anímico/emocional (una misma persona puede dar opiniones diferentes sobre un mismo sistema) • Tiempo de medición Parámetro altmente difícil de medir Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 34 / 60
  35. 35. SYSTEM USABILITY SCALE (SUS) The System Usability Scale (SUS) was released by John Brooke in 1986 Una “vieja” herramienta muy actual y con mucho recorrido Font:https://www.measuringu.com/blog/10-things-SUS.php Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 35 / 60
  36. 36. System Usability Scale (SUS) • A tool that would allow us (usability analysts) to take a quick snapshot of people’s satisfaction with using the systems that we were asking them to use, and that we could use as a yardstick to compare one system with another or to compare a new version of a system with an earlier incarnation. Es este atributo más importante que los anteriores? Seguramente NO, pero las evaluaciones subjetivas suelen ser determinantes a la hora de recomendar un sistema a otras personas. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 36 / 60
  37. 37. SUS: contexto • Vax/VMS system by Digital Equipment Corporation (DEC), in the mid-1970s This was not a very exciting system from a user interface design point of view, having a menu interface on VT100 terminals. However, we also worked on a number of other products that were very much on the cutting edge of technology at the time, such as DECtalk Mail Access, which used the DECtalk text-to-speech synthesizer (the voice synthesizer used by Stephen Hawking sounds pretty much identical to DECtalk’s “Perfect Paul” voice) to read your ALL-IN-1 emails over the phone when you were out on the road—pretty new and exciting stuff for 1984. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 37 / 60
  38. 38. System Usability Scale (SUS) • Un cuestionario de tan solo 10 preguntas: 1. I think that I would like to use this system frequently. 2. I found the system unnecessarily complex. 3. I thought the system was easy to use. 4. I think that I would need the support of a technical person to be able to use this system. 5. I found the various functions in this system were well integrated. 6. I thought there was too much inconsistency in this system. 7. I would imagine that most people would learn to use this system very quickly. 8. I found the system very cumbersome to use. 9. I felt very confident using the system. 10.I needed to learn a lot of things before I could get going with this system. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 38 / 60
  39. 39. SUS: Puntos importantes • Alternancia de ítems para evitar distorsión en las respuestas. • El cuestionario invita a responder rápidamente, aunque la alternancia de respuestas negativas con positivas fuerza al usuario a leer con mayor atención para responder si estan o no de acuerdo con cada pregunta “all-positive” SUS version Sauro. J., & Lewis, J. (2011). When designing usability questionnaires, does it hurt to be positive? Proceedings of the Conference in Human Factors in Computing Systems (CHI 2011). Vancouver, BC, Canada: ACM. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 39 / 60
  40. 40. # All Positive SUS Originial SUS 1 I think that I would like to use the website frequently. I think that I would like to use this system frequently. 2 I found the website to be simple. I found the system unnecessarily complex. 3 I thought the website was easy to use. I thought the system was easy to use. 4 I think that I could use the website without the support of a technical person. I think that I would need the support of a technical person to be able to use this system. 5 I found the various functions in the website were well integrated. I found the various functions in this system were well integrated. 6 I thought there was a lot of consistency in the website. I thought there was too much inconsistency in this system. 7 I would imagine that most people would learn to use the website very quickly. I would imagine that most people would learn to use this system very quickly. 8 I found the website very intuitive. I found the system very cumbersome to use. 9 I felt very confident using the website. I felt very confident using the system. 10 I could use the website without having to learn anything new. I needed to learn a lot of things before I could get going with this system. Font: http://www.measuringu.com/positive-negative.php Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 40 / 60
  41. 41. SUS: Utilización • SUS se utiliza generalmente • después de que un usuario ha tenido la oportunidad de utilizar un sistema y • antes de que cualquier informe o discusión tenga lugar. • Se solicitará a los usuarios el registro inmediato de su respuesta a cada punto, sin dar lugar a pensar o reflexionar sobre los mismos. • Todos los puntos han de ser comprobados. • Si el usuario no se siente capaz de responder a alguna cuestión en particular, deberá señalar el valor central de la escala. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 41 / 60
  42. 42. SUS: Utilización • Puntuación de la escala SUS • Escala tipo Likert que genera un único número que representa una medida compuesta de la usabilidad del sistema global sometido a estudio: Para equiparar las valoraciones positivas con las negativas a) Preguntas POSITIVAS (1, 3, 5, 7 y 9), la contribución será el valor de la escala menos 1 b) Preguntas NEGATIVAS (2, 4, 6, 8 y 10), la contribución será 5 menos el valor de la escala. c) Finalmente, se multiplica la suma de los resultados por 2.5 para obtener el valor global del SUS Para obtener un valor entre 0 y 100 Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 42 / 60
  43. 43. SUS: Interpretación CUIDADO el valor de la escala NO debe interpretarse cómo un valor porcentual (porcentaje de usabilidad del sistema evaluado) Figure. Grade rankings of SUS scores from “Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale,” by A. Bangor, P.T. Kortum, and J.T. Miller, 2009, Journal of Usability Studies, 4(3), 114-123 Figura obtenida tras valorar más de 3,500 test de SUS Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 43 / 60
  44. 44. SUS: Interpretación Figure. Percentile rankings of SUS scores from “A Practical Guide to the System Usability Scale: Background, Benchmarks, & Best Practices,” by J. Sauro, 2011, Denver, CO: Measuring Usability LLC … pero si cómo un percentil Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 44 / 60
  45. 45. SUS: Ejemplo 1 2 3 4 5 1 Creo que me gustará visitar con frecuencia este website 5 4 2 Encontré el website innecesariamente complejo 4 1 3 Pensé que era fácil utilizar el website 2 1 4 Creo que necesitaría del apoyo de un experto para recorrer el website 1 4 5 Encontré las diversas posibilidades del website bastante bien integradas 2 1 6 Pensé que había demasiada inconsistencia en el website 3 2 7 Imagino que la mayoría de las personas aprenderían muy rápidamente a utilizar el website 2 1 8 Encontré el website muy grande al recorrerlo 4 1 9 Me sentí muy confiado en el manejo del website 5 4 10 Necesito aprender muchas cosas antes de manejarme en el website 2 3 22 x 2,5 Positivas: valor - 1 Negativas: 5 - valor 55 Grado de aceptación BAJO Percentil  20% Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 45 / 60
  46. 46. SUS: Sigue siendo válido para la tecnología moderna • Adaptando la terminología (web, celular, tablet, ...) el cuestionario es totalmente vigente • Las preguntas no hacen referencia a la tecnología en sí misma sino que preguntan respecto a su uso • La ponderación de las 10 respuestas proporciona una medida genérica de la usabilidad percibida. Pero NO deben tomarse cómo la ÚNICA MEDIDA de usabilidad siempre fue así … SUS is pretty much technology-neutral Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 46 / 60
  47. 47. SUS: comparativa “A Comparison of Questionnaires for Assessing Website Usability,” by T. S. Tullis and J. N. Stetson, 2004, Proceedings of UPA 2004 Conference SUS enables you to get a measure of the perceived usability of a system with a small sample (say, 8-12 users) • SUMI, Software Usability Measurement Inventory • WAMMI, Website Analysis and MeasureMent Inventory • QUIS, Questionnaire for User Interaction Satisfaction • UEQ, User Experience Questionnaire Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 47 / 60
  48. 48. SUS: conclusiones • Fiable. Los usuarios responden de forma consistente y ha demostrado su utilidad para tamaños de muestra más pequeños que otros cuestionarios. • Válido. Es decir, se mide lo que pretende medir. • No es un diagnóstico. No dice lo que hace que un sistema sea usable o no. • El valor NO es porcentaje. Aunque pueden interpretarse cómo percentiles. • El valor SUS tiene muy poca relación con el desempeño o el rendimiento de las tareas, • por lo que no es de extrañar que las evaluaciones subjetivas de las personas pueden no ser compatibles con si o no tuvieron éxito usando un sistema. • Las evaluaciones subjetivas de la usabilidad son sólo un componente de la construcción general de la usabilidad. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 48 / 60
  49. 49. Índice Contextualización Usabilidad UX HCI / IPO Medición de la usabilidad a partir de los atributos que la definen System Usability Scale (SUS) • Medición del componente emocional Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 49 / 60
  50. 50. Medición del componente EMOCIONAL de la UX PANAS, Positive and Negative Affect Scale Escala de afecto positivo y negativo (1988) Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 50 / 60
  51. 51. Medición del componente EMOCIONAL de la UX PrEMO (2004) Emocards (2001) LemTool (2013) GEW (2012) Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 51 / 60
  52. 52. Medición del componente EMOCIONAL de la UX GEW+ (2015) Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 52 / 60
  53. 53. Medición del componente EMOCIONAL de la UX Emotiv EPOC Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 53 / 60
  54. 54. ... Para FINALIZAR un ejemplo Liquid Galaxy Space Navigator Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 54 / 60
  55. 55. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 55 / 60
  56. 56. Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 56 / 60
  57. 57. Conclusión • Tras una contextualización a los conceptos de básicos del “mundo HCI” (cómo son Usabilidad y UX), • he dedicado la mayor parte de mi charla a insistir en la “Medición de la usabilidad”, • centrando mi exposición en el método largamente utilizado y totalmente válido actualmente System Usability Scale (SUS), y • en cómo medir del componente emocional de la UX Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 57 / 60
  58. 58. SUS: Bibliografia “A Practical Guide to the System Usability Scale: Background, Benchmarks & Best Practices” Jeff Sauro 2011 “Quantifying the User Experience: Practical Statistics for User Research” Jeff Sauro 2012 “Excel and R Companion to Quantifying the User Experience: Rapid Answers to over 100 Examples and Exercises” James R Lewis & Jeff Sauro 2012 “Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics (Interactive Technologies) 2nd Edition” William Albert & Thomas Tullis 2013 Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 58 / 60
  59. 59. SUS: Bibliografia • Measuring Usability with the System Usability Scale (SUS), Jeff Sauro • http://www.measuringu.com/sus.php • “Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale,” by A. Bangor, P.T. Kortum, and J.T. Miller, 2009, Journal of Usability Studies, 4(3), 114-123 • Brooke, J. SUS: A Retrospective, by John Brooke. Journal of Usability Studies. Vol. 8, Issue 2, February 2013 pp. 29-40 • http://uxpajournal.org/sus-a-retrospective Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 59 / 60
  60. 60. Gracias por su atención !!! Toni Granollers Escola Politècnica Superior Universitat de Lleida (UdL) C/ Jaume II, 69 25001 – Lleida (Catalonia) (+34) 973 702750 antoni.granollers@udl.cat @DCU_MPIUA slideshare.net/DCU_MPIUA   @ Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 60 / 60

×