Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
cnológico 
Subsecretaría de Educación Superior 
Dirección General de Educación Superior Tecnológica 
Coordinación Sectoria...
Dedicatorias. 
A mis abuelos que han sido un gran ejemplo y pilar en mi vida; sus 
palabras de aliento siempre presentes d...
AGRADECIMIENTOS 
En primer lugar quiero agradecer al Consejo Nacional de Ciencia y 
Tecnología (CONACYT) ya que sin el apo...
Resumen 
En este documento se habla acerca de la importancia de realizar evaluaciones centradas en 
el usuario para conoce...
Abstract 
This document discusses the importance of user-centered evaluation about the experience 
during the interaction ...
iii 
Contenido 
1" Introducción .............................................................................................
3.3" Users’ Eye Gaze Pattern in Organization-based Recommender Interfaces (Pu, 
Chen, & Pearl, 2011) ........................
4.1.6" Etapa 6.- Aplicación de Recomendaciones en Mejoras al Sistema ................... 45" 
4.1.7" Etapa 7.- Aplicación ...
6.5.5" Cuestionario de Efectividad .............................................................................. 85" 
6.5...
Índice de Tablas 
Tabla 3-1Preguntas para medir aspectos subjetivos .........................................................
Índice de Gráficos 
Gráfico 6-1 Sexo ........................................................................................
ix 
Índice de Figuras 
Figura 1-1 Framework for the user-centric evaluation of recommender systems, Bart P. 
Knijnenburg e...
CAPÍTULO I 
Introducción
Capítulo I. Introducción 
1 Introducción 
Actualmente la computación ubicua3 se ha convertido en algo indispensable para l...
Capítulo I. Introducción 
El objetivo de esta investigación fue la combinación de diferentes técnicas existentes para 
dis...
Capítulo I. Introducción 
Siendo los anteriores el comienzo del CARS creado por el grupo de desarrollo de CARS (por 
sus s...
Capítulo I. Introducción 
1.2 Planteamiento del Problema 
De acuerdo a la revisión de la literatura, los trabajos que se e...
Capítulo I. Introducción 
1.3 Objetivo 
Desarrollar una metodología de evaluación basada en las mejores técnicas existente...
Capítulo I. Introducción 
débiles que afectan las expectativas de los usuarios durante su uso para así realizar las 
modif...
Capítulo I. Introducción 
Cabe mencionar que para realizar las pruebas a este trabajo se evaluó un SRSC (Sistema de 
Recom...
Capítulo I. Introducción 
1.6 Estructura del Documento 
El presente documento se encuentra organizado en siete capítulos, ...
CAPÍTULO II 
Fundamento teórico
Capítulo II. Fundamento teórico 
2 Fundamento Teórico 
Buscando la elaboración de la metodología que nos permita realizar ...
Capítulo II. Fundamento teórico 
Para la elaboración de nuestra metodología se han encontrado distintos instrumentos y 
té...
Capítulo II. Fundamento teórico 
A continuación se describe cada uno de los tipos de test aplicables a evaluaciones en un ...
Capítulo II. Fundamento teórico 
2.7 Técnicas de Evaluación Formativa 
2.7.1 Técnica de Evaluación Heurística 
En (Nielsen...
Capítulo II. Fundamento teórico 
Para esta técnica dentro del reporte UAR son descritos los aspectos encontrados dentro de...
Capítulo II. Fundamento teórico 
2.7.4 Técnica de Entrevistas 
En el libro “Usability Engineering” de Jakob Nielsen (Niels...
Capítulo II. Fundamento teórico 
2.8 Técnicas de Evaluación Sumativa 
2.8.1 Técnica de Cuestionarios 
Dentro de los cuesti...
Capítulo II. Fundamento teórico 
Cabe mencionar que en la actualidad existen algunos cuestionarios elaborados para realiza...
Capítulo II. Fundamento teórico 
Generalmente, un SR se enfoca a un determinado tipo de ítem (música, películas, noticias,...
Capítulo II. Fundamento teórico 
conocimiento acerca de cómo un elemento en particular responde a una necesidad 
particula...
CAPÍTULO III 
Estado de arte
Capítulo III. Trabajos relacionados 
3 Estado del Arte 
La recopilación de los trabajos documentados para el desarrollo de...
Capítulo III. Trabajos relacionados 
3.2 A Cross-Cultural User Evaluation of Product Recommender 
Interfaces (Pu L. C., 20...
Capítulo III. Trabajos relacionados 
Sensibles al Contexto”, donde se desarrollaron las interfaces de usuario para el SRSC...
Capítulo III. Trabajos relacionados 
3.5 Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un 
Método para Te...
Capítulo III. Trabajos relacionados 
3.6 Arquitectura para la Evaluación de la Usabilidad de Interfaces 
Multimodales (Her...
Capítulo III. Trabajos relacionados 
3.7 User Evaluation Framework of Recommender Systems (Chen & 
Pu, 2010) 
27 
Resumen ...
Capítulo III. Trabajos relacionados 
opción para mí. 
Esfuerzo Percibido Encontré fácilmente la 
información que buscaba. ...
Capítulo III. Trabajos relacionados 
Se menciona también que en ausencia de laboratorio de usabilidad, los diseñadores y 
...
Capítulo III. Trabajos relacionados 
30 
Figura 3-2 Modelo de continuidad de UX 
Similitud 
Este trabajo describe cómo inf...
Capítulo III. Trabajos relacionados 
En la tabla 3-2 se aborda la situación actual de la evaluación de HCI mediante las 
c...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfac...
Upcoming SlideShare
Loading in …5
×

Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfacción Mediante Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales

611 views

Published on

En este documento se habla acerca de la importancia de realizar evaluaciones centradas en el usuario para conocer la experiencia de este durante la interacción con un Sistema de Recomendación Sensible al Contexto (SRSC), operado desde un dispositivo móvil multisensorial, considerando que la principal función de un sistema de recomendación es facilitar la toma de decisiones a los usuarios. Dentro de este documento podemos encontrar la definición de técnicas de evaluación previamente aplicadas por los expertos y los instrumentos que conllevan cada una, así como la adaptación y combinación para la aplicación dentro del estudio de las características de efectividad, confianza y satisfacción percibidas por el usuario en uso de sistemas de recomendación similares a Find-it!1. Por otra parte, es definido el orden asignado a cada una de las técnicas para lograr la depuración de aspectos negativos encontrados durante la evaluación; siendo posible con esto observar como se realiza el acompañamiento mano a mano de la evaluación con el diseño y desarrollo del SRSC, tomando en cuenta todas las recomendaciones brindadas en cada etapa de la metodología propuesta. Este trabajo de investigación fué aplicado directamente durante el diseño y desarrollo del sistema Find-it! obteniendo como resultado la corrección de diversos aspectos negativos encontrados que afectaban directamente la experencia de los usuarios. Algunos de los aspectos encontrados fueron corregidos inmediatamente después de recibir la recomendación logrando una mejoría notoria durante la siguiente etapa de evaluación. La aplicación de otras de las recomendaciones han quedado pendientes para trabajos futuros en el desarrollo del sistema Find-it!.

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfacción Mediante Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales

  1. 1. cnológico Subsecretaría de Educación Superior Dirección General de Educación Superior Tecnológica Coordinación Sectorial Académica Dirección de Estudios de Posgrado e Investigación Centro Nacional de Investigación y Desarrollo Tecnológico Subdirección Académica Departamento de Ciencias Computacionales TESIS DE MAESTRÍA EN CIENCIAS Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfacción Mediante Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales presentada por Ing. Julia Yazmín Arana Llanes como requisito para la obtención del grado de Maestra en Ciencias de la Computación Director de tesis Dr. Juan Gabriel González Serna Cuernavaca, Morelos, México. Junio de 2014.
  2. 2. Dedicatorias. A mis abuelos que han sido un gran ejemplo y pilar en mi vida; sus palabras de aliento siempre presentes durante esta etapa. A mis padres que me han dado la oportunidad de vivir experiencias maravillosas y siempre me han apoyado y guiado de la mejor manera para lograr mis metas y sueños sin soltarme de la mano. A toda mi amada familia que siempre ha estado presente impulsando mis sueños, en especial a mis tías Lili y Peque. A mis hermanas, Marycarmen (Bebe incluído) y Giovanna, que cada día me han demostrado que las cosas grandes y todos los sueños son posibles de alcanzar. A mi novio y gran amigo Mario que me ha apoyado ayudandome a alcanzar metas y a crear nuevos sueños. A todos mis amigos y compañeros de CENIDET que siempre han estado ahí en las buenas y en las malas intercambiando experiencias, alegrias y crecimiento. A la gran generación 2012-2014 Juan Carlos e Hiram.
  3. 3. AGRADECIMIENTOS En primer lugar quiero agradecer al Consejo Nacional de Ciencia y Tecnología (CONACYT) ya que sin el apoyo económico brindado no hubieran sido posibles el desarrollo de esta tesis y una estancia de investigación en el extranjero. Agradezco también al Centro Nacional de Investigación y Desarrollo Tecnológico (CENIDET) por haberme permitido realizar los estudios de una Maestría en Ciencias. A su personal académico por su gran aporte y experiencias que han influenciado en mi formación académica. Deseo Agradecer también a mi Director de Tesis el Dr. Juan Gabriel González Serna por el tiempo empleado para guiarme y apoyarme durante todo el periodo de mi estancia en CENIDET. A mis revisores el Dr. Máximo López Sánchez, el Dr. Javier Ortiz Hernández y la Dra. Azucena Montes Rendón, quienes me regalaron su tiempo de revisiones, correcciones, consejos y sugerencias acerca del trabajo desarrollado. A la UNIVERSITY OF CALIFORNIA, Irvine. En especial al Dr. Alfred Kobsa y el estudiante de doctorado Bart Knijnenburg que me ofrecieron una estancia muy provechosa en un ambiente de confianza y lleno de conocimiento. Al Gobierno del Estado de Querétaro y al Gobernador José Calzada Rovirosa, por el apoyo económico brindado para la publicación de un artículo y asistencia al congreso internacional CSCI’14 derivado del trabajo de investigación de esta Tesis. A todos, !Muchas Gracias!
  4. 4. Resumen En este documento se habla acerca de la importancia de realizar evaluaciones centradas en el usuario para conocer la experiencia de este durante la interacción con un Sistema de Recomendación Sensible al Contexto (SRSC), operado desde un dispositivo móvil multisensorial, considerando que la principal función de un sistema de recomendación es facilitar la toma de decisiones a los usuarios. Dentro de este documento podemos encontrar la definición de técnicas de evaluación previamente aplicadas por los expertos y los instrumentos que conllevan cada una, así como la adaptación y combinación para la aplicación dentro del estudio de las características de efectividad, confianza y satisfacción percibidas por el usuario en uso de sistemas de recomendación similares a Find-it!1. Por otra parte, es definido el orden asignado a cada una de las técnicas para lograr la depuración de aspectos negativos encontrados durante la evaluación; siendo posible con esto observar como se realiza el acompañamiento mano a mano de la evaluación con el diseño y desarrollo del SRSC, tomando en cuenta todas las recomendaciones brindadas en cada etapa de la metodología propuesta. Este trabajo de investigación fué aplicado directamente durante el diseño y desarrollo del sistema Find-it! obteniendo como resultado la corrección de diversos aspectos negativos encontrados que afectaban directamente la experencia de los usuarios. Algunos de los aspectos encontrados fueron corregidos inmediatamente después de recibir la recomendación logrando una mejoría notoria durante la siguiente etapa de evaluación. La aplicación de otras de las recomendaciones han quedado pendientes para trabajos futuros en el desarrollo del sistema Find-it!. 1" Find'it!" es" un" Sistema" de"Recomendación" Sensible" al" Contexto" (SRSC)" desarrollado" dentro" del" grupo" de" CARS" (Contex'Aware"Recommender"System)"del"departamento"de"Sistemas"Distribuídos"en"CENIDET."Este" Sistema" de"Recomendación" brinda" recomendaciones" sobre" ítems" encontrados" en" Institutos" de" Educación" Superior"(IES)"basadas"en"el"contexto"del"usuario." i
  5. 5. Abstract This document discusses the importance of user-centered evaluation about the experience during the interaction with a Context-Aware Recommender System (CARS), operated from a multisensory mobile device, considering that the main function of a recommender system is to facilitate the decision-making of the users. Within this document we can find the definition of evaluation techniques that the experts previously applied and the tools used, as well as the adaptation and combination of this techniques and tools for their application in the study of the characteristics of effectiveness, confidence and satisfaction perceived by the user in the use of similar Recommender Systems to Find-it!2. Moreover, it is defined the order assigned to each of the techniques to achieve the purification of negatives aspects found during the evaluation; with the application of this evaluation it is possible to see the performed design and the development of the CARS considering all the recommendations provided in each stage of the proposed methodology. This research was applied directly during the design and development of Find-it!, allowing the corrections of various negatives aspects that affect directly the users experience (UX). Some of the issues found were corrected immediately after receiving the recommendation of the solution required to the bad aspects, this noticeable improvement has been perceived during the next stage of the evaluation. The implementation of other recommendations improvement, remain outstanding for future work during the development of Find-it system!. 2" Find'it!" is" a" Context'Aware" Recommender" System" (CARS)" developed" within" the" group" of" CARS" at" the" department" of"Distributed"Systems"at"CENIDET."This"Recommendation"System"provides" recommendations" of"items"found"in"Higher"Education"Institutes"(HEIs)"based"on"the"user's"context." i i
  6. 6. iii Contenido 1" Introducción ........................................................................................................................ 2 1.1" Antecedentes .............................................................................................................. 3" 1.2" Planteamiento del Problema ...................................................................................... 5" 1.3" Objetivo ...................................................................................................................... 6" 1.4" Justificación ............................................................................................................... 6" 1.1.1" ¿Por Qué la Elección de los 3 Criterios de Evaluación Seleccionados? ............. 7" 1.5" Beneficios .................................................................................................................. 8" 1.6" Estructura del Documento .......................................................................................... 9" 2" Fundamento Teórico ....................................................................................................... 11" 2.1" Definición de Características a Evaluar ................................................................... 12" 2.2" Tipos de Test ............................................................................................................ 12" 2.3" Test de Evaluación Controlada ................................................................................ 13" 2.4" Test de Evaluación en Campo .................................................................................. 13" 2.5" Test de Evaluación Remota ..................................................................................... 13" 2.6" Tipos de Técnicas e Instrumentos ............................................................................ 13" 2.7" Técnicas de Evaluación Formativa .......................................................................... 14" 2.7.1" Técnica de Evaluación Heurística ..................................................................... 14" 2.7.2" Técnica de Think-Aloud o Pensando en voz alta .............................................. 14" 2.7.3" Técnica de Cognitive Walkthrough ................................................................... 15" 2.7.4" Técnica de Entrevistas ....................................................................................... 16" 2.8" Técnicas de Evaluación Sumativa ........................................................................... 17" 2.8.1" Técnica de Cuestionarios .................................................................................. 17" 2.9" Sistemas de Recomendación .................................................................................... 18" 2.10" Sistemas de Recomendación Sensibles al Contexto (SRSC) ................................... 19" 3" Estado del Arte ............................................................................................................... 22" 3.1" Características a Evaluar: Efectividad, Confianza y Satisfacción ........................... 22" 3.2" A Cross-Cultural User Evaluation of Product Recommender Interfaces (Pu L. C., 2008) ................................................................................................................................. 23"
  7. 7. 3.3" Users’ Eye Gaze Pattern in Organization-based Recommender Interfaces (Pu, Chen, & Pearl, 2011) ........................................................................................................ 23" 3.4" Users’ Decision Behavior in Recommender Interfaces: Impact of Layout Design (Tsoi, 2011) ....................................................................................................................... 24" 3.5" Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un Método para Tests de Usabilidad Cuantitativos basado en Técnicas de Eye-tracking (Seix, 2012) ..... 25" 3.6" Arquitectura para la Evaluación de la Usabilidad de Interfaces Multimodales (Hernández, 2005) ............................................................................................................. 26" 3.7" User Evaluation Framework of Recommender Systems (Chen & Pu, 2010) .......... 27" 3.8" Do We Really Need Traditional Usability Lab for UX Practice? (Sharma, 2013) .. 28" 3.9" Lost in Time: The Meaning of Temporal Aspects in User Experience (Kujala, Vogel, Pohlmeyer, & Obrist, 2013) .................................................................................. 29" 3.10" Analysis in Practical Usability Evaluation: A Survey Study (Følstad, Law, & Hornbæk, 2012) ................................................................................................................ 30" 3.11" Changing Perspectives on Evaluation in HCI: Past, Present, and Future (MacDonald & Atwood, 2013) ......................................................................................... 30" 3.12" State of the Art on the Cognitive Walkthrough Method, Its Variants and Evolutions (Thomas, Mouldi, & Christophe, 2010) ............................................................................ 32" 3.13" Designing and Evaluating Explanations for Recommender Systems (Tintarev & Masthoff, 2011) ................................................................................................................. 32" 3.14" User-Centered Design of a Web Site for Library and Information Science Students: Heuristic Evaluation and Usability Testing (Manzari & Trinidad-Christensen, 2013) .... 33" 3.15" Context Relevance Assessment and Exploitation in Mobile Recommender Systems (Baltrunas, Ludwig, Peer, & Ricci, 2012) ........................................................................ 33" 3.16" Explaining the User Experience of Recommender Systems (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011) ................................................................. 34" 3.17" Tabla Comparativa de Trabajos Relacionados ........................................................ 37" 4" Descripción de la Metodología ....................................................................................... 39" 4.1" Describiendo la Metodología ................................................................................... 40" 4.1.1" Etapa1.- Conociendo al Usuario ........................................................................ 40" 4.1.2" Etapa 2.- Aplicación de la Técnica de Evaluación Heurística .......................... 41" 4.1.3" Etapa 3.- Aplicación de la Técnica Think-Aloud .............................................. 42" 4.1.4" Etapa 4.- Aplicación de Recomendaciones en Mejoras al Sistema ................... 43" 4.1.5" Etapa 5.- Aplicación de la Técnica de Walk Through + Think-Aloud ............. 43" iv
  8. 8. 4.1.6" Etapa 6.- Aplicación de Recomendaciones en Mejoras al Sistema ................... 45" 4.1.7" Etapa 7.- Aplicación de la Técnica de Cuestionarios ........................................ 45" 4.1.8" Etapa 8.- Aplicación de la Técnica de Entrevista .............................................. 46" 4.2" Metodología Final Propuesta ................................................................................... 46" 5" Implementación de la Metodología ................................................................................ 49" 5.1" Framework de Uso de la Metodología ..................................................................... 50" 5.2" Planeación de Pruebas .............................................................................................. 53" 5.2.1" Evaluación Heurística de Nielsen ..................................................................... 53" 5.2.2" Evaluación Think – Aloud ................................................................................ 54" 5.2.3" Conociendo al Usuario ...................................................................................... 55" 5.2.4" Cognitive Walk Through + Think – Aloud ....................................................... 56" 5.2.5" Cuestionarios ..................................................................................................... 57" 5.2.6" Entrevista ........................................................................................................... 57" 5.3" Aplicación de Evaluaciones ..................................................................................... 58" 5.3.1" Aplicación de la Evaluación Heurística ............................................................ 58" 5.3.2" Aplicación de la Evaluación Think- Aloud ....................................................... 58" 5.3.3" Conociendo al Usuario ...................................................................................... 59" 5.3.4" Aplicación de la Evaluación Cognitive Walk Through + Think-Aloud ........... 60" 5.3.5" Aplicación de Cuestionarios .............................................................................. 63" 5.3.6" Aplicación de Entrevista ................................................................................... 64" 6" Pruebas y Resultados ...................................................................................................... 67" 6.1" Evaluación Heurística .............................................................................................. 67" 6.2" Evaluación Think-Aloud .......................................................................................... 68" 6.2.1" Conociendo al usuario ....................................................................................... 68" 6.3" Aplicación y Resultados de Think-Aloud ................................................................ 71" 6.4" Cognitive Walk Through + Think-Aloud ................................................................ 73" 6.5" Cuestionarios ............................................................................................................ 81" 6.5.1" Cuestionario de Entendimiento ......................................................................... 81" 6.5.2" Cuestionario de Esfuerzo Cognitivo Percibido ................................................. 82" 6.5.3" Cuestionario de Confianza ................................................................................ 83" 6.5.4" Cuestionario de Satisfacción ............................................................................. 84" v
  9. 9. 6.5.5" Cuestionario de Efectividad .............................................................................. 85" 6.5.6" Cuestionario de Calidad Percibida en las Recomendaciones ............................ 86" 6.6" Entrevista ................................................................................................................. 87" 7" Conclusiones ................................................................................................................... 93" 7.1" Conclusiones por Técnica Aplicada ......................................................................... 93" 7.1.1" Evaluación Heurística ....................................................................................... 93" 7.1.2" Evaluación Think-Aloud ................................................................................... 94" 7.1.3" Conociendo al Usuario ...................................................................................... 94" 7.1.4" Mejoras al Sistema ............................................................................................ 95" 7.1.5" Evaluación Cognitive Walk Through ................................................................ 95" 7.1.6" Evaluación con Cuestionarios ........................................................................... 95" 7.1.7" Evaluación con Entrevista ................................................................................. 96" 7.2" Conclusión General .................................................................................................. 96" 8" Anexos ............................................................................................................................ 99" 8.1" Plantilla para Reporte de Aspectos de Usabilidad (UAR) ....................................... 99" 8.2" Cuestionario “Conociendo al Usuario” .................................................................. 102" 8.3" Actividades Cognitive Walk Through Descritas ................................................... 104" 8.4" Lista de actividades Cognitive Walk Through ....................................................... 107" 8.5" Preguntas Cognitive Walk Through ....................................................................... 108" 8.6" Cuestionario ........................................................................................................... 109" 8.7" Entrevista ............................................................................................................... 111" 9" Referencias ................................................................................................................... 113" vi
  10. 10. Índice de Tablas Tabla 3-1Preguntas para medir aspectos subjetivos ............................................................. 28" Tabla 3-2 Métodos y/o Técnicas utilizados actualmente en evaluación de HCI .................. 31" Tabla 3-3 Preguntas retomadas y adaptadas de (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011) ................................................................................................................... 36" Tabla 3-4 Tabla Comparativa de Trabajos relacionados ...................................................... 37" Tabla 5-1 Características de Tablets con sistema Find-it! .................................................... 55" Tabla 5-2 CWT Abrir aplicación .......................................................................................... 60" Tabla 5-3 CWT Registro de usuario ..................................................................................... 60" Tabla 5-4 CWT Inicio de sesión ........................................................................................... 60" Tabla 5-5 CWT Ayuda ......................................................................................................... 61" Tabla 5-6 CWT Más información ........................................................................................ 61" Tabla 5-7 CWT Recomendaciones textuales ........................................................................ 61" Tabla 5-8 CWT Realidad Aumentada .................................................................................. 61" Tabla 5-9 CWT Mapas SVG ................................................................................................ 62" Tabla 5-10 Preguntas de Entrevista ...................................................................................... 65" Tabla 6-1 Resultados evaluación Heurística de Nielsen ...................................................... 68" Tabla 6-2 Resultados de evaluación Think-Aloud ............................................................... 72" Tabla 7-1 Aspectos encontrados y Heurística afectada ........................................................ 93" Tabla 7-2 Aspectos que pudieron evitarse con las recomendaciones basadas en la Heurística de Nielsen. Sección 6.1 ......................................................................................................... 94" Tabla 7-3 Problemas persistentes ......................................................................................... 95" vii
  11. 11. Índice de Gráficos Gráfico 6-1 Sexo ................................................................................................................... 69" Gráfico 6-2 Edad .................................................................................................................. 69" Gráfico 6-3 Educación .......................................................................................................... 69" Gráfico 6-4 Área de conocimiento ....................................................................................... 69 Gráfico 6‑5 Uso de dispositivos móviles……………………………………………………………..69 Gráfico 6-6 Uso de tablets……………………………………………………………………………….69 Gráfico 6-7 Conoce SR…………………………………………………………………….…………….70 Gráfico 6-8 SR conocidos……………………………………………………………………………….70 Gráfico 6-9 Estudio Científico……………………………………………………………...…………. 70 Gráfico 6-10 Abrir aplicación Find-it! ................................................................................. 73" Gráfico 6-11 Registro de usuario .......................................................................................... 74" Gráfico 6-12 Inicio de sesión ................................................................................................ 75" Gráfico 6-13 Abrir, Leer ayuda y Cerrar ayuda ................................................................... 76" Gráfico 6-14 Visualizar más información ............................................................................ 77" Gráfico 6-15 Recomendaciones textuales ............................................................................ 78" Gráfico 6-16 Realidad aumentada ........................................................................................ 79" Gráfico 6-17 Mapas SVG ..................................................................................................... 80" Gráfico 6-18 Entendimiento ................................................................................................. 81" Gráfico 6-19 Esfuerzo cognitivo .......................................................................................... 82" Gráfico 6-20 Confianza ........................................................................................................ 83" Gráfico 6-21 Satisfacción ..................................................................................................... 84" Gráfico 6-22 Efectividad ...................................................................................................... 85" Gráfico 6-23 Calidad en las recomendaciones ..................................................................... 86" Gráfico 6-24 Funcionalidad .................................................................................................. 87" Gráfico 6-25 Ítems de interés ............................................................................................... 88" Gráfico 6-26 Más información ............................................................................................. 88" Gráfico 6-27 Problemas encontrados ................................................................................... 89" Gráfico 6-28 Recomendación ............................................................................................... 90" Gráfico 6-29 Usuario de Sistema Operativo ......................................................................... 91" Gráfico 7-1 Porcentajes obtenidos ........................................................................................ 96" viii
  12. 12. ix Índice de Figuras Figura 1-1 Framework for the user-centric evaluation of recommender systems, Bart P. Knijnenburg et al. ................................................................................................................... 8" Figura 2-1 Ejemplos de escalas Likert ................................................................................. 17" Figura 3-1 Tres esquemas de trazado para la interfaz de recomendación (el número se refiere a la posición de una recomendación) (Tsoi, 2011). .................................................. 24" Figura 3-2 Modelo de continuidad de UX ............................................................................ 30" Figura 3-3 Framework para evaluación centrada en el usuario de SR ................................. 35" Figura 4-1 Conociendo al usuario ........................................................................................ 40" Figura 4-2 Evaluación Heurística ......................................................................................... 42" Figura 4-3 Think-Aloud ........................................................................................................ 43" Figura 4-4 Aplicación de mejoras al sistema ........................................................................ 43" Figura 4-5 Lentes espía SungLasses ..................................................................................... 44" Figura 4-6 Cognitive Walkthrough + Think-Aloud ............................................................. 45" Figura 4-7 Aplicación de mejoras al sistema ........................................................................ 45" Figura 4-8 Cuestionarios ...................................................................................................... 46" Figura 4-9 Entrevista ............................................................................................................ 46" Figura 4-10 Metodología final propuesta ............................................................................. 47" Figura 5-1 Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales ......................................................................... 49" Figura 5-2 ............................................................................................................................. 50" Figura 5-3 ............................................................................................................................. 51" Figura 5-4 ............................................................................................................................. 52" Figura 5-5 Lentes espía SungLasses ..................................................................................... 56" Figura 5-6 Cuestionario Conociendo al usuario ................................................................... 59"
  13. 13. CAPÍTULO I Introducción
  14. 14. Capítulo I. Introducción 1 Introducción Actualmente la computación ubicua3 se ha convertido en algo indispensable para la vida diaria de los seres humanos, los dispositivos móviles y sus aplicaciones han pasado a ser parte de las actividades normalmente realizadas, desde el simple entretenimiento, hasta el control de sistemas inteligentes dentro de las empresas o el hogar. En este documento en particular hablaremos sobre la importancia de conocer la experiencia de los usuarios ante la interacción con un sistema de recomendación manipulado desde un dispositivo móvil; teniendo en cuenta que la función principal de un sistema de recomendación es facilitar el proceso para la toma de decisiones del usuario. Se ha observado dentro de la literatura, que los estudios acerca de las evaluaciones de sistemas de recomendación en su gran mayoría son basadas únicamente en la evaluación a la calidad de las recomendaciones y el funcionamiento del algoritmo de recomendación utilizado (Salazar G. & Ortega L., 2010), En (HERLOCKER, KONSTAN, TERVEEN, & RIEDL, 2004) por mencionar un ejemplo, son evaluadas las tareas realizadas por el usuario, la calidad de las predicciones en las recomendaciones, los tipos de análisis y bases de datos que se utilizan, dejando de lado la experiencia que el usuario ha tenido al interactuar con el sistema en busca de ayuda para la toma de decisiones. En el grupo de desarrollo de Context-Aware Recommender Systems, en adelante CARS, dentro del Centro Nacional de Investigación y Desarrollo Tecnológico (CENIDET), se han iniciado investigaciones relacionadas con este tipo de sistemas de recomendación. Partiendo de diversos estudios ha sido creado un CARS que cuenta con distintas características que lo hace un tanto diferente a lo existente en el mercado, consta de algoritmos de recomendación de ítems heterogéneos, técnicas de explicación acerca de las recomendaciones realizadas, servicios de mapas SVG e interfaces multimodales con realidad aumentada, además de ser creado para el uso exclusivo en dispositivos móviles multisensoriales permitiendo al usuario obtener recomendaciones justo en el momento y lugar donde lo requiere el usuario. Debido al desarrollo de este CARS actualmente llamado Find-it!, surgió la necesidad de evaluar la experiencia del usuario durante la interacción con el sistema, dando lugar a esta investigación. 3 Se"entiende"en"general"por"computación"ubicua"la"integración"de"la"informática"en"el"entorno"de"la"persona," de"forma"que"los"ordenadores"no"se"perciban"como"objetos"diferenciados." 2
  15. 15. Capítulo I. Introducción El objetivo de esta investigación fue la combinación de diferentes técnicas existentes para diseñar una metodología que se aplique en el estudio de las características de efectividad, confianza y satisfacción percibida por los usuarios en el uso de sistemas de recomendación similares. 1.1 Antecedentes La evaluación centrada en el usuario del sistema de recomendación (SR) Find-it!, no ha sido efectuada hasta el momento, por lo cual, no existe un antecedente relacionado con el tema de esta tesis, es por ello que se mencionan como antecedentes los trabajos de tesis que se llevan a cabo y se han realizado entorno al CARS Find-it! los cuales se mencionan a continuación. Actualmente dentro de CENIDET existe un grupo dedicado al desarrollo de un CARS llamado Find-it!, con el fin de recomendar personas, lugares, actividades, servicios, objetos de conocimiento y cualquier otro elemento relacionado con las instituciones de educación superior. Este proyecto se conforma de distintos bloques y etapas de desarrollo que se describen a continuación: El primer acercamiento al CARS fue realizado por (González, 2012), en esta tesis se desarrolló un CARS para asociar personas, actividades, servicios, objetos de conocimiento, instalaciones, localización geoespacial y ubicación temporal, de manera que se infieran recomendaciones para un usuario, extrayendo sus atributos de una ontología de perfiles, para asociarlos a los conceptos de una ontología de dominio, de tal manera que se identifiquen y seleccionen los ítems que sean de su interés. A la par del desarrollo del CARS de (González, 2012)se desarrolló un trabajo de tesis que permitió identificar y ubicar a un usuario dentro del contexto de las instalaciones de una organización, en esta tesis se utilizaron tecnologías como RFID, QRCODE, Wi-Fi y Bluetooth. El objetivo del trabajo de tesis de (Yris P., 2012), fue desarrollar métodos de localización en interiores basados en evaluación de señales electromagnéticas para encapsularlos dentro de clases que a su vez formen librerías de programación API. Otro elemento clave del sistema Find-it! fue la implementación de la tecnología de Realidad Aumentada, dando al sistema un tipo de interactividad espacial del usuario con el sistema y los puntos de interés que rodean al mismo, siendo estos mostrados en 10 orientaciones distintas, es decir los 8 puntos cardinales más las alineaciones arriba y abajo (Morán, 2012). La función de esta etapa permite al usuario activo posicionado en un punto cualquiera dentro de las instalaciones de la institución, ubicar los puntos de interés de acuerdo a la dirección de enfoque de la cámara del dispositivo multisensorial, visualizando en la pantalla íconos e información relevante sobre dichos puntos. 3
  16. 16. Capítulo I. Introducción Siendo los anteriores el comienzo del CARS creado por el grupo de desarrollo de CARS (por sus siglas en inglés Context-Adware Recommender System) de CENIDET se han definido nuevos aspectos a tomar en cuenta para aplicar el Find-it! con los siguientes trabajos: En primer lugar se desarrolló una arquitectura basada en componentes reutilizables que integra una serie de algoritmos de recomendación y un modelo heurístico que permite seleccionar, en tiempo de ejecución, de un repositorio de algoritmos de recomendación el mejor o los mejores con base en cada una de las clases de un repositorio de ítems heterogéneos tomando el tipo de usuario hacia al que van dirigidas las recomendaciones y el contexto en el que se encuentre, dentro de la tesis desarrollada por (Lozano R., 2012).La integración de este trabajo dentro del CARS permitió la automatización de las recomendaciones de los ítems registrados dentro de la institución que puedan ser recomendados según los parámetros contextuales brindados por el usuario. Se realizó la tesis por (Galán M., 2014)en la que se desarrolló un repositorio de algoritmos de explicación, para cada uno de estos algoritmos se diseñaron plantillas de texto con campos variables que se complementan automáticamente para generar texto argumentativo para cada clase de ítem contenido en el repositorio heterogéneo organizacional. Otro trabajo de tesis relacionado es el de (Rodríguez Maldonado, 2014), en el que se desarrolló e implementó una metodología para el desarrollo de aplicaciones multimodales adaptativas aplicadas a CARS, con el fin de adaptar el CARS a un conjunto de interfaces o vistas que presenten y combinen diferentes técnicas de presentación e interacción centradas en el usuario, esta tesis evaluó técnicas de Interacción Humano-Computadora (IHC) y las adaptó a un CARS. La última de las etapas y la que concierne a esta tesis “Metodología para evaluación de CARS centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales”, con la que se pretende evaluar tres aspectos que definirán la percepción del usuario ante el CARS, realizando la investigación acerca de las mejores técnicas conocidas para evaluar aspectos subjetivos y transformarlos en aspectos cuantificables para determinar el grado de satisfacción logrado en el usuario, evaluando la conjunción de todas las etapas anteriores. Cabe mencionar que las evaluaciones a sistemas de recomendación actuales caen en la valoración de los algoritmos utilizados para la realización de recomendaciones y no en la percepción del usuario, que al final del proceso es quien toma o no en cuenta la recomendación para su propio beneficio. 4
  17. 17. Capítulo I. Introducción 1.2 Planteamiento del Problema De acuerdo a la revisión de la literatura, los trabajos que se encargan de realizar la evaluación de sistemas de recomendación (SR) se basan en dos paradigmas: evaluación centrada en el algoritmo de recomendación y evaluación centrada en el usuario. El paradigma predominante es el centrado en el algoritmo de recomendación, donde se supone que a mayor eficiencia del algoritmo, mejor experiencia del usuario. Sin embargo, la evaluación de la eficiencia del algoritmo sólo corresponde a una pequeña fracción de la experiencia del usuario. Bajo este paradigma, no se contemplan características como la confianza que el usuario tiene con respecto a una recomendación, la utilidad de la recomendación, la satisfacción del usuario con el sistema, entre otras. De esta forma, se presenta la falta de evaluación de la retroalimentación del usuario (Alejandres S., 2013) Por ejemplo, en (Martin, 2009) Strands Inc. presenta una distribución del impacto de los elementos de un SR (base de conocimiento, aplicación de procesamiento del conocimiento, reglas de negocio e interfaz de usuario) sobre su rendimiento general y apreciación de utilidad para el usuario. Inicialmente, el paradigma de evaluación centrado en algoritmos distribuye equitativamente el porcentaje de impacto sobre cada componente (25% para cada aspecto). Después de un análisis a lo largo de 9 años de desarrollo de productos, se concluye que esta distribución de impacto debe modificarse. Como resultado, se obtiene que el componente con mayor impacto es la interfaz de usuario, ya que de acuerdo a este estudio representa el 50% de la experiencia del usuario sobre el SR, mientras que el algoritmo de recomendación (aplicación de procesamiento de conocimiento) tan solo es relevante en un 5%. Los trabajos basados en el paradigma centrado en el usuario, que se encargan de evaluar la retroalimentación, representan la minoría en el campo de los SR (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011). Dado que la mayoría de los SR que se utilizan hoy en día pertenecen al dominio del comercio electrónico, los trabajos existentes bajo este paradigma se enfocan en una sola característica de la experiencia del usuario: persuasión (Swearingen & Sinha, 2002) y (Jones & Pu, 2007). Esto se debe a que, dada la naturaleza del SR de comercio electrónico, es necesario persuadir al usuario para que regrese a comprar, observar, descargar los productos que maneja el sistema con el fin de incrementar el beneficio económico. Sin embargo, estos trabajos aún omiten el resto de los aspectos subjetivos de la experiencia del usuario: confianza, satisfacción, efectividad, utilidad, escrutabilidad, eficacia y transparencia. En este contexto, el problema del presente trabajo de investigación pretende solventar la falta de evaluación en la retroalimentación del usuario mediante la creación de una metodología de evaluación centrada en el usuario. 5
  18. 18. Capítulo I. Introducción 1.3 Objetivo Desarrollar una metodología de evaluación basada en las mejores técnicas existentes, adaptándolas para el caso de estudio Find-it!, estas técnicas serán analizadas y adaptadas según las necesidades propias del estudio, determinando las mayormente funcionales y con resultados exitosos, cabe mencionar que existe la posibilidad del desarrollo de nuevas técnicas que permitan la obtención de resultados más precisos para fines de la investigación. Al conocer que el CARS Find-it!, cuenta con distintas secciones, perfiles de usuario, interfaces, algoritmos de recomendación y explicación, deberán ser evaluadas cada una de estas intentando determinar, en caso de ser necesario, cuál de ellas es la que causa problemas y reportarlo a los creadores del SRSC (Sistema de recomendación Sensible al Contexto) para ser corregido y así finalmente tener un CARS de total agrado y ayuda para los usuarios finales. 1.4 Justificación La literatura estudiada demuestra que las evaluaciones a Sistemas de Recomendación (SR) centradas en el usuario se basan en una evaluación establecida en el criterio de persuasión y principalmente o en su mayoría a SR destinados al comercio electrónico. Dada la necesidad de evaluar el Sistema de Recomendación Sensible al Contexto (SRSC) Find-it! elaborado dentro de CENIDET, este trabajo de investigación propone la creación de una metodología para definir un modelo de evaluación centrada en el usuario, enfocada a las características del SRSC Find'it! como lo son, las interfaces multimodales, la valoración del contexto para realizar las recomendaciones y explicaciones, así como la recomendación de ítems heterogéneos sobre los tres criterios definidos como efectividad, confianza y satisfacción. En lo que compete a esta “Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales”, permite realizar una evaluación tal, que arroje datos de información totalmente relevante para los desarrolladores del SR. Es necesario mencionar que el SRSC consta de distintos tipos de usuario los cuales deben ser caracterizados o contextualizados antes de realizar la evaluación, predefiniendo que aquellos que compartan el mismo perfil de usuario compartirán también intenciones, necesidades, intereses, entre otros, ante el uso del Find-it! y a pesar de ser usuarios distintos, existirán aspectos en común entre ellos, al compartir ciertas características, logrando así que la evaluación no se limite al estudio de un caso particular, si no que pueda hacer diferencia del comportamiento según el Perfil de Usuario-SRSC. El llevar a cabo una evaluación implementando la metodología propuesta, permite dar a conocer a los creadores, programadores y diseñadores de los SR y SRSC aquellos puntos 6
  19. 19. Capítulo I. Introducción débiles que afectan las expectativas de los usuarios durante su uso para así realizar las modificaciones pertinentes y lograr que el sistema sea aceptado en un grado elevado por todos los usuarios que lo utilicen e interactuén con el. Al mencionar la baja de expectativas del usuario se hace referencia a la falta de efectividad, confianza y/o satisfacción brindada hacia el mismo usuario por parte del uso del SRSC. Cabe mencionar que este trabajo de investigación se basará totalmente en el enfoque centrado en el usuario, para determinar si se cumplen estos tres elementos de usabilidad identificando cuáles son de ayuda para el usuario final. La creación de esta metodología permitirá definir la estructura de procedimientos que se aplicarán para realizar la evaluación centrada en el usuario, así como el orden y conjunto de herramientas e instrumentos que permitirán obtener información acerca de la experiencia obtenida por cada usuario en la interacción entre el mundo real a través del dispositivo móvil multisensorial y el conjunto de interfaces multimodales del SRSC. Este trabajo de tesis pretende ir más allá de una evaluación convencional, que como ya se ha mencionado se centran en función del algoritmo de recomendación utilizado, y enfrentarse a las expectativas que tiene el usuario sobre el uso del sistema y las recomendaciones obtenidas así como la experiencia del uso del sistema en un dispositivo móvil multisensorial. 1.1.1 ¿Por Qué la Elección de los 3 Criterios de Evaluación Seleccionados? Particularmente la evaluación de los aspectos de efectividad, confianza y satisfacción han sido elegidos debido al tipo de SRSC (Sistemas de Recomendación Sensibles al Contexto) que se evaluarán con esta metodología y el enfoque que tiene la misma, ya que la literatura nos ha presentado datos como que el componente más relevante es la interfaz de usuario, ya que de acuerdo a (Martin, 2009)representa el 50% de la experiencia del usuario sobre el SR. Por otra parte se ha detectado dentro de la mayor parte de la literatura que las evaluaciones realizadas son enfocadas principalmente al estudio de la métrica de persuasión originado por la naturaleza de los SR, que han sido aplicados a comercio electrónico; haciendo esto la diferencia de lo que se quiere evaluar con la metodología propuesta y lo que es evaluado actualmente. Es por ello, que esta evaluación se enfoca a los tres criterios mencionados con anterioridad, los cuales se encuentran directamente relacionados con la experiencia del usuario y arrojan información relevante sobre cómo se ha sentido el usuario al interactuar con el SRSC y cuáles son los aspectos que habrá que mejorar y tomar en cuenta para la creación de los mismos. Por otra parte, la literatura se enfoca generalmente a la evaluación de cada aspecto de manera individual, y para este estudio se tomaron en cuenta los tres criterios en forma conjunta. 7
  20. 20. Capítulo I. Introducción Cabe mencionar que para realizar las pruebas a este trabajo se evaluó un SRSC (Sistema de Recomendación Sensible al Contexto) llamado Find-it!, para poder realizar las mejoras necesarias y que éste tenga el grado de usabilidad necesario para sus usuarios, manteniendo el proceso de mejora continua de su servicio. 1.5 Beneficios Los beneficios que se pretenden lograr con esta tesis son los siguientes. Enfocar la evaluación totalmente a la experiencia del usuario, dándole la importancia que realmente requiere. Como es sabido, los SR son creados para la interacción de los usuarios, brindándoles ayuda en la toma de decisiones, más no para complicar el entendimiento del uso del sistema generando una pérdida de tiempo en el usuario sin obtener buenos resultados. Al evaluar aquellos aspectos que pueden generar frustración en los usuarios durante la interacción con las interfaces del sistema en etapas tempranas del desarrollo del mismo, se puede prevenir la existencia de insatisfacción en el usuario, que el sistema no brinde la confianza requerida para regresar a su uso y la percepcion de inefectividad, situaciones muy comunes en el uso de sistemas computacionales actuales, ya que no es suficiente evaluar el sistema desde el punto de vista del programador debido a que la mayoría de las veces solo se siguen requerimientos técnicos y no de uso real del usuario final. La creación de la metodología propuesta se ha realizado partir de la investigación previa relacionada a los Frameworks que existen para evaluaciones de SRSC, lo cual proporcionó sensatez y fundamentos para el inicio de este trabajo, intentando mejorar lo ya existente. Por otra parte, la metodología se desarrolló para el caso de estudio del SRSC Find-it!, pero adaptable a otros Sistemas de Recomendación Sensibles al Contexto y a otro tipo de sistemas, sin sufrir de adaptaciones complejas. Como ejemplo se puede observar la Figura 1-1 que muestra el Framework para la evaluación centrada en el usuario de sistemas de recomendación propuesta en (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011) Figura 1-1 Framework for the user-centric evaluation of recommender systems, Bart P. Knijnenburg et al. 8
  21. 21. Capítulo I. Introducción 1.6 Estructura del Documento El presente documento se encuentra organizado en siete capítulos, los cuales describen el trabajo de investigación en sus diversas etapas como se indica a continuación: En el capítulo II: Fundamento Teórico, se abordan los temas relevantes para la presente investigación. En el capítulo III: Estado del Arte, se presenta la información obtenida de la investigación sobre los enfoques actuales en la existencia de técnicas de evaluación centradas en el usuario. En el capítulo IV: Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales En el capítulo V: Implementación de la Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales, tomando como base las fases presentados en el capítulo anterior. En el capítulo VI: Pruebas y Resultados, se muestran las pruebas realizadas y los resultados obtenidos. Con la finalidad de brindar resultados confiables, se realizaron pruebas con la metodología definida al SRSC Find-it!. Finalmente en el capítulo VII, se presentan las conclusiones, se identifican las contribuciones realizadas y los trabajos futuros de la presente investigación. 9
  22. 22. CAPÍTULO II Fundamento teórico
  23. 23. Capítulo II. Fundamento teórico 2 Fundamento Teórico Buscando la elaboración de la metodología que nos permita realizar evaluaciones centradas en el usuario de CARS, se han estudiado distintas técnicas que ayudan a obtener información referente a la percepción del usuario durante la interacción con el sistema. Se ha encontrado información basada en el comportamiento del usuario ante el modelo de presentación de las recomendaciones en un sistema de recomendación (SR), en el trabajo de (Chen & Tsoi, Users’ Decision Behavior in Recommender Interfaces: Impact of Layout Design, 2011), se realizó un estudio relacionado a las decisiones tomadas por los usuarios dentro de un sistema de recomendación influenciadas por el tipo de interfaces en que las recomendaciones son mostradas. En el trabajo de (Alva Obeso, 2005), se realizó una evaluación centrada en el usuario a sistemas web, con ayuda de instrumentos, como lo son los cuestionarios SUMI, WAMMI y QUIS, que serán retomados y adaptados para el propósito de nuestra investigación. En la búsqueda del estado del arte sobre evaluaciones a sistemas de recomendación nos hemos encontrado con distintos especialistas en el tema, en (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011) se propone un framework para realizar evaluaciones centradas en el usuario de sistemas de recomendación, donde expone los 4 pasos principales para realizar evaluaciones centradas en el usuario de sistemas de recomendación. • Decidir que se evaluará, después asignar aleatoriamente las condiciones a los 11 usuarios. • Durante la interacción, registrar el comportamiento del usuario. • Después de la interacción, preguntar a los usuarios acerca de su experiencia. • Analizar los datos obtenidos para conocer la influencia de los aspectos del sistema en la experiencia del usuario. Por otra parte, se ha encontrado que en la actualidad es difícil de evaluar la usabilidad en dispositivos móviles por las características específicas que estos conllevan, como lo son el tamaño y resolución de la pantalla, la movilidad para la cual han sido creados, la cantidad y tipo de sensores que puedan incluir estos dispositivos. Se han realizado pocos estudios en usabilidad móvil hasta el momento (Cuadrat Seix, 2012) en “Estudio sobre evaluación de la usabilidad móvil y propuesta de un método para tests de usabilidad cuantitativos basado en técnicas de eye-tracking” presenta soluciones durante la aplicación de evaluaciones en dispositivos móviles utilizando una computadora de escritorio como medio para mostrar la interfaz del dispositivo móvil.
  24. 24. Capítulo II. Fundamento teórico Para la elaboración de nuestra metodología se han encontrado distintos instrumentos y técnicas que nos permitirán conocer y obtener datos con cada uno de ellos, sobre la evaluación del CARS Find-it!. También se ha concluido que cada una de las técnicas debe ser establecida en un tipo de test específico: controlado, en campo o remoto (Cuadrat Seix, 2012), es decir existen distintas etapas durante la evaluación de un sistema computacional ejecutado en dispositivos móviles, de los cuales se obtendrán distintos tipos de datos, formativos o sumativos. 2.1 Definición de Características a Evaluar Partiendo de la definición de usabilidad por el ISO/IEC 9241, se define Usabilidad como la efectividad, eficiencia y satisfacción con la que un producto permite alcanzar objetivos específicos a usuarios específicos en un contexto de uso específico" citado en (Rodríguez, 2008), a continuación se definirán los conceptos a evaluar dentro del desarrollo de esta tesis. En lo que refiere a la Efectividad se define como la precisión y la plenitud con las que los usuarios alcanzan los objetivos especificados, se asocia a la facilidad de aprendizaje en la medida en que ésta sea lo más amplia y profunda posible, al control de errores y a la disposición del sistema para recordar las funcionalidades y los procedimientos. Para definir Confianza retomaremos las reglas de oro de usabilidad (UNIVERSIDAD AUTONOMA DE CIUDAD JUAREZ, 2011), donde se menciona que “la confianza es algo que cuesta mucho ganar y se pierde con un mal enlace”. Lo anterior se explica definiendo que no es posible perder ni un solo usuario debido a que algún componente del SR no se encuentre correctamente definido. Es mejor comenzar con componentes sencillos e irlos complicando poco a poco, que especular en que pudiera suceder. También se hace mención de que versiones 1.0 son buenas mientras lo que sea propuesto esté bien asentado y genere confianza. Poco a poco y con el feedback de los usuarios, se podrá ir mejorando. Se menciona que es mejor asegurar el buen funcionamiento antes de arriesgar a una mala experiencia en el usuario. Con respecto a la Satisfacción debemos definir que este aspecto es de clase subjetiva, ya que se refiere a la opinión que tiene el usuario acerca del uso del sistema, es decir, las reacciones y sentimientos que en la manipulación del mismo puedan generarse. 2.2 Tipos de Test Existen algunas variantes en los test de usabilidad, los test de usabilidad controlados, los test remotos y los test en campo. Los test remotos y los test en campo pueden considerarse una especialización de los test de usabilidad. 12
  25. 25. Capítulo II. Fundamento teórico A continuación se describe cada uno de los tipos de test aplicables a evaluaciones en un dispositivo móvil. 2.3 Test de Evaluación Controlada Este tipo de test se aplica en ambientes controlados y/o dentro de laboratorios, ofrecen la posibilidad de obtener datos tanto cualitativos como cuantitativos. Pero no permiten evaluar la usabilidad en un contexto real de uso del dispositivo móvil. 2.4 Test de Evaluación en Campo En (Cuadrat Seix, 2012) se menciona que la mayoría de las investigaciones realizadas en el tema llegan a la conclusión de que casi en todos los casos de la aplicación de los test en campo se obtienen únicamente datos cualitativos. También, se concluye que existen problemas directamente relacionados con el dispositivo utilizado, como por ejemplo, falta de visibilidad de la pantalla debido a la exposición a la luz natural o la dificultad de poder manejar con una sola mano el dispositivo. 2.5 Test de Evaluación Remota Este tipo de test es considerado buenos para conocer la satisfacción y las dificultades de uso por parte del usuario final. Evitan la sensación de ser observados teniendo la libertad de desenvolverse en el uso del sistema, ya que en la mayoría de estos test el observador no se encuentra presente. 2.6 Tipos de Técnicas e Instrumentos A continuación se describen las diferencias entre las técnicas analizadas así como a qué tipo de evaluación corresponden, formativa o sumativa. En (Paramythis, Weibelzahl, & Masthoff, 2010) se define el objetivo de la evaluación formativa como el identificar las deficiencias o errores en un sistema con el fin de mejorarlo y también como medio de orientación en el diseño y desarrollo del sistema. Por otra parte, la evaluación sumativa tiene como objetivo determinar el valor o el impacto de un sistema. La evaluación formativa va mano a mano con el principio de HCI, con la participación de los usuarios tan pronto como sea posible en el proceso de diseño, y es vital para descubrir qué y cómo mejorar un sistema interactivo. En la siguiente sección se muestra una breve descripción de las técnicas estudiadas. 13
  26. 26. Capítulo II. Fundamento teórico 2.7 Técnicas de Evaluación Formativa 2.7.1 Técnica de Evaluación Heurística En (Nielsen & Molich, Heuristic Evaluation of User Interfaces, 1990) se describe la evaluación Heurística como un método informal para realizar análisis de usabilidad, donde una serie de evaluadores visualizan una serie de interfaces diseñadas y se les pide comentar acerca de ellas. La evaluación Heurística se basa en observar la interfaz y comentar acerca de los aspectos buenos y malos encontrados en ella, estos comentarios son acordes a la existencia de las 10 reglas de usabilidad diseñadas por Jakob Nielsen en (Nielsen, 10 Heuristics for User Interface Design: Article by Jakob Nielsen, 1995), estos aspectos encontrados deben ser reportados dentro de un formato conocido como Usability Aspect Report (UAR). Instrumentos Necesarios para Realizar una Evaluación Heurística Dentro de la investigación realizada se encontró un formato utilizado para reportar los problemas identificados en una evaluación heurística. El usability aspect report (UAR) es un documento donde son descritos los aspectos buenos y malos encontrados en la evaluación Heurística, basados en el conocimiento de la Heurística de usabilidad de Jakob Nielsen, los expertos observan las interfaces y determinan si la interfaz cumple con la heurística, si encuentras aspectos buenos deben describir cuáles son y porqué son buenos y deben permanecer, en caso contrario además de explicar cuáles son los aspectos que no cumplen la heurística, en qué escala y cómo el diseñador o desarrollador pudiera resolverlos (Myers & Jhon). 2.7.2 Técnica de Think-Aloud o Pensando en voz alta Esta técnica es usada para obtener datos para una evaluación formativa, Jakob Nielsen menciona que el Thinking-Aloud es la herramienta #1 dentro de la evaluación de usabilidad. Esta técnica se describe en (Nielsen, Usability Engineering, 1993) como “En un test de think-aloud se pide al usuario que utilice el sistema mientras habla en voz alta continuamente, esto es, simple verbalización de sus pensamientos mientras navega por la interfaz del sistema”. Instrumentos Necesarios para Realizar una Evaluación Think-Aloud Para el caso del reporte de Think-Aloud los aspectos descritos son comentados dentro del formato UAR; la diferencia reside en que se debe identificar al formato con las iniciales “TA” mientras que para la evaluación Heurística debe ser con “HE”. 14
  27. 27. Capítulo II. Fundamento teórico Para esta técnica dentro del reporte UAR son descritos los aspectos encontrados dentro de los comentarios de los usuarios mientras se ha dado la interacción con el sistema durante la evaluación. 2.7.3 Técnica de Cognitive Walkthrough El Cognitive Walkthrough o recorrido cognitivo ha sido desarrollado como una técnica adicional dentro la ingeniería de usabilidad, esto con el fin de dar al equipo de evaluación la oportunidad de evaluar mockups (“bocetos”) en etapas tempranas y de diseño rápido. Para esta técnica no se requiere un prototipo funcional por lo tanto ayuda a identificar problemas ligados con la interacción con el sistema (Rieman, Franzke, & Redmiles, 1995). En (Jacobsen & John, 2000) es mencionado que el Cognitive Walkthrough consiste en dos fases: Preparación y Ejecución. Dentro de la etapa de preparación el analista debe seleccionar las tareas que serán usadas durante la evaluación, así como definir el conocimiento, experiencia y habilidades que se espera que tenga el usuario que desarrollará la tarea. Para cada tarea se debe especificar la forma correcta de realizar la tarea y el feedback que brinda el sistema tras realizar la tarea. En la etapa de ejecución el evaluador debe examinar de manera cercana la secuencia de desarrollo de la tarea y contestar las 4 preguntas siguientes: • ¿El usuario trató de lograr el efecto deseado? • ¿El usuario notó que la acción se encontraba disponible? • ¿El usuario asoció correctamente la acción con el efecto que intentaba obtener? • Si se realiza la acción correcta, ¿el usuario puede ver que se está avanzando hacia la solución de la tarea? (Wharton et al., 1994, p. 112) Instrumentos Necesarios para Realizar una Evaluación Cognitive Walkthrough El instrumento para esta técnica es un reporte a base de 4 preguntas que deben ser respondidas con un “Si” o un “No” y de la descripción de lo sucedido, ya sea un caso de éxito o sucedido durante la interacción usuario-interface al intentar realizar la tarea solicitada. Cuando todas las preguntas han sido respondidas con historias de éxito, se considera que el usuario no tuvo ninguna dificultad para completar las acciones o tareas indicadas. Por otro lado, si para cualquiera de las preguntas la respuesta del evaluador es negativa, además de una descripción de la etapa de fracaso al intentar realizar la tarea, es razón para indicar que un problema ha sido identificado (Jacobsen & John, 2000). 15
  28. 28. Capítulo II. Fundamento teórico 2.7.4 Técnica de Entrevistas En el libro “Usability Engineering” de Jakob Nielsen (Nielsen, Usability Engineering, 1993), se dice que las entrevistas son usadas correctamente para estudios exploratorios donde aún no se sabe qué es lo que se busca. Las entrevistas son desarrolladas de forma tal que el entrevistador lee las preguntas al entrevistado, el entrevistado responde las preguntas y el entrevistador registra las respuestas. Nielsen menciona que las entrevistas tienen la ventaja de ser flexibles, debido a que el entrevistador puede explicar las preguntas difíciles que no han sido entendidas o que han generado dudas en el entrevistado, por otra parte, la entrevista puede ser adaptada según la situación que se está desarrollando. Las entrevistas incluyen muchas preguntas abiertas y cerradas donde los usuarios son animados a explicar a profundidad sus respuestas. Con las preguntas abiertas es recomendable pedirle al usuario los incidentes existentes en el uso del sistema (Nielsen, Usability Engineering, 1993). Por otra parte, Nielsen dice “Para diseñar una interfaz fácil de usar, se debe prestar atención a lo que los usuarios hacen, no a lo que los usuarios dicen. Los reportes previos al uso no son confiables, ya que el usuario comienza a especular en las acciones que se pueden realizar durante la interacción.”, entonces ¿Cuándo es preferible recolectar datos brindados por el usuario?, la respuesta es que sólo después de que el usuario haya usado el diseño y después haber tenido una experiencia real que dé fundamento a sus comentarios (Nielsen, First Rule of Usability? Don't Listen to Users, 2001). Instrumentos Necesarios para Realizar una Evaluación de Entrevistas Para esta técnica son necesarios los formatos con las preguntas a realizar que se aplicarán a los usuarios durante la entrevista. Es importante definir que es lo que se quiere obtener realmente de la experiencia del usuario a través de las entrevistas; las preguntas deben ser escritas en una forma simple, de tal manera que el usuario las comprenda. Por ninguna razón se debe intentar influir en las respuestas del usuario, esto solo afectará los resultados finales. 16
  29. 29. Capítulo II. Fundamento teórico 2.8 Técnicas de Evaluación Sumativa 2.8.1 Técnica de Cuestionarios Dentro de los cuestionarios existen preguntas de tipo abierto en donde los usuarios son invitados a responder con sus propias palabras, pero a menudo los usuarios no se molestan en hacerlo. Por lo tanto, los cuestionarios son basados, en gran medida, en preguntas cerradas, donde los usuarios tienen que suministrar un solo hecho (como el número de horas trabajadas con el sistema a la semana), algunas listas de verificación (como indicación de los tipos de tareas que cada usuario realiza con el sistema) o el expresar su opinión en una escala de calificación. Las escalas de calificación, conocidas como escalas Likert, son normalmente usadas para preguntar a los usuarios qué tanto les gustan algunos aspectos del sistema o qué tan usables encuentran las distintas características del sistema (Nielsen, Usability Engineering, 1993). Es importante destacar que para esta técnica es necesario determinar qué preguntas son realmente relevantes y en qué grado las respuestas harán una diferencia en el desarrollo del proyecto. Instrumentos Necesarios para Realizar una Evaluación Basada en Cuestionarios Los instrumentos que esta técnica ocupa, son cuestionarios para solicitar a los usuarios sus respuestas con relación a la experiencia que tuvieron en el uso o interacción con el sistema. Dentro de [ (Chin, Diehl, & Norman, 1988) citado en (Nielsen, Usability Engineering, 1993)] se hace mención de que los cuestionarios para la medición de la satisfacción del usuario “pueden ser muy sofisticados, tal es el caso del método QUIS (Questionnaire for User Interface Satisfaction)”, también se hace mención de la importancia de determinar las preguntas que realmente sean relevantes para el estudio de experiencia del usuario. Para que los cuestionarios puedan arrojar datos estadísticos, las preguntas deben ser de tipo cerrado, es decir, brindando una serie de opciones posibles donde únicamente se elija una de ellas; para evaluar estas respuestas es necesario solicitar al usuario que responda con ayuda de alguna escala Likert de 5, 7 o 10 valores. Estas escalas son determinadas con valores como los ejemplos presentados en la Figura 2-1: Figura 2-1 Ejemplos de escalas Likert 17
  30. 30. Capítulo II. Fundamento teórico Cabe mencionar que en la actualidad existen algunos cuestionarios elaborados para realizar evaluaciones centradas en el usuario con el fin de determinar la satisfacción de los usuarios en el uso de sistemas computacionales. Los cuestionarios que se han tomado en cuenta dentro de este trabajo son SUMI, WAMMI y QUIS. A continuación se describen brevemente cada uno de los cuestionarios mencionados. 2.8.1.1 Cuestionario SUMI El cuestionario SUMI es un cuestionario pre-elaborado utilizado para medir la satisfacción y valorar la percepción del usuario de la calidad del software. Este cuestionario esta realizado tomando en cuenta los estándares ISO 9241-10 dialogue principles y el ISO 9126 Software product evaluation (Kirakowski). 2.8.1.2 Cuestionario QUIS El QUIS es un cuestionario cuyo objetivo es medir el grado de satisfacción de los usuarios en relación con la usabilidad de sistemas informáticos. Trata de obtener información acerca de la percepción que los usuarios tienen de la usabilidad de la interfaz (Human-Computer Interaction Lab (HCIL) at the University of Maryland at College Park). 2.8.1.3 Cuestionario WAMMI WAMMI significa Website Analysis and Measurement Inventory (Análisis de Sitio Web e Inventario de medición). Se basa en la experiencia adquirida en la evaluación de software para los estándares de usabilidad y software internacional. (Claridge & Kirakowski) Para ayudar a lograr sus objetivos, WAMMI: • Mide la experiencia web del usuario en función de las reacciones de los visitantes. • Los puntos de referencia de su sitio web con respecto a otros sitios web en nuestra base de datos estandarizada internacional. • Genera datos objetivos para su gestión en un informe digital de fácil lectura. • Los análisis cualitativos comentarios y reacciones hacia su página web los 18 visitantes. • Interpreta los datos cuantitativos y cualitativos para determinar lo que debe mejorar y cuánto invertir. 2.9 Sistemas de Recomendación Los sistemas de recomendación (SR) son herramientas de software que proveen un mecanismo útil para sugerir ítems que son de interés para el usuario (Burke, Hybrid web recommender systems, 2007) (Mahmood & Ricci, 2009) (Resnik & Varian, 1997). Estas recomendaciones se relacionan con varios procesos para la toma de decisiones como: ¿qué ítems comprar?, ¿qué música escuchar? o ¿qué noticias leer? Ítem, es el termino general utilizado para nombrar los elementos que el sistema recomienda al usuario.
  31. 31. Capítulo II. Fundamento teórico Generalmente, un SR se enfoca a un determinado tipo de ítem (música, películas, noticias, etc.) y, de acuerdo al diseño del mismo, la interfaz de usuario y la técnica de recomendación utilizada para la emisión de recomendaciones se personalizan para ofrecer recomendaciones útiles y efectivas para cada tipo de ítem. En (Rodríguez Maldonado, 2014) se menciona que las recomendaciones se ofrecen normalmente como una lista ordenada de ítems, también conocida como ranking. Cada ítem dentro de la lista obtiene una valoración o rating de acuerdo a la técnica utilizada por el recomendador. La asignación del rating es un proceso en el cual el SR trata de predecir cuales son los elementos más adecuados con base en las preferencias y restricciones del usuario. Con este fin, el SR recolecta las preferencias de los usuarios de manera explícita, como valoraciones de productos, o implícita, mediante el análisis de las acciones del usuario. Por ejemplo, un SR puede considerar el tiempo que un usuario permanece visualizando la descripción de un ítem, interpretando este tiempo como una señal implícita de preferencia o rechazo hacia el ítem descrito. Los SR son subconjunto de los sistemas expertos, por lo que heredan sus características y componentes básicos. De esta forma, un SR se compone de cinco elementos: • Base de conocimientos (Knowledge base): Conocimiento extraído del diálogo con 19 un experto. • Base de hechos: Información explícita sobre una entidad o problema que se ha descubierto durante el análisis. • Motor de inferencia: Modela el proceso de razonamiento humano. • Módulos de argumentación: Explica el razonamiento utilizado por el sistema para llegar a una determinada conclusión. • Interfaz de usuario: Interacción entre el SR y el usuario. 2.10 Sistemas de Recomendación Sensibles al Contexto (SRSC) Dentro de (Galán M., 2014) se menciona que los sistemas de recomendación semánticos basan su proceso de recomendación sobre una base de hechos, normalmente definida a través de un esquema de conceptos (como una taxonomía o un tesauro) o una ontología, y además, para ser considerados como adaptables al contexto, este tipo de sistemas deben tomar en consideración diferentes factores (temporales, de lugar, nivel de experiencia del usuario, dispositivo que se está utilizando en el momento de recibir la recomendación, etc.) para inferir el contexto en que se encuentra el usuario y adaptar las recomendaciones a esas circunstancias, facilitando el acceso de los usuarios a la información que necesitan (Peis, Morales del Catillo, & Delgado Lopez, 2008). Para realizar este proceso de inferencia, las técnicas utilizadas por los SRSC usan lo que en (Burke, «Hybrid Recommender Systems: Survey and Experiments,» User Modeling and User-Adapted Interaction, 2002) se considera conocimiento funcional, es decir, se tiene
  32. 32. Capítulo II. Fundamento teórico conocimiento acerca de cómo un elemento en particular responde a una necesidad particular del usuario, y por lo tanto, se puede razonar sobre la relación entre una necesidad y una posible recomendación. En un sistema de recomendación, el contexto del usuario puede tomar diversas acepciones como la localización del usuario, identidad de las personas y objetos alrededor del usuario (Theimer & Schilit, 1994), fecha, estación del año, temperatura (Brown, Bovey, & Chen, 1997), información que puede caracterizar la interacción entre un usuario y una aplicación (Dey, Abowd, & Salber, 2001) o bien el nivel de experiencia del usuario, dispositivos utilizados y sus características (Peis, Morales del Catillo, & Delgado Lopez, 2008). En un sistema de recomendación la información que puede obtenerse de las acciones del usuario puede ser explícita o implícita. La información explicita hace referencia a la información que el usuario proporciona de forma directa como votar o contestar una pregunta y la información implícita es aquella que se obtiene del usuario de forma indirecta a través de la interacción del usuario con un objeto (Ferran & Minguillon, 2005), por ejemplo, cuando el usuario visita una página el SR puede obtener información sobre qué ítems o enlaces ha visitado y cuáles no, durante cuánto tiempo, además de que puede comparar esa información con el resto de la información obtenida de los diferentes usuarios. Por otra parte, considerando la información contextual se puede obtener información adicional como la disponibilidad de algún ítem con respecto al horario, los ítems a recomendar dependiendo al tipo de usuario, etc. La inclusión del contexto permite mejorar la calidad de las recomendaciones entregadas al usuario (Adomavicius & Tuzhilin, 2011) ya que se realiza una ponderación del contexto específico en el cual, se encuentra inmerso el usuario y a partir de la información contextual es posible descubrir información implícita no contenida en un perfil de usuario. 20
  33. 33. CAPÍTULO III Estado de arte
  34. 34. Capítulo III. Trabajos relacionados 3 Estado del Arte La recopilación de los trabajos documentados para el desarrollo de la tesis: “Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales”, se ha basado a partir de la investigación de técnicas para realizar interfaces para la presentación de ítems recomendados dentro de un Sistema de Recomendación (SR), esto con el fin de obtener el conocimiento de las mejores técnicas existentes para presentar la información. Una vez teniendo como base el conocimiento obtenido es posible observar las interfaces de usuario e interactuar con el SR por primera ocasión para fines de este trabajo intentando predecir los resultados que se obtendrán sobre las ventajas o deficiencias del diseño establecido dentro del SRSC a evaluar y sobre qué fortalezas del diseño será necesario recomendar que no se aplique ningún cambio. 3.1 Características a Evaluar: Efectividad, Confianza y Satisfacción Resumen Dentro de (Barros, 2008), Efectividad se define como la precisión y la plenitud con las que los usuarios alcanzan los objetivos especificados, se asocia a la facilidad de aprendizaje en la medida en que ésta sea lo más amplia y profunda posible, al control de errores y a la disposición del sistema para recordar las funcionalidades y los procedimientos. Para definir Confianza, en (Corritore, Kracher, & Wiedenbeck, 2003) se identifican tres factores perceptivos que repercuten en la Confianza del usuario en los sistemas On-line: la percepción de la credibilidad, la facilidad de uso y el riesgo. También se menciona que la confianza On-line puede surgir en numerosas relaciones fideicomitente / fideicomisario. Sin embargo, no es obvio que todas las formas de relaciones de confianza en línea se puede entender a través de una definición. Por lo tanto, restringen la definición de la confianza On-line a una forma de relación, es decir, la confianza que se produce por una persona individual hacia un sitio web transaccional o informativo específico. En (Barros, 2008) se hace mención de que por satisfacción, siendo esta un factor de naturaleza subjetivo, se entiende la ausencia de incomodidad y la actitud positiva en el uso del producto, se valoriza el concepto de calidad en el uso en tanto que se refiere a cómo el usuario realiza tareas específicas en escenarios específicos con efectividad. 22 Similitud De estos trabajos han sido tomadas las definiciones de cada una de las características que se han de tomar en cuenta durante la aplicación de la evaluacion. En la sección 1.4.1 se define la razón por la cual se han elegido estas tres características para realizar la evaluación.
  35. 35. Capítulo III. Trabajos relacionados 3.2 A Cross-Cultural User Evaluation of Product Recommender Interfaces (Pu L. C., 2008) 23 Resumen Este documento plasma un estudio realizado para determinar si la diferencia cultural de las personas puede influir en cómo perciben los usuarios al sistema, proponiendo 2 tipos de presentación de ítems, organizado y en lista, así como qué tanto es de su agrado. Esta publicación habla sobre sistemas de recomendación de e-commerce y principalmente evalúa cómo reaccionan los usuarios sobre la muestra de recomendaciones. Al final del trabajo se concluye que la presentación de ítems no causa diferencia de acuerdo a los aspectos culturales. Similitud Este trabajo se ha tomado en cuenta para conocer que tipo de aspectos es necesario evaluar, así como para intentar predecir la reacción de los usuarios en cuanto a los diferentes perfiles existentes dentro del sistema Find-it!. Por medio de este trabajo, se pudo conocer que este tipo de organización de ítems no causa mayor impacto nos cuestionamos si influye de la misma manera dentro de Find-it!, ya que los ítems mostrados son de tipo heterogéneo, es decir, no son de la misma clase, se recomiendan ítems del tipo persona, objetos de conocimiento, edificios, puntos de interés, actividades, etc. lo que pudiera modificar totalmente la conclusión del trabajo previo y por lo cual consideraremos estos aspectos utilizando una clasificación de usuarios similar a la de la publicación. 3.3 Users’ Eye Gaze Pattern in Organization-based Recommender Interfaces (Pu, Chen, & Pearl, 2011) Resumen En este trabajo se presenta un análisis acerca del patrón visual de los usuarios dentro de los sistemas de recomendación, el estudio se realizó en 3 diferentes tipos de organización de ítems recomendados, LIST, ORG-V y ORG-Q. También muestra un estudio Hotspot sobre los 3 tipos de organización con el fin de descubrir desde cuál de ellas el campo visual del usuario es más amplio pudiendo visualizar mayor cantidad de ítems recomendados. Similitud Este trabajo es tomado como referencia al igual que el artículo “A Cross-Cultural User Evaluation of Product Recommender Interfaces”, para conocer aspectos relacionados con la posible reacción de los usuarios y para extraer criterios de evaluación que pudieran afectar la experiencia del usuario al usar el sistema de recomendación Find-it!. Por otra parte, cabe mencionar que esta tesis se desarrolló a la par de la tesis “Interfaz Multimodal para Dispositivos Móviles Multisensoriales aplicada en Sistemas de Recomendación Semánticos
  36. 36. Capítulo III. Trabajos relacionados Sensibles al Contexto”, donde se desarrollaron las interfaces de usuario para el SRSC en cuestión, por tal motivo este tipo de artículos ayudaron en las dos tesis para comprender las necesidades visuales del usuario e intentar predecir la reacción del usuario. 3.4 Users’ Decision Behavior in Recommender Interfaces: Impact of Layout Design (Tsoi, 2011) 24 Resumen En este artículo se realizó un estudio sobre la influencia de la interfaz en el comportamiento de decisión de los usuarios dentro del sistema de recomendación. Dicho análisis se realizó con respecto a 3 tipos de presentaciones visuales de los ítems mostrados, estas formas son list, grid y pie, Figura 3-1. Figura 3-1 Tres esquemas de trazado para la interfaz de recomendación (el número se refiere a la posición de una recomendación) (Tsoi, 2011). Dentro del documento de (Tsoi, 2011) se concluye que el usuario interactúa de manera más amplia con el sistema al mostrarse los ítems en forma de pie (Figura 3-1 c.Pie), a diferencia de La forma de List y Grid (Figura 3-1 a.List y b.Grid). Similitud Para esta tesis el documento al igual que los dos antes mencionados dentro del estado del arte, proporcionan idea de la reacción del usuario ante distintas técnicas visuales. Con este tipo de artículos se pretende adaptar la evaluación a la efectividad, confianza y satisfacción del usuario con respecto a las interfaces mostradas en el sistema.
  37. 37. Capítulo III. Trabajos relacionados 3.5 Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un Método para Tests de Usabilidad Cuantitativos basado en Técnicas de Eye-tracking 25 (Seix, 2012) Resumen En este artículo se presentan los resultados de la investigación de evaluación de sistemas dentro de dispositivos móviles, en particular con la técnica eye-tracking. En este trabajo se describen algunos problemas existentes en el uso de dispositivos móviles como lo son la conectividad, el tamaño de pantalla, el brillo de pantalla en contraste con la luz natural, entre otros, lo cual genera problemas para realizar una evaluación con estos dispositivos. Por otra parte, hace mención del tipo de test aplicables y en qué situaciones existe la posibilidad de ser aplicados. Además de la técnica para realizar la evaluación descrita en este trabajo, hacen mención de otras maneras en que los expertos han intentado llevar a cabo este tipo de evaluaciones, cabe mencionar que todas las técnicas mencionadas son a través de computadoras de escritorio simulando el dispositivo móvil. También se hace mención de algunos dispositivos mecánicos para adaptar al dispositivo móvil una serie de cámaras que permitan filmar el rostro del usuario y la interacción dentro del dispositivo. Similitud En esta tesis se desarrolló una metodología de evaluación centrada en el usuario aplicada sobre dispositivos móviles, hay coincidencias con algunos de los puntos mencionados en este trabajo, como el hecho de ciertas limitantes existentes al realizar la evaluación en campo y no en un ambiente controlado. Por otro lado, retomamos la definición del tipo de test aplicables (Controlado, Remoto y en Campo). Concluimos que la forma en la que es resuelto el problema dentro de este estudio no compensa una evaluación en campo con usuarios reales; es por ello que en esta tesis a diferencia de este trabajo, se propone el uso de dispositivos externos, que permitan capturar información durante la interacción usuario-interfaz por medio de la grabación de video y análisis del mismo. Aunque se considera esfuerzo extra, tanto económico como el tipo de análisis posterior a la captura del video, consideramos que es necesario afrontarlo ya que lo que se busca es realizar una evaluación “centrada en el usuario” donde es necesario conocer la percepción del usuario en un uso del Sistema de Recomendación analizado, y la dependencia del “contexto” para la generación de recomendaciones y funcionamiento del sistema. Es por ello que se descarta llevar a cabo la evaluación como es propuesta dentro de este trabajo.
  38. 38. Capítulo III. Trabajos relacionados 3.6 Arquitectura para la Evaluación de la Usabilidad de Interfaces Multimodales (Hernández, 2005) 26 Resumen Este trabajo describe la arquitectura diseñada para realizar evaluaciones a interfaces multimodales. Presenta los beneficios que las interfaces multimodales puedan brindar al sistema que las implementa y cómo este tipo de interfaces son divididas en los tres niveles de gestión de la interacción, de dificultad creciente según el consorcio W3C: • Multimodalidad secuencial: en cada interacción solo es posible un modo. • Multimodalidad simultánea no-coordinada: contempla la activación de más de una modalidad por interacción pero con un procesado independiente de las mismas. • Multimodalidad simultánea coordinada: ésta contempla la activación simultánea de varios modos y un procesado complementario de la información provenientes de estos modos. También menciona la ayuda que puede ser brindada por parte de la multimodalilad en la recuperación de errores como: • Los usuarios seleccionan el modo o modos de interacción que juzgan más robustos para sus características o entornos de operación. • Como resultado de lo anterior los usuarios hacen uso de un lenguaje de interacción más simple. • Los usuarios tienden a cambiar de modalidad ante la presencia de errores. • El grado de frustración frente a errores es inferior en interfaces multimodales que en unimodales incluso para niveles de precisión iguales. En relación con la colecta de datos para estudios de evaluación, se hace mención del uso de escalas Likert de 7 valores para ser calificadas por parte de los usuarios realizando preguntas relacionadas con el uso de las interfaces multimodales y el uso del método de Test exactos de Fisher4. Similitud En relación a esta tesis de evaluación el documento nos ha ayudado a definir las interfaces multimodales, dejando abierta la posibilidad de incluir un cuestionario en relación a la percepción a este tipo de interfaces. 4"El"test"exacto"de"Fisher"permite"analizar"si"dos"variables"dicotómicas"están"asociadas"cuando"la"muestra"a" estudiar"es"demasiado"pequeña"y"no"se"cumplen"las"condiciones"necesarias"para"que"la"aplicación"del"test"χ2" sea"adecuada"(Pértega Díaz & Pita Fernández)"
  39. 39. Capítulo III. Trabajos relacionados 3.7 User Evaluation Framework of Recommender Systems (Chen & Pu, 2010) 27 Resumen En este documento se realiza la exploración de la evaluación de sistemas de recomendación. Dentro de este estudio se propone un framework para la evaluación de sistemas de recomendación basado en la medición de características como: precisión de las recomendaciones, esfuerzo cognitivo aplicado por el usuario y confianza percibida. Dentro de este documento se hace mención de los cuestionarios que se desarrollaron para la medición de estas características en su framework. Similitud De este documento hemos retomado algunas de las preguntas aplicadas en relación con el esfuerzo cognitivo aplicado por el usuario. En la tabla 3-1 se muestran las preguntas utilizadas dentro del artículo “User Evaluation Framework of Recommender Systems”. Magnitud de Medición Preguntas respondidas dentro de una escala Likert con 5 valores desde "muy en desacuerdo" a "totalmente de acuerdo" Percepciones subjetivas de las características del diseño del sistema Transparencia Entiendo por qué los productos son devueltos a través de las explicaciones de la interfaz. Calidad de Recomendaciones Esta interfaz me dio algunas buenas recomendaciones. Control de Usuario Me siento en control de especificar y modificar mis preferencias en la interfaz. Percepción general de lo competente del sistema Facilidad de Uso Percibida Encuentro esta interfaz fácil de usar. Utilidad Percibida Esta interfaz es competente para ayudarme a encontrar efectivamente los productos que realmente me gustan. Me parece que esta interfaz es útil para mejorar mis compras. Disfrute Encontré agradable la visita a esta interfaz. Confianza de Decisión Confío en que el producto que acabo de adquirir es realmente la mejor
  40. 40. Capítulo III. Trabajos relacionados opción para mí. Esfuerzo Percibido Encontré fácilmente la información que buscaba. 28 Buscar un artículo usando esta interfaz requiere demasiado esfuerzo (escala inversa). Integridad Confianza en las Recomendaciones Siento que esta interfaz es digna de confianza. Confío en que los productos recomendados son consistentes con mis preferencias. Satisfacción Mi total satisfacción con la interfaz es alta. Confiabilidad de las actividades a realizar Intención de Compra Me gustaría comprar el producto que acabo de elegir si tuviera la oportunidad. Intención de Devolución Si tuviera que buscar por un producto online en el futuro y una interfaz como esta estuviera disponible, me encantaría usarla. No me gusta esta interfaz, no la usaría de Nuevo (escala inversa). Intención de Ahorrar Esfuerzo en la Próxima Visita Si tuviera oportunidad de usar esta interfaz de nuevo, es probable que hiciera mi elección más rápido. Tabla 3-1Preguntas para medir aspectos subjetivos 3.8 Do We Really Need Traditional Usability Lab for UX Practice? (Sharma, 2013) Resumen En este documento se hace referencia a la necesidad de un laboratorio para la evaluación de UX (user experience) y de usabilidad. Se comenta que alrededor del mundo muchas empresas se jactan de tener laboratorios de usabilidad y experiencia del usuario, aunque estos laboratorios normalmente son subutilizados, generando un gran costo de mantenimiento de los laboratorios comparado con las evaluaciones que realizan. Este documento analiza los diversos aspectos y modelos de negocio que pueden ayudar a una empresa a decidir si va a poner en marcha un laboratorio de usabilidad o no, y lo que puede ser un modelo ideal para sostenerlo.
  41. 41. Capítulo III. Trabajos relacionados Se menciona también que en ausencia de laboratorio de usabilidad, los diseñadores y especialistas en usabilidad comienzan a creer que saben todo lo que hace falta durante un desarrollo, esto les da confianza y, a veces el exceso de confianza puede llegar a obstruir la solución para satisfacer las necesidades de los usuarios finales. Los diseños producidos fuera del proceso de UCD (user centered design), normalmente rápidos y sucios, pueden verse bien pero pueden no ser eficaces cuando se trata de la intuición y facilidad de uso. También se hace comparación de algunas técnicas de evaluación de UX y usabilidad, así como los costos que pudieran implicar. 29 Similitud De este documento se identificaron algunas de definiciones de UX, de usabilidad y de cómo diferenciarlas. Permitió también identificar la importancia de la elaboración de evaluaciones de usabilidad y de experiencia del usuario. Aunque este documento habla de laboratorios de usabilidad y de experiencia del usuario, se encontraron técnicas e instrumentos que no requieren de un laboratorio para ser aplicadas, además de la propuesta de utilizar algunos dispositivos que pueden ayudar a recolectar información necesaria para las evaluaciones que se pretende desarrollar en esta tesis. 3.9 Lost in Time: The Meaning of Temporal Aspects in User Experience (Kujala, Vogel, Pohlmeyer, & Obrist, 2013) Resumen En este trabajo es evaluada la UX (user experience) en base al tiempo de aprendizaje del usuario que se puede requerir para el sistema evaluado, así como si el sistema implica mayor esfuerzo para el recuerdo y cómo se ve afectada la satisfacción del mismo. También se hace mención del ciclo de UX (user experience) en donde se menciona que “La experiencia del usuario seguirá, siempre y cuando recuerde la última experiencia adquirida”. En la figura 3-2 se muestra el Modelo de continuidad de UX propuesto en (Kujala, Vogel, Pohlmeyer, & Obrist, 2013)
  42. 42. Capítulo III. Trabajos relacionados 30 Figura 3-2 Modelo de continuidad de UX Similitud Este trabajo describe cómo influye el tiempo de aprendizaje del sistema en aspectos de UX (user experience), y cómo puede afectar el que el sistema sea nuevamente utilizado o recomendado a otros. El modelo de continuidad de UX (user experience), que presenta redefine la importancia de la experiencia previa del usuario durante la interacción actual. 3.10 Analysis in Practical Usability Evaluation: A Survey Study (Følstad, Law, & Hornbæk, 2012) Resumen Este documento presenta un estudio de los tipos evaluación ya sea de análisis o estadística. Por otra parte, el tipo de evaluación que realizan se hace por medio de cuestionarios con escalas Likert. En este trabajo se presenta un análisis de expertos de usabilidad, se analiza el comportamiento en la última evaluación de usabilidad realizada. Se presentan los datos sobre cómo es apoyado el análisis, cómo se identifican los problemas de usabilidad, y cómo se integran la evaluación y rediseño. Similitud Dentro del estudio en este documento se identificaron algunas de las técnicas más utilizadas, además de conocer la forma en la que llevaron acabo el estudio por medio de cuestionarios. Cabe mencionar que dentro de nuestra metodología se utiliza la técnica de cuestionarios para obtener la evaluación sumativa. 3.11 Changing Perspectives on Evaluation in HCI: Past, Present, and Future (MacDonald & Atwood, 2013) Resumen Este trabajo explica cómo la evaluación en Human Computer Interaction (HCI) ha ido evolucionando a través de los tiempos. También mencionan aspectos relacionados con líneas de investigación que marcarán el futuro de la evaluación.
  43. 43. Capítulo III. Trabajos relacionados En la tabla 3-2 se aborda la situación actual de la evaluación de HCI mediante las categorías: métodos de prueba de usuario, métodos de control y métodos de campo. Prueba de usuario Métodos de control Métodos de campo Think Aloud Evaluación Heurística Observaciones de 31 Comportamiento Evaluación de Post Uso Con Cuestionarios de Usabilidad Tutoriales Log Analysis Eye- Tracking Cognitive Walkthrough Feedback de los Usuarios Mouse-Tracking Respuestas Emocionales Entrevistas Cuestionarios de Post Uso sobre las Características Más Populares como, Estética, Placer y Compromiso Emocards Mapas Software de Estudio Facial Reacciones Psicológicas Tabla 3-2 Métodos y/o Técnicas utilizados actualmente en evaluación de HCI Similitud Este documento permitió conocer un resumen de la historia de la evaluación de HCI (Human Computer Interaction), así como identificar algunas de las técnicas comúnmente utilizadas en la actualidad. Dentro de la metodología que se propone en esta tesis se retomaron algunas de estas técnicas cubriendo las 3 categorías mencionadas en este artículo, pruebas de usuario, métodos de control y métodos de campo.

×