Sistemas de recomendación: tipos y evaluación
Upcoming SlideShare
Loading in...5
×
 

Sistemas de recomendación: tipos y evaluación

on

  • 1,249 views

 

Statistics

Views

Total Views
1,249
Views on SlideShare
825
Embed Views
424

Actions

Likes
0
Downloads
34
Comments
0

3 Embeds 424

http://blancavargas.wordpress.com 420
https://blancavargas.wordpress.com 3
http://translate.googleusercontent.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

CC Attribution-NonCommercial LicenseCC Attribution-NonCommercial License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Sistemas de recomendación: tipos y evaluación Sistemas de recomendación: tipos y evaluación Presentation Transcript

  • Sistemas de Recomendación: tipos y evaluación Blanca A. Vargas Govea Grupo de Servicios de Recomendación Dirigido por: Dr. Juan Gabriel González Serna CENIDET 29/Sep/2010
  • 1.Sistemas de recomendación - Tipos: filtrado de contenido, colaborativo e híbrido - Problemas 2. Evaluación - Dificultades - Importancia de los datos - Diversos enfoques
  • Objetivo Encontrar ítems/servicios del agrado del usuario
  • Tipos Filtrado basado en contenido Filtrado colaborativo Filtrado híbrido
  • Filtrado basado en contenido Correspondencia ítem - usuario Descripción - ítem Implícita Descripción - perfil Explícita Vectores de atributos
  • Filtrado basado en contenido Aprendizaje automático Entrada: descripción - ítem Árboles, Salida: reglas rating del usuario sobre el ítem
  • Filtrado basado en contenido: ventajas El usuario puede conocer el efecto de sus preferencias Puede generar recomendaciones sin necesidad de ratings
  • Filtrado basado en contenido: desventajas Descripciones ricas, completas Recomiendan ítems muy parecidos Contenido en teŕminos de atributos
  • Filtrado colaborativo Favorece los juicios humanos Opiniones expresadas por una comunidad Basado en la memoria Basado en el modelo
  • Filtrado colaborativo: basado en memoria Es el que domina Supone que usuarios que han compartido intereses en el pasado lo seguirán haciendo en el futuro
  • Filtrado Colaborativo: basado en memoria Métricas de similaridad 1. Formación de Correlación de vecindario Pearson Manhattan Jaccard Euclidiana 2. Agregación de opinión Se calculan las predicciones de rating (k-vecinos más cercanos) 3. Generación de recomendaciones
  • Filtrado colaborativo: generación de recomendaciones Retroalimentación Los perfiles crecen Se repite el ciclo
  • Filtrado colaborativo: basado en el modelo Técnicas de aprendizaje clase 4 automático clase 1 Clasificación: clase 3 a qué rating pertenecen clase 2 los ítems no calificados Regresión: relación de variables (usuario-otros perfiles)
  • Filtrado colaborativo: basado en el modelo Inferir reglas o patrones Ejemplo: Agrupar usuarios en clusters Los vecinos son los usuarios del mismo cluster
  • Filtrado colaborativo: basado en el modelo Predicción eficiente Se entrena un modelo por usuario Basados en memoria: igual de eficientes, ¿más simples? Noción de Interpretación comunidad
  • Filtrado híbrido Filtrado basado en memoria y modelo (e.g.,clusters+vecinos cercanos) Filtrado colaborativo y de contenido (e.g., correr independientemente y combinar con esquema de votación)
  • Problemas generales Datos faltantes Cold Start Espera de nuevas recomendaciones Usuarios maliciosos
  • 1. Sistemas de recomendación - Tipos: filtrado de contenido, colaborativo e híbrido - Problemas 2. Evaluación - Dificultades - Importancia de los datos - Diversos enfoques
  • Evaluación Gran cantidad de algoritmos Todos dicen ser el mejor No hay una metodología estándar para determinar qué hace a un algoritmo mejor que otro
  • Evaluación: dificultades Algoritmos diseñados para conjuntos de datos específicos Distintos objetivos Cuestionamiento en decidir qué métricas usar
  • Evaluación: tareas del sistema (las más evaluadas) Depende de los objetivos y tareas del sistema Predicción de Desplegar artículos preferencias (e.g., lista rankeada)
  • Evaluación: tareas del sistema (menos evaluadas) Sólo navegar, Todos los ítems buscados (e.g., sin comprar documentos legales) Ayudar a Mejora otros del perfil Deseo Recomendador confiable de expresarse
  • Evaluación: ¿qué se evalúa? Objetivo del sistema Objetivo del usuario Pueden ser muy diferentes
  • Evaluación: los datos ¿Offline? ¿Online? ¿Simulados?
  • Evaluación: los datos Propiedades de los datos para modelar mejor la tarea Atributos de dominio Atributos inherentes Atributos de muestreo
  • Evaluación: los datos, atributos de dominio Naturaleza del contenido a recomendar/contexto Tareas soportadas por el sistema
  • Evaluación: los datos, atributos de dominio Novedad y calidad Costo/Beneficio Granularidad de la preferencia
  • Evaluación: los datos, atributos inherentes Ratings implícitos, explícitos o ambos Escala del rating
  • Evaluación: los datos, atributos inherentes Dimensiones del rating Presencia/ausencia de registro de tiempo
  • Evaluación: los datos, atributos inherentes Disponibilidad de información demográfica del usuario Registro de las recomendaciones Sesgo de la colección de datos
  • Evaluación: los datos, atributos de muestreo Ítems: 999 Calif: 3 Ítems: 1122 Calif:3127 Densidad de los ratings de ítems Densidad de los ratings de usuarios que generan recomendaciones
  • Evaluación: los datos, atributos de muestreo Tamaño y distribución: ítems > usuarios, usuario > ítems Escasez de datos
  • Evaluación:métricas de precisión Mide qué tan cerca el sistema puede predecir el rating para un ítem en comparación con el rating real ¿Qué rating le dará un usuario a un ítem? ¿Seleccionará el usuario un ítem? ¿Qué orden de utilidad tendrán los ítems?
  • Evaluación: categorías de métricas de precisión 1. Precisión predictiva 2. Clasificación 3. Precisión y recuerdo
  • Evaluación: precisión predictiva Miden qué tan cerca están las predicciones de los ratings del sistema de recomendación a los del usuario real. Error Absoluto Medio (MAE) No es muy útil cuando la granularidad de las preferencias es pequeña. Raíz cuadrada del error cuadrático medio (RMSE) La diferencia radica en el grado en el cual los errores son penalizados. RMSE penaliza errores grandes.
  • Evaluación: clasificación Miden la frecuencia con la que el sistema toma decisiones correctas o incorrectas sobre si un ítem es bueno. Son apropiadas para tareas como encontrar buenos ítems donde los usuarios tienen preferencias binarias.
  • Evaluación: precisión y recuerdo Miden la capacidad del sistema de obtener los ítems relevantes disponibles. Precisión: Relevante No relevante Capacidad del sistema de Seleccionado a b mostrar ítems relevantes. No c d Representa la probabilidad de seleccionado que un ítem seleccionado sea relevante. P= a a+b Recuerdo: Cobertura de ítems útiles que el sistema puede obtener. R= a a+c Representa la probabilidad de que un ítem relevante sea seleccionado.
  • Evaluación: curvas ROC Receiver Operating Characteristic Mide la capacidad del sistema de distinguir entre ítems relevantes y no relevantes. Precisión/Recuerdo enfatizan la proporción de recomendaciones exitosas. Ideal para: muchos ítems interesantes y se necesitan pocas buenas recomendaciones. ROC enfatiza la proporción de ítems no exitosos que fueron recomendados. Ideal para: cada recomendación tiene un costo y equivocarse es caro.
  • Evaluación:métricas de precisión Ciertas métricas son más adecuadas para determinadas tareas y tipos de datos
  • Evaluación:más allá de la precisión Cobertura ¿Sobre qué porcentaje de ítems el sistema puede generar predicciones? ¿Qué porcentaje de los ítems son los que recomienda el sistema?
  • Evaluación:más allá de la precisión Confianza: ¿qué tan seguro está el sistema de que su recomendación es exacta? Mostrarle al usuario. Novedad y Suerte Similar a un esquema por refuerzo Tasa de aprendizaje
  • Evaluación:más allá de la precisión Evaluación del usuario Evaluación explícita/implícita Estudios de laboratorio/campo Definición de lo que es una salida exitosa Corto/largo alcance
  • Evaluación:más allá de la precisión Satisfacción del usuario ¿A qué métricas son más sensitivos los usuarios? ¿Cómo afectan los diversos aspectos (cobertura, novedad, etc.) a la satisfacción?
  • Gracias. ¿Preguntas? blanca.vg@gmail.com
  • Referencias Candillier, L., Jack, K., Fessant, F., and Meyer, F. (2009). State­of­ the­Art Recommender Systems, chapter 1, pages 1–22. IGI Global. Book:  Collaborative and Social Information Retrieval and Access: Techniques for  Improved User Modeling. de Wit, J. J. (2008). Evaluating recommender systems – an evaluation frame­ work to predict user satisfaction for recommender systems in an electronic  programme guide context. Master’s thesis, University of Twente. Gunawardana, A. and Shani, G. (2009). A survey of accuracy evaluation  metrics of recommendation tasks. Journal of Machine Learning Research,  10:2935–2962. Herlocker, J. L., Konstan, J. A., Terveen, L. G., and Riedl, J. T. (2004). Evaluating collaborative filtering recommender systems. ACM Trans.  Inf. Syst.,22(1):5–53. Lathia, N. (2009). Computing Recommendations with Collaborative Filtering, chapter 2, pages 23–38. IGI Global. Book: Collaborative and Social  Information Retrieval and Access: Techniques for Improved User Modeling.
  • Referencias imágenes http://www.flickr.com/photos/ario/54106663/sizes/m/ http://www.flickr.com/photos/44760652@N05/4659522355/ http://www.flickr.com/photos/51813566@N08/4760804346/ http://www.flickr.com/photos/7750017@N02/4267291403/ http://www.flickr.com/photos/94698336@N00/292229414/ http://www.flickr.com/photos/15086630@N07/4152920543/ http://www.flickr.com/photos/splorp/59240233/sizes/l/ http://www.flickr.com/photos/44921934@N00/302001867/ http://www.flickr.com/photos/79477324@N00/230625187/ http://www.flickr.com/photos/26517433@N00/2007012694/ http://www.flickr.com/photos/38917708@N00/455000502/ http://www.flickr.com/photos/49366539@N00/572481795/ http://www.flickr.com/photos/49462908@N00/4411505290/ http://www.flickr.com/photos/80639080@N00/1286122845/ http://www.flickr.com/photos/32263295@N00/3938238831/ http://www.flickr.com/photos/40780016@N02/3914729343/ http://www.flickr.com/photos/49408564@N00/91970575/
  • Referencias imágenes http://www.flickr.com/photos/44124426342@N01/151822725/ http://www.flickr.com/photos/35034364750@N01/282496846/ http://www.flickr.com/photos/10687935@N04/3887516326/ http://www.flickr.com/photos/32957828@N00/3737437574/ http://www.flickr.com/photos/24431382@N03/4671584999/ http://www.flickr.com/photos/35855601@N06/3313477849/ http://www.flickr.com/photos/71239936@N00/397653832/ http://www.flickr.com/photos/23812016@N05/4998557125/ http://www.flickr.com/photos/39332788@N02/4060003777/ http://www.flickr.com/photos/41987260@N00/2234941799/ http://www.flickr.com/photos/65793011@N00/84894948/ http://www.flickr.com/photos/32109282@N00/4504668254/ http://www.flickr.com/photos/32109282@N00/4633615801/ http://www.flickr.com/photos/71438311@N00/2764675971/ http://www.flickr.com/photos/70403129@N00/2492474473/ http://www.flickr.com/photos/15087210@N00/997085301/ http://www.flickr.com/photos/60364452@N00/264891907/