Sistemas de Recomendación:
tipos y evaluación


                               Blanca A. Vargas Govea
                Grup...
1.Sistemas de       recomendación
  - Tipos: filtrado de contenido,
    colaborativo e híbrido
  - Problemas

2. Evaluació...
Objetivo




                Encontrar
           ítems/servicios del
            agrado del usuario
Tipos


  Filtrado basado en
  contenido




  Filtrado colaborativo




  Filtrado híbrido
Filtrado basado en contenido


 Correspondencia ítem - usuario


 Descripción - ítem


                         Implícita
...
Filtrado basado en contenido


  Aprendizaje automático


  Entrada:
  descripción - ítem


                              ...
Filtrado basado en contenido: ventajas


  El usuario puede conocer el
  efecto de sus preferencias




   Puede generar
 ...
Filtrado basado en contenido: desventajas

 Descripciones ricas,
 completas



 Recomiendan ítems
 muy parecidos



 Conte...
Filtrado colaborativo


 Favorece los juicios
 humanos

 Opiniones
 expresadas
 por una
 comunidad


Basado en la memoria
...
Filtrado colaborativo: basado en memoria




 Es el que domina




 Supone que usuarios que
 han compartido intereses
 en ...
Filtrado Colaborativo: basado en memoria

                                    Métricas de similaridad
 1. Formación de
   ...
Filtrado colaborativo: generación de recomendaciones




                 Retroalimentación
                 Los perfiles ...
Filtrado colaborativo: basado en el modelo



 Técnicas de aprendizaje                              clase 4
 automático   ...
Filtrado colaborativo: basado en el modelo
  Inferir reglas o patrones


 Ejemplo:


  Agrupar usuarios en
  clusters

  L...
Filtrado colaborativo: basado en el modelo


  Predicción eficiente
      Se entrena un
      modelo por usuario




  Bas...
Filtrado híbrido
         Filtrado basado en memoria y modelo
         (e.g.,clusters+vecinos cercanos)




       Filtrad...
Problemas generales



   Datos faltantes


   Cold Start


   Espera de nuevas
   recomendaciones


   Usuarios maliciosos
1. Sistemas de       recomendación
   - Tipos: filtrado de contenido,
     colaborativo e híbrido
   - Problemas

2. Evalu...
Evaluación

 Gran cantidad de
 algoritmos



 Todos dicen ser el mejor



 No hay una metodología
  estándar para
 determi...
Evaluación: dificultades

  Algoritmos diseñados
  para conjuntos de datos
  específicos



   Distintos objetivos



   C...
Evaluación: tareas del sistema (las más evaluadas)

        Depende de los objetivos y tareas del sistema




      Predic...
Evaluación: tareas del sistema (menos evaluadas)

                                       Sólo navegar,
  Todos los ítems b...
Evaluación: ¿qué se evalúa?
    Objetivo del sistema        Objetivo del usuario




               Pueden ser muy diferen...
Evaluación: los datos

    ¿Offline?           ¿Online?




       ¿Simulados?
Evaluación: los datos

    Propiedades de los datos para modelar
    mejor la tarea

    Atributos de dominio


          ...
Evaluación: los datos, atributos de dominio

 Naturaleza del
 contenido
 a recomendar/contexto




            Tareas sopo...
Evaluación: los datos, atributos de dominio



    Novedad y calidad




    Costo/Beneficio




    Granularidad de la pr...
Evaluación: los datos, atributos inherentes

    Ratings implícitos, explícitos o ambos




    Escala del rating
Evaluación: los datos, atributos inherentes
                                  Dimensiones del rating




   Presencia/ause...
Evaluación: los datos, atributos inherentes

    Disponibilidad de información demográfica del usuario




              R...
Evaluación: los datos, atributos de muestreo
                                                 Ítems: 999
                 ...
Evaluación: los datos, atributos de muestreo

 Tamaño y distribución:
 ítems > usuarios,
 usuario > ítems




  Escasez de...
Evaluación:métricas de precisión


  Mide qué tan cerca el sistema puede predecir el
  rating para un ítem en comparación ...
Evaluación: categorías de métricas de precisión




                 1.   Precisión predictiva



                 2.   Cl...
Evaluación: precisión predictiva

  Miden qué tan cerca están las predicciones de los
  ratings del sistema de recomendaci...
Evaluación: clasificación


  Miden la frecuencia con la que el sistema toma
  decisiones correctas o incorrectas sobre si...
Evaluación: precisión y recuerdo
    Miden la capacidad del sistema de obtener los ítems
    relevantes disponibles.

  Pr...
Evaluación: curvas ROC

  Receiver Operating Characteristic

  Mide la capacidad del sistema de distinguir entre
  ítems r...
Evaluación:métricas de precisión




         Ciertas métricas son más adecuadas para
         determinadas tareas y tipos...
Evaluación:más allá de la precisión

    Cobertura


  ¿Sobre qué porcentaje
  de ítems el sistema puede
  generar predicc...
Evaluación:más allá de la precisión


    Confianza:
          ¿qué tan seguro está el sistema de que
          su recomen...
Evaluación:más allá de la precisión

  Evaluación del usuario


  Evaluación
  explícita/implícita


  Estudios de
  labor...
Evaluación:más allá de la precisión

  Satisfacción del usuario


  ¿A qué métricas son más
  sensitivos los usuarios?



...
Gracias.
   ¿Preguntas?


blanca.vg@gmail.com
Referencias

  Candillier, L., Jack, K., Fessant, F., and Meyer, F. (2009). State­of­
  the­Art Recommender Systems, chapt...
Referencias imágenes



  http://www.flickr.com/photos/ario/54106663/sizes/m/
  http://www.flickr.com/photos/44760652@N05/...
Referencias imágenes



  http://www.flickr.com/photos/44124426342@N01/151822725/
  http://www.flickr.com/photos/350343647...
Upcoming SlideShare
Loading in...5
×

Sistemas de recomendación: tipos y evaluación

1,052

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,052
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
36
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Sistemas de recomendación: tipos y evaluación

  1. 1. Sistemas de Recomendación: tipos y evaluación Blanca A. Vargas Govea Grupo de Servicios de Recomendación Dirigido por: Dr. Juan Gabriel González Serna CENIDET 29/Sep/2010
  2. 2. 1.Sistemas de recomendación - Tipos: filtrado de contenido, colaborativo e híbrido - Problemas 2. Evaluación - Dificultades - Importancia de los datos - Diversos enfoques
  3. 3. Objetivo Encontrar ítems/servicios del agrado del usuario
  4. 4. Tipos Filtrado basado en contenido Filtrado colaborativo Filtrado híbrido
  5. 5. Filtrado basado en contenido Correspondencia ítem - usuario Descripción - ítem Implícita Descripción - perfil Explícita Vectores de atributos
  6. 6. Filtrado basado en contenido Aprendizaje automático Entrada: descripción - ítem Árboles, Salida: reglas rating del usuario sobre el ítem
  7. 7. Filtrado basado en contenido: ventajas El usuario puede conocer el efecto de sus preferencias Puede generar recomendaciones sin necesidad de ratings
  8. 8. Filtrado basado en contenido: desventajas Descripciones ricas, completas Recomiendan ítems muy parecidos Contenido en teŕminos de atributos
  9. 9. Filtrado colaborativo Favorece los juicios humanos Opiniones expresadas por una comunidad Basado en la memoria Basado en el modelo
  10. 10. Filtrado colaborativo: basado en memoria Es el que domina Supone que usuarios que han compartido intereses en el pasado lo seguirán haciendo en el futuro
  11. 11. Filtrado Colaborativo: basado en memoria Métricas de similaridad 1. Formación de Correlación de vecindario Pearson Manhattan Jaccard Euclidiana 2. Agregación de opinión Se calculan las predicciones de rating (k-vecinos más cercanos) 3. Generación de recomendaciones
  12. 12. Filtrado colaborativo: generación de recomendaciones Retroalimentación Los perfiles crecen Se repite el ciclo
  13. 13. Filtrado colaborativo: basado en el modelo Técnicas de aprendizaje clase 4 automático clase 1 Clasificación: clase 3 a qué rating pertenecen clase 2 los ítems no calificados Regresión: relación de variables (usuario-otros perfiles)
  14. 14. Filtrado colaborativo: basado en el modelo Inferir reglas o patrones Ejemplo: Agrupar usuarios en clusters Los vecinos son los usuarios del mismo cluster
  15. 15. Filtrado colaborativo: basado en el modelo Predicción eficiente Se entrena un modelo por usuario Basados en memoria: igual de eficientes, ¿más simples? Noción de Interpretación comunidad
  16. 16. Filtrado híbrido Filtrado basado en memoria y modelo (e.g.,clusters+vecinos cercanos) Filtrado colaborativo y de contenido (e.g., correr independientemente y combinar con esquema de votación)
  17. 17. Problemas generales Datos faltantes Cold Start Espera de nuevas recomendaciones Usuarios maliciosos
  18. 18. 1. Sistemas de recomendación - Tipos: filtrado de contenido, colaborativo e híbrido - Problemas 2. Evaluación - Dificultades - Importancia de los datos - Diversos enfoques
  19. 19. Evaluación Gran cantidad de algoritmos Todos dicen ser el mejor No hay una metodología estándar para determinar qué hace a un algoritmo mejor que otro
  20. 20. Evaluación: dificultades Algoritmos diseñados para conjuntos de datos específicos Distintos objetivos Cuestionamiento en decidir qué métricas usar
  21. 21. Evaluación: tareas del sistema (las más evaluadas) Depende de los objetivos y tareas del sistema Predicción de Desplegar artículos preferencias (e.g., lista rankeada)
  22. 22. Evaluación: tareas del sistema (menos evaluadas) Sólo navegar, Todos los ítems buscados (e.g., sin comprar documentos legales) Ayudar a Mejora otros del perfil Deseo Recomendador confiable de expresarse
  23. 23. Evaluación: ¿qué se evalúa? Objetivo del sistema Objetivo del usuario Pueden ser muy diferentes
  24. 24. Evaluación: los datos ¿Offline? ¿Online? ¿Simulados?
  25. 25. Evaluación: los datos Propiedades de los datos para modelar mejor la tarea Atributos de dominio Atributos inherentes Atributos de muestreo
  26. 26. Evaluación: los datos, atributos de dominio Naturaleza del contenido a recomendar/contexto Tareas soportadas por el sistema
  27. 27. Evaluación: los datos, atributos de dominio Novedad y calidad Costo/Beneficio Granularidad de la preferencia
  28. 28. Evaluación: los datos, atributos inherentes Ratings implícitos, explícitos o ambos Escala del rating
  29. 29. Evaluación: los datos, atributos inherentes Dimensiones del rating Presencia/ausencia de registro de tiempo
  30. 30. Evaluación: los datos, atributos inherentes Disponibilidad de información demográfica del usuario Registro de las recomendaciones Sesgo de la colección de datos
  31. 31. Evaluación: los datos, atributos de muestreo Ítems: 999 Calif: 3 Ítems: 1122 Calif:3127 Densidad de los ratings de ítems Densidad de los ratings de usuarios que generan recomendaciones
  32. 32. Evaluación: los datos, atributos de muestreo Tamaño y distribución: ítems > usuarios, usuario > ítems Escasez de datos
  33. 33. Evaluación:métricas de precisión Mide qué tan cerca el sistema puede predecir el rating para un ítem en comparación con el rating real ¿Qué rating le dará un usuario a un ítem? ¿Seleccionará el usuario un ítem? ¿Qué orden de utilidad tendrán los ítems?
  34. 34. Evaluación: categorías de métricas de precisión 1. Precisión predictiva 2. Clasificación 3. Precisión y recuerdo
  35. 35. Evaluación: precisión predictiva Miden qué tan cerca están las predicciones de los ratings del sistema de recomendación a los del usuario real. Error Absoluto Medio (MAE) No es muy útil cuando la granularidad de las preferencias es pequeña. Raíz cuadrada del error cuadrático medio (RMSE) La diferencia radica en el grado en el cual los errores son penalizados. RMSE penaliza errores grandes.
  36. 36. Evaluación: clasificación Miden la frecuencia con la que el sistema toma decisiones correctas o incorrectas sobre si un ítem es bueno. Son apropiadas para tareas como encontrar buenos ítems donde los usuarios tienen preferencias binarias.
  37. 37. Evaluación: precisión y recuerdo Miden la capacidad del sistema de obtener los ítems relevantes disponibles. Precisión: Relevante No relevante Capacidad del sistema de Seleccionado a b mostrar ítems relevantes. No c d Representa la probabilidad de seleccionado que un ítem seleccionado sea relevante. P= a a+b Recuerdo: Cobertura de ítems útiles que el sistema puede obtener. R= a a+c Representa la probabilidad de que un ítem relevante sea seleccionado.
  38. 38. Evaluación: curvas ROC Receiver Operating Characteristic Mide la capacidad del sistema de distinguir entre ítems relevantes y no relevantes. Precisión/Recuerdo enfatizan la proporción de recomendaciones exitosas. Ideal para: muchos ítems interesantes y se necesitan pocas buenas recomendaciones. ROC enfatiza la proporción de ítems no exitosos que fueron recomendados. Ideal para: cada recomendación tiene un costo y equivocarse es caro.
  39. 39. Evaluación:métricas de precisión Ciertas métricas son más adecuadas para determinadas tareas y tipos de datos
  40. 40. Evaluación:más allá de la precisión Cobertura ¿Sobre qué porcentaje de ítems el sistema puede generar predicciones? ¿Qué porcentaje de los ítems son los que recomienda el sistema?
  41. 41. Evaluación:más allá de la precisión Confianza: ¿qué tan seguro está el sistema de que su recomendación es exacta? Mostrarle al usuario. Novedad y Suerte Similar a un esquema por refuerzo Tasa de aprendizaje
  42. 42. Evaluación:más allá de la precisión Evaluación del usuario Evaluación explícita/implícita Estudios de laboratorio/campo Definición de lo que es una salida exitosa Corto/largo alcance
  43. 43. Evaluación:más allá de la precisión Satisfacción del usuario ¿A qué métricas son más sensitivos los usuarios? ¿Cómo afectan los diversos aspectos (cobertura, novedad, etc.) a la satisfacción?
  44. 44. Gracias. ¿Preguntas? blanca.vg@gmail.com
  45. 45. Referencias Candillier, L., Jack, K., Fessant, F., and Meyer, F. (2009). State­of­ the­Art Recommender Systems, chapter 1, pages 1–22. IGI Global. Book:  Collaborative and Social Information Retrieval and Access: Techniques for  Improved User Modeling. de Wit, J. J. (2008). Evaluating recommender systems – an evaluation frame­ work to predict user satisfaction for recommender systems in an electronic  programme guide context. Master’s thesis, University of Twente. Gunawardana, A. and Shani, G. (2009). A survey of accuracy evaluation  metrics of recommendation tasks. Journal of Machine Learning Research,  10:2935–2962. Herlocker, J. L., Konstan, J. A., Terveen, L. G., and Riedl, J. T. (2004). Evaluating collaborative filtering recommender systems. ACM Trans.  Inf. Syst.,22(1):5–53. Lathia, N. (2009). Computing Recommendations with Collaborative Filtering, chapter 2, pages 23–38. IGI Global. Book: Collaborative and Social  Information Retrieval and Access: Techniques for Improved User Modeling.
  46. 46. Referencias imágenes http://www.flickr.com/photos/ario/54106663/sizes/m/ http://www.flickr.com/photos/44760652@N05/4659522355/ http://www.flickr.com/photos/51813566@N08/4760804346/ http://www.flickr.com/photos/7750017@N02/4267291403/ http://www.flickr.com/photos/94698336@N00/292229414/ http://www.flickr.com/photos/15086630@N07/4152920543/ http://www.flickr.com/photos/splorp/59240233/sizes/l/ http://www.flickr.com/photos/44921934@N00/302001867/ http://www.flickr.com/photos/79477324@N00/230625187/ http://www.flickr.com/photos/26517433@N00/2007012694/ http://www.flickr.com/photos/38917708@N00/455000502/ http://www.flickr.com/photos/49366539@N00/572481795/ http://www.flickr.com/photos/49462908@N00/4411505290/ http://www.flickr.com/photos/80639080@N00/1286122845/ http://www.flickr.com/photos/32263295@N00/3938238831/ http://www.flickr.com/photos/40780016@N02/3914729343/ http://www.flickr.com/photos/49408564@N00/91970575/
  47. 47. Referencias imágenes http://www.flickr.com/photos/44124426342@N01/151822725/ http://www.flickr.com/photos/35034364750@N01/282496846/ http://www.flickr.com/photos/10687935@N04/3887516326/ http://www.flickr.com/photos/32957828@N00/3737437574/ http://www.flickr.com/photos/24431382@N03/4671584999/ http://www.flickr.com/photos/35855601@N06/3313477849/ http://www.flickr.com/photos/71239936@N00/397653832/ http://www.flickr.com/photos/23812016@N05/4998557125/ http://www.flickr.com/photos/39332788@N02/4060003777/ http://www.flickr.com/photos/41987260@N00/2234941799/ http://www.flickr.com/photos/65793011@N00/84894948/ http://www.flickr.com/photos/32109282@N00/4504668254/ http://www.flickr.com/photos/32109282@N00/4633615801/ http://www.flickr.com/photos/71438311@N00/2764675971/ http://www.flickr.com/photos/70403129@N00/2492474473/ http://www.flickr.com/photos/15087210@N00/997085301/ http://www.flickr.com/photos/60364452@N00/264891907/
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×