Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Avaliação offline e online de recomendação de programas

155 views

Published on

Apresentação feita no meetup do dia 20/07/2017 https://www.meetup.com/analyticsemtudo/

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Avaliação offline e online de recomendação de programas

  1. 1. Validação Offline e Online Recomendação de Programas
  2. 2. Metodologia
  3. 3. Metodologia resumida
  4. 4. Validação offline
  5. 5. Validação offline temporal Dia 1 Dia 2 Dia 3 Dia 4 Dia 5 Dia 6 Teste 1 Teste 2 Teste 3 Teste 4 Teste 5 Dados de treino do algoritmo Dados para validação do algoritmo
  6. 6. Mean Reciprocal Rank
  7. 7. Exemplo de cálculo do Mean Reciprocal Rank User 1 User 2 User 3 Previstos pela recomendação
  8. 8. Exemplo de cálculo do Mean Reciprocal Rank User 1 User 2 User 3 Acertos da recomendação Rank = 1/2 Rank = 1/1 Rank = 1/3
  9. 9. Exemplo de cálculo do Mean Reciprocal Rank ( 0,5 + 1 + 0,333) / 3 MRR = 0,61 Rank = 1/2 Rank = 1/1 Rank = 1/3
  10. 10. Teste AB
  11. 11. Sobre a recomendação de programas
  12. 12. Recomendação ● Facilitar a escolha de programas ● Aumentar a personalização e especialização ● Ajudar usuário a encontrar novos programas ● Aumentar o tempo online
  13. 13. Recomendação ● Facilitar a escolha de programas ● Aumentar a personalização e especialização ● Ajudar usuário a encontrar novos programas ● Aumentar o tempo online Content Based
  14. 14. Recomendação ● Facilitar a escolha de programas ● Aumentar a personalização e especialização ● Ajudar usuário a encontrar novos programas ● Aumentar o tempo online Collaborative Filtering Não personalizados
  15. 15. Recomendação ● Facilitar a escolha de programas ● Aumentar a personalização e especialização ● Ajudar usuário a encontrar novos programas ● Aumentar o tempo online Content Based Collaborative Filtering Não personalizados
  16. 16. Recomendação ● Facilitar a escolha de programas ● Aumentar a personalização e especialização ● Ajudar usuário a encontrar novos programas ● Aumentar o tempo online Content Based Collaborative Filtering Não personalizados
  17. 17. Content Based
  18. 18. Técnica: Bag of user properties Content-based Recommender Systems: State of the Art and Trends Pasquale Lops, Marco de Gemmis and Giovanni Semeraro http://facweb.cs.depaul.edu/mobasher/classes/ect5 84/Papers/ContentBasedRS.pdf Bag-of-Features Tagging Approach for a Better Recommendation with Social Big Data Ming Cheung and James She http://smedia.ust.hk/ming/papers/2014IMMMTaggin g.pdf From Word Embeddings to Item Recommendation Makbule Gulcin Ozsoy https://arxiv.org/pdf/1601.01356.pdf
  19. 19. Bag of user properties
  20. 20. Bag of user properties
  21. 21. Bag of user properties
  22. 22. Bag of user properties
  23. 23. Bag of user properties O quanto você gosta?
  24. 24. Bag of user properties O quanto você gosta?
  25. 25. Preferência do usuário por vídeo Completude de vídeo assistido Play StopIntervalo Pause/ Play ( time(stop) - time(play) - Σ time(pauses) ) duration
  26. 26. Cálculos experimentados de preferência de programa Usando completude de vídeos assistidos top Programas com maior completude de videos assistidos por todos usuários pref_99, pref_95, pref_75, ... Soma da completude dos vídeos assistidos pelo usuário por programa, aplicando um multiplicador temporal diário. pref_nmb, pref_nmp, pref_ndp, ... Soma da completude dos vídeos assistidos pelo usuário por programa normalizando pela média do programa, do usuário ou de ambos, por divisão e subtração. pref_zu, pref_zp, pref_zb Soma da completude dos vídeos assistidos pelo usuário por programa normalizando pela média e desvio padrão, do programa, usuário e de ambos.
  27. 27. Prevendo o programa preferido do dia seguinte De usuários que acessaram entre 15/06/2017 a 22/06/2017
  28. 28. Prevendo o programa preferido do dia seguinte De usuários que acessaram entre 15/06/2017 a 22/06/2017 Pref_95: MRR: 0.51 Maior completude pelo perfil com multiplicador temporal de 0.95
  29. 29. Programas mais recomendados na primeira posição No dia 15/06/2017
  30. 30. Cálculo com melhor resultado na validação offline Soma da completude com multiplicador temporal de 0.95 Dia 1 Dia 2
  31. 31. Cálculo com melhor resultado na validação offline Soma da completude com multiplicador temporal de 0.95 Dia 1 Dia 2 0,9 0,7 1,6
  32. 32. Cálculo com melhor resultado na validação offline Soma da completude com multiplicador temporal de 0.95 Dia 1 Dia 2 0,9 0,7 1,6 0,81,52 x0,95
  33. 33. Cálculo com melhor resultado na validação offline Soma da completude com multiplicador temporal de 0.95 Dia 1 Dia 2 0,9 0,7 1,6 0,8 0,2 2,52 x0,95
  34. 34. Collaborative Filtering
  35. 35. Collaborative filtering
  36. 36. Técnica: Alternating least squares Collaborative Filtering for Implicit Feedback Datasets Yifan Hu, Yehuda Koren, Chris Volinsky http://yifanhu.net/PUB/cf.pdf
  37. 37. Alternating Least Squares
  38. 38. Alternating Least Squares
  39. 39. Alternating Least Squares 3.634.0 -
  40. 40. Alternating Least Squares Média de erros quadráticos
  41. 41. Qual melhor valor inicial? 3.63
  42. 42. Qual melhor cálculo de preferência do usuário para o Collaborative Filtering? als_99, als_95, als_75, ... Soma da completude dos vídeos assistidos pelo usuário por programa, aplicando um multiplicador temporal diário. als_nmb, als_nmp, als_ndp, ... Soma da completude dos vídeos assistidos pelo usuário por programa normalizando pela média do programa, do usuário ou de ambos, por divisão e subtração. als_zu, als_zp, als_zb Soma da completude dos vídeos assistidos pelo usuário por programa normalizando pela média e desvio padrão, do programa, usuário e de ambos.
  43. 43. Prevendo o programa preferido do dia seguinte De usuários que acessaram entre 15/06/2017 a 22/06/2017
  44. 44. Prevendo o programa preferido do dia seguinte De usuários que acessaram entre 15/06/2017 a 22/06/2017 als_95zu: MRR: 0.18 Maior completude pelo perfil com multiplicador temporal de 0.95 e normalização por média e desvio padrão de usuário.
  45. 45. Especialização Do dia 15/06/2017 a 17/06 Percentual de usuários que receberiam como primeira recomendação este programa
  46. 46. Exemplos qualitativos No dia 15/06/2017 Preferências Recomendação
  47. 47. Exemplos qualitativos No dia 15/06/2017 Preferências Recomendação
  48. 48. Exemplos qualitativos No dia 15/06/2017 Preferências Recomendação
  49. 49. Futuro
  50. 50. xCLiMF xCLiMF: Optimizing Expected Reciprocal Rank for Data with Multiple Levels of Relevance Karatzogloub, Linas Baltrunasb, Martha Larsona, Alan Hanjalica https://alexiskz.files.wordpress.com/2016/06/xclimf_ err.pdf https://github.com/timotta/xclimf
  51. 51. Dúvidas? @timotta

×