Sistemas deRecomendaçãoPersonalizando sua experiência de compra        Marcel Pinheiro Caraciolo                marcel@ory...
Quem é Marcel ?Marcel Pinheiro Caraciolo - @marcelcaraciolo   Sergipano, porém Recifense.   Mestrando em Ciência da Comput...
WEB
WEB
1.0                       2.0Fonte de Informação   Fluxo Contínuo de Informação                                 VI Encontr...
WEB SITESWEB APPLICATIONS WEB SERVICES                   3.0          SEMANTIC WEB                   USERS   VI Encontro d...
Usar informação coletiva de   forma efetiva afim de aprimorar uma aplicação
Intelligence from                    Mining Data                                                     User                 ...
aggregation information: lists                                             ratings   user-generated content               ...
WEB SITESWEB APPLICATIONS WEB SERVICES                   3.0            SEMANTIC WEB                   USERS              ...
Atualmente
estamos sobrecarregados     de informações
muitas vezes inúteis
às vezesprocuramos   isso...
e encontramos isso!
google?
google?midias sociais?
eeeeuuuu...    google?midias sociais?
Sistemas de Recomendação
“A lot of times, people don’t know what they want until you show it to them.”                                     Steve Jo...
Recomendações Sociais                                      Família/Amigos                                    Amigos/ Famíl...
Recomendações por Interação                  Entrada: Avalie alguns livros   O Que eu  deveria ler ?                      ...
Sistemas desenhados para sugerir algo para mim do meu                       interesse!
Por que Recomendação ?
Netflix - 2/3 dos filmes alugados vêm de recomendaçãoGoogle News - 38% das notícias mais clicadas vêm de recomendaçãoAmazon ...
!"#$%"#&"%(&$)") Nós+,&-.$/).#&0#/"1.#$%234(".#  * estamos sobrecarregados de               informação    $/)#5(&6 7&.2.#"...
O que pode ser recomendado ?                  Contatos em Redes Sociais    Artigos  Produtos      Messagens de PropagandaC...
E como funciona a recomendação ?
O que os sistemas de recomendação        realmente fazem ? 1. Prediz o quanto você pode gostar de um certo                ...
Filtragem baseada por Conteúdo                  SimilarDuro de           O Vento                         Toy              ...
Problemas com filtragem por              conteúdo 1. Análise dos dados Restrita  - Items e usuários pouco detalhados. Pior...
Filtragem Colaborativa                 O Vento                         ToyThor                             Armagedon      ...
Problemas com filtragem colaborativa    1. Escabilidade        - Amazon com 5M usuários, 50K items, 1.4B avaliações   2. D...
Filtragem Híbrida          Combinação de múltiplos métodosDuro de         O Vento                              Toy        ...
Como eles são               apresentados ?   Destaques                 Mais sobre este artista...  Alguem similar a você t...
Como eles são avaliados ?Como sabemos se a recomendação é boa ?Geralmente se divide-se em treinamento/teste (80/20)Críteri...
Minhas contribuições
Crab                A Python Framework for Building                    Recommendation EnginesMarcel Caraciolo Ricardo Casp...
What is Crab ? A python framework for building recommendation enginesA Scikit module for collaborative, content and hybrid...
The current CrabCollaborative Filtering algorithms  User-Based, Item-Based and Slope OneEvaluation of the Recommender Algo...
Why migrate ?Old Crab running only using Pure Python     Recommendations demand heavy maths calculations and lots of proce...
How are we working ?            Sprints, Online Discussions and Issueshttps://github.com/muricoca/crab/wiki/UpcomingEvents
Future Releases        Planned Release 0.1   Collaborative Filtering Algorithms working, sample datasets to load and test ...
Join us!1. Read our Wiki Page    https://github.com/muricoca/crab/wiki/Developer-Resources2. Check out our current sprints...
RecDay: Recomendações diariamente!
Dicas
Items RecomendadosToby Segaran, Programming Collective   SatnamAlag, Collective Intelligence inIntelligence, OReilly, 2007...
Conferências Recomendadas- ACM RecSys.–ICWSM: Weblogand Social Media–WebKDD: Web Knowledge Discovery and Data Mining–WWW: ...
Onde você estará em tudo         isso ?                    Fonte: Hunch.com      Obrigado !!
Sistemas deRecomendaçãoA experiência de compra personalizada      Marcel Pinheiro Caraciolo              marcel@orygens.co...
Sistemas de Recomendação e Inteligência Coletiva
Sistemas de Recomendação e Inteligência Coletiva
Upcoming SlideShare
Loading in...5
×

Sistemas de Recomendação e Inteligência Coletiva

3,885

Published on

Palestra ministrada na Semana PET do CIN/UFPE em 20.06.2011 sobre Sistemas de Recomendação.

Published in: Technology, Self Improvement
0 Comments
8 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
3,885
On Slideshare
0
From Embeds
0
Number of Embeds
22
Actions
Shares
0
Downloads
0
Comments
0
Likes
8
Embeds 0
No embeds

No notes for slide
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • Transcript of "Sistemas de Recomendação e Inteligência Coletiva"

    1. 1. Sistemas deRecomendaçãoPersonalizando sua experiência de compra Marcel Pinheiro Caraciolo marcel@orygens.com / marcel@recday.com / marcel@muricoca.com @marcelcaraciolo
    2. 2. Quem é Marcel ?Marcel Pinheiro Caraciolo - @marcelcaraciolo Sergipano, porém Recifense. Mestrando em Ciência da Computação no CIN/UFPE na área de mineração de dados Diretor de Pesquisa e Desenvolvimento na Orygens Membro e Moderador da Celúla de Usuários Python de Pernambuco (PUG-PE) Minhas áreas de interesse: Computação móvel e Computação inteligente Meus blogs: http://www.mobideia.com (sobre Mobilidade desde 2006) http://aimotion.blogspot.com (sobre I.A. desde 2009) Jovem Aprendiz ainda nas artes pythonicas.... (desde 2007)
    3. 3. WEB
    4. 4. WEB
    5. 5. 1.0 2.0Fonte de Informação Fluxo Contínuo de Informação VI Encontro do PUG-PE VI Encontro do PUG-PE
    6. 6. WEB SITESWEB APPLICATIONS WEB SERVICES 3.0 SEMANTIC WEB USERS VI Encontro do PUG-PE VI Encontro do PUG-PE
    7. 7. Usar informação coletiva de forma efetiva afim de aprimorar uma aplicação
    8. 8. Intelligence from Mining Data User UserUser User User Um usuário influencia outros por resenhas, notas, recomendações e blogs Um usuário é influenciado por outros por resenhas, notas, recomendações e blogs
    9. 9. aggregation information: lists ratings user-generated content reviews blogs recommendations wikis Collective Intelligence voting Your application bookmarking Search tag cloud tagging saving Natural Language Processing Clustering and Harness external content predictive models
    10. 10. WEB SITESWEB APPLICATIONS WEB SERVICES 3.0 SEMANTIC WEB USERS antes... VI Encontro do PUG-PE VI Encontro do PUG-PE
    11. 11. Atualmente
    12. 12. estamos sobrecarregados de informações
    13. 13. muitas vezes inúteis
    14. 14. às vezesprocuramos isso...
    15. 15. e encontramos isso!
    16. 16. google?
    17. 17. google?midias sociais?
    18. 18. eeeeuuuu... google?midias sociais?
    19. 19. Sistemas de Recomendação
    20. 20. “A lot of times, people don’t know what they want until you show it to them.” Steve Jobs“We are leaving the Information age, andentering into the Recommendation age.” Chris Anderson, from book Long Tail
    21. 21. Recomendações Sociais Família/Amigos Amigos/ Família O Que eudeveria ler ? Ref: Flickr-BlueAlgae “Eu acho que você deveria ler Ref: Flickr photostream: jefield estes livros.
    22. 22. Recomendações por Interação Entrada: Avalie alguns livros O Que eu deveria ler ? Saída: “Livros que você pode gostar são …”
    23. 23. Sistemas desenhados para sugerir algo para mim do meu interesse!
    24. 24. Por que Recomendação ?
    25. 25. Netflix - 2/3 dos filmes alugados vêm de recomendaçãoGoogle News - 38% das notícias mais clicadas vêm de recomendaçãoAmazon - 38% das vendas vêm de recomendação Fonte: Celma & Lamere, ISMIR 2007
    26. 26. !"#$%"#&"%(&$)") Nós+,&-.$/).#&0#/"1.#$%234(".# * estamos sobrecarregados de informação $/)#5(&6 7&.2.#"$4,#)$8 * 93((3&/.#&0#:&3".;#5&&<.# $/)#:-.34#2%$4<.#&/(3/"Milhares de artigos e posts * =/#>$/&3;#?#@A#+B#4,$//"(.;# novos todos os dias 2,&-.$/).#&0#7%&6%$:.# "$4,#)$8 * =/#C"1#D&%<;#.""%$(#Milhões de Músicas, Filmes e 2,&-.$/).#&0#$)#:"..$6".# Livros ."/2#2&#-.#7"%#)$8 Milhares de Ofertas e Promoções
    27. 27. O que pode ser recomendado ? Contatos em Redes Sociais Artigos Produtos Messagens de PropagandaCursos e-learning Livros Tags Músicas Futuras namoradas Roupas Filmes Restaurantes Programas de Tv Vídeos Papers Opções de Investimento Profissionais Módulos de código
    28. 28. E como funciona a recomendação ?
    29. 29. O que os sistemas de recomendação realmente fazem ? 1. Prediz o quanto você pode gostar de um certo produto ou serviço2. Sugere um lista de N items ordenada de acordo com seu interese3. Sugere uma lista de N usuários ordernada para um produto/serviço4. Explica a você o porque esses items foram recomendados5. Ajusta a predição e a recomendação baseado em seu feedback e de outros.
    30. 30. Filtragem baseada por Conteúdo SimilarDuro de O Vento Toy Armagedon Items Matar Levou Store recomenda gosta Marcel Usuários
    31. 31. Problemas com filtragem por conteúdo 1. Análise dos dados Restrita - Items e usuários pouco detalhados. Pior em áudio ou imagens 2. Dados Especializados - Uma pessoa que não tem experiência com Sushi não recebe o melhor restaurante de Sushi da cidade 3. Efeito Portfólio- Só porque eu vi 1 filme da Xuxa quando criança, tem que me recomendar todos dela
    32. 32. Filtragem Colaborativa O Vento ToyThor Armagedon Items Levou Storegosta recomenda Marcel Rafael Amanda Usuários Similar
    33. 33. Problemas com filtragem colaborativa 1. Escabilidade - Amazon com 5M usuários, 50K items, 1.4B avaliações 2. Dados esparsos - Novos usuários e items que não tem histórico 3. Partida Fria - Só avaliei apenas um único livro no Amazon! 4. Popularidade - Todo mundo lê ‘Harry Potter’ 5. Hacking - A pessoa que lê ‘Harry Potter’ lê Kama Sutra
    34. 34. Filtragem Híbrida Combinação de múltiplos métodosDuro de O Vento Toy Armagedon Items Matar Levou Store Ontologias Dados Símbolicos Marcel Rafael Luciana Usuários
    35. 35. Como eles são apresentados ? Destaques Mais sobre este artista... Alguem similar a você também gostou disso O mais popular em seu grupo...Já que você escutou esta, você pode querer esta... Lançamentos Escute músicas de artistas similares. Estes dois item vêm juntos..
    36. 36. Como eles são avaliados ?Como sabemos se a recomendação é boa ?Geralmente se divide-se em treinamento/teste (80/20)Críterios utilizados: - Erro de Predição: RMSE- Curva ROC*, rank-utility, F-Measure *http://code.google.com/p/pyplotmining/
    37. 37. Minhas contribuições
    38. 38. Crab A Python Framework for Building Recommendation EnginesMarcel Caraciolo Ricardo Caspirro Bruno Melo @marcelcaraciolo @ricardocaspirro @brunomelo
    39. 39. What is Crab ? A python framework for building recommendation enginesA Scikit module for collaborative, content and hybrid filtering Mahout Alternative for Python Developers :D Open-Source under the BSD license https://github.com/muricoca/crab
    40. 40. The current CrabCollaborative Filtering algorithms User-Based, Item-Based and Slope OneEvaluation of the Recommender Algorithms Precision, Recall, F1-Score, RMSE Precision-Recall Charts
    41. 41. Why migrate ?Old Crab running only using Pure Python Recommendations demand heavy maths calculations and lots of processingCompatible with Numpy and Scipy libraries High Standard and popular scientific libraries optimized for scientific calculations in PythonScikits projects are amazing! Active Communities, Scientific Conferences and updated projects (e.g. scikit-learn)Turn the Crab framework visible for the community Join the scientific researchers and machine learning developers around the Globe coding with Python to help us in this project Be Fast and Furious
    42. 42. How are we working ? Sprints, Online Discussions and Issueshttps://github.com/muricoca/crab/wiki/UpcomingEvents
    43. 43. Future Releases Planned Release 0.1 Collaborative Filtering Algorithms working, sample datasets to load and test Planned Release 0.11 Evaluation of Recommendation Algorithms and Database Models support Planned Release 0.12 Recommendation as Services with REST APIs....
    44. 44. Join us!1. Read our Wiki Page https://github.com/muricoca/crab/wiki/Developer-Resources2. Check out our current sprints and open issues https://github.com/muricoca/crab/issues3. Forks, Pull Requests mandatory4. Join us at irc.freenode.net #muricoca or at our discussion list in work :(
    45. 45. RecDay: Recomendações diariamente!
    46. 46. Dicas
    47. 47. Items RecomendadosToby Segaran, Programming Collective SatnamAlag, Collective Intelligence inIntelligence, OReilly, 2007 Action, Manning Publications, 2009 Sites como TechCrunch e ReadWriteWeb
    48. 48. Conferências Recomendadas- ACM RecSys.–ICWSM: Weblogand Social Media–WebKDD: Web Knowledge Discovery and Data Mining–WWW: The original WWW conference–SIGIR: Information Retrieval–ACM KDD: Knowledge Discovery and Data Mining–ICML: Machine Learning
    49. 49. Onde você estará em tudo isso ? Fonte: Hunch.com Obrigado !!
    50. 50. Sistemas deRecomendaçãoA experiência de compra personalizada Marcel Pinheiro Caraciolo marcel@orygens.com / marcel@recday.com / marcel@muricoca.com @marcelcaraciolo

    ×