2012: LCoN Aplicações em Big Data

670 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
670
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
13
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

2012: LCoN Aplicações em Big Data

  1. 1. LCoN:Atuação em Big Data Leandro Nunes de Castro Lnunes@mackenzie.br @lndecastro Faculdade de Computação e Informática & Programa de Pós-Graduação em Engenharia Elétrica Laboratório de Computação Natural (LCoN) www.mackenzie.br/lcon.html
  2. 2. Sumário• Motivação: Dados e Redes Sociais• Mineração de Dados• Computação Natural• Estudos de Caso: – Reclame Aqui – Análise de Sentimento no Twitter – Sistemas de Recomendação• O LCoN• Discussão 2
  3. 3. MotivaçãoUm Universo de Dados e Redes Sociais
  4. 4. Sobre Dados e Informação
  5. 5. Mineração de Dados Conceitos Básicos Image: jannoon028 / FreeDigitalPhotos.net
  6. 6. Pode-se definir a descoberta de conhecimento em bancos de dados (KDD) como sendo o processo não trivial de identificação de padrões válidos, novos, potencialmente úteis e compreensíveis em grandes bancos de dados Image: jannoon028 / FreeDigitalPhotos.net
  7. 7. Processo de KDD Pré- ValidaçãoBase de Dados Análise Processamento (Conhecimento) Image: jscreationzs/ digitalart / Vlado / jscreationzs / FreeDigitalPhotos.net
  8. 8. Estatística Visualização Matemática Mineração de DadosSistemas de EngenhariaInformação Bancos de Inteligência Dados Artificial
  9. 9. Análises DescritivasAnálises Preditivas
  10. 10. Agrupamento Detecção de Anomalias Descrição de Classes e ConceitosPredição:Classificação e AssociaçãoEstimação Images: jscreationzs / renjith krishnan / digitalart / sheelamohan / renjith krishnan / FreeDigitalPhotos.net
  11. 11. Computação Natural Conceitos Básicos Image: Stuart Miles / FreeDigitalPhotos.net
  12. 12. Imagine um mundo onde os computadores podem criar novos universos, e dentro destes universos existam formas naturais que reproduzem, crescem e pensam. Imagine formas vegetais, montanhas, colônias de formigas, sistemas imunológicos, e cérebros, todos aprendendo e evoluindo, e se tornando mais adaptados ao ambiente. Imagine se nossos computadores passassem a conter novas formas de vida. Pense no que isso afetaria nossas vidas. Talvez pudéssemos criar automaticamente projetos de casas e música, novas formas de proteger computadores contra invasores, novas formas de resolver problemas complexos, novos organismos, e novas formas de computar.Agora pare de imaginar.Seja bem vindo à Computação Natural Image: Stuart Miles / FreeDigitalPhotos.net
  13. 13. Principais Áreas• Computação Bioinspirada – Redes Neurais Artificiais – Algoritmos Evolutivos – Inteligência de Enxame – Sistemas Imunológicos Artificiais• Síntese Computacional da Natureza – Geometria Fractal – Vida Artificial• Computação com Novas Matérias Primas – Computação de DNA – Computação Quântica
  14. 14. Aproximador Universal de Funções First layer Second layer Third layer x 1 y1 2 y2 3 y3 W W W 1 2 u u u3  f 1  f 2  f3 1 1 1 b1 b2 b3 y 1 = f1 (W1x + b 1) y 2 = f2 (W2y1 + b 2) y 3 = f3 (W3y2 + b3) o m  F ( x1 , x2 ,..., xm )   α i f   wij x j wi 0    i 1  j 1 
  15. 15. Ant-Based Clustering 2 2  k   f  pp   1  k  f  pd   k  f    1   2  1  d (x i , x j )  f (x i )   s 2  (r ) 1  α  if f  0 x j Neigh ( s s )   0  otherwise
  16. 16. Immunocomputing Foreign stimulus Idiotope 5 1 Paratope 3 6 2 4     mij   G D  ei (n  k ), p j (n)   ε  1   k   n  dci  N1 N1 N2   k1  m ji ci c j  k 2  mij ci c j   m ji ci y j   k 3 cidt  j 1 j 1 j 1 
  17. 17. Bioinspirações
  18. 18. Nomenclatura e Tipos de Dados Possui Financiamen CreditoSalário Estado Cartão de Nro de Idade Imóveis Veículos Cheque to R$ Civil Crédito Filhos Especial Pretendido Autorizado 350 21 Sol. 0 0 0 0 Sim 10.000 Não 3700 52 Cas. 1 1 2 2 Sim 7.000 Sim 1200 26 Cas. 1 0 1 1 Não 10.000 Não 700 25 Sol. 0 0 0 0 Não 5.000 Sim 8500 50 Cas. 2 1 2 2 Sim 40.000 Sim 1800 27 Sol. 1 0 1 0 Sim 20.000 Não 350 20 Sol. 0 0 0 0 Não 10.000 NãoObjetos x AtributosTipos de Dados: Nominais, Ordinais, Numéricos
  19. 19. Estudo de Caso 01Descrição de Classes e Conceitos Dados do Reclame Aqui
  20. 20. Panorama Geral do Setor Status das Reclamações Nao Respondido 20% 7% Respondido 30% Replicas24% Finalizada - Resolvido 19% Finalizada - Nao Média das Notas Resolvido 5.3 3.9 2.6 0.5 Média Geral Média ">0" Finalizada - Resolvido Finalizada - Nao Resolvido
  21. 21. Panorama Geral do Setor Construção Civil - Piores Atendimentos 17% 13% 10% 6% 5% 5% 5% 5% 5% 4% 4% 3%2% 2% 2% 2% 2% 2% 2% 3%
  22. 22. Panorama Geral do Setor Construção Civil17% 13% 9% 6% 6% 6% 6% 4% 4% 4% 4% 3% 3% 2% 2% 2% 2% 2% 2% 2%
  23. 23. Estudo de Caso 02Análise de Sentimento em Tweets Dados da Rede Globo
  24. 24. Base de Análise• Para realizar as análises a serem apresentadas foram utilizados 206.259 tweets de 127.945 usuários entre os dias 1 e 31 de dezembro de 2010.• Os atributos disponíveis para essa análise foram: Cliente, Avaliação, Termo, Usuário, Texto e Data.
  25. 25. Domingão do Faustão Palavras mais comentadas - Domingão do Faustão11% 8% 8% 7% 7% 6% 6% 6% 6% 5% 4% 4% 4% 4% 3% 3% 3% 2% 2% 2% 2% 2% 2% 2% 2% 2% 2% 1% 1% 1% 1% 1% 1% 1% 1% 1% 1% 1% 0% 0% Total Top 20 Total Twitters
  26. 26. Comentários Positivos Palavras mais comentadas - Tweets positivos13% 11% 10% 7% 7% 6% 6% 5% 5% 3% 3% 4% 3% 3% 3% 3% 3% 3% 3% 3% 2% 2% 2% 2% 2% 2% 2% 1% 1% 1% 1% 1% 1% 1% 1% 1% 1% 1% 1% 0% Total Top 20 Total Twitters
  27. 27. Comentários Negativos Palavras mais comentados - Tweets negativos27% 16% 8% 6% 5% 5% 3% 4% 4% 3% 3% 3% 3% 2% 1% 1% 1% 1% 1% 1% 1% 1% 2% 2% 2% 2% 2% 2% 2% 2% 2% 0% 0% 0% 0% 0% 0% 0% 0% 0% Total Top 20 Total Twitters
  28. 28. Influenciadores Qtde de Percentual de Qtde de Qtde deId Usuários Tweets Tweets (%) Seguidores Seguidos 1 adnoticia 253 0,12% 175 219 2 annoticia 256 0,12% 271 350 3 comuniquebrinde 170 0,08% 1.211 1.967 4 feedrssreader 192 0,09% 350 245 5 g1 389 0,19% 467.484 21 6 mariana_viips 155 0,08% 694 67 7 news_mundo_ 224 0,11% 281 895 8 novinhabru 320 0,16% 2.992 1.963 9 romariontv 177 0,09% - -10 segundoplanobr 151 0,07% 347 711 siteg1 207 0,10% 60 -12 sjodiel_indica 262 0,13% 855 61513 standupbot 384 0,19% 386 -14 tudodoesporte 522 0,25% 894 36615 tweets24hs 158 0,08% 2.940 3.25816 vidasemglobo 147 0,07% 600 17717 waldeterossi 313 0,15% 70 1318 zocialtv_br 242 0,12% 338 11519 _invo 720 0,35% 342 22 TOTAL: 5.242 2,54%
  29. 29. Segmentando os Influenciadores
  30. 30. Segmentando os InfluenciadoresGrupo 1 Grupo 2 Grupo 3 adnoticia comuniquebrinde mariana_viips annoticia novinhabru feedrssreader g1 romariontvnews_mundo_ segundoplanobr standupbot siteg1 tudonoesporte sjodiel_indicawaldeterossi vidasemglobo _invo tweets24hs zocialtv_br
  31. 31. Análise dos GruposGrupo Palavras Rio, Brasil, Paulo, chuva, lula, mundial, policia, governo, sul, natal, 1 pais, wikileaks, brasileiros, Dilma, feira, alemão, sudeste, estados, justiça, preso. Rio, Paulo, Brasil, chuva, insensato, pais, governo, natal, wikileaks, 2 Dilma, mundial, justiça, policia, brasileiros, segurança, temporais, projeto, risco, Cielo, prisão. Programa, gosta, assista, Faustão, cine, peça, hoje, ajuda, vídeo, 3 twitteado, amore, marcos, noticias, castro, Araguaia, Ana, comedy, zilza, vote, malhação.
  32. 32. Estudo de Caso 03Recomendação em Comércio Eletrônico Alguns Clientes TUILUX
  33. 33. “Os serviços de recomendação personalizada formam um guia indispensável no processo de escolha de produtos em um e-commerce e visam sugerir o produto mais atraente para cada cliente, em cada contexto, antes da perda de sua atenção. Essa sugestão pode ser feita através de vitrines personalizadas dentro da loja ou disparando e-mails com produtos selecionados exclusivamente para cada cliente.”** Artigo publicado na revista E-Commerce Brasil, Ano 2, Edição 1, 2012. 35
  34. 34. 36
  35. 35. Visão Geral sobre Serviços de Recomendação1. Capturar informação sobreos produtos 2. Capturar informação sobre as interações dos usuários 3. Aplicar algoritmos de seleção de produtos 4. Mostrar o conteúdo selecionado 5. Monitorar e analisar a efetividade da recomendação 37
  36. 36. Página de Produto: Exemplos Cross-sell O que nem os clientes sabiam que queriamVitrineProdutosRelacionados 38
  37. 37. Discussão
  38. 38. O LCoNLaboratório de Computação Natural
  39. 39. Missão e Visão• Missão: Utilizar a computação natural para produzir conhecimento científico de qualidade, promover a formação de capital intelectual altamente qualificado e transformar ciência em tecnologia.• Visão: Ser referência internacional na formação de mestres e doutores, e na produção de artigos científicos e ferramentas de solução de problemas baseadas na computação natural.
  40. 40. Linhas de P&D• Meta-Aprendizagem para Agrupamento• Algoritmos bio-inspirados para agrupamento nebulosos de dados• Jogos educacionais• Detecção de anomalias (fraudes e furtos)• Análise de sentimento em redes sociais• Algoritmos de recomendação• Etc.
  41. 41. Discussão• Mais informação que nossa capacidade de processá-la• A natureza como fonte de inspiração para o desenvolvimento de novos paradigmas de computação• Necessidade de analisar dados de forma sistemática e efetiva• Gerações X, Y e Z!
  42. 42. Obrigado!Leandro Nunes de Castro Lnunes@mackenzie.br @lndecastro 44

×