Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Data science no marketing - Estatistica e Computacao para entender o Consumidor

572 views

Published on

Palestra sobre aplicação de ciência de dados no marketing, atribuição, text mining, mineração de dados e etc.
Meetup TOTVS - Abril/2016

Published in: Automotive
  • Be the first to comment

Data science no marketing - Estatistica e Computacao para entender o Consumidor

  1. 1. DATA SCIENCE NO MARKETING Estatística e Computação para entender o consumidor
  2. 2. POR QUE PRECISAMOS DE DATA SCIENCE NO MARKETING? Leo Naressi Leo@dp6.com.br CIO na DP6 Professor ESPM
  3. 3. PARA DESCREVER, ANALISAR E ENTENDER Estatística descritiva ­ Distribuição ­ Dispersão, Média, Mediana, Desvio-Padrão Reporting ­ Geração de relatórios ­ Agrupamentos, Drill-down Dashboards ­ Alertas visuais Data Visualization ­ Análise gráfica
  4. 4. PARA PROJETAR O FUTURO Análise de Séries Temporais ­ ARIMA Regressão ­ Simples ­ Multivariada Decomposição ­ Tendência ­ Sazonalidade ­ Erro
  5. 5. PARA ESTIMAR RESULTADOS E RELAÇÕES Regressão linear ­ Simples ­ Multivariada Regressão Logística Conjoint Analysis ­ Precificação baseada em valor
  6. 6. PARA CLASSIFICAR MENSAGENS Classificação de conteúdo em redes sociais ­ Categorias e Sentimentos ­ SVM – Support Vector Machines Identificar SPAM ­ Naive Bayes Árvores de decisão, Random Forests, etc
  7. 7. PARA AGRUPAR CONSUMIDORES Identificar automaticamente elementos em comum ­ Agrupamento hierárquico Identificar grupos diferentes naturalmente ­ k-Means
  8. 8. PARA SUGERIR PRODUTOS Identificar compras comuns ­ Basket Analysis ­ Regras de associação Identificar preferências comuns ­ Filtragem colaborativa
  9. 9. ESTATÍSTICA APLICADA NO MARKETING Decisões racionais baseadas em dados
  10. 10. MEDIA MIX MODELLING: OTIMIZANDO O ORÇAMENTO DE MÍDIA MATEMATICAMENTE 1/6/14 5/6/14 9/6/14 6/13/2014 6/17/2014 6/21/2014 6/25/2014 6/29/2014 3/7/14 7/7/14 11/7/14 7/15/2014 7/19/2014 7/23/2014 7/27/2014 7/31/2014 4/8/14 8/8/14 12/8/14 8/16/2014 8/20/2014 8/24/2014 8/28/2014 1/9/14 5/9/14 9/9/14 9/13/2014 9/17/2014 9/21/2014 9/25/2014 9/29/2014 3/10/14 7/10/14 11/10/14 10/15/2014 10/19/2014 10/23/2014 10/27/2014 10/31/2014 4/11/14 8/11/14 12/11/14 11/16/2014 11/20/2014 11/24/2014 11/28/2014 2/12/14 6/12/14 10/12/14 12/14/2014 12/18/2014 12/22/2014 12/26/2014 12/30/2014 TV Investment Online Media Investment Always On Investment TotalVisits Normalized Total Leads Normalized
  11. 11. COM ESTATÍSTICA, REGRESSÕES E CORRELAÇÕES É POSSÍVEL ENXERGAR AS RELAÇÕES ENTRE AS SÉRIES DE DADOS
  12. 12. O RESULTADO SÃO PARÂMETROS QUE PERMITEM PREVER O RESULTADO DE ACORDO COM O INVESTIMENTO Vendas = 5.000 (base) + 0.0067 * Investimento TV + 0.0375 * Investimento Online + 0.0082 * Investimento Social
  13. 13. QUE DADOS INCLUIR NO M.M.M? Media Mix Model Dados de Investimento (quebrado por dia, hora, canal, região, etc) Dados relacionados (sazonalides, programações, eventos importantes, etc) Dados de resultados (conversões, compras, receita) Ferramenta para análise estatística (Excel, Google Sheets, R, etc)
  14. 14. MAS A REALIDADE É MAIS COMPLEXA QUE O M.M.M
  15. 15. ENTRANDO A FUNDO NO CICLO DIGITAL, VEMOS QUE O ÚLTIMO PASSO NÃO É O ÚNICO RESPONSÁVEL PELA DECISÃO Last Click Banner no Portal X Acessou Fan Page Clicou em link no twitter Procurou no Google Link Patrocinado Comprou o produto
  16. 16. CADA MODELO DEVE SER ESCOLHIDO DE ACORDO COM A IMPORTÂNCIA DA ETAPA NA JORNADA Primeiro clickÚltimo click Linear Posicional Desvalorização Temporal Personalizado
  17. 17. E SE COLOCARMOS INTELIGÊNCIA ARTIFICIAL PARA ENCONTRAR O MODELO PERFEITO PARA NOSSO PRODUTO?
  18. 18. VISUAL IQ: MÉTRICAS ON E OFF-LINE COM MACHINE LEARNING PARA RECOMENDAR O INVESTIMENTO IDEAL
  19. 19. MARKETSHARE: FAZ O MESMO COM MODELO DE ATRIBUIÇÃO + MMM
  20. 20. ADOMETRY: ANALIZA O IMPACTO DAS VEICULAÇÕES DE TV NAS BUSCAS E NAS CONVERSÕES PARA APRIMORAR A ATRIBUIÇÃO
  21. 21. DEEP LEARNING Criando máquinas profundas que criam seus próprios modelos
  22. 22. O PROBLEMA: TRANSFORMAR OS TEXTOS EM NÚMEROS Texto 3 Texto N Texto 2Texto 1 Categorias Sentimentos Tópicos Temas Padrões de classificação Classificação manual Categoria 1 Categoria 2 Categoria 3 Categoria N Transformando palavras em números Centenas, Milhares de menções, posts
  23. 23. E GERAR INTELIGÊNCIA PARA NOSSAS DECISÕES
  24. 24. COMO FAZEMOS ATUALMENTE? Classificação Manual Regras automáticas (por palavras-chave, etc)
  25. 25. MAS PODEMOS FAZER MELHOR! Texto 3 Texto N Texto 2Texto 1 Centenas, Milhares de menções, posts Categoria 1 Categoria 2 Categoria 3 Categoria N Transformando palavras em números Classificação automática
  26. 26. Método Supervisionado Processamento de linguagem natural (NLP) Filtro por palavras- chave Análise semântica Base ontológica Utiliza algoritmos e estatística para avaliar o significado de palavras e suas relações em uma sentença Necessita de atualização da base de dados utilizada TÉCNICAS COMUNS
  27. 27. MACHINE LEARNING: COMPUTADORES TRABALHANDO COMO NÓS E PARA NÓS… k-Means Naive Bayes Árvores de decisão Singular Value Decomposition (SVD) Support Vector Machines (SVM) TF-IDF Semântica latente = Algoritmos e técnicas de Data Mining / Text Mining para processar conteúdo
  28. 28. QUE FERRAMENTAS ESTÃO DISPONÍVEIS? Ferramentas Open-Source Ferramentas Comerciais Frameworks Deep Learning
  29. 29. DESAFIOS DA CLASSIFICAÇÃO DE TEXTOS E DOCUMENTOS *Mais desafios em: A Review of Machine Learning Algorithms forText-DocumentsClassification – A. Kahn, B. Baharudin, L. Hong Lee, K. Khan Tokenização, ou a correta divisão das frases em palavras simples ou compostas que façam sentido. “pau de selfie” Características do discurso, clareza da informação. Regionalismos, uai! Ironias, Sarcasmos e #sqn Contexto do conteúdo: político, econômico, social, midiático #meuamigosecreto Gramática e Sintaxe, normalização para agrupar sinônimos e erros de grafia. Manga, Manga e Mangá. Você, Voce e Vc Entidades do conteúdo: Hashtags, Geotags, Nomes, Links, etc http, checkins, #oqueeuquisdizernumahashtag
  30. 30. E ESSE DESAFIO?
  31. 31. VAMOS TESTAR! Ferramenta de monitoramento
  32. 32. CLASSIFICAMOS 1MIL MENÇÕES E COMPARAMOS: • Baseada em NLP Ferramenta de Monitoramento • NLP avançadoSemantria • Algoritmo de classificação em multi- categorias Google Prediction Bases Históricas • Base1: 15 mil • Base2: 100mil Classificação • Sentimento em 4 classes • Positivo, Negativo, Neutro, Inválido
  33. 33. OS RESULTADOS Ferramenta de monitoramento Base: 2,6MM 14% Semantria (NLP) Análise semântica e ontológica – tamanho da base desconhecida 41% Google Prediction Base: 15mil 56% Google Prediction Base: 100mil 64% Tempo para classificação automática (1 mil menções): real-time Acurácia comparada à classificação manual Tempo para classificação manual (1 mil menções): 3 horas
  34. 34. É POSSÍVEL APERFEIÇOAR O MODELO, AJUSTANDO OS CONJUNTOS DE DADOS
  35. 35. O GOOGLE PREDICTION USA DEEP LEARNING PARA REGRESSÃO E CLASSIFICAÇÃO
  36. 36. UMA CHAMADA TREINA O MODELO, A OUTRA REALIZA A CLASSIFICAÇÃO Treino Classificação
  37. 37. COMO FAZER O PROCESSO COMPLETO? Coleta de dados de redes sociais Amostragem aleatória Classificação humana da amostra Criação de Modelo Preditivo Treinamento do modelo com os dados classificados Validação da performance do Modelo Análise preditiva baseada no modelo
  38. 38. QUER TESTAR TAMBÉM? dp6.bi/listening-prediction
  39. 39. CLOUD VISION API: DEEP LEARNING PARA IMAGENS Permite processar imagens em tempo real Identifica: ­ Elementos ­ Textos ­ Faces ­ Pontos Turísticos ­ Logomarcas ­ Características da imagem
  40. 40. OBRIGADO Leo@dp6.com.br

×