Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Teste A/B - O que fazer para extrair o máximo de um teste - Marcell Almeida - PM3 Lives #1

103 views

Published on

Palestra pode ser assistida aqui: https://www.youtube.com/watch?v=A9_ore0b2C8

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Teste A/B - O que fazer para extrair o máximo de um teste - Marcell Almeida - PM3 Lives #1

  1. 1. Teste A/B Teste A/B O que fazer para extrair o máximo de um teste - Marcell Almeida
  2. 2. MARCELL ALMEIDA Mini Currículo: Graduado em Ciência da Computação e Product Manager com foco em startups de rápido crescimento. Já fundou sua própria startup fintech e agora lidera o Product Lab da Catho/Seek, um laboratório de inovação. Life Achievements: ● Vendeu um site quando tinha 14 anos ● Gosta de fazer Kitesurfing ● Já perdeu um carro na bolsa de valores em 2013 https://br.linkedin.com/in/almeidamarcell Empresas por onde passei: Outros projetos:
  3. 3. Agora antes de começar...
  4. 4. Ainda não é aluno da PM3?
  5. 5. Ainda não é aluno da PM3?
  6. 6. Ainda não é aluno da PM3?
  7. 7. Vamos começar!
  8. 8. Muitas empresas passam anos tentando empurrar goela abaixo o que eles pensam ser um produto que todo mundo quer. Mas na verdade eles deviam se perguntar por que alguém precisa desse produto. Entã O que é Test?
  9. 9. ● Um método científico adaptado do marketing ● Comparar duas ou mais versões para tirar conclusões ● Permite usar dados e estatística para determinar qual versão é melhor A/B tests são bons para
  10. 10. Como funciona?
  11. 11. Como funciona?
  12. 12. ● Mitigar riscos ● Ajudar a identificar o impacto de cada mudança ● Aumentar o aprendizado A/B tests são bons para
  13. 13. Ferramentas
  14. 14. https://optimizely.com Mudança de ferramenta no VivaReal
  15. 15. http://optimize.google.com Mudança de ferramenta no VivaReal
  16. 16. 1. Speedindex (quando o primeiro scroll está visualmente completo) 2. Time to interactive (indica quando o usuário consegue interagir com o site) 9.5s 12.5s 14s 7s 5.5s 4s 5s 10s 6s 2.5s Mudança de ferramenta no VivaReal
  17. 17. Cuidado com Hippos!
  18. 18. HiPPOs Highest Paid Person Opinion Cuidado com Hippos!
  19. 19. Deixe os dados guiarem as suas decisões, não o HiPPOs   Cuidado com Hippos!
  20. 20. Como formular um teste
  21. 21.   Geral Taxa de Conversão CTR da busca para o anúncio Controle-1 (C1) 1.23 51.96 Controle-1 (C2) 1.22 51.59 C1 Vs. C2 -0.75% -0.71% Pouca diferença Faça testes A/A
  22. 22. Sempre olhe as segmentações! Efeitos contrários podem se anular e mascarar o resultado final
  23. 23. 1. Defina o problema 2. Defina cenários 3. Defina as métricas que você quer impactar 4. Faça rascunhos com o time de UX 5. Design 6. Desenvolvimento Como preparar um bom teste A/B?
  24. 24. Dados qualitativos dão uma ideia do que deveria ser testado Quantitativos Dados quantitativos falam para você onde testar Qualitativos Use dados quantitativos e qualitativos
  25. 25. Dados qualitativos dão uma ideia do que deveria ser testado Quantitativos Dados quantitativos falam para você onde testar Qualitativos 1. Testes com usuário 2. Mapa de calor 3. Hotjar 4. Comentários nas lojas de app 5. Feedbacks recebidos pelo suporte ou time de vendas 1. Tráfego web 2. Email marketing 3. Tickets (chamados) abertos Use dados quantitativos e qualitativos
  26. 26. "Se [variável], então [resultado], porque [racional]." Formule uma hipótese
  27. 27. ● O elemento que vai ser modificado ● Isole uma variável para o A/B test ● Pense no Call to action, visual ou formulário "Se [variável], então [resultado], porque [racional]." Formule uma hipótese
  28. 28. ● Preveja o resultado ● Use dados para determinar o efeito dele ● Mais e-mails? Mais signups? Mais CTA? Mais conversão? "Se [variável], então [resultado], porque [racional]." Formule uma hipótese
  29. 29. ● Demonstre o quanto você conhece os seus usuários ● O que vai estar provado ser incorreto caso o experimento seja igual ou inferior ao atual? "Se [variável], então [resultado], porque [racional]." Formule uma hipótese
  30. 30. "Se as imagens chamarem mais atenção, então a taxa de clique vai aumentar, porque sabemos que as imagens são um dos fatores mais importantes para quem busca um imóvel." Formule uma hipótese
  31. 31. Hipótese forte Se o funil de compra tiver menos páginas, vamos aumentar a conversão de compra da loja Se a navegação for removida das páginas de checkout, a taxa de conversão em cada passo vai aumentar porque o analytics do site mostra que uma porção desses usuários está deixando a página antes de clicar no link dessas páginas Hipótese fraca Hipóteses não devem ser genéricas
  32. 32. 1. Maior transparência na empresa 2. O aprendizado fica disponível para todos na empresa 3. Facilita olhar o histórico e pensar em hipóteses baseado no aprendizado Documente os testes
  33. 33. Visão Qualitativa Métrica Objetivo ● Conversão / Sessão Métricas Restritivas ● Taxa de Saída ● Taxa de Retorno Métricas Explicativas ● CTR da Busca ● Scroll no Listing ● Tempo Médio de Sessão Defina valores aceitáveis para estas métricas antes do teste! + Desenho do teste e métricas secundárias
  34. 34. https://docs.google.com/spreadsheets/d/1Iyu59yTY4X CYuSwL7wCbKJFNYnOodis3CsIzbeid1aE/edit#gid=0 Calculadora
  35. 35. http://ferramentas.resultadosdigitais.com.br/ calculadora-teste-ab/resultado Calculadoras mais simples
  36. 36. http://www.experimentationhub.com/p-value .html Calculadoras mais simples
  37. 37. ● Rode o teste por pelo menos 2 semanas ● Tenha um backlog de hipóteses ● Desenvolva novos testes enquanto outros estão rodando ● Não deixe de olhar as segmentações! Efeitos contrários podem se anular e mascarar o resultado final ● Para ter 100% de certeza o teste precisa ter dado significância estatística Regras básicas
  38. 38. Exemplos
  39. 39. Para refletir...
  40. 40. A receita total aumentou em um 24,7% e a Receita Por Visita (RPV) em 17,1%. Vencedor! Para refletir...
  41. 41. 1) Caixas de código promocional estavam fazendo com que os clientes saíssem do site na hora de confirmar o pedido! Quando o usuário vê a opção de "Vale Presente" ou "Cupom de desconto" antes da página de pagamento é como se você tivesse pedindo para ele procurar algo que fosse dar um desconto. E isso faz com o que ele vá, de fato, buscar. Para refletir...
  42. 42. Por que deu certo? "Sempre que você deixar a porta aberta para que um usuário deixe o funil de conversão - mesmo que pareça que eles voltariam - você corre o risco de perder vendas". Para refletir...
  43. 43. Para refletir...
  44. 44. Forneça os códigos de desconto disponíveis aos visitantes antecipadamente (nas páginas do próprio produto) pode ser uma alternativa para o problema. É assim que a Myntra, uma loja de comércio eletrônico de moda indiana, faz isso com estilo: Para refletir...
  45. 45. Para refletir...
  46. 46. Cases VivaReal
  47. 47. Case 1: Aumentar a taxa de conversão no mobile
  48. 48. Case 1: Aumentar a taxa de conversão no mobile
  49. 49. A B Case 1: Aumentar a taxa de conversão no mobile
  50. 50. "De acordo com a pesquisa, os usuários resistem ao contato com o anunciante, especialmente por e-mail, porque temem que o agente nunca atenda. Talvez ao expor diferentes o telefone no mobile site possamos aumentar a taxa de conversão" - Taxa de conversão de leads total - Taxa de conversão de leads de telefone - Taxa de conversão de leads por e-mail Hipótese Métrica principal Métricas secundárias Case 1: Aumentar a taxa de conversão no mobile
  51. 51. A B Vencedor! 17% + leads Confiança: Alta Range: 10%-24% Case 1: Aumentar a taxa de conversão no mobile
  52. 52. A Case 2: Aumentar a taxa de conversão no desktop e mobile
  53. 53. Hipótese Métrica principal Métricas secundárias "Os usuários resistem ao contato com o anunciante, especialmente por e-mail, porque temem que o agente nunca atenda. Colocando que o anunciante está ou esteve online a pouco tempo pode aumentar a confiança e, por consequência, aumentar a conversão - Taxa de conversão de leads total - Taxa de conversão de leads de telefone - Taxa de conversão de leads por e-mail Case 2: Aumentar a taxa de conversão no desktop e mobile
  54. 54. A B Case 2: Aumentar a taxa de conversão no desktop e mobile
  55. 55. A B Vencedor! 4.6% + leads Confiança: Alta Range: 1.4%-7.7% Case 2: Aumentar a taxa de conversão no desktop e mobile
  56. 56. Case 3: Aumentar a taxa de conversão no desktop e mobile
  57. 57. A B Case 3: Aumentar a taxa de conversão no desktop e mobile
  58. 58. A B Hipótese Métrica principal Métricas secundárias "Os usuários resistem ao contato com o anunciante, especialmente por e-mail, porque temem que o agente nunca atenda. Colocando que o anunciante é qualificado pode aumentar a confiança e, por consequência, aumentar a conversão - Taxa de conversão de leads total - Taxa de conversão de leads de telefone - Taxa de conversão de leads por e-mail Case 3: Aumentar a taxa de conversão no desktop e mobile
  59. 59. A B Case 3: Aumentar a taxa de conversão no desktop e mobile
  60. 60. A B Possível vencedor! 2.3% + leads Confiança: Média Range: - 0.79% a 5.4% Case 3: Aumentar a taxa de conversão no desktop e mobile
  61. 61. A B C Case 4: Destaque para os filtros mais importantes
  62. 62. "Se os usuários filtrarem mais, então a taxa de conversão vai aumentar, porque usuários que filtram mais convertem mais já que ele encontra com mais facilidade o imóvel relevante para ele." - Taxa de conversão de leads - CTR Busca > Imóvel - Uso dos filtros - Paginação Hipótese Métrica principal Métricas secundárias Case 4: Destaque para os filtros mais importantes
  63. 63. A B C Case 4: Destaque para os filtros mais importantes
  64. 64. A B C Vencedor! +2.09% leads Case 4: Destaque para os filtros mais importantes
  65. 65. A B C -3.5% iterações no site. Conversão igual Vencedor! +2.09% leads Case 4: Destaque para os filtros mais importantes
  66. 66. Case 5: Mudança nos cards da RP
  67. 67. "Se as imagens chamarem mais atenção, então a taxa de clique vai aumentar, porque sabemos que as imagens são um dos fatores mais importantes para quem busca um imóvel." - Taxa de conversão de leads - CTR Busca > Imóvel - Bounce Rate Hipótese Métrica principal Métricas secundárias Case 5: Mudança nos cards da RP
  68. 68. Case 5: Mudança nos cards da RP
  69. 69. Vencedor! 8% melhor Case 5: Mudança nos cards da RP
  70. 70. Case 6: Busca com grid
  71. 71. Case 6: Busca com grid
  72. 72. Vencedor! 7% melhor Case 6: Busca com grid
  73. 73. Vencedor! 7% melhor Riscos com SEO
  74. 74. Case 7: Aumentar leads de lançamento
  75. 75. Case 7: Aumentar leads de lançamento
  76. 76. Sem impacto em métricas Case 7: Aumentar leads de lançamento
  77. 77. Case 8: Busca por mapa
  78. 78. Case 8: Busca por mapa
  79. 79. Case 8: Busca por mapa
  80. 80. Vencedor! 4% melhor >>> DICAS Case 8: Busca por mapa
  81. 81. Case 8: Busca por mapa
  82. 82. Case 8: Busca por mapa
  83. 83. Agora antes de acabar...
  84. 84. http://bit.ly/marcell-abtest-cupom PARA GANHAR 10% OFF Ou digite: ABMARCELL no checkout
  85. 85. @almeidamarcell MUITO OBRIGADO! https://www.linkedin.com/in/almeidamarcell https://www.productcamp.com.br/ slideshare.net/almeidamarcell

×