At Ma Qualidade Molinari V11 Final Version

551 views

Published on

Palestra de Leonardo Molinari no evento da ALATS / 2009 em SP.

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
551
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
5
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

At Ma Qualidade Molinari V11 Final Version

  1. 1. Automação de Testes de Má Qualidade Como Evitar Leonardo Molinari
  2. 2. Técnicas de Testes Funcionais <ul><li>“ Esvazie sua xícara primeiro, só então você poderá provar meu chá. Afinal de contas a utilidade da xícara está em poder esvaziar-se. Abra sua mente para receber novas idéias.” </li></ul><ul><li>Bruce Lee </li></ul>
  3. 3. Agenda <ul><li>Problemas Tradicionais na Automação </li></ul><ul><li>Problemas de Estimativas </li></ul><ul><li>Quando a A.T. Funcionais é Ruim </li></ul><ul><li>Quando a A.T. de Performance é Ruim </li></ul><ul><li>Técnica Avançada: HVTA </li></ul><ul><li>Transformando a A.T. Positivamente </li></ul>
  4. 4. Teste de Software
  5. 5. A Empresa <ul><li>Primeira empresa offshore testing com capital 100% nacional a atuar no disputado mercado norte-americano. </li></ul><ul><li>Uma das primeiras consultorias brasileiras a implementar com sucesso o conceito de Bureau de testes. </li></ul><ul><li>Automação de Testes – Pleno domínio das principais soluções de Governança de Testes do mercado e opensource. </li></ul><ul><li>Atendimento “on demand” para projetos de teste de software </li></ul><ul><li>Soluções completas de teste </li></ul><ul><li>Our core business is Software Testing! </li></ul>
  6. 6. Produtos e Serviços <ul><li>Fábrica de Testes </li></ul><ul><ul><li>Solução completa de teste </li></ul></ul><ul><li>Alocação de Profissionais (Professional Testers!) </li></ul><ul><ul><li>Profissionais capacitados </li></ul></ul><ul><li>Automação de Testes </li></ul><ul><ul><li>Implantação e operacionalização </li></ul></ul><ul><li>Consultoria </li></ul><ul><ul><li>Desenvolvimento e operacionalização de Processo de Testes e Quality Assurance – sob medida </li></ul></ul><ul><li>Treinamentos </li></ul><ul><ul><li>Formação de profissionais e equipe de teste </li></ul></ul><ul><li>www.mzpsoft.com.br </li></ul>
  7. 7. Cases <ul><li>Base de Clientes ``Blue Chip`` </li></ul><ul><ul><li>UOL </li></ul></ul><ul><ul><li>GXS - INTERCHANGE </li></ul></ul><ul><ul><li>RECALL </li></ul></ul><ul><ul><li>BORLAND </li></ul></ul><ul><ul><li>SINDAN </li></ul></ul><ul><ul><li>AUDATEX </li></ul></ul>Alguns Clientes Scopus Telefônica Task Sistemas Copel Triad Systems Finep Aquários Tlantic SKF Scania GXS T-Systems Caixa MXM Sistemas Avon Parcerias Estratégicas Borland – Compuware – Talentfour Tech4b – GPTI – ALATS – EFTI - Didata Interadapt TV Globo Itaú Synchro SYS Elucid Montreal Okto
  8. 8. <ul><li>Problemas Tradicionais na Automação de Testes </li></ul>Agenda
  9. 9. Inovação Fonte: IPEA, 2008
  10. 10. Inovação Fonte: Instituto Inovação, 2008
  11. 11. Fato <ul><li>Introduzir Testes Automatizados é usar conceitos de Inovação em Testes </li></ul><ul><li>É introduzir Inovação na Empresa </li></ul>Problema Zero : uma proposta de inovação pode nâo dar certo
  12. 12. <ul><li>Desafios Atuais de Teste Manual </li></ul><ul><li>4 QA eng -> somente 20% de cobertura de teste; </li></ul><ul><li>Qualidade Geral Sofre; </li></ul><ul><li>Trabalho de Teste Manual pode não entregar a tempo; </li></ul><ul><li>Número excessivo de erros de execução de testes manual; </li></ul><ul><li>Cronogramas de teste podem ser prejudicados </li></ul>Teste Automatizado <ul><li>Uso Sábio de Automação </li></ul><ul><li>Aumento da cobertura de teste de modo a alcançar 80%-90% com recursos existentes. </li></ul>Problemas Tradicionais na Automação de Testes
  13. 13. Problemas Tradicionais na Automação de Testes <ul><li>QUANTO valerá automação? </li></ul><ul><ul><li>Depende de sua ambição.... </li></ul></ul>
  14. 14. Problemas Tradicionais na Automação de Testes <ul><li>QUANDO vale a pena usar automação : </li></ul><ul><ul><li>Automação de testes precisa ser aprendida corretamente </li></ul></ul><ul><ul><li>Automação de testes não substitui uma equipe de testes </li></ul></ul><ul><ul><li>Nem tudo pode ser testado mesmo usando automação </li></ul></ul><ul><ul><li>Nem tudo que pode ser testado se precisará automatizar </li></ul></ul><ul><ul><li>Os testes automatizados precisam ser constantemente atualizados </li></ul></ul><ul><ul><li>Inicialmente a automação custa tempo e dinheiro </li></ul></ul><ul><ul><li>O planejamento de testes não deve ignorado </li></ul></ul>
  15. 15. Problemas Tradicionais na Automação de Testes <ul><li>Oba!!!! Vamos sair automatizando: </li></ul><ul><ul><li>Cuidado!!!! Perigo! Perigo! </li></ul></ul><ul><ul><ul><li>Testes são pesados: vale a pena automatizar </li></ul></ul></ul><ul><ul><ul><li>Teste é pontual: não automatizar; </li></ul></ul></ul><ul><ul><ul><li>Automatizar não resolve tudo: não é panacéia; </li></ul></ul></ul><ul><ul><ul><li>Tenha sempre um engenheiro de testes junto!!! </li></ul></ul></ul><ul><ul><ul><li>Experiência dos testes manuais: use-a!!! </li></ul></ul></ul>
  16. 16. Problemas Tradicionais na Automação de Testes <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Qualidade Percebida X Real </li></ul></ul><ul><ul><ul><li>O bug que o diretor viu… </li></ul></ul></ul><ul><ul><li>Desenvolvedores não testam </li></ul></ul><ul><ul><ul><li>Ups… </li></ul></ul></ul><ul><ul><li>Confiando demais em itens de construídos na aplicação para serem usados nos testes </li></ul></ul><ul><ul><ul><li>Log </li></ul></ul></ul><ul><ul><li>Mudando a Interface e esquecendo dos testes automatizados </li></ul></ul>
  17. 17. Problemas Tradicionais na Automação de Testes <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Confiar em somente um engenheiro de testes </li></ul></ul><ul><ul><li>Inibir a Inovação </li></ul></ul><ul><ul><li>O cronograma já está pronto </li></ul></ul><ul><ul><li>Testes de regressão devem levar em consideração </li></ul></ul><ul><ul><ul><li>Acertos de scripts que não funcionam </li></ul></ul></ul><ul><ul><ul><li>Entender o que já funcionava (script) </li></ul></ul></ul>
  18. 18. <ul><li>Problemas de Estimativas de Automação </li></ul>Agenda
  19. 19. Problemas de Estimativas de Automação <ul><li>Principais Grandes Falhas: </li></ul><ul><ul><li>Cuidado!!!! Perigo! Perigo! </li></ul></ul><ul><ul><ul><li>Fazendo as Perguntas Erradas </li></ul></ul></ul><ul><ul><ul><li>Arrumando as Atividades Estimadas de forma Errada </li></ul></ul></ul><ul><ul><ul><li>Falhando ao entender o efeito da multiplicidade </li></ul></ul></ul><ul><ul><ul><li>Inconsistência nos critérios de medição </li></ul></ul></ul><ul><ul><ul><li>Não compensar riscos e dependências </li></ul></ul></ul>
  20. 20. Problemas de Estimativas de Automação <ul><ul><ul><li>Falhando ao entender o efeito da multiplicidade </li></ul></ul></ul>
  21. 21. Problemas de Estimativas de Automação <ul><ul><ul><li>Inconsistência nos critérios de medição </li></ul></ul></ul>Dias? Meses ? Anos? Minutos ?
  22. 22. <ul><li>Quando a Automação de Testes Funcionais é Ruim </li></ul>Agenda
  23. 23. Quando a Automação de Testes Funcionais é Ruim <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Desenvolver script =/= programação </li></ul></ul><ul><ul><li>Não modularizar scripts =/= reutilização </li></ul></ul><ul><ul><li>Ups não testei o script </li></ul></ul><ul><ul><li>O que o script faz? </li></ul></ul><ul><ul><li>A ferramenta é uma porcaria </li></ul></ul><ul><ul><li>Não usou data-driving testing </li></ul></ul><ul><ul><li>Em vez de pensar primeiro, saiu gravando… </li></ul></ul><ul><ul><ul><li>Objetivos </li></ul></ul></ul>
  24. 24. Quando a Automação de Testes Funcionais é Ruim <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Não investigou como a aplicação funciona primeiro </li></ul></ul><ul><ul><li>Acha que está bom e que não pode fazer melhor </li></ul></ul><ul><ul><li>Não estudou corretamente a ferramenta </li></ul></ul><ul><ul><li>Não foi além da ferramenta </li></ul></ul><ul><ul><li>Gravou tudo num super-script </li></ul></ul>
  25. 25. <ul><li>Quando a Automação de Testes de Performance é Ruim </li></ul>Agenda
  26. 26. Quando a Automação de Testes de Performance é Ruim <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Desenvolver script =/= programação </li></ul></ul><ul><ul><li>Não modularizar scripts =/= reutilização </li></ul></ul><ul><ul><li>Ups não testei o script </li></ul></ul><ul><ul><li>O que o script faz? </li></ul></ul><ul><ul><li>A ferramenta é uma porcaria </li></ul></ul><ul><ul><li>Não usou data-driving testing </li></ul></ul><ul><ul><li>Em vez de pensar primeiro, saiu gravando… </li></ul></ul><ul><ul><ul><li>Objetivos </li></ul></ul></ul>
  27. 27. Quando a Automação de Testes de Performance é Ruim <ul><li>O que você pensa que está certo... </li></ul><ul><ul><li>Não entendeu conceitos de Performance </li></ul></ul><ul><ul><li>Não investigou como a aplicação funciona </li></ul></ul><ul><ul><li>Não estudou corretamente a ferramenta </li></ul></ul><ul><ul><li>Depois dos testes, não analisou: </li></ul></ul><ul><ul><ul><li>Logs </li></ul></ul></ul><ul><ul><ul><li>Gráficos </li></ul></ul></ul><ul><ul><ul><li>Métricas obtidas </li></ul></ul></ul><ul><ul><li>Não questionou os resultados dos testes </li></ul></ul>
  28. 28. <ul><li>Técnica Avançada: HVTA </li></ul>Agenda
  29. 29. Técnica Avançada: HVTA <ul><li>HVTA </li></ul><ul><ul><li>High Volume Test Automation </li></ul></ul><ul><ul><ul><li>Qtde de Casos de Testes Criados </li></ul></ul></ul><ul><ul><ul><li>Qtde de Casos de Testes que podem ser gerados </li></ul></ul></ul>
  30. 30. Técnica Avançada: HVTA <ul><li>HVTA </li></ul><ul><ul><li>High Volume Test Automation </li></ul></ul><ul><ul><ul><li>Perguntas: </li></ul></ul></ul><ul><ul><ul><ul><li>Quantos testes precisa criar para automatizar tudo? </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Quantos scripts automatizados você criou? </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Você já explorou novas situações de teste mesmo a aplicação já estando OK? </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Você já usou variáveis aleatórias (input) como dados de entradas? </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Os seus scripts dependem sempre dos meus dados para teste? E se mudarmos? </li></ul></ul></ul></ul>
  31. 31. Técnica Avançada: HVTA <ul><li>HVTA </li></ul><ul><ul><li>High Volume Test Automation </li></ul></ul><ul><ul><ul><li>Importante: </li></ul></ul></ul><ul><ul><ul><ul><li>Estratégia de Solução que busca ter dados de teste independente da sua tradicional. </li></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Uma nova execução de teste nunca será igual a anterior  Testes Aleatórios </li></ul></ul></ul></ul></ul><ul><ul><ul><li>Trata do problema: </li></ul></ul></ul><ul><ul><ul><ul><li>Independente script X dependente script </li></ul></ul></ul></ul>
  32. 32. <ul><li>Transformando a Automação de Testes Positivamente </li></ul>Agenda
  33. 33. Transformando a Automação de Testes Positivamente <ul><li>Principais Pontos : </li></ul><ul><ul><li>No planejamento </li></ul></ul><ul><ul><ul><li>Definir objetivos e concordar com eles </li></ul></ul></ul><ul><ul><li>Na criação de scripts </li></ul></ul><ul><ul><ul><li>Crie padrões e guidelines </li></ul></ul></ul><ul><ul><ul><li>Revise aleatoriamente alguns scripts / pessoa </li></ul></ul></ul><ul><ul><ul><li>Projete os scripts para reuso </li></ul></ul></ul><ul><ul><ul><li>Projete scripts manuteníveis </li></ul></ul></ul><ul><ul><li>Geral </li></ul></ul><ul><ul><ul><li>Gere relatórios de teste de forma clara </li></ul></ul></ul><ul><ul><ul><li>Automatize pequenas tarefas. Ex: criação de BD </li></ul></ul></ul><ul><ul><ul><li>Não esqueça da Gerência de Configuração </li></ul></ul></ul><ul><ul><ul><li>A.T. ë um projeto dentro de um projeto de testes. </li></ul></ul></ul>
  34. 34. <ul><li>Bonus Track </li></ul>
  35. 35. Bonus Track <ul><li>Inovação em Testes </li></ul><ul><li>XE </li></ul><ul><li>Testes de Performance </li></ul>
  36. 36. Prefácio de: Hélio Amauri Sanchez Diretor da MZP
  37. 37. Para Pensar... <ul><li>“ Questione ou você será questionado. Não faça nada que nada você fará.” </li></ul><ul><ul><ul><li>Leonardo Molinari </li></ul></ul></ul>
  38. 38. Dúvidas <ul><li>Muito Obrigado !!!! </li></ul><ul><li>Leonardo Molinari </li></ul><ul><li>Site da MZP: http://www.mzpsoft.com.br </li></ul><ul><li>E-mail 1: [email_address] </li></ul><ul><li>Blog: http://diariodaqualidade.blogspot.com </li></ul>

×