trgfdffffffffsdffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffsfdddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddfsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdsdfdssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssfffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff jhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhgfffffffffffffewrrttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttt jhgj ghj ghj ghjghjg jghj ghj ghj gjghjgh jg ghgjgh gh ghj jgh jhjg hjghj gj hgj gjg jhjghj ghjgj ghjgjghj hg g jghj gyrrrrrrrrrrrrrrrrrrrrrrrrrrrrrtyttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttt ttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttgfffffffffffffffffffffffffffffffffffffffffffffffffffffffdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfd fdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfd fdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdf dfdfdfdfdfdfdfdf dfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdf dfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdf dfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdfdf dfdfdfdfdfdfdfdfdfgfffffffffffffffffffff fffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffgukfdhgdfughifdkghdfgdfgkkfhdjgfdgfdgdghdkfghdfkghfdkgdfgdfffffffffffffffff ffffffffffff ffffffffffffffffffffffffffffffffffffffffffffffffffff ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff fffffffffffffffffffffffffffffffffffffffffffffff fffffffffffffffffffffffffffffffffffffffffffffff fffffffffffffffffffffffffffffffffffgewrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwr wrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwr wrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwr wrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwr wrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrwrtyrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrytyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyi yiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiyiryyyyyyyyyyyyyyyyuggggggggggggggggg ggggggg gggggggggggggg gggggggg ggggg gggggjghhhhhhhhhhhhhhhhhhhhhhhhhh hhhhhhhhhhhhhhhhhhhj gjjjjjjjjjj gjh gjh gj gj ghj gj gj g

1. Globalcode – Open4education
Trilha – Testes
Luis Aguirre – Raone Costa
Primeiros Passos para Aplicação da Ferramenta Zalenium
Integrado ao C# para Execução de Testes Auto Escaláveis

2. Globalcode – Open4education
Quem somos:
Luís Aguirre
Graduado em Ciência da
Computação pelo UniLaSalle
Especialização:
Gestão Estratégica de TI pela
PUC/RS
Qualidade em Teste de Software pela
Feevale
BigData e Data Analytics em
andamento na Unisinos
11 anos de atuação no mercado
Dell
Testing Engineering Advisor
Raone Costa
Graduado em Sistemas de
Informação pela PUC/RS
7 anos de atuação no mercado
CTFL
Certified Scrum Master
SAFe PM/PO
PEGA CSA
Dell
Testing Engineering SR
Analyst

3. Globalcode – Open4education
Agenda
Cenário do Nosso Time
Evolução no Processo de Teste
Desafios da Automação
Solução
Resultados
Próximos passos

4. Globalcode – Open4education
CENÁRIO DO NOSSO TIME

5. Globalcode – Open4education
Cenário de nossa Empresa
Empresa multinacional
Times distribuídos
Métricas e Relatórios
Uso Ferramentas comerciais
Diversos ambientes de teste
Organização forte de testes

6. Globalcode – Open4education
Cenário do Nosso Time
Nosso time
* C#
* Selenium
Universo de Outros Times

7. Globalcode – Open4education
Desafios do Nosso Time
UAT
E2E
SIT / UI
Serviços
Unitários
Exploratório
Manual

8. Globalcode – Open4education
Desafios do Nosso Time
UAT
E2E
SIT / UI
Serviços
Unitários
Exploratório
Manual

9. Globalcode – Open4education
EVOLUÇÃO NO PROCESSO
DE TESTE

10. Globalcode – Open4education
Evolução do nosso time
•100% manual
•Frontend
•Backend
•Evidências
Teste Manual
Problema: 0% Automação

11. Globalcode – Open4education
Evolução do nosso time
•100% manual
•Frontend
•Backend
•Evidências
Teste Manual
•45% de Automação Funcional
•Frontend Automatizado sem uso de PageObjects
•Primeiros testes de Backend
Teste Automatizado com
execução Local
Problema: 0% Automação
Problemas:
• Manutenção de código
• Difícil coletar métricas

12. Globalcode – Open4education
Evolução do nosso time
•100% manual
•Frontend
•Backend
•Evidências
Teste Manual
•45% de Automação Funcional
•Frontend Automatizado sem uso de PageObjects
•Primeiros testes de Backend
Teste Automatizado com
execução Local
•80% Automação dos Testes Funcionais
•Frontend automatizado com uso de Page Objects
•Automação de Backend
•Teste Exploratório
•85% Automação dos Testes de Regressão
Teste Automatizado em Máquinas
Virtuais
Problema: 0% Automação
Problemas:
• Manutenção de código
• Difícil coletar métricas
Problemas:
• Escalabilidade de
ambiente de execução
de testes

13. Globalcode – Open4education
DESAFIOS DA AUTOMAÇÃO

14. Globalcode – Open4education
Desafio
Limitações da execução
em Máquinas Virtuais para
Execução de Testes
Automatizados:
Testes de Regressão
Testes Funcionais
Testes de Fumaça
Testes para
serem
executados
Máquinas
Virtuais para
processar as
execuções
Resultado das
Execuções

15. Globalcode – Open4education
SOLUÇÃO

16. Globalcode – Open4education
Solução
Zalenium (https://opensource.zalando.com/zalenium/)
Um selenium Grid baseado em container
Flexível e escalável
Gravação de vídeos
Dashboard

17. Globalcode – Open4education
Dashboard Preview Live

18. Globalcode – Open4education
Dashboard de Resultados

19. Globalcode – Open4education
Solução
Teste Automatizado – Zalenium Local
Ambiente estável
Rodando em containers
Execução de testes automatizados em paralelo
Rodando em localhost
Consumindo processamento local
Integração com o TFS

20. Globalcode – Open4education
DEMO ZALENIUM

21. Globalcode – Open4education
Demo Zalenium

22. Globalcode – Open4education
Solução
Teste Automatizado – Zalenium Kubernetes
Ambiente estável
Rodando em containers
Execução de testes automatizados em paralelo
Pivotal Container Service (PKS)
Integrado com TFS
100 execuções de testes em paralelo no cluster

23. Globalcode – Open4education
Zalenium - Limitações
Ambiente pronto para webdrivers Chrome e Firefox
Para outros cenários, integrar com ferramentas como:
SauseLabs
BrowserStack
TestingBot
Grande consumo de processamento
Capacidade de testes em paralelo X capacidade de processamento
Linux explorer
Aperfeiçoar e configurar conforme a realidade

24. Globalcode – Open4education
RESULTADOS

25. Globalcode – Open4education
Zalenium - Ganhos
Cenário: 5 testes funcionais – 3 min duração cada – 1 ambiente
Sequencial
5 testes x 3 min = 15 min

26. Globalcode – Open4education
Zalenium - Ganhos
Cenário: 5 testes funcionais – 3 min duração cada – 1 ambiente
Sequencial Paralelo com Zalenium
5 testes x 3 min = 15 min 5 testes x 3 min = 3 min

27. Globalcode – Open4education
Zalenium - Ganhos
Cenário: 5 testes funcionais – 3 min duração cada – 1 ambiente
Sequencial Paralelo com Zalenium
5 testes x 3 min = 15 min 5 testes x 3 min = 3 min
Ganho de 12 min

28. Globalcode – Open4education
Zalenium - Ganhos
Cenário: 25 testes de regressão – 3 min duração cada – 1 ambiente
Sequencial
25 testes x 3 min = 75 min

29. Globalcode – Open4education
Zalenium - Ganhos
Cenário: 25 testes de regressão – 3 min duração cada – 1 ambiente
Sequencial Paralelo com Zalenium
25 testes x 3 min = 75 min 25 testes x 3 min = 3 min

30. Globalcode – Open4education
Zalenium - Ganhos
Cenário: 25 testes de regressão – 3 min duração cada – 1 ambiente
Sequencial Paralelo com Zalenium
25 testes x 3 min = 75 min 25 testes x 3 min = 3 min
Ganho de 72 min

31. Globalcode – Open4education
Zalenium - Ganhos
Cenário: 25 testes de regressão – 3 min duração cada – 4 ambientes
Sequencial
25 testes x 3 min x 4 envs = 300 min

32. Globalcode – Open4education
Zalenium - Ganhos
Cenário: 25 testes de regressão – 3 min duração cada – 4 ambientes
Sequencial Paralelo com Zalenium
25 testes x 3 min x 4 envs = 300 min 25 testes x 3 min x 4 envs = 5 min

33. Globalcode – Open4education
Zalenium - Ganhos
Cenário: 25 testes de regressão – 3 min duração cada – 4 ambientes
Sequencial Paralelo com Zalenium
25 testes x 3 min x 4 envs = 300 min 25 testes x 3 min x 4 envs = 5 min
Ganho de 295 min

34. Globalcode – Open4education
Próximos Passos
Expandir ainda mais a capacidade do cluster
Disseminar a prática com toda organização de testes da empresa
Eliminar VMs

35. Globalcode – Open4education
Ganhos
Ambiente escalável
Redução de Infra e
suporte
Testes para
serem executados
Docker/Zalenium
Resultado dos
Testes

36. Globalcode – Open4education
Ganhos
Antes Depois

37. Globalcode – Open4education
Contatos
Luís Aguirre Raone Costa