Papo de Cafezinho
Estimando Tempo em Teste de Software
Estimativas para Execução de
Teste
Case: Teste de Regressão em 100% do software
Painelista: Priscila Coelho Blauth
Consultora em Qualidade de Processos
Software Process Consultoria – www.swprocess.com.br
08 de outubro de 2008
1

Objetivo da Apresentação
Apresentar uma situação de criação
de estimativas para execução de
testes, baseada na análise de
histórico de medições.
Situação real vivenciada pela
painelista.
2

Contexto do Projeto
Projeto para desenvolvimento de software
para gerenciamento de todo o processo
de negócio principal da empresa;
Número de pessoas envolvidas: ± 60
Equipe de desenvolvimento + papéis do
cliente
Tempo de projeto até o momento deste
teste: ± 2 anos;
Média: 700 requisitos
Mudanças de requisitos contínuas.
Framework de desenvolvimento instável;
3

Contexto do Projeto
Equipe responsável testes:
5 criação casos de teste e execução dos
testes
1 processo de teste e gerenciamento da
equipe
Testes dentro do processo de
desenvolvimento executados pelos
testadores e pelo cliente.
4

Justificativa do Teste
Fase posterior ao teste Integrado de
Sistema feito pelo cliente:
Teste Sistema Teste Pós-Sistema Teste Integrado
– testador – testador de Sistema
– testador
testador
Teste Integrado
Teste Sistema
de Sistema
– cliente
– cliente
cliente
5

Objetivos do Teste
1. Identificar defeitos provenientes de
modificações levantadas pelo cliente no Teste
Integrado de Sistema, com foco nas
funcionalidades básicas dos requisitos.
2. Revisão de pontos específicos que não foram
completamente testados nas fases anteriores de
teste:
Funcionalidades específicas de negócio com
comportamentos padrões
Principais padrões criados/alterados durante o
desenvolvimento
Influência de modificações no framework de
desenvolvimento nos requisitos.
6

Estimativas para o Teste de
Regressão
Desafio: estimar o tempo
necessário para a execução do teste
de regressão.
Fatores:
Data limite fixa;
Sem previsão exata da quantidade de
testes/pacote;
Grande chance de que defeitos
encontrados sejam piores do que o
previsto;
7

Estimativas para o Teste de
Regressão
Fatores:
Não existiam dados históricos da
atividade de regressão para usar como
referência!
Medidas disponíveis para usar como
referência:
Esforço (h) de construção de cada
requisito do projeto
Esforço (h) de testes anteriores.
8

Estratégia da Solução
“Se Maomé não vai à
montanha,
a montanha vai até
Maomé”.
9

Estratégia da Solução
1. “Dividir para conquistar”
Estimativa feita por requisito;
2. Definir o escopo do teste de regressão
com base no seu objetivo
Criação caso de teste padrão 75 itens.
3. Identificar critério de divisão de grupos
de requisitos que afetam o esforço de
teste
Complexidade
Quantidade de funcinalidades específicas
de negócio com comportamentos padrões 10

Estratégia da Solução
4. Aplicar o caso de teste padrão na
amostragem de requisitos
Medir o tempo de teste (foco do piloto).
Validar o caso de teste (objetivo
secundário).
5. Criar as estimativas;
6. Validar as estimativas, acompanhando
o desempenho da execução dos testes.
11

4 - Medição do Tempo de Teste -
Pilotos
Coleta
com maior número possível de
testadores;
com amostragem de itens de todos os
grupos de requisitos;
maior número possível de “situações”.
Amostragem:
145 requisitos
4 testadores com diferentes níveis
12

4 - Medição do Tempo de Teste -
Pilotos
Aplicação de fórmulas estatísticas
de CEP para cada grupo de
requisitos – análise da variabilidade
do processo:
Média;
Desvio padrão;
LCI;
LCS.
13

4 - Medição do Tempo de Teste -
Pilotos
Exemplo de gráfico obtido:
Resultado tempo testes - complexidade MS
0,12
0,1
0,08
LCS
0,06 Tempo
LCI
0,04
0,02
0
1 2 3 4 5 6 7 8 9 10
14

4 - Medição do Tempo de Teste -
Pilotos
Resultados da medição do piloto:
15

5 - Criação das estimativas
Análise dos resultados - várias
análises, gráficos, novas análises,
+ gráficos, ponderações,... levando
em consideração a maturidade do
processo (chute para cima);
Definição da medida de comparação
= tempo de testes em relação às
fases de teste anteriores;
16

5 - Criação das estimativas
Conclusão: definição das estimativas
com % referente ao tempo de teste
previsto para as fases de teste
anteriores:
17

5 - Criação das estimativas
Piloto de teste em relação à meta - S
1,00
0,90
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45
18

6 – Validação das Estimativas
A partir do acompanhamento do
desempenho da execução do teste;
Gráfico de burn-down.
Metas de pacote por testador a
partir dos critérios de estimativas –
pontuais adaptações;
Metas semanais para ± 7h/dia.
19

6 – Validação das Estimativas
20

6 – Validação das Estimativas
21

Análise Crítica da Experiência
Estimativas foram úteis e reais;
O tempo da execução dos testes fora do
“ambiente controlado” foi maior do que
as medições do piloto;
Os estatísticos não são apenas loucos! A
aplicação do método foi de grande valia;
O sucesso dependeu bastante
Escopo do teste – mais estável possível
Pilotos
Solução caseira que deu certo!
22

“In God we trust. All others, bring
data”
W. Edwards Deming
“Quem não mede, não conhece
Quem não conhece, não controla
Quem não controla, não melhora”
Autor desconhecido
Obrigada pela atenção!
Priscila Coelho Blauth
priscila@swprocess.com.br 23