Software Testing Schools Rafael Oliveira Nóbrega [email_address]

Agenda Motivação Escolas de Testes Comparativo entre as Escolas Referências

Motivação

Escolas de Testes

Comparativo entre as Escolas

Referências

Observação! Esta apresentação é baseada num artigo de Bret Pettichord Famoso Consultor de testes Líder do desenvolvimento da Watir Co-autor de um dos principais livros de testes: Lessons Learned in Software Testing

Esta apresentação é baseada num artigo de Bret Pettichord

Famoso Consultor de testes

Líder do desenvolvimento da Watir

Co-autor de um dos principais livros de testes: Lessons Learned in Software Testing

Motivação

Devemos usar IEEE 829? Padrão para Documentação de Testes PRESSMAN: SIM! Lisa Crispin: NÃO! James Bach: SIM e NÃO!

Padrão para Documentação de Testes

PRESSMAN: SIM!

Lisa Crispin: NÃO!

James Bach: SIM e NÃO!

Qual o papel dos Testes Exploratórios? Testes onde o design e a execução ocorrem de forma simultânea: PRESSMAN: Complementar os testes com roteiros! Lisa Crispin: Complementar os testes unitários automatizados (TDD)! James Bach: A mais eficiente técnica de testes!

Testes onde o design e a execução ocorrem de forma simultânea:

PRESSMAN: Complementar os testes com roteiros!

Lisa Crispin: Complementar os testes unitários automatizados (TDD)!

James Bach: A mais eficiente técnica de testes!

O que devemos usar para projetar os testes? PRESSMAN: Apenas os requisitos documentados no SRS! Lisa Crispin: As histórias contadas pelo usuário! James Bach: Qualquer informação sobre o contexto da aplicação!

PRESSMAN: Apenas os requisitos documentados no SRS!

Lisa Crispin: As histórias contadas pelo usuário!

James Bach: Qualquer informação sobre o contexto da aplicação!

Por que dividir Testes em Escolas? Especialistas de testes não concordam entre si Não é por causa de suas personalidades ou experiências Melhorar a base para o estudo Diferenças de valores explicam a preferência por certas políticas de testes

Especialistas de testes não concordam entre si

Não é por causa de suas personalidades ou experiências

Melhorar a base para o estudo

Diferenças de valores explicam a preferência por certas políticas de testes

Definindo o termo “escola” Definido por Afinidade Intelectual Integração Social Objetivos em Comum Composto por Hierarquia de Valores Técnicas representativas Instituições Organizadoras

Definido por

Afinidade Intelectual

Integração Social

Objetivos em Comum

Composto por

Hierarquia de Valores

Técnicas representativas

Instituições Organizadoras

Escolas de Testes

Escola Analítica

Escola Analítica Muito utilizado em: Indústrias de Telecom Sistemas Críticos Instituições Academia

Muito utilizado em:

Indústrias de Telecom

Sistemas Críticos

Instituições

Academia

Principais Crenças Software é um artefato lógico Teste é uma ciência baseada em Computação e Matemática Objetivo, rigoroso e compreensivo Técnicas de testes devem ser objetivas “ apenas uma resposta certa” Teste é uma atividade técnica Principal Pergunta: Quais técnicas deveremos utilizar?

Software é um artefato lógico

Teste é uma ciência baseada em Computação e Matemática

Objetivo, rigoroso e compreensivo

Técnicas de testes devem ser objetivas

“ apenas uma resposta certa”

Teste é uma atividade técnica

Principal Pergunta:

Quais técnicas deveremos utilizar?

Escola Analítica Implicações Requer especificação precisa e detalhada Testadores verificam se o software está conforme a sua especificação Qualquer outra coisa não é teste!

Implicações

Requer especificação precisa e detalhada

Testadores verificam se o software está conforme a sua especificação

Qualquer outra coisa não é teste!

Técnica Exemplo Testes Caixa Branca Ou “ Structural testing ” Diversas métricas de cobertura de código são utilizadas Provê uma medida objetiva dos testes

Testes Caixa Branca

Ou “ Structural testing ”

Diversas métricas de cobertura de código são utilizadas

Provê uma medida objetiva dos testes

Escola Convencional

Escola Convencional Mais utilizado em Enterprise IT Desenvolvimento para Governo Instituições IEEE Standards Boards Instituições certificadoras de Teste ISTQB, ALATS, IIST, etc...

Mais utilizado em

Enterprise IT

Desenvolvimento para Governo

Instituições

IEEE Standards Boards

Instituições certificadoras de Teste

ISTQB, ALATS, IIST, etc...

Principais Crenças Testes devem ser gerenciados Previsível, repetível, planejado Testes deve ser lucrativo Trabalhadores com baixa capacitação precisam de um direcionamento Testes valida o produto Testes medem o progresso do desenvolvimento Principal Questão: Como podemos medir se estamos progredindo? Quando teremos terminado o desenvolvimento?

Testes devem ser gerenciados

Previsível, repetível, planejado

Testes deve ser lucrativo

Trabalhadores com baixa capacitação precisam de um direcionamento

Testes valida o produto

Testes medem o progresso do desenvolvimento

Principal Questão:

Como podemos medir se estamos progredindo? Quando teremos terminado o desenvolvimento?

Técnica de Exemplo Matriz de Rastreabilidade Ter certeza que todos os requistos foram testados

Matriz de Rastreabilidade

Ter certeza que todos os requistos foram testados

Escola Convencional Implicações Requer fronteiras claras entre testes e outras atividades ( start/stop criteria ) Incentiva padrões , melhores práticas e certificação Utilização de variações do V-model Atividades de testes ocorrem em paralelo. Desenvolvimento Testes

Implicações

Requer fronteiras claras entre testes e outras atividades ( start/stop criteria )

Incentiva padrões , melhores práticas e certificação

Utilização de variações do V-model

Atividades de testes ocorrem em paralelo.

Escola da Qualidade

Principais Crenças Qualidade de Software requer disciplina Testes determina se o processo de desenvolvimento está sendo seguido Cada bug é um problema do PROCESSO ! Testadores devem proteger os usuários dos software ruins Principal Pergunta: Estamos seguindo um bom processo?

Qualidade de Software requer disciplina

Testes determina se o processo de desenvolvimento está sendo seguido

Cada bug é um problema do PROCESSO !

Testadores devem proteger os usuários dos software ruins

Principal Pergunta:

Estamos seguindo um bom processo?

Exemplo The Gatekeeper O software não está pronto até que o SQA diga que está pronto!

The Gatekeeper

O software não está pronto até que o SQA diga que está pronto!

Escola da Qualidade Implicações Preferem Garantia da Qualidade aos Testes Testes é o ponto de partida para a Melhoria do Processo Pode alienar os desenvolvedores Mais utilizado em Empresas burocráticas Organizações sob estresse Instituições American Society for Quality (ASQ) Software Engineering Institute (CMM) International Standards Organization (ISO)

Implicações

Preferem Garantia da Qualidade aos Testes

Testes é o ponto de partida para a Melhoria do Processo

Pode alienar os desenvolvedores

Mais utilizado em

Empresas burocráticas

Organizações sob estresse

Instituições

American Society for Quality (ASQ)

Software Engineering Institute (CMM)

International Standards Organization (ISO)

Escola “ Context Driven ”

Context Driven Mais utilizado em Software Comerciais Market-driven Software Instituições LAWST Workshops Los Altos Workshop on Software Testing StarEast/StarWest

Mais utilizado em

Software Comerciais

Market-driven Software

Instituições

LAWST Workshops

Los Altos Workshop on Software Testing

StarEast/StarWest

Principais Crenças Software é criado por Pessoas . Pessoas definem o contexto . Teste deve encontrar bugs. “ A bug is anything that could bug a stakeholder ” Teste provê informações para o projeto Teste é uma atividade mental que requer habilidade Teste é multidisciplinar Principal Pergunta: Que teste é o mais valioso agora?

Software é criado por Pessoas . Pessoas definem o contexto .

Teste deve encontrar bugs.

“ A bug is anything that could bug a stakeholder ”

Teste provê informações para o projeto

Teste é uma atividade mental que requer habilidade

Teste é multidisciplinar

Principal Pergunta:

Que teste é o mais valioso agora?

Técnica de Exemplo Exploratory Testing Execução e Design feitos de forma concorrente Rapid learning Execução baseada em Missão e Estratégias Difícil Gerenciamento Ótimo resultados práticos Eficiência Eficácia

Exploratory Testing

Execução e Design feitos de forma concorrente

Rapid learning

Execução baseada em Missão e Estratégias

Difícil Gerenciamento

Ótimo resultados práticos

Eficiência

Eficácia

Escola “ Context Driven ” Implicações Preparado para mudanças. Adapta o planejamento dos testes baseado nos resultados. Efetividade das estratégias são verificadas colocando-as em prática Pesquisas de testes requerem estudos empíricos e psicológicos Foco na habilidade ao invés da prática/método

Implicações

Preparado para mudanças. Adapta o planejamento dos testes baseado nos resultados.

Efetividade das estratégias são verificadas colocando-as em prática

Pesquisas de testes requerem estudos empíricos e psicológicos

Foco na habilidade ao invés da prática/método

Escola Ágil

Principais Crenças Software é desenvolvido a partir de uma conversa Testes mostram que uma história está completa Testes devem ser automatizados Principal Pergunta: A história está pronta?

Software é desenvolvido a partir de uma conversa

Testes mostram que uma história está completa

Testes devem ser automatizados

Principal Pergunta:

A história está pronta?

Técnica de Exemplo Testes Unitários Usados para Test-Driven Development (TDD) Testes unitários são projetados antes do desenvolvimento Suportado por ferramentas

Testes Unitários

Usados para Test-Driven Development (TDD)

Testes unitários são projetados antes do desenvolvimento

Suportado por ferramentas

Escola Ágil Implicações Desenvolvedores devem fornecer frameworks para automação dos testes Demora para perceber o valor dos testes exploratórios Mais utilizado em IT Consulting Desenvolvimento por equipe menores Instituições Agile Workshops

Implicações

Desenvolvedores devem fornecer frameworks para automação dos testes

Demora para perceber o valor dos testes exploratórios

Mais utilizado em

IT Consulting

Desenvolvimento por equipe menores

Instituições

Agile Workshops

Comparativo entre as Escolas

Escolas de Testes Analytic School Encara os testes como uma atividade técnica e rigorosa . Possui muitos proponentes na academia ; Standard School Encara os testes como uma maneira de medir o progresso com ênfase nos custos e em padrões repetíveis Quality School Ênfase no processo , monitoramento dos desenvolvedores, agindo como o gatekeeper Context-Driven School Ênfase nas pessoas , procurando os bugs mais importantes para os stakeholders Agile School Usa os testes para provar que o desenvolvimento está completo . Ênfase nos testes automatizados

Analytic School

Encara os testes como uma atividade técnica e rigorosa . Possui muitos proponentes na academia ;

Standard School

Encara os testes como uma maneira de medir o progresso com ênfase nos custos e em padrões repetíveis

Quality School

Ênfase no processo , monitoramento dos desenvolvedores, agindo como o gatekeeper

Context-Driven School

Ênfase nas pessoas , procurando os bugs mais importantes para os stakeholders

Agile School

Usa os testes para provar que o desenvolvimento está completo . Ênfase nos testes automatizados

O que é Teste? Analytic School: Um branch da ciência da computação e matemática Standard School: Um processo gerenciado Quality School: Um branch da garantia da qualidade Context-Driven School: Um branch do desenvolvimento Agile School: Parte do papel do cliente

Analytic School:

Um branch da ciência da computação e matemática

Standard School:

Um processo gerenciado

Quality School:

Um branch da garantia da qualidade

Context-Driven School:

Um branch do desenvolvimento

Agile School:

Parte do papel do cliente

Testes sem Especificação A FAVOR Context-Driven School Faça o que for possível para ser útil Fazem questionamentos e entrevistas se necessário Descobrem especificações Agile School Conversa é mais importante do que documentação CONTRA Analytical School Impossível Standard School Necessário algum tipo de especificação Quality School Porque ela força que os desenvolvedores sigam o processo

A FAVOR

Context-Driven School

Faça o que for possível para ser útil

Fazem questionamentos e entrevistas se necessário

Descobrem especificações

Agile School

Conversa é mais importante do que documentação

CONTRA

Analytical School

Impossível

Standard School

Necessário algum tipo de especificação

Quality School

Porque ela força que os desenvolvedores sigam o processo

Certificação de Testes A FAVOR Standard School Torna os testadores mais fáceis para contratar, treinar e gerenciar Quality School Aumenta o Status CONTRA Context-Driven and Agile School Certificações Existentes são baseados em doutrinas ao invés de habilidades Analytic School Preferem [pós-] graduações às certificações

A FAVOR

Standard School

Torna os testadores mais fáceis para contratar, treinar e gerenciar

Quality School

Aumenta o Status

CONTRA

Context-Driven and Agile School

Certificações Existentes são baseados em doutrinas ao invés de habilidades

Analytic School

Preferem [pós-] graduações às certificações

Conclusões Não existe escola MELHOR do que outra! Cada escola tem o seu contexto Analise o seu, e escolha as práticas de cada uma para montar a sua própria solução!

Não existe escola MELHOR do que outra!

Cada escola tem o seu contexto

Analise o seu, e escolha as práticas de cada uma para montar a sua própria solução!

Perguntas? ?

Referências Context Driven School http://www.context-driven-testing.com/ http://www.testinglessons.com/ Lessons Learned in Software Testing Kaner, Bach, and Pettichord Agile School http://www.testing.com/agile/ http://www.qualitytree.com/ Testing Extreme Programming Lisa Crispin and Tip House.

Context Driven School

http://www.context-driven-testing.com/

http://www.testinglessons.com/

Lessons Learned in Software Testing Kaner, Bach, and Pettichord

Agile School

http://www.testing.com/agile/

http://www.qualitytree.com/

Testing Extreme Programming

Lisa Crispin and Tip House.

Referências Standard School http://www.istqb.org http://en.wikipedia.org/wiki/IEEE_829 Foundations of Software Testing: ISTQB Certification Graham, Veenendaal, Evans and Rex Black Analitic School http://en.wikipedia.org/wiki/Model-based_testing Practical Model-Based Testing: A Tools Approach Mark Utting , Bruno Legeard Quality School http://en.wikipedia.org/wiki/Quality_assurance Four Schools of Testing http://www.io.com/~wazmo/papers/four_schools.pdf

Standard School

http://www.istqb.org

http://en.wikipedia.org/wiki/IEEE_829

Foundations of Software Testing: ISTQB Certification

Graham, Veenendaal, Evans and Rex Black

Analitic School

http://en.wikipedia.org/wiki/Model-based_testing

Practical Model-Based Testing: A Tools Approach

Mark Utting , Bruno Legeard

Quality School

http://en.wikipedia.org/wiki/Quality_assurance

Four Schools of Testing

http://www.io.com/~wazmo/papers/four_schools.pdf