Fabrica de Teste - TDC 2011

+Fábrica deServiços de TestesAtestando a qualidade doproduto de software Otimário Cavalcanti Jr Diretor de Projetos e Serviços

+ T&M um em h flas Atuação Presença30 anos 3 ramos 3 focos 4 serviços Finance Quality by Control Fábrica de Testes (ISVV) “Melhor Metodologia doSoftware Mercado Financeiro” Testes reativos Consultoria em Testes de Testing Software (STPI) Quality by Assurance Core & Telecomm Testes pró-ativos Only Automação de Testes Business Quality by Design Industry Treinamentos em Testes de Testes preditivos Software

+ O que é uma Fábrica de Testes Sua atuacão não se limita apenas à execução É uma estrutura formada por profissionais especializados e capacitados Processos e Ferramentas Engenharia de Metodologias Requisitos e Técnicas otimizados Deve ATESTAR a qualidade dos sistemas Construídos ou Modificados pelo DesenvolvimentoT&M Testes de Software

+ A que se Propõe uma Fábrica de Testes Valores de Uma Fábrica Testar mais RÁPIDO Uso de Processos ágeis, Paralelismo, Testar MELHOR Maior Cobertura, Multiplas Visões do Testes, Foco na Qualidade, Testar Mais BARATO Redução Re-trabalho, redução do caminho crítico do projeto, menor #ciclos de testes Você quer melhorar sua Qualidade e Produtividade? 40% da melhoria se obtém com melhores Testes de Sistema e de Aceite 60% da melhoria se obtém com melhor especificação, modelagem, construção e teste unitárioT&M Testes de Software

+ ilustrado no V model Atuação da Fábrica Coleta de Indicadores, Análise Causal e Sugestões de Melhoria Testes de Especificações Estudo de Viabilidade & Implantação Proposta de Entrega Preparação de Testes de Aceite Testes de Usabilidade baseados em ISO/IEC Automatizados 18529 Revisões Formais de Casos de Uso Execução manual e automatizada de Testes de Aceite Planejamento & Homologação Especificação Geração de Massa e Ambiente de TestesTestes de Propagação de Impactos(Banco de Dados) Testes de Disponibilidade, Resiliência e Estabilidade Design Testes de Sistemas Teste de Desempenho Automação de Testes de Sistemas Code Weakness & Exposure Code Quality Assurance Testes de Automação de Testes Automatizado Codificação Unidade & Unitários Integração Code Security Audit

+ Modelo de Fábrica de Serviços de Testes Governança da Qualidade para estabelecimento de uma parceria de confiança e competência duradoura Modelo de Atendimento que difere de demandas do tipo Projeto e modelo Time & Material Estimativa Operação algorítimica, substanciada e rápida focada em demandas novas, evolutivas e SLA’s corretivas não emergenciais done right, on-time & Programação on-budget da produção Conhecimento Comunicação planejada e monitorada documentado e em aperfeiçoamento executável contínuo Gestão de OS previsível e eficiente alinhado com ITIL V.3

+ Modelo de Governança Governança da Qualidade Prestação deResponsabilidade Eqüidade Transparência ContasImplanta o modelo onde a Estabelece um Sistema Divulga as metas defábrica é responsável pela Corporativo de Metas de Exige justiça, qualidade e testes;qualidade acordada com o Performance de Qualidade recompensando a classifica artefatos,cliente e o solicitante é e Testes, aumentando a qualidade e acabando com recursos e equipes porresponsável pela visibilidade da área de a impunidade critérios públicos equalidade informada dos sistemas transparentesartefatos de entrada• A qualidade final •  Os parceiros se •  SLA’s valem para os doisdepende dos testes que comprometem a lados •  Números abertos nadepende da qualidade •  Desempenho por mesa, trabalhar dentro de resultados valorizadodo código este por sua •  Modelo de Estimativavez depende da resultados e metas •  Problemas de um parceiro de Tamanho, Esforço, são problemas do outroqualidade do desenho previamente •  Desempenho é Prazo e Custo é abertotécnico, da modelagem, acordados recompensado com mais e algorítmicoda especificação. serviço

+ Modelo de Governança Inatenção Focam em com os Governança da Qualidaderesultados Resultados coletivos Prestação de Responsabilidade Eqüidade Transparência Contas São Evita-se Responsabilização responsáveis uns pelos outrosImplanta o modelo onde a Estabelece um Sistema Divulga as metas defábrica é responsável pela Corporativo de Metas de Exige justiça, qualidade e testes;qualidade acordada com o Performance de Qualidade Comprometem-se com recompensando a classifica artefatos, Ausência de aumentando a cliente e o solicitante é e Testes, qualidade e acabando com recursos e equipes por responsável pela Comprometimento da área de visibilidade decisões e planos de a impunidade critérios públicos e qualidade informada dos artefatos de entrada sistemas ação transparentes Discutem sobre idéias e resolvem Receio de Conflitos conflitos maduramente•  Estabelecer uma parceria onde •  Números abertos na mesa,confiança prevaleça, além de tempo •  Os parceiros se •  SLA’s valem para os dois ganhos de produtividade sãoe perseveranças comprometem a trabalhar lados programados com• Responsabilidade é de todos(qualidade será media para todos os dentro de resultados e •  Desempenho por investimentos sincronizados deartefatos e todas etapas do metas previamente resultados valorizado ambos os lados. •  Modelo de Estimativa dedesenvolvimento Ausência de Confiança•  A qualidade final depende dos acordados •  Os parceiros são Confiam uns nos outros •  Problemas de um parceiro são problemas do outro Tamanho, Esforço, Prazo etestes mas a qualidade dos testes Custo é aberto e algorítmicodepende da qualidade do código responsabilizados •  Desempenho é •  O modelo é aberto mas cadaque por sua vez depende da financeiramente pelos seus recompensado com mais parceiro gerencia suas equipes,qualidade do desenho técnico, da resultados serviçomodelagem, da especificação. sem interferência dos outros.

+ Modelo de Atendimento Aberta Pendente Rejeitada Cancelada Agendada Aprovada Em Andamento ConcluídaStatus da OSFluxo da OS Rejeita OS e Cancela a aguarda OS informações N Pendência S Aprovação Abertura da de Chec Agendamen Execução da Conclusão de execução OS Avaliação k Ok? to da OS OS da OS da OS TécnicaAtividades Solicitante Solicita serviço via Recebe estimativa Aguarda até que a OS ferramenta Sistema inicial de prazo e Acorda novos Não acorda seja finalizada da fábrica (ou custo em função das Aprova execução da Recepciona os indicadores com a informações de prazo, Verifica agendamento conforme planejado, próprio) com informações OS com os prazos e artefatos e inicia fábrica para a esforço e ou custo da fábrica acompanhando os informações de fornecidas e aguarda custos fornecidos payment workflow reabertura da OS com fábrica indicadores detamanho, qualidade e revisão da validação progresso da OS produtividade da fábricaAtividades Fábrica Disponibiliza acesso para abertura de OS e Avalia e valida a Revisa e finaliza a OS, Fornece ao solicitante o Executa a OS conforme encaminha os artefatos acompanhamento dos demanda segundo as Agenda a execução da Analisa os motivos de prazo segundo os status, fornecendo de informações Acorda novos indicadores OS segundo a planejado, fornecendo de teste referentes ao cancelamento para indicadores obtidos deimediato um orçamento recepcionadas contra os com o solicitante programação da fábrica indicadores de serviço executado e melhorias no processo tamanho, qualidade, artefatos fornecidos (factory workload) progresso disponibiliza payment de esforço, prazo e produtividade. custo (SLA de 24 horas úteis) workflow Solicitante Fábrica

+ Modelo de Estimativa 6 Grandezas Essenciais Modelo de Estimativa de Tamanho, Qualidade, Produtividade, Esforço, Prazo e Custo é aberto e algorítmico Tamanho Qualidade Produtividade 1 2 3Agendamento da SO estimado definida estabelecida Informações para IN OUT Planejamento Tipo Atividade Preparação PF Df Eft Execução Evidenciação Gestão Esforço 4para Aprovação da SO conhecido Informações Obtidas Prazo Nova 5 Tipo OS adequado Evolutiva Custo Corretiva não Emergencial* Programação da Fábrica 6 derivado Tecnologia Envolvida Capacidade Conhecimento e Reuso Demandas OS Disponíveis *corretivas emergenciais devem ser tratadas de forma diferenciada, como força-tarefa, e não como OS de fábrica.

+ Modelo de Capacidade e Flexibilidade fábrica de serviços células de trabalho recursos Capacidade Mínima Capacidade Máxima + 20% para atendimento = 05 12 Flexibilidade das Células de picos de demanda Nominal para atendimento padrão = 04 10 -20% para manutenção do conhecimento = 03 08 Flexibilidade Máxima de CélulasCapacidadeda Fábricade Células 18 06 atual = Formação, Capacitação, Certificação, Gestão & Relacionamento com Clientes

+ Modelo de Gestão do Conhecimento Torna o Os casos de teste devem ser automatizados paraN5 conhecimento executável se ganhar produtividade no tempo de execução e manutenção da atualização Caso de Teste passa a ser um artefato Documenta o compartilhado entre as partes podendo serN4 conhecimento modelos comportamentais da aplicação. Todo o testware será armazenado em ferramentas fornecidas pelo cliente e dentro da sua metodologia ...para antecipar e ou complementar os casos de Utiliza “gaps” de teste nas aplicações maisN3 demanda prováveis de serem testadas na seqüência pela programação da fábrica ...para aquisição doN2 Promove Workshops conhecimento das aplicações Aproveita o conhecimentoN1 Os casos de testes e formal já existente (reuso) massas de teste existentes serão a baseline deste conhecimento

+ Modelo de Comunicação Processos da Ponto Focal Solicitante Ponto Focal Fábrica Operação Receber demandas das áreas de Recepcionar as demandas do ponto focal1 Recepcionar Desenvolvimento de Sistemas do Solicitante, e enviá-las para a fábrica. do Solicitante, fornecendo número de protocolo Verificar Validar a especificação, estimativas e Garantir que os critérios de entrada na2 informações da demanda para garantir que Entradas/ estejam com condições mínimas para serem fábrica de testes estejam sendo cumpridos Saída rigorosamente enviadas para a Fábrica.3 Verificar adequações necessárias para efetuar Fornecer orçamento para OS (ordem de Estimar estimativa serviço)4 Verificar prazos e custos associados à OS e Direcionar OS para líder de projeto Programar aprovar execução (segundo programação da fábrica) Executar e Posicionar andamento da OS5 Executar Acompanhar andamento da OS para o Solicitante Verificar Efetuar Sign-off dos entregáveis enviados,6 Receber da fábrica evidências dos testes e verificando se os critérios de saída da Saídas/ demais entregáveis aplicáveis fábrica de testes estão sendo cumpridos Entradas rigorosamente Enviar para o ponto focal do Solicitante os7 Dar aceite dos entregáveis enviados pela Entregar fábrica. entregáveis aplicáveis8 Propor melhorias nos processos [1;2;3;4;7] Verificar issues do processo pré- Aprimorar para evolução e perpetuação do estabelecido e aprimorar buscando um relacionamento processo mais produtivo

+ do basea os Modelo de Operação i sc em r MoSCoW Focus req5 Could Test Must Test Priorities of req3 I Development II (Riscos Técnicos) Test Focus req4 Level ofreqn Seguimos padrões mundiais de teste (BS, IEEE) System Probabilidade Won’t Test Test Participamos e representamos a ABNT junto à ISO na Should Test elaboração doLevel req1 III IV req2 Padrão de Testes ISO 29.119 Impacto (Riscos para o Negócio)

+ para pelo Qualidade e menos 88% Produtividade é das OS´s Modelo de SLA responsabilidade de todos SLA’s EfT > 85% EfT > 90% EfT > 95% # de ciclos de teste [<=5] [<=4] [<=3] Densidade de falhas [<=30% UCP] [<=20% UCP] [<=10% UCP] encontradas [<=3d corridos; [<=7d corridos; <=2d [<=5d corridos; <=1d MTTR <=0,5d para show para show stoppers] para show stoppers] stoppers] Cobertura dos Casos de 80% 90% 100% Teste Reincidência de falhas [<=12%] [<=9%] [<=6%]Volatilidade de requisitos [<= 10% UCP] [<= 5% UCP] [<= 1% UCP]Distribuição da severidade [Show Stopper <8%; [Show Stopper <6%; [Show Stopper <4%; das falhas High <35%] High <25%] High <15%] Devem ser reavaliados aEntrega do SUT no prazo cada 3 meses [<5 dias de atraso] [<3 dias de atraso] [<2 dias de atraso] projeto de combinado

+ Métricas e Indicadores

Indicadores preliminares “Densidade de Falhas -> Qualidade -> Confiabilidade” n  1 carro que anda 100.000km com apenas uma falha tem uma Confiabilidade de 1/100.000 ou 99,9990% ou 4,3 Sigma Eficácia de Testes Defeitos/PF Maturidade Defeitos/KLOC necesssária n  Um carro com Confiabilidade 6 SIGMA teria quePF é a média para uma mesma em produção 5 defeitos por apresentar de injeção de falhas apenas 3,4 falhas rodando 1.000.000 de km!!!! quallidade de entrada CMM I 7,5 0,8 85% CMM II 6,2 n  Diz-se de uma especificação de 2.000 UCP (ou 0,6 PF) com 200 88% falhas de especificação,II que sua 4,7 CMM I 0,5 91% CMM IV 2,3 0,2 95% n  Densidade de Falhas CMM V 10% (200/2.000) ou sua é de 1,1 0,1 98% n  Densidade de Acerto é de 90% (1-200/2.000) ou que Sua qualidade é de 90% ou que n  Sigma Sua Confiabilidade Sigma é de 2,8 (escala de 1 a 6) n  Level: 2,43 2,50 2,59 2,84 3,08 82% 84% 87% 91% 93%©2008 T&M Testes de Software (11) 4191.5456 - www.tmtestes.com.br - tm@tmtestes.com.br - 17

+ Highlights n  Responsabilidade=>Confiança n  A base é PF recebida (por amostragem 5% confere-se) n  Testes seguem o modelo “Margarida” (<10% overlap)e não “Elipse” (100% overlap) n  Lista de Critérios de aceite derivados de RqN, RqU e RqS, única e compartilhada e atualizada por todos, nasce no início do projeto n  Evidência é a assinatura de que testou, não “print screen” n  Gestão de Testes PREDITIVA (espera-se X falhas por etapa, vamos localizá-los) n  Conceito de Esforço que muda dependendo do Qin e Qout n  Confiabilidade dos artefatos medidos em Sigma. n  Modelo de Estimativa público e transparenteT&M Testes de Software

otimario@tmtestes.com.br São Paulo – Porto Alegre – Brasília Fone/Fax: +55 11 2596-3350 e-mail: comercial@tmtestes.com.br – www.tmtestes.com.br+ “Quality Testing does not happen by accident; It’s the Result of an Intelligent Effort”

Fabrica de Teste - TDC 2011

by Elias Nogueira on Jul 09, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

Statistics

Fabrica de Teste - TDC 2011 — Presentation Transcript