Dicas e táticas para condução e validação de projetos experimentais

1. Metodologia da Pesquisa Científica
Aula 07: Táticas para Projeto de Experimentos
Professor: Alexandre Duarte
Web: http://alexandre.ci.ufpb.br/ensino/mpc

2. Louis Pasteur e a geração espontânea

3. Louis Pasteur e a geração espontânea

4. Louis Pasteur e a geração espontânea

5. Louis Pasteur e a geração espontânea

6. Louis Pasteur e a geração espontânea

7. Tipos de Hipóteses
• Existencial: Uma entidade ou fenômeno existe
• Composicional: Uma entidade ou fenômeno é
composta por um número de componentes
• Correlacional: Existe uma associação
específica entre duas grandezas quantificáveis
• Causal: Um determinado comportamento
possui um mecanismo causador/explicador

8. Condições para inferência causal
• Correlação
• Direção
• Eliminação de
potencias
causas comuns
A B
A B
C

9. Eliminando causas comuns
• Controle: mantenha potencias causas comuns constantes
de forma que elas não possam afetar o resultado (Bacon,
1620)
• Randomização: Varia de forma aleatória os níveis de
potenciais causas comuns de forma que elas não possam
afetar sistematicamente o resultado (Fisher, 1925)
• Modelagem: Meça, modele e remova matematicamente o
os efeitos de potenciais causas comuns (Rubin 1974;
Spirtes, Glymour & Scheines 1993; Pearl 2000)

10. Exemplo: Avaliando um sistema de RI
• A Google conduziu recentemente um estudo laboratorial
para avaliar a satisfação de seus usuários com os resultados
das buscas
– Pesquisadores conceberam a hipótese de que documentos mais
longos tem a classificados de forma mais precisa do que
documentos mais curtos porque os seus tópicos podem ser
estimados com maior precisão
– Para testar o efeito causas eles dividiram aleatoriamente os
usuários em dois grupos (A e B). O grupo A recebeu resultados
de buscas sem qualquer alteração. O grupo B recebeu
resultados alterados sistematicamente para favorecer
documentos mais longos.
• O grupo B reportou uma taxa de satisfação significativamente mais
alta do que o grupo A
• O que podemos concluir deste experimento?

11. Modelos causais alternativos
Docs mais
longos
Melhor
classificação
Maior
satisfação

12. Modelos causais alternativos
Docs mais
longos
Melhor
classificação
Maior
satisfação

13. Os desafios do projeto experimental
• Encontrar dependências causais entre as variáveis que
caracterizam o algoritmo, tarefa e ambiente...
• Quando
– Múltiplas variáveis influenciam o comportamento
– Interações ocorrem entre os efeitos das variáveis
independentes
– Há confounding factors entre as variáveis dependentes e
independentes
– Existem variáveis ocultas
– As amostras de dados têm tamanho limitado

14. CONFOUNDING
Duas ou mais variáveis são ditas confounded
se elas variam juntas de uma forma que torna
impossível determinar qual variável é
responsável pelo efeito observado

15. Vantagens do projeto experimental em
Ciência da Computação
• Recuperação de estado: em vários cenários é possível
recriar estados arbitrários. Portanto, podemos reutilizar os
mesmo “subjects” e isso diminui a necessidade de projetos
aleatórios
• Grandes amostras: vários experimentos na área podem
criar amostras extremamente grandes. Portanto,
dependemos menos de análise estatística para amostras
reduzidas
• Exceções
– Experimentos com humanos/usuários (ex. Engenharia de
software)
– Experimentos in-place em infraestruturas específicas (ex.
monitoramento de redes)

16. Desafios do projeto experimental em
Ciência da Computação
• Espaços amostrais muito grandes: sendo a “ciência do
artificial” temos poucas limitações naturais sobre os
objetivos de estudo. Desta forma, geralmente temos mais
potenciais variáveis independentes e dependentes
• Sistemas extremamente complexos: muitas vezes não fica
claro como conjuntos de variáveis independentes devem
ser variadas e quais variáveis dependentes devem ser
medidas
• Expectativa de controle: observadores externos acreditam
que o controle sobre o comportamento torna inferências
causais mais simples do que elas realmente são.

17. Terminologia
• Unidades (ou Sujeitos/Subjects)
– Entidades sujeito dos experimentos
• Tratamentos
– A experiência propriamente dita
• Resultados
– O resultado das experiências
– Em computação são medidas do comportamento (ex.
Precisão e cobertura)
• Configuração
– A situação específica em que a experiência é realiza e os
resultados observados
– Em computação representa os aspectos ambientais
imutáveis

18. Terminologia: Unidades ou “Subjects”
• Tipicamente, uma pessoa, um ecossistema, um pedaço
de chão ou alguma outra entidade que recebe um
tratamento
• Em Computação: uma entidade observada em uma
amostra que interage com um algoritmo ou sistema em
avaliação para produzir um comportamento
– O usuário de uma ferramenta de engenharia de software
– Uma consulta submetida a um sistema de RI
– A rede na qual um protocolo de roteamento é aplicado
– Um conjunto de dados analisado por um algoritmo de
aprendizagem de máquina

19. Terminologia: Tratamento
• Tipicamente, uma situação, estresse ambiental, pesticida,
tipo de semente, ou alguma outra mudança aplicada a uma
unidade pelo experimentador
• Em Computação: uma ou mais variações de um algoritmo,
sistema ou ambiente aplicados a uma unidade
– Diferentes métricas de similaridade em um sistema de RI
– Diferentes protocolos de roteamento aplicados em uma rede
– Diferentes algoritmos de aprendizagem aplicados em um
conjunto de dados
• Tratamentos representam variáveis independentes (aquelas
cujo valor podemos manipular explicitamente)

20. Validade experimental
• Validade por conclusão estatística
– Existe alguma correlação entre o tratamento e o
resultado
• Validade interna
– A correlação observada reflete de fato um
relacionamento causal entre tratamento e resultado
• Validade externa
– As relações causais inferidas podem ser generalizadas
para outras unidades, tratamentos e resultados

21. Ameaças à validade estatística
• Baixo poder estatístico
– Amostra de tamanho insuficiente para identificar
associações estatísticas reais
– Medições não confiáveis
• Alta variância ou medição tendenciosa
• Implementação não-confiável do tratamento
– Variação não-intencional no funcionamento do tratamento
• Variação externa na configuração
– Alteração não-intencional no ambiente experimental

22. Ameaças à validade interna
• Seleção
– Seleção não aleatória das unidades pode introduzir causas
comuns
• História
– Alterações externas em confounding com o tratamento
• Maturação
– Alterações internas em confounding com o tratamento
• Regressão
– A escolha de casos extremos leva a alterações que aparentam
ser efeitos do tratamento mas são na verdade artefatos da
própria seleção

23. Ameaças à validade interna
• Atrito
– Perda ou descarte de sujeitos ao longo do
experimento
• Instrumentação
– Alteração não intencional no ambiente de
medição

24. Ameaças à validade interna: Seleção
• A distribuição das unidades que passarão pelo tratamento
pode representar um efeito confounding
• Exemplo:
– Avaliamos nossa ferramenta comparando o código escrito por
duas turmas do mesmo curso de engenharia de software
ministradas no mesmo semestre onde uma das turmas usou a
ferramenta e a outra não.
• Sintoma:
– Projetos experimentais onde os sujeitos recebem tratamentos
diferentes mas não são selecionados aleatoriamente

25. Ameaças à validade interna: História
• A história de execução do experimento pode
influenciar a variável dependente
• Exemplo:
– Comparamos a acurácia da recuperação solicitando
aos usuários que escrevessem suas próprias consultas
e as submetessem ao Google. Depois eles escreveram
consultas e submeteram ao nosso sistema.
• Sintoma:
– Fluxo de informação entre os tratamentos

26. Ameaças à validade interna:
Maturação
• O amadurecimento ao longo do experimento é um
fator de confounding
• Exemplo:
– Comparamos nossos resultados com os de Smith e Jones
(2003). Replicamos a avaliação deles utilizando uma massa
de dados atual coletada de um sistema real.
• Sintoma:
– Resultados comparando tratamentos aplicados em
momentos muito distantes no tempo

27. Ameaças à validade interna: Regressão
• Regressão em direção à média: tendência de casos com
valores extremos se moverem em direção à média em
rodadas subsequentes devido a variações meramente
aleatórias
• Exemplo:
– Selecionamos conjuntos de dados onde o algoritmo
existente se comportou de forma extremamente ruim e
então comparamos seu desempenho com o nosso
algoritmo
• Sintoma:
– Projetos experimentais que focam valores extremos

28. Ameaças à validade interna: Atrito
• Perda ou descarte de sujeitos durante a execução do
experimento
• Exemplos:
– Durante a avaliação dos sistemas nossa solução travou com
algumas entradas, que foram excluídas dos resultados finais.
– Alguns estudantes desistiram do curso onde nossa ferramenta
foi avaliada. Os resultados desses estudantes foram
desconsiderados na avaliação final.
• Sintoma:
– Grandes perdas de sujeitos ou perdas desbalanceadas entre os
diferentes grupos

29. Ameaças à validade interna:
Instrumentação
• A medição em si pode ser um fator de confounding.
• Exemplo:
– Sem o conhecimento os usuários, sua velocidade de
codificação na IDE padrão foi gravada durante um mês. No
meio deste período, sua velocidade também foi gravada
com uma outra IDE em um ambiente laboratorial
• Sintomas:
– Técnicas de medição divergentes
– Potencial para medições tendenciosas
– Fluxo de informação entre os tratamentos

30. Ameaças à validade externa
• Interação da relação causal com
– Unidades
– Variações do tratamento
– Resultados
– Configurações
• Mediação dependente do contexto
– Uma variável que media a relação causal pode não
estar presente em outros contextos

31. Ameaças à validade externa
• Exemplos
– Todos os experimentos de teste do nosso novo
protocolo e troca de mensagens foram realizados
utilizando redes construídas de acordo com o
algoritmo de Watts e Strogatz para redes de
mundo pequeno.
– Avaliamos nosso novo algoritmo de classificação
utilizando 15 conjuntos de dados escolhidos
aleatoriamente no repositório da UCI

32. PROJETOS FATORIAIS
São projetos experimentais onde duas ou
mais variáveis independentes são variadas
sistematicamente para cobrir todas as
possíveis combinações de valores.

33. Projetos fatoriais

34. Dicas para projetos fatoriais
• Use um número pequeno de níveis para cada variável
independente
• Use um número pequeno de repetições para cada ponto no
hipercubo fatorial
• Use projetos-piloto para identificar
– Efeitos principais: O comportamento de muitos sistemas
computacionais é dominado por algumas poucas variáveis
independentes (regra dos “95/5”) – Focar em determinar estas
primeiro.
– Intervalo de variação: Muitas variáveis independentes só
produzem efeitos interessantes em uma faixa especifica de
variação – focar em determinar tais faixas
– Interações: Exame a interação entre as duas ou três variáveis
independentes mais forte
• Itere