Glossário termos de aps
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

Glossário termos de aps

  • 2,185 views
Uploaded on

Dicionário de Termos para o Curso de Marco-Lógico e Avaliação de Políticas Sociais.

Dicionário de Termos para o Curso de Marco-Lógico e Avaliação de Políticas Sociais.

More in: Education
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
2,185
On Slideshare
1,643
From Embeds
542
Number of Embeds
7

Actions

Shares
Downloads
47
Comments
0
Likes
0

Embeds 542

http://aeconomiamarginal.blogspot.com 301
http://aeconomiamarginal.blogspot.com.br 217
http://www.aeconomiamarginal.blogspot.com 13
http://aeconomiamarginal.blogspot.pt 7
url_unknown 2
http://webcache.googleusercontent.com 1
http://www.aeconomiamarginal.blogspot.com.br 1

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. DICIONÁRIO DE DEFINIÇÕES DO CURSO DE AVALIAÇÃO DE POLÍTICA PÚBLICA. [email_address] Victor Maia Professor de Avaliação Social de Políticas da Fundação João Pinheiro
  • 2. Amostragem Aleatória Simples:
    • Procedimento de amostragem probabilístico onde todas as observações possuem mesma probabilidade de sorteio. Muito utilizada quando não há nenhuma informação a priori para as características da população ou quando se quer comparar médias entre dois grupos sem que haja nenhum viés de seleção.
  • 3. Avaliação de Impacto:
    • Refere-se a um trabalho, relatório, parecer, ou texto científico que procura responder se determinada ação pública (que pode ser um programa, uma lei, a realização de um projeto ou a transferência de recursos) obteve efeito alcançando os resultados almejados. Diz-se que ocorreu impacto quando é possível responder estatisticamente e estabelecer causalidade sobre ação e efeito.
    • Além da Avaliação de Impacto, há vários outros tipos de Avaliações possíveis: Avaliação de Marco Lógico; Avaliação de Processos; de Implementação; Viabilidade econômica e financeira; e avaliação econométrica.
  • 4. Avaliação do Processo:
    • Segundo o dicionário da profa. Christel Vermeersch: “Avaliação do Processo é uma avaliação que tenta fazer um nexo de qualidade ou o sucesso dos processos de um programa: por exemplo, a adequação dos processos administrativos, a aceitabilidade dos benefícios do programa, a clareza da divulgação das informações, a dinâmica interna das organizações de execução, os seus instrumentos de política, seus mecanismos de prestação de serviços, suas práticas de gestão, e as ligações entre estes”.
  • 5. Avaliação Ex-Ante:
    • Avaliação Ex-Ante trata-se de uma avaliação realizada em um período anterior a ocorrência da ação. Como ocorre antes da implementação, geralmente se baseia em dados secundários e análises empíricas e econométricas. Sendo também muito comum o uso de simulações (p.e.: o que aconteceria se aumentassemos a renda do grupo mais pobre em 10%?).
    • As avaliações ex-ante são muito úteis para se prever acontecimentos anteriores à ação política do governo ou programa. Auxiliam também na interpretação dos resultados de avaliações ex-post .
  • 6. Avaliação Ex-Post:
    • Avaliação Ex-Post é uma avaliação que ocorre depois da implementação do ação/programa. Possui a vantagem de tratar especificamente com dados diretos e indiretos do programa combinados, e ser melhor vinculada aos resultados.
    • Uma desvantagem das avaliações ex-post ocorre quando suas conclusões não podem mais influir para melhorias da ação/programa. No entanto, para ações que têm continuidade uma ação ex-post de um período pode servir como avaliação ex-ante para o período seguinte, aperfeiçoando a análise.
  • 7. ATE – Average Treatment Effect:
    • Na linguagem dos Modelos de Diferenças em Diferenças (Diff-Diff ou Efeito Fixo), o Efeito médio nos Tratados é obtido pela diferença entre o grupo dos tratados (D=1, que recebem benefício da ação/programa) em relação ao grupo de controle (D=0). Constitui-se na diferença de média entre os dois grupos na variável de interesse Y D em função das variáveis sobre a qual se possui informação (x, que podem ser os insumos)
    • ATE = E[Y 1 (x) – Y 0 (x)]
    • = E[Y 1 (x)] – E[Y 0 (x)]
    • =
  • 8. ATT – Average Treatment on the Treated:
    • Como nunca é possível observar a mesma pessoa em dois estados do tempo, a maioria das estimações de interesse para avaliação de programas sociais se encontra no Efeito Médio do Tratamento nos Tratados. O contra-factual é realizado estimando como seria o efeito/impacto do programa caso o grupo de pessoas tratadas não recebesse o benefício:
    • ATT = E[Y 1 (x) – Y 0 (x)|D=1]
    • = E[Y 1 (x)|D=1] – E[Y 0 (x)|D=1]
    • = [ATE|D=1] =
    • Ao utilizar um grupo de controle “comparável” em que Y | D (técnicas de pareamento) podem permitir que:
    • ATT = E[Y1(x)|D=1] – E[Y0(x)|D=0]
    Só que esse Cara não existe!
  • 9. ATC – Average Treatment on the Control:
    • Efeito médio no Controle, semelhante ao Efeito Médio nos Tratados (ATT - Average Treatment on the Treatment ), porém, realizado para o controle. O contrafactual é realizado peeguntando como seria o tratamento caso os não tratados recebessem o benefício:
    • ATC = E[Y 1 (x) – Y 0 (x)|D=0]
    • = E[Y 1 (x)|D=0] – E[Y 0 (x)|D=0]
    • = [ATE|D=0] =
    • Igualmente ao caso do ATT, com Y | D, resultados de Y ortogonais à participação. Podemos utilizar o tratamento, temos que:
    • ATC = E[Y 1 (x)|D=1] – E[Y 0 (x)|D=0]
    Essa observação Não existe!
  • 10. Cadeia de Resultados
    • Relação entre os insumos, atividades, produtos e resultados objetivados pelo programa. Estabelecendo a relação causal para se alcançar os resultados.
  • 11. Causalidade
    • Causalidade é o estabelecimento de um princípio de relação causa e efeito.
    • A causalidade é longamente estudada na filosofia. Mas suas definições envolvem relações de implicação entre duas afirmações:
    • A ->B
  • 12. CCT - Conditional Cash Transfer:
    • Conditional Cash Transfer : Transferências de Renda Condicionada. Programas de assistência social que transferem renda condicionando o recebimento ao cumprimento de algumas condicionalidades. Exemplo: Bolsa Família.
  • 13. Cluster (Conglomerado)
    • Segundo dicionário da Profa. Christel Vermeersch: “Um claster é um grupo de unidades que são semelhantes, de uma forma ou de outra. Por exemplo, em uma amostra de crianças em idade escolar, as crianças que frequentam a mesma escola, os mesmos professores, e vivem no mesmo bairro.
  • 14. Contra-factual
    • O contra-factual é uma situação que ocorreria caso a política implementada não existisse. Podemos pensar como o resultado de E[Y 0 (x)|D=1] do ATT. Em palavras, qual seria o resultado de não ter participado do programa (Y 0 ) caso o grupo tivesse de fato participado (D=1).
  • 15. Controle:
    • O grupo de controle deve possuir as mesmas características do grupo que está submetido ao tratamento. Dessa maneira estaria se comparando entre iguais. Em uma amostra aleatória anterior o programa sem viés de seleção é possível obtermos:
    • ATE = E[Y 1 (x) – Y 0 (x)]
  • 16. Coorte:
    • Indivíduos submetidos a um mesmo evento temporal distintivo fazem parte de uma mesma coorte. Por exemplo, pessoas nascidas entre 90 e 91. Turma de economia de 2005, ou então pessoas que receberam o domicílio do bolsa-família em 2006. O evento distintivo ocorre uma vez no tempo mas “marca” e acompanha a coorte para os períodos futuros.
  • 17. Desenho Lógico:
    • Desenho lógico consiste de uma etapa que explicita as relações causais de um programa, da política ou intervenção. Muito comum nessa fase o uso de fluxograma da relação de insumos, atividades, produtos, resultados e impactos. Mas o desenho não deve ser restringir a isso, deve construir também a relação entre variáveis, contextualizar, procurar definir o público-alvo. Enfim, um mapeamento da cadeia l ó gica de resultados, assim como o mapeamento das alternativas dispon í veis aos formuladores de pol í ticas.
  • 18. Diferenças em Diferenças Dif-Dif:
    • O método de regressão temporal que compara tratamento e controle antes da implementação do programa (primeira diferença) e depois (segunda diferença). As diferenças são comparadas entre si (diferença das diferenças) para ver se são estatisticamente significantes. Por exemplo, um programa com a segunda diferença positiva e estatisticamente significativa pode estimar um impacto. Em econometria equivalem-se aos métodos de painel com efeito fixo. Em geral pode se controlar os efeitos pelas características X e o método pode ser usado mesmo quanto a seleção entre tratados e não tratados não é completamente aleatória (no entanto deve preservar a ortogonalidade Y | D):
    • Y C = β 0 + β 1 X + β 2 T i + δ D i + ε i
    • Para o grupo controle D=0 e no tempo T=0, temos:
    • Para o tratamento (D=1), no tempo T = 0, temos:
    • Se β 1 é o mesmo para os grupos:
    Se não há efeito do programa no tempo Com efeito do programa no tempo
  • 19. Efeito Hawthorne
    • O efeito “Hawthorne” ocorre quando o fato de se observar as unidades de análise, acompanhá-las em um surve y ou entrevistá-las faz com que se comportem de maneira diferente.
  • 20. Efeito John Henry
    • Do dicionário da profa. Christel Vermeersch: “O efeito John Henry” acontece quando o grupo de comparação trabalha mais para compensar o fato de não ter recebido o tratamento. Quando se compara o grupo de tratamento com o grupo “mais trabalhador”, a estimativa de impacto do programa será viesada: iremos estimar um menor impacto do programa [ou mesmo nenhum impacto ou negativo] do que o verdadeiro impacto que seria encontrado caso o grupo de comparação não fizesse esforço adicional.
  • 21. Endogeneidade:
    • Situações em que a direção de determinação das variáveis é bidirecional:
    • Y ↔ X
    • Y é determinado por X, mas Y também determina Y. O problema da Endogeneidade é também chamado de causalidade reversa e leva a um viés na estimativa dos parâmetros.
    • Exemplos conhecidos de Endogeneidade aparecem em regressões de Escolaridade e Renda. “É a escolaridade que propicia maior renda futura, ou é a maior renda familiar que permite mais estudo?” Outro exemplo: “O número de filhos diminui a renda familiar percapita, ou é o fato de ter renda baixa que leva as famílias optarem por um grande número de filhos?”
  • 22. Erro de Focalização:
    • Erro de focalização também chamado de “insuficiência” em um caso ou “vazamento” em outro. O erro de focalização ocorre quando o programa falha em alcançar beneficiários do público-alvo. O erro de focalização pode ocorrer por dois motivos:1) beneficiários elegíveis que não receberam (insuficiência); 2) beneficiários não-elegíveis que receberam o benefício (vazamento). Representados no quadro:
    Receberam benefício vazamento Não-elegíveis insuficiência Elegíveis Não Sim
  • 23. Experimento Aleatório:
    • Um experimento aleatório é conduzido de forma que por amostragem simples ou probabilística se separe os grupos de tratamento e controle . A vantagem nesse tipo de analise é tentar se expurgar o viés de seleção. Para que se alcance esse feito a população amostrada para os dois grupos deve possui as mesmas características observáveis básicas.
  • 24. Focalização:
    • A Focalização é a propriedade de um programa atingir 100% do seu público-alvo sem que ocorra erro de vazamentos. O programa atinge todo seu público-alvo e somente ele recebe o benefício.
  • 25. Linha de Base ( Baseline ):
    • Pesquisa linha de base, do inglês: baseline, é uma pesquisa de referência para o programa a ser avaliado. De preferência deve ser realizada antes do lançamento do projeto para se conhecer as diferenças prévias entre os grupos de tratados e controles.
  • 26. Marco Lógico:
    • Bamberguer et. al. (2006) definem: “Marco Lógico é a teoria ou modelo que mostra como se espera que o programa leve aos resultados observados ou desejados. A teoria de um programa identifica recursos, atividades e resultados e especifica uma cadeia-causal de hipóteses ligando os recursos de um programa às atividades, produtos intermediários e objetivos finais”.
  • 27. Matching (Pareamento):
    • O método de pareamento busca encontrar os grupos de tratamento e controle dentro de um survey mais amplo. Uma das técnicas de matching mais empregadas é o propensity score matching em que o grupo de controle é comparado ao grupo de tratamento com base no pareamento de uma série de características observáveis, usando-se o escore de propensão, que é uma pontuação que diz, com determinadas características observáveis, qual é a chance do indivíduo também participar do tratamento.
  • 28. Métodos Qualitativos:
    • A análise Qualitativa leva em conta o tratamento de informações estruturadas qualitativamente com o uso de conhecimento baseado em relatos, observações, contexto sociológico, percepções e interações entre os agentes. A análise qualitativa pode ter também dados quantitativos, se avaliação também os trabalha, chama-se de uma metodologia mista.
  • 29. Painel com Efeito-Fixo:
    • Dados em painel são dados cross-section (bancos com várias variáveis e indivíduos em um corte temporal) empilhados ano a ano. O painel com efeito fixo é adotado quando se quer eliminar os efeitos aleatórios das características individuais ou de um grupo:
    • Y i = β 0,i + β 1 X i + β 2 T + δ D i + ε i
    • O β 0,i é o parâmetro de intercepto que permite que variação para cada grupo (ou indivíduo i ). Como esse efeito é invariável no tempo, β 0,i se anula no tempo, mantendo a característica no tempo. Outros efeitos individuais podem ser pensados, tais como um intercepto individual para as características X i e/ou para características do tempo. Mas deve se levar em conta que isso reduz graus de liberdade do modelo, se o banco possui muitas variáveis isso não será problema.
  • 30. Propensity Score Matching:
    • Ver “Pareamento”. O propensity Score é uma das formas de pareamento desenvolvida por Rosenbaum e Rubin (1983). O propensity score envolve fazer o pareamento dos grupos com base em uma única variável (Ps) que reúne as características observáveis Xi:
    • Ps = Prob (D=1|Xi)
    • Estima-se um Logit ou Probit:
    • D i = β 0 + β∙ X i + ε i
    • O propensity score é a probabilidade de 0 a 1 de do indivíduo ‘ i ’ perterncer aos tratados, dado que conhecemos as variáveis observáveis X i . Mais detalhes Becker e Ichino (2002).
  • 31. Público Alvo:
    • O Público-Alvo se constitui das pessoas elegíveis ao benefício dentro dos requisitos legais ou conceituais do programa.
    • Tais requisitos devem estar definidos de acordo com a avaliação das causas para as quais uma política social pretenda atuar.
    • O público-alvo estará tanto melhor definido quanto maior for o conhecimento sobre o problema, sua mensuração é importante para delimitá-lo e defini-lo, essa definição deve também levar em conta os procedimentos da política.
  • 32. Métodos Quantitativos:
    • Os métodos Quantitativos são métodos que remetem à quantidade e envolvem a mensuração de variáveis e indicadores por meio de procedimentos estatísticos. Nessas técnicas é preciso procurar o efeito do programa em algumas variáveis determinadas.
  • 33. Métodos Mistos:
    • Avaliações que usam com eficácia ambas metodologias: a qualitativa e a quantitativa. Os componentes da avaliação se integram e perfazem uma avaliação do programa que pode ser mais completa, abordando-o em diversos aspectos.
  • 34. Monitoramento:
    • Do dicionário da profa. Christel Vermeersch: “Monitoramento é um processo contínuo de recolhimento e análise de informações para verificar quão bem um projeto, programa ou política, está sendo realizado. Baseia-se principalmente em dados administrativos para monitorar o desempenho contra os resultados esperados, fazer comparações entre programas e analisar as tendências ao longo do tempo. Normalmente o monitoramento acompanha insumos, atividades e produtos, embora ocasionalmente também inclua resultados. O monitoramento é utilizado para informar o dia-a-dia da gestão e tomada de decisões”.
  • 35. Poder Estatístico:
    • Do dicionário da profa. Christel Vermeersch: “O poder de um teste estatístico é a probabilidade de que o teste irá rejeitar a hipótese nula quando a hipótese alternativa é verdadeira (isto é, que não vai cometer um erro tipo II [do teste de hipóteses]). À medida que aumenta o poder, as chances de ocorrer o erro do tipo II diminuem. A probabilidade de um erro do tipo II é definida como a falsa taxa negativa ( β ). Portanto o poder é igual a 1- β ”.
  • 36. Regressão em Descontinuidade:
    • Regressão em Descontinuidade é geralmente adotada quando há um corte da política identificada por um ponto específico no tempo. Geralmente empregado para analisar antes e depois de políticas universalizantes na quais não há como separar tratados e não-tratados .
    tempo Y t 0 data da política Y i = β 0 + β 1 X i + β 2 T + β 3 Z i + є i Z i = 1 para T ≥ t 0 Z i = 0 para T < t 0
  • 37. Tratamento
    • O grupo de tratamento são pessoas submetidas ao programa. Deve-se compará-los ao grupo de controle que possua as mesmas características observáveis.
  • 38. Teste de Causalidade:
    • O Teste de causalidade, pretende estudar se existe relação causal entre X -> Y, ou se ocorre o contrário, Y-> X, ou mesmo uma co-integração ou simultaneidade, X ↔ Y. Um dos testes de causalidade mais conhecido é o teste de Granger, que parte da premissa de que o futuro não pode predeterminar o presente ou o passado. A partir do teste de Granger outros foram realizados, um bastante difundido é o teste de causalidade de Sims.
  • 39. Teste de Médias (controle e Tratamento):
    • O teste de médias trata da comparação do resultado entre os grupos de tratamento e controle. Consiste em obter a diferença da média de Y para os dois grupos e estudar se essa diferença é estatisticamente diferente de zero e quais os procedimentos adequados para isso. Caso a diferença seja diferente de zero diz-se que houve impacto, do contrário nada se pode afirmar entre o resultado de quem recebeu o programa (tratados) e de quem não o recebeu (Para mais detalhes ver ATE).
  • 40. Universalização:
    • Universalização é o oposto de uma política focalizada. Uma política universal é aquela que tem toda a população de uma região ou país como seu público-alvo. Políticas universais costumam a ter elevados custos operacionais e por vezes não conseguem um valor per capita que beneficie a maioria dos cidadão. Por conta disso existe um trade-off entre fazer uma política universal onde cada beneficiário recebe um pequeno valor, ou políticas focalizadas onde o valor do benefício pode ser mais alto, porém não é toda população que o recebe. Exemplo de políticas que são universais no Brasil são o Sistema Único de Saúde, SUS e a Educação Pública.
  • 41. Variáveis Dummy e Variáveis Categóricas:
    • Variáveis Dummy são variáveis identificadores que assumem valores de 0 ou 1. São usadas em diversos contextos, um deles pode ser a identificação de tratamento e controle: D i =1 para tratados e D i =0 para o controle. Há também vários outros usos para variáveis dummy .
    • Variáveis categóricas são variáveis que assumem valores discretos e finitos. Por exemplo, para descrever ocupações, ou faixa de renda, poderia se usar X i = 1, 2, 3, 4, ...,N. As variáveis categóricas requerem as vezes tratamento e interpretação a parte nas regressões.
  • 42. Validade Externa:
    • A Validade externa envolve uma lógica indutiva e estatística que seja verdadeira e pode ser generalizado para outros grupos de análise semelhantes. Um programa que apresenta impactos positivos para um determinado subconjunto representativo da população (do grupo universo), aceitando a validade externa, será igualmente efetivo quando aplicado ao conjunto-universo.
  • 43. Validade Interna:
    • A validade interna diz respeito a um conceito de lógica e envolve perscrutar sua lógica causal de um programa. Isso quer dizer que se pode se desenvolver o programa por argumentos de dedução e há ligação causal entre seus “insumos” & “atividades” com os “produtos” & “resultados”. Segundo Vermeersch “a validade interna significa que a avaliação do impacto usa um grupo de comparação válido”.
  • 44. Variáveis Instrumentais:
    • As Variáveis Instrumentais são variáveis correlacionadas com a participação no programa, ou seja, determinante para uma pessoa entrar ou não no grupo dos tratados, mas não deve influir diretamente na variável resposta e nem ter nenhuma correlação com as características Xi dos indivíduos. As variáveis instrumentais são usadas quando não há maneira de sem elas distinguir tratados e controles.
    VI Tratados Controle Y T Y C
  • 45. Vazamento:
    • Vazamento é um erro de focalização que ocorre quando beneficiários não-elegíveis recebem o benefício. O programa “vazou” para quem não teria direito ao benefício. (ver também “Erro de Focalização”).
  • 46. Viés de Seleção:
    • De acordo com o dicionário da profa. Christel Vermeersch, “Viés de seleção ocorre quando as razões pelas quais um indivíduo participa de um programa são correlacionadas com os resultados. Este viés ocorre geralmente quando o grupo de comparação é inelegível ou se auto-seleciona para fora do tratamento”.