• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
A fronteira do tema Avaliação: desafios e perspectivas futuras
 

A fronteira do tema Avaliação: desafios e perspectivas futuras

on

  • 3,947 views

João Pedro Azevedo identifica as perguntas, os metodos e gargá-los enfrentados em suas experiências Latino Americanas.

João Pedro Azevedo identifica as perguntas, os metodos e gargá-los enfrentados em suas experiências Latino Americanas.

Statistics

Views

Total Views
3,947
Views on SlideShare
3,635
Embed Views
312

Actions

Likes
0
Downloads
20
Comments
0

5 Embeds 312

http://www.fee.tche.br 281
http://www.fee.rs.gov.br 14
http://jupiter 9
http://www.slideshare.net 5
http://www.fee.com.br 3

Accessibility

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    A fronteira do tema Avaliação: desafios e perspectivas futuras A fronteira do tema Avaliação: desafios e perspectivas futuras Presentation Transcript

    • A fronteira do tema Avaliação: desafios e perspectivas futuras João Pedro Azevedo Banco Mundial II Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto Porto Alegre, 28 e 29 de Setembro de 2009.
    • Ciclo de Gestão de Políticas Públicas Teoria Desenho Monitoramento Orçamento e Avaliação Execução
    • Ciclo de Gestão de Políticas Públicas Prática Monitoramento Desenho Orçamento Execução e Avaliação
    • Algumas razões para a quebra do ciclo! • Modelos causais frequentemente implicitos • Dificuldades na execução • Ciclo políticos • Incompatibilidade entre os diferentes “tempos” deste processo – Politico, Técnico (programa), Técnico (avaliação), e Financeiro
    • É importante reconhecer avanços... • Gestores públicos e sociedade civil com foco crescente em resultados – Movimento Brasil Competitivo; disseminação de ferramentas de gestão modernas (i.e. escritorio de projetos; balanced score cards; avaliações de impacto) • Existência de instituições tecnicamente capazes – IBGE, IPEA, Fundações Estaduais, Universidades, TCU • Construção de foruns nacionais para troca de experiência sobre o tema – Rede Brasileira de Monitoramento e Avaliação; Movimento Todos pela Educação; Forum de Segurança; eventos como este!
    • ..., alguns limites • Não existe um único caminho para se construir um robusto sistema de avaliação e monitoramento – A experiência internacional ajuda (i.e. Mexico, Colombia, Chile, India), contudo este processos são fruto de uma confluência de atores e interesses próprios que podem e devem ser respeitados.
    • ... e oportunidades. • Heterogeneidade entre setores e regiões • Programas de ajuste fiscal • Construção de Estratégias de Desenvolvimento • Eleição de programas prioritários • Crises economicas
    • Alguns desafios • O que perguntar? • Como responder? • Quando responder? • Como utilizar?
    • Formatando as perguntas... Mobilização • Existe um continuo de Recursos perguntas relevantes Efficiência Servicos • Para ser estratégico e Eficiência poder priorizar é Impacto importante mapear as Participantes possibilidades. Resultados
    • ... Identificando as ferramentas... • Marco lógico • Análise de Desviante Positivo • Avaliação ex-antes • Benchmarking • Dinamica de sistema • Modelos de Equilibrio Geral • Métodos Qualitativos Computável – Grupos focais • Avaliações nutricionais – Entrevistas estruturados • Avaliações de proficiência • Métodos Quantitativos educacional – Desenhos experimentais • Ferramentas de BI – Desenhos não-experimentais • Outros... – Implementação – Análise de disposição a pagar – Análises de custo-benefício – Análises de custo-efetividade
    • ..., viabilizando o plano de trabalho • Dados – Registros administrativos – Dados secundários – Coleta primária de dados • Instituições – Demandantes de informação – Geradores de informação • Prazos
    • ..., utilizando os resultados. • Relevância • Representatividade • Viabilidade • Precisão
    • Estudos de caso • Colombia • México • República Dominicana • Minas Gerais
    • Objetivo • Identificar as perguntas, métodos, e gargá-los enfrentados em algumas experiências Latino Americanas. • Criar um documento único
    • Desafios • Uso de modelos causais explicitos • Maior uso de avaliações ex-antes durante a fase de planejamento do governo • Reconhecimento da importância da triangulação de métodos • Maior uso dos dados existentes • Melhoria da qualidade dos dados existentes • Geração de pesquisas domicíliares mais apropriadas para avaliar programas • Desenhos aleatórios de programas alternativos • Avaliações dos determinantes de impacto
    • Perspectiva futura • Geração e sistematização do conhecimento como um bem público • Política de ESTADO
    • Obrigado! jazevedo@worldbank.org
    • Primeiro: Será que as metas são factíveis? • Benchmark comparando paises • Benchmark comparando estados dentro de um pais • Benchmark comparando municípios ou unidades decisórias (escola, hospitais, pontos de saúde) dentro de um estado • Pode-se analisar as distribuições não condicionada dos desempenhos • ….ou as condicionadas nas características iniciais. • Nossa contribuição. Ao invés de estimarmos a medida de desempenho e condicionada as caracteristica iniciais na média (MQO), podemos estimar estas relações em todos os pontos da distribuição utilizado a técnica de regressões quantílicas. Ferramentas
    • Benchmarking International National Subnational Ferramentas
    • Benchmarking: Internacional, Nacional e Local • Brasil esta em uma posição relativa baixa na nas comparação internacionais de leitura, ciências e matemática (PISA) • Minas Gerais esta em uma posição alta da distribuição de performance dentro do Brasil, e apresenta um ritmo de crescimento relativametne alto • Observa-se uma variação considerável entre o crescimento das notas dentro do Estado de Minas Gerais. Ferramentas
    • Referencia • Metas devem ser ambiciosas porem realistas • As tendências históricas são um ponto de partida importante Ferramentas
    • • Os eixos representam indicadores (H; CV; CVP) ou unidades de análise (RISPs) • Três performances: – Desempenho histórico (2000-2007) – Desempenho recente (2004-2007) – Meta 2007-2009 Ferramentas
    • Exemplo 1 Ferramentas
    • Exemplo 2 Ferramentas
    • Exemplo 3 Ferramentas
    • Exemplo 4 Ferramentas
    • SEGURANÇA PÚBLICA Ferramentas
    • Casos a serem explorados (com Gráfico de Radar) sugestão • Homicídio – Unaí vs Barbacena • Nível semelhante (<70) • Variação histórica e recente proxima (< -2) • Porque metas tão diferentes? – Pato de Minas e Divinópolis • Performance recente muito pior do que a histórica, qual a estratégia para reverter o quadro? – Belo Horizonte e Contagem • Caso de sucesso (o que foi feito)? Ferramentas
    • Ferramentas
    • Casos a serem explorados (com Gráfico de Radar) sugestão • Crimes Violentos contra o Patrimônio – Montes Claros e Uberaba • Porque as metas são tão maiores do que o seu desempenho relativo histórico e recente? – BH, Contagem, Teofilo Otoni, e Vespasiano • Porque as metas são tão menores do que seu desempenho relativo recente? – Unaí e Divinópolis • Porque a posição relativa das metas superior ao desempenho recente? Ferramentas
    • Ferramentas
    • Comparando RISPs • Barbacena – Metas um pouco superiores ao desepenho relativo recente • Divinópolis – Metas muito superiores ao desempenho relativo recente • Belo Horizonte – Em alguns indicadores metas muito superiores em outros muito abaixo Ferramentas
    • Ferramentas
    • Ferramentas
    • Ferramentas
    • EDUCAÇÃO Ferramentas
    • Ferramentas
    • Ferramentas
    • Ferramentas
    • Ferramentas
    • Ferramentas
    • Uma vez que acreditamos que as metas são viáveis…. • Qual será a estratégia para alcançar as metas? • Quanto vai custar? • Quanto tempo vai demorar para alcançar as metas? • Qual a previsão para monitorar e avaliar o progresso e qual será o processo caso o sistema de monitoramento indicar que mudanças são necessárias? • Tanto as áreas de finanças/planejamento quanto os ministérios setoriais tem interesse em responder estas perguntas Ferramentas
    • Uma marco lógico é um instrumento que pode facilitar a comunicação entre a área de finanças/planejamento e os setores Fonte: FAO, http://www.fao.org/Wairdocs/X5405E/x5405e0p.htm Ferramentas
    • Marco Logico, cont. - • Em 80% dos casos, é possível que isto seja tudo que se necessita • Em outros casos, pode não ser suficiente – Quando tempos processos de retroalimentação no sistema (A – B – C, mas C afeta A) – Quando temos uma elemento dinamico no problema, – Quando programas múltiplos contribuem para um mesmo objetivo estratégico – Quando temos que entender as diferenças de desempenho entre implementações distintas Ferramentas
    • Dinamica de Sistemas • A Dinamica de Sistemas é uma metodologia para estudar e gerenciar sistemas complexos de retroalimentação, que podem ser encontrados em sistemas empresariais ou sociais • A metodologia: – Identifica um problema, – Desenvolve uma hipotese dinamica que explica a causa do problema, – Constroi um modelo de simulação do comportamento do sistema, – Verifica a capacidade do modelo de reproduzir tendências que se observam na realidade, – Identifica politicas alternativa que podem solucionar o problema y se testa o potencial que cada alterantiva possui para solucionar o problema, e – Identifica indicadores que o modelo deveria acompanhar através de um sistema de monitoramento e avaliação. • Existem aplicações em diversos setores e principalmente no setor privado (GM, Boeing, Shell, preparação dos jogos Olimpicos em Atenas) Ferramentas
    • Exemplo do Control de Malaria na Bolivia Ferramentas
    • Nosso modelo metal esta implicito no processo A melhoria da estrategia e implementação requer a abertura da “caixa preta” Para… 1. Descrever precisamente o que esta acontecendo e o que deve acontecer? Estratégia 2. Determinar rigorasametne as causas Aplicando o método para subjacentes? 3. Simular o que deve ser feito para melhorar desenvolver uma a situação? visão, estratégia, e metas 4. Conquistar adeptos para implementar as mudanças 5. Desenvolver um sistema de monitramento capaz de alertar as necessidades de mudança Paradigmas & Avaliação Implementação Sensibilizar condições Modelos Mentais Desenvolvendo táticas Correntes em relação Conjunto de hipóteses e ações as metas estabelecidas sobre como o mundo funciona e o que é importante Impacts Ferramentas
    • Documento Único • Marco Lógico • População em risco • Parâmetros Fonte: Literatura – Efetividade M&E Orçamento – Eficiência Projeto – Custo Metas • Metas Ferramentas
    • Por que pensamos que estas duas ferramentas podem melhorar a qualidade das discussões e negociações • Menos risco para se ter metas irrealistas • O processo de escolha de metas passa a ser baseado em evidências empíricas • Com um marco lógico, ou quando se justifica, com um modelo de dinamica de sistema, pode-se contruir um “documento único” que representa o entendimento entre os atores sobre o plano que se alcançar a meta • Ao invés de controlar um grande número de indicadores, pode-se simplificar o processo ao pactuar através de uma plano crível, que pode ser revisto periodicamente, no qual as decisões finais poderão ser tomadas quando as ações não apresentam o efeito esperado. Ferramentas
    • Análise de Desviantes Positivos • Quando a tecnologia não é conhecida, muitas vezes pode-se explorar a heterogeneidade de performance do próprio sistema para gerar hipóteses. • Exemplos: – Nutrição no Vietman – Saúde – Educação Ferramentas
    • Como gerar conhecimento de maneira sistematica? Avaliação Tecnologia conhecida Ações Resultado Objetivo Avaliação Usamos dados Tecnologia para desconhecida Escala identificar Ações hipoteses Ferramentas
    • Ferramentas
    • Ferramentas
    • Ferramentas
    • Ferramentas
    • Alguns resultados interessantes a respeito dos mecanismos de feedback criados pelas SEE/MG... – Segundo os diretores as escolas de melhor performance sabem que estão indo bem (q24a e q24b) – Os diretores parecem conhecer a posição relativa da sua escola em suas respectivas de SREs (q27) – Os diretores das escolas de melhor resultado atribuem seu rendimento no PROEB a um trabalho diferenciado com os alunos e a um esforço maior da escola (q25b) – A matriz de avaliação do PROEB parece ser melhor conhecida nas escolas de melhor peformance (q69b) Ferramentas
    • Em relação ao Acordo de resultado no contexto educacional de Minas Gerais a percepção encontrada foi que... • Os diretores das escolas com melhor resultado parecem acreditar que o Acordo de Resultado contribuiu para melhorar o despenho dos alunos (q73c e q73e)… • ...contudo, 10% dos diretores das escolas com melhor resultado indicaram que nas metas pactuadas nao foram nada desafiadoras (q78) • Os diretores das escolas com pior resultado discordam do processo de implementação do Acordo de Resultado (q74a) • Os diretores das escolas de melhor resultado acreditam que o PGDI contribui positivamente para um melhor conhecimento das equipes (q75c) Ferramentas
    • Em relação aos professores... • Os professores das escolas com melhor resultado estavam mais habilitados a lecionar (e não apenas autorizados). • Os professores das escolas com melhor resultado avaliam que o ambiente de trabalho, disciplina dos alunos e funcionamento global da escola é bom ou muito bom (q33b, q33e, q33g) • Os professores das escolas com melhor desempenho parecem ser melhor informados sobre as metas e objetivos da sua escola (q41a), e estão mais engajados em atividade de troca de experiência com outras escolas (q41f). Ferramentas
    • Em relação aos mecanimos de feedback... • Os professores das escolas de pior desepenho são entre 2 ou 3 vezes mais propensos a afirma que desconhecem o rendimento de sua escola entre 2006 e 2008, tanto no PROALFA quando PROEB. • Os professores das escolas de melhor desempenho participaram mais ativamente da construção do seu PGDI • 73% dos professores acreditam na manutenção do prêmio de produtividade em 2010 (resultado idêntido nos dois tipos de escolas visitadas) Ferramentas
    • AVALIAÇÃO DE IMPLEMENTAÇÃO Ferramentas
    • Matriz de avaliação por escola Divulgação Integração e interação Processos Apropriação e mobilização Da equipe 3 do PEJ 3 2 2 Planos de trabalho Participação nas Conhecimento do PEJ elaborados e executados Entrega e reuniões de equipe pelos alunos pelo coordenador Atualização dos dados (0,5) (0,5) (0,5) (1) Capacidade de resolução Planos de trabalho de Elaborado e executados situações que afetam o Envolvimento Pelo estagiário de Capacidade de coordenar desenvolvimento do PEJ e participação dos alunos pedagogia Aplicação de avaliações (05) (1) (0,5) e ficha de beneficiário (1) Estratégias de retorno Planos de trabalho para a comunidade Adoção de estratégias elaborado Escolar Permanentes de e executado pelo tutor Capacidade de planejar e (0,5) Mobilização dos alunos (0,5) Coordenar as atividades (1) Extras (1) Incentivo dado pela escola Estratégias de ao aluno Adoção de estratégias manutenção (0,5) de mobilização do do fluxo de comunicação Corpo docente (0,5) (0,5) Ferramentas
    • Níveis de classificação Excelente contribuição à maioria dos fatores considerados. Existem pontos muito Excelente favoráveis e nenhuma deficiência de maior importância. Os pontos favoráveis 100% predominam amplamente frente a eventuais deficiências. ALTO Alta contribuição à maioria dos fatores considerados. Os pontos favoráveis suplantam as deficiências existentes. Todas as deficiências são facilmente 70% corrigíveis. MÉDIA A contribuição à maioria dos fatores considerados é modesta. Os pontos 50% favoráveis e as deficiências se equivalem. As deficiências são corrigíveis. BAIXO Pequena contribuição a vários dos fatores considerados. As deficiências suplantam quaisquer pontos favoráveis eventualmente existentes e são difíceis de 30% corrigir. INSATISFATÓRIO Não existem pontos favoráveis a ressaltar além de existirem importantes 0% deficiências. Essas deficiências são muito difíceis de corrigir. Ferramentas
    • Matriz de Avaliação por Escola Avaliação Níveis 5 = EXCELENTE 4 = ALTA Local: ( )RJ ( ) JF ( ) ES 3 = MÉDIA Escola Estadual: _____________________________Data _____________________ 2 = ABAIXO DA MÉDIA 1 = INSATISFATÓRIA Indicador Itens Avaliação - Conhecimento dos objetivos do PEJ pelos alunos da escola Divulgação e mobilização - Envolvimento e participação dos alunos no PEJ (frequência, participação nas atividades extras, etc) - Adoção de estratégias permanentes de mobilização dos alunos - Adoção de estratégias de mobilização do corpo docente - Planos de trabalho elaborados e sendo executados pelo coordenador Integração e interação da equipe do PEJ na escola - Planos de trabalho elaborados e sendo executados pelo estagiário de pedagogia - Planos de trabalho elaborados e sendo executados pelos tutores - Adoção de estratégias para manter o fluxo de informação - Entrega e atualização dos dados (frequência, notas, banco de alunos) - Capacidade de coordenar a aplicação das avaliações e ficha de Processos beneficiário - Capacidade de planejar,coordenar e executar as atividades extras (passeio cultural e gincana) - Participação nas reuniões de equipe (supervisores/coordenação local) - Capacidade de resolução de situações que afetam o desenvolvimento do PEJ (merenda, transporte, outros) Apropriação do PEJ - Incentivo dado ao aluno pela escola - Estratégias de retorno dos resultados do PEJ para a comunidade escolar (inscrição em curso oferecidos pelo IU, reunião com corpo Ferramentas docente e discente, etc)
    • Divulgação e Integração e interação da Apropriação do PEJ - Escolas Processos - 15 Nota Final mobilização - 15 equipe - 10 10 Escola 1 63.3 55.0 66.7 50 60.0 Escola 2 66.7 75.0 73.3 75 72.0 Escola 3 40.0 35.0 60.0 45 46.0 Escola 4 76.7 65.0 100.0 65 79.0 Escola 5 43.3 50.0 60.0 45 50.0 Escola 6 63.3 65.0 60.0 55 61.0 Escola 7 63.3 75.0 80.0 60 70.0 Escola 8 60.0 70.0 80.0 65 69.0 Escola 9 33.3 45.0 40.0 40 39.0 Escola 10 53.3 45.0 53.3 55 52.0 Escola 11 66.7 60.0 46.7 70 60.0 Escola 12 60.0 50.0 60.0 55 57.0 Escola 13 56.7 60.0 66.7 60 61.0 Escola 14 66.7 70.0 73.3 65 69.0 Escola 15 46.7 45.0 66.7 50 53.0 Escola 16 40.0 25.0 33.3 40 35.0 Escola 17 63.3 75.0 80.0 65 71.0 Escola 18 43.3 50.0 40.0 40 43.0 Escola 19 26.7 30.0 26.7 30 28.0 Ferramentas
    • AVALIAÇÃO DE IMPACTO Ferramentas
    • Diferença em Diferenças Com este desenho podemos descobrir o efeito do programa nas escolas tratadas, levando em conta externalidades positivas e negativas geradas pela intervenção. proficiência Sorteio * Pré Teste Pós Teste B A tempo Nota: (*) ou pareamento Impacto = B - A Ferramentas
    • Desenho do Programa • O programa EJ não foi desenhado para atender todos os alunos de uma mesma escola • Alunos se inscrevem voluntariamente no programa Ferramentas
    • Tripla Diferença Com este desenho podemos descobrir o efeito do programa sobre os alunos participantes. proficiência Pré Pós Sorteio* Teste Teste tempo Nota: (*) ou pareamento Ferramentas
    • Desenho da Avaliação (cont.) • Muitas vezes avaliações assumem que a intervenção possui um caráter dicotômico (recebem ou não recebem o programa). • Esta premissa pode ser falsa. Participantes podem receber exposições diferenciadas ao programa. • No caso do EJ 2008, este indicador é a taxas de freqüência. – Para isso a equipe de implementação do programa monitorou cuidadosamente este aspecto do programa, e estes dados foram também utilizados na avaliação. Ferramentas
    • Linha de Base Dimensões Controle Intervenção Diferença Sig Estat Vc gostaria de fazer um curso de reforço de português ou matemática (Sim) 60.2 59.8 -0.4 ns Você fez um curso de reforço no ano passado (Não) 89.7 88.4 -1.3 ns Vc teria tempo para fazer um curso de reforço (Sim) 53.7 55.8 2.1 ns Seu pai sabe ler e escrever (Sim) 87.5 87.7 0.2 ns Sua mae sabe ler e escrever (sim) 93.3 93.5 0.2 ns Você mora com sua mãe (sim) 86.1 85.4 -0.7 ns Você já foi reprovado (Não) 57.9 56.3 -1.6 ns Trabalho fora de casa (Não) 72.7 74.2 1.5 ns Leitura de jornal (sempre) 45.2 46.5 1.3 ns Vc esta fazendo algum curso de reforço escolar (Sim) 4.5 16 11.5 1% Ferramentas
    • Perguntas • Qual o impacto do EJ 2008 nas escolas que participaram do programa em 2008? • Qual o impacto do EJ 2008 nos alunos que participaram do programa em 2008? • Qual o impacto da freqüência do programa EJ 2008? • Em termos relativos, a magnitude do impacto é relevante? Ferramentas
    • Quadro Resumo Dimensões da avaliação de impacto Impacto Português Matemática Escola X X Beneficiário X X Freqüência X X Ferramentas
    • Resultados • O número de alunos beneficiários do programa não foi suficiente para gerar um impacto estatisticamente significativo ao nível da escola. • No entanto, os beneficiários das classes de reforço das escolas de tratamento apresentaram um rendimento superior e estatisticamente significativo, quando comparado a alunos semelhantes das escolas de controle (1/4 desvio padrão). • A evidência deste impacto é mais contundente em Vitória: 1/2 desvio padrão (desenho aleatório) . • Os alunos que freqüentaram mais intensamente o programa apresentaram um rendimento superior aqueles que não freqüentaram o programa com a mesma intensidade (1/3 desvio padrão) • Os impactos da freqüência são não lineares. Ganhos mais do que proporcionais com o passar do tempo em matemática. Ferramentas
    • Resultados (Vitória) Impacto Português Matemática Escola 1.81 1.27 Beneficiário 24.15** 23.31** Freqüência 14.03** 21.18** Nota: significância estatística: + p<0.01, * p<0.05, ** p<0.01; Modelo: Diferença (dupla ou tripla); erro padrão clusterizado por aluno; painel desbalanceado; ponderado pelo erro padrão; desvio padrão nas escolas de tratamento no pré-teste: Português = 47.64 e Matemática = 46.71. Ferramentas
    • HETEROGENEIDADE DO IMPACTO Ferramentas
    • Matemática (Vitória) Ferramentas
    • Português (Vitória) Ferramentas
    • AVALIAÇAO EX-ANTE Ferramentas
    • Ferramentas
    • Ferramentas
    • Ferramentas
    • DESENHO NÃO-EXPERIMENTAL Ferramentas
    • Ferramentas
    • Ferramentas
    • Ferramentas
    • Ferramentas