Your SlideShare is downloading. ×
0
Nigel BrookeGAME/FAE/UFMG
A Fundação Victor Civita, que tem pormissão contribuir para a melhoria da  qualidade da Educação Básica no             EQU...
DEFINIÇÕESAvaliação externa – Avaliação padronizada; avaliaçãode sistemas; avaliação em larga escalaGestão educacional – A...
RESUMOSistema classificatório para os usos da avaliaçãoAchados principais da pesquisaPolítica de bonificação ou incentivo ...
NÚMERO DE ESTADOS COM SISTEMASPRÓPRIOS DE AVALIAÇÃO EDUCACIONAL1992-2011                             © 2011 Fundação Victo...
SISTEMAS ESTADUAIS DE AVALIAÇÃOTendência – Aumento gradual mesmo inconsistenteHiatos  Transição para TRI  Momentos de muda...
EXPANSÃO E DIVERSIFICAÇÃOCrescimento no uso dos resultados pelas SEE  Reformas da Educação década 1990 calcadas na avaliaç...
USO DOS RESULTADOSSISTEMA CLASSIFICATÓRIO                          © 2011 Fundação Victor Civita. Todos os direitos reserv...
© 2011 Fundação Victor Civita. Todos os direitos reservados
FOCOVou me concentrar no uso da avaliação para políticasde incentivo/bonificação salarialPolítica veio para ficar  Sete es...
Até os municípios menores estãoembarcando (usando o Ideb) segundoreportagem UOL Educação 02/09/2011Em Trairão, pequena cid...
QUE POLÍTICA É ESSA? Não é nova. Uso de avaliações externas pararesponsabilizar professores, escolas e sistemas pelaaprend...
CARACTERÍSTICAS  geração(por exemplo, Ceará 2001 – Prêmio Educacional Escola do NovoMilênio; Rio de Janeiro 2000 – Program...
QUAIS SÃO OS IMPACTOS?Do ponto de visto do gestor:   Que há ganhos na aprendizagem pelos efeitos sobre o   professor – Mot...
COMO AVALIAR?A pesquisa no Brasil é escassa   Pesquisa descritiva (terminologia: bônus, bonificação, prêmio,   gratificaçã...
PESQUISA NOS EUAPrecisa fazer distinções: incentivos salariais versus outros tiposde incentivo/accountability (por exemplo...
FONTE CONFIÁVELNational Research Council. Committee on Incentivesand Test-Based Accountability in Public Education. 2011. ...
ESTADOS UNIDOSNashville (Springer et al. 2010): experimento de 3 anos; professor dematemática/ginasial; bônus individual d...
OUTROS PAÍSESÍndia (Muralidharan and Sundararaman, 2009,2011): experimento 2 anos;ensino fundamental; incentivos individua...
CONCLUSÕES NATIONAL RESEARCH COUNCILEstados Unidos; efeito médio -0,02 a 0,06 desvios padrão   Programas de incentivos não...
ALGUMAS ESPECULAÇÕESO ambiente de responsabilização muito mais intenso nosEstados Unidos, por exemplo, Ensino Médio – expe...
CONSIDERAÇÕES FINAISAinda não temos a pesquisa necessária nem para falar dosefeitos negativos nem dos possíveis benefícios...
Pesquisa sobre Avaliações Externas - Resultados
Upcoming SlideShare
Loading in...5
×

Pesquisa sobre Avaliações Externas - Resultados

1,786

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,786
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
47
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Pesquisa sobre Avaliações Externas - Resultados "

  1. 1. Nigel BrookeGAME/FAE/UFMG
  2. 2. A Fundação Victor Civita, que tem pormissão contribuir para a melhoria da qualidade da Educação Básica no EQUIPE DA FUNDAÇÃO VICTOR CIVITABrasil, produzindo publicações, sites, DIRETORIA EXECUTIVA material pedagógico, pesquisas e Angela Cristina Dannemannprojetos que auxiliem na capacitação COORDENAÇÃO PEDAGÓGICA dos professores, gestores e demais Regina Scarpa responsáveis pelo processoeducacional, implantou uma área de REVISTA NOVA ESCOLA/REVISTA GESTÃO ESCOLAR estudos com objetivo de levantar Gabriel Grossi Paola Gentiledados e informações que auxiliem as discussões sobre práticas, ESTUDOS, PESQUISAS E PROJETOS metodologias e políticas públicas de Mauro Morellato Adriana Deróbio Educação. Para acompanhar outros trabalhos, visite o nosso site www.fvc.org.br/estudos. © 2011 Fundação Victor Civita. Todos os direitos reservados
  3. 3. DEFINIÇÕESAvaliação externa – Avaliação padronizada; avaliaçãode sistemas; avaliação em larga escalaGestão educacional – As políticas das SecretariasEstaduais de Educação (SEE) que usam como critérioos resultados dos sistemas próprios de avaliação(sistemas estaduais e os das grandes capitais)Para quais políticas os gestores estão usando osresultados dos sistemas de avaliação?Pesquisa FVC © 2011 Fundação Victor Civita. Todos os direitos reservados
  4. 4. RESUMOSistema classificatório para os usos da avaliaçãoAchados principais da pesquisaPolítica de bonificação ou incentivo salarial Alcance Características técnicas Seus impactos Pesquisa no Brasil Pesquisa nos Estados Unidos e outros paísesEspeculações sobre consequências © 2011 Fundação Victor Civita. Todos os direitos reservados
  5. 5. NÚMERO DE ESTADOS COM SISTEMASPRÓPRIOS DE AVALIAÇÃO EDUCACIONAL1992-2011 © 2011 Fundação Victor Civita. Todos os direitos reservados
  6. 6. SISTEMAS ESTADUAIS DE AVALIAÇÃOTendência – Aumento gradual mesmo inconsistenteHiatos Transição para TRI Momentos de mudança política RecuosDados imperfeitos Nenhum órgão para coletar esse tipo de informação De que consiste um sistema estadual? Abrangência © 2011 Fundação Victor Civita. Todos os direitos reservados
  7. 7. EXPANSÃO E DIVERSIFICAÇÃOCrescimento no uso dos resultados pelas SEE Reformas da Educação década 1990 calcadas na avaliação da qualidade (Brasil só um exemplo: 13 países da América Latina adotam sistemas de avaliação entre 1990 e 1998) Reforma da gestão pública: ênfase na produtividade e eficiência do aparato governamental; melhoria na qualidade dos serviços públicos; metas e controle a posteriori dos resultados. Educação na linha de frente Incorporação de modelos de accountability – responsabilização dos atores públicos via consequênciasPara dar conta da expansão e diversificação dos usos, umnovo sistema classificatório bidimensional © 2011 Fundação Victor Civita. Todos os direitos reservados
  8. 8. USO DOS RESULTADOSSISTEMA CLASSIFICATÓRIO © 2011 Fundação Victor Civita. Todos os direitos reservados
  9. 9. © 2011 Fundação Victor Civita. Todos os direitos reservados
  10. 10. FOCOVou me concentrar no uso da avaliação para políticasde incentivo/bonificação salarialPolítica veio para ficar Sete estados já têm experiência: Amazonas, Ceará, Pernambuco, Rio de Janeiro, Minas Gerais, Espírito Santo e São Paulo Distrito Federal já estabeleceu os procedimentos Duas capitais – uma conseguiu (São Paulo) e outra não (Belo Horizonte) © 2011 Fundação Victor Civita. Todos os direitos reservados
  11. 11. Até os municípios menores estãoembarcando (usando o Ideb) segundoreportagem UOL Educação 02/09/2011Em Trairão, pequena cidade no sudoeste do Pará, a secretária deEducação fala do projeto que dá mais dinheiro aos professores e àsescolas que apresentam desempenho melhor. “Com o projetoProfessor por Excelência, a gente espera que dê uma alavancada nomunicípio. Para quem mais se destacar, o professor vai ganhar umvalor de R$ 1 mil cada um e a escola, R$ 500. Mesmo não sendo umvalor alto, a gente espera motivar os envolvidos”, explica MariaReginaNo município de Careiro (AM), o secretário Paulo de Andrade contaque estipulou uma meta mais “ousada” para estimular seusprofissionais a trabalhar com mais afinco. Na escola, que tira nota 5,1no Ideb, os professores recebem 14º e 15º salários © 2011 Fundação Victor Civita. Todos os direitos reservados
  12. 12. QUE POLÍTICA É ESSA? Não é nova. Uso de avaliações externas pararesponsabilizar professores, escolas e sistemas pelaaprendizagem dos alunos tem longa história: Em 1863, Parlamento britânico criou sistema de financiamento de escolas de acordo com os resultados dos alunos Nova fase dessa política começa com o movimento de padrões mínimos na década de 1970 nos EUA. A lei Nenhuma Criança Deixada para Trás (2001) é um exemplo recente © 2011 Fundação Victor Civita. Todos os direitos reservados
  13. 13. CARACTERÍSTICAS geração(por exemplo, Ceará 2001 – Prêmio Educacional Escola do NovoMilênio; Rio de Janeiro 2000 – Programa Nova Escola): Prêmio para a média de desempenho mais alto (ou % alunos com desempenho satisfatório) Ou evolução maior na média de desempenho Outros critérios (gestão) geração Distribuição por faixa de desempenho Medida do nível socioeconômico e/ou esforço da escola Uso de metas Valorização da permanência Avaliações múltiplas (matérias, anos) geração(?) Critérios múltiplos Valor agregado © 2011 Fundação Victor Civita. Todos os direitos reservados
  14. 14. QUAIS SÃO OS IMPACTOS?Do ponto de visto do gestor: Que há ganhos na aprendizagem pelos efeitos sobre o professor – Motivação e competência Que há custos também – Custo/benefícioDo ponto de vista dos críticos, os efeitos colaterais dostestes high stakes (alto impacto) são severos: Reduzem o ensino à preparação para os testes/estreitam o currículo Falseiam os dados das avaliações (inflação) Induzem à desonestidade Desestruturam métodos colaborativos (quando individualizada) © 2011 Fundação Victor Civita. Todos os direitos reservados
  15. 15. COMO AVALIAR?A pesquisa no Brasil é escassa Pesquisa descritiva (terminologia: bônus, bonificação, prêmio, gratificação, incentivo por mérito, por desempenho, por resultado) Pesquisas de impacto Sobre a política Nova Escola – Rio de Janeiro (Rodrigues, 2007; ganhos em Língua Portuguesa, perdas em Matemática) Uma em andamento – C. Ferraz, PernambucoNem pesquisas mais qualitativas sobre os efeitos colateraisnegativos. (?) Uma sobre os efeitos do Acordo de Resultadosem MG (Soares, 2011) (resultados no Simave/Proeb; bônusaté 100% vencimento mensal); “pressão” sobre professoresde Português e Matemática para ensinar de acordo com amatriz de referência © 2011 Fundação Victor Civita. Todos os direitos reservados
  16. 16. PESQUISA NOS EUAPrecisa fazer distinções: incentivos salariais versus outros tiposde incentivo/accountability (por exemplo: Nenhuma CriançaDeixada para Trás (NCLB); exames de saída Ensino Médio)Professor versus aluno (Nova York, Ohio)Programas não são comparáveis – Diferentes noformato/cálculo dos bônus, na forma de medir desempenhodos professores (testes, VA, critérios múltiplos)Mesmo assim, volume enorme de estudos e nem todos com amesma qualidade. Problema para as meta-avaliações (porexemplo: Teresa Cozetti Pontual, Remuneração por Mérito,Fundação Lemann, 2008) © 2011 Fundação Victor Civita. Todos os direitos reservados
  17. 17. FONTE CONFIÁVELNational Research Council. Committee on Incentivesand Test-Based Accountability in Public Education. 2011. Estudos precisam ter grupo de controle Precisa de testes low-stakes como medida de ganho real (controlar por distorção/inflação) Excluir estudos transversais que comparam resultados com e sem programas de incentivos mas sem controlar pelos critérios de inclusão nos programas Precisa olhar outros países © 2011 Fundação Victor Civita. Todos os direitos reservados
  18. 18. ESTADOS UNIDOSNashville (Springer et al. 2010): experimento de 3 anos; professor dematemática/ginasial; bônus individual de US$5 a US$15 mil; medida VA (valoragregado), teste estadual; critério 85% na distribuição distrital. Efeitospositivos para anos 5 (só um ano) e 6, negativos para 7 e 8Chicago (Glazerman et al. 2009): 2 anos; ensino fundamental; VA de ganhosteste estadual + observações; até US$12 mil; das 10 combinações matéria/ano,8 negativos, nenhum significativo; efeito positivo sobre retenção deprofessoresTexas (Jackson, 2010); desde 1996; professores e alunos ensino médio; US$500a US$1000 para alunos com pontuação de 3 ou mais em testes de advancedplacement; aumento de 1 a 2%/ano na proporção de alunos; e de 5,3% emalunos indo para faculdadeEscolas do Teacher Advancement Program (Springer, 2008): 2 estados; 1,2 milescolas; 4 anos; dados de painel; matemática anos 2 a 5 ganhos significativosde 0,2 d.p. (desvio padrão de 7 a 8 pontos) (; anos 7 a 10 sem ganho oudecréscimo. De 18 combinações, ganho médio 0,01 d.p. © 2011 Fundação Victor Civita. Todos os direitos reservados
  19. 19. OUTROS PAÍSESÍndia (Muralidharan and Sundararaman, 2009,2011): experimento 2 anos;ensino fundamental; incentivos individuais e coletivo; 100 escolas cadagrupo; ganhos em Matemática e Língua; testes específicos; bônus de 3%salário; ganho médio de 0,19 d.p. (significativo); ganho maior emmatemática. (Escolas com incentivos individuais 0,22 d.p., escolascoletivos 0,15 d.p.)Israel (Lavy, 2002): incentivos coletivos; ensino médio; de US$250 a US$1000 (salário médio 30 mil); 1/3 melhores escolas; medidas diversas inc.% com diploma; aprox. 62- 1/3 das escolas de ensino médio do pais;proporção com diploma não mudou; efeito médio nos testes 0,12 d.p.;efeitos maiores entre alunos de desempenho mais baixoIsrael (Lavy 2009): incentivos individuais; bônus de US$ 1750 a US$ 7,5mil para professores de inglês e matemática se turmas superaramexpectativas; 49 escolas; número passando e a média nos testesmelhoraram; efeitos significativos; principalmente para alunos dedesempenho mais baixo © 2011 Fundação Victor Civita. Todos os direitos reservados
  20. 20. CONCLUSÕES NATIONAL RESEARCH COUNCILEstados Unidos; efeito médio -0,02 a 0,06 desvios padrão Programas de incentivos não têm influenciado níveis de desempenho de forma significativa. Muitos programas próximo de zero quando usa testes low-stakes de controleOutros países: os efeitos são maiores mas continuamrelativamente baixos. Média 0,08 d.p. Efeitos mais pronunciadospara Matemática, Ensino Fundamental.Benefícios pequenos. Porém: Muitos desenhos ainda não testados (tipos de incentivo, individual versus coletivo, medidas de desempenho, outros tipos de accountability, etc)Custos altos. Não deve substituir investimento em outras políticasde melhoria © 2011 Fundação Victor Civita. Todos os direitos reservados
  21. 21. ALGUMAS ESPECULAÇÕESO ambiente de responsabilização muito mais intenso nosEstados Unidos, por exemplo, Ensino Médio – expectativasdos pais e efeito NCLB.Nesse contexto de preocupação com os resultados dosalunos, o impacto de incentivos salariais é próximo do zero.Será que é por esse motivo que os impactos são sempremaiores nos outros países?Qual o impacto no Brasil, onde os incentivos salariais são aopção escolhida para transmitir a importância associada aosresultados? © 2011 Fundação Victor Civita. Todos os direitos reservados
  22. 22. CONSIDERAÇÕES FINAISAinda não temos a pesquisa necessária nem para falar dosefeitos negativos nem dos possíveis benefíciosExtrair conclusões da pesquisa norte-americana éextremamente difícil. Além da falta de comparabilidade dosprogramas, há a questão do contexto de responsabilizaçãoTalvez a ausência de pesquisa e de comprovação dos efeitoscolaterais, mesmo no Ceará, seja a indicação que os impactosnão seriam tão negativos no BrasilOs programas de bônus podem ser inócuos em relação àaprendizagem (EUA) ou podem render benefícios parecidoscom os de outros países (Índia, Israel) © 2011 Fundação Victor Civita. Todos os direitos reservados
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×