IICASÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELVolume 6Ações de Combateà Pobreza Rural:metodologia paraavaliação de impactos
INSTITUTO INTERAMERICANO DE COOPERAÇÃO PARA A AGRICULTURA (IICA)REPRESENTAÇÃO DO IICA NO BRASILSÉRIE DESENVOLVIMENTO RURAL...
© dos autores1aedição: 2007Direitos reservados desta edição:Instituto Interamericano de Cooperação para a AgriculturaDistr...
PREFÁCIO PELO IICAA dinâmica das transformações hoje vividas pelas organizações, tantoinstitucionais quanto de contexto, s...
PREFÁCIO PELA SECRETARIA DE ESTADODA AGRICULTURA,PECUÁRIA E DESENVOLVIMENTORURAL DO MARANHÃOEsta obra preenche um espaço f...
Inquestionavelmente, o Brasil é um país rico, mas a circulação de riquezanão alcança a maioria da população. Por outro lad...
APRESENTAÇÃOO Instituto Interamericano de Cooperação para a Agricultura (IICA)apresenta o Volume 6 da Série Desenvolviment...
desde meados da década de 1990, visa facilitar a compreensão doprocesso de avaliação, seja para aquele que contrata, seja ...
resultado é de fácil percepção neste trabalho: quem avança essas páginaspassa a conhecer um panorama das técnicas economét...
PRESENTATIONThe Inter-American Institute for Cooperation on Agriculture (IICA)presents Volume 6 of the Sustainable Rural D...
developed and put into practice as “external” create ownership difficultiesfor public policy makers in this field and for ...
Programs fail for a number of reasons. Unlike what many assessmentstudy contractors think, good assessment does not praise...
PRESENTACIÓNEl Instituto Interamericano de Cooperación para la Agricultura (IICA)presenta el Volumen 6 de la Serie de Desa...
desde mediados de la década de 1990, apunta a facilitar la comprensióndel proceso de evaluación, tanto para el contratista...
de políticas sociales. Un resultado interesante y de fácil percepción delpresente trabajo es que a medida que se avanza en...
RESUMOO objetivo principal deste trabalho é fornecer aos pesquisadores egestores públicos, que atuam em desenvolvimento ru...
ABSTRACTThis work aims mainly at providing public managers and researchersinvolved in rural development with a wide range ...
RESUMENEl objetivo principal de este trabajo es brindar a los investigadores ygestores públicos que actúan en áreas de des...
SUMÁRIOINTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...
3. AVALIAÇÃO DE CUSTO-BENEFÍCIO E CUSTO-EFICÁCIA . . . . . . . . . . . . . . . . 873.1. Análise de Custo-Benefício. . . . ...
6. ANÁLISE EXPLORATÓRIA DOS DADOS:ANÁLISE DE CORRESPONDÊNCIAS MÚLTIPLAS. . . . . . . . . . . . . . . . . . . . . . . . 145...
ÍNDICE DE TABELASTabela 1 Despesas, receitas e resultados líquidosde um projeto . . . . . . . . . . . . . . . . . . . . . ...
ÍNDICE DE ANEXOSAnexo 1 A correção de Heckman visando eliminar o viésproveniente das variáveis não-observáveis . . . . . ....
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos29INTRODUÇÃO...
30efetivamente do programa. Essa questão seria irrelevante caso os recursosfossem suficientes para atender a todos. Como a...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos31Todos são ...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos32necessidad...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos331.SISTEMAS...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos34Os princip...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactosi. a coleta ...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos36comparação...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos37de diversa...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos38contribui ...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos39empírico –...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos40ou restriç...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos411.4.2. Ind...
1.4.3. Indicadores indiretosAlguns objetivos – melhoria do padrão de vida e expansão doassociativismo – são complexos para...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos43processo d...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos44e da avali...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos45extremamen...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos461.7. Outro...
A hipótese central que norteia a inclusão desses objetivos nosprogramas é a de que as mudanças sócio-culturais e político-...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos48Figura1Sín...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos492. A AVALI...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos50impactos s...
SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos51Para deter...
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos
Upcoming SlideShare
Loading in …5
×

Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos

555 views

Published on

O objetivo principal deste trabalho é fornecer aos pesquisadores e gestores públicos, que atuam em desenvolvimento rural, um amplo panorama de metodologias e procedimentos que envolvem monitorar e avaliar programas sociais. Foram reunidas, em um mesmo livro, várias discussões sobre diversos temas: sistemas de monitoramento, avaliação de impactos e análise custo/benefício além de estudos de avaliação da focalização e do capital social. Todos esses temas estão articulados em torno do desenvolvimento rural. A idéia central é a de o leitor reconhecer quando e porque aplicar cada um deles, segundo distintos objetivos, bem como ser capaz de combiná-los em um só estudo, quando necessário ou conveniente.

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
555
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Ações de Combate à Pobreza Rural: metodologia para avaliação de impactos

  1. 1. IICASÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELVolume 6Ações de Combateà Pobreza Rural:metodologia paraavaliação de impactos
  2. 2. INSTITUTO INTERAMERICANO DE COOPERAÇÃO PARA A AGRICULTURA (IICA)REPRESENTAÇÃO DO IICA NO BRASILSÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELBrasília - Abril/2007Organizadores da SérieCarlos Miranda e Cristina CostaAutoresAntônio Márcio Buainain (Coordenador)Carlos GuanziroliCarolina Homem de MeloHenrique NederHildo Meirelles de Souza Filho (Coordenador)José Maria Jardim da SilveiraMário Otávio BatalhaMarta ArretcheRinaldo ArtesAções de combateà pobreza rural:metodologia paraavaliação de impactosVOLUME 61a Edição
  3. 3. © dos autores1aedição: 2007Direitos reservados desta edição:Instituto Interamericano de Cooperação para a AgriculturaDistribuiçãoInstituto Interamericano de Cooperação para a Agricultura – IICASHIS QI 3, Lote “A”, Bloco “F”– Centro Empresarial Terracotta – Lago SulCEP: 71.605-450Tel.: (61) 2106 5477Fax: (61) 2106 5459www.iica.org.brRevisão: Marco Aurélio Soares SalgadoCapa e diagramação: João Del NegroA719Ações de combate à pobreza rural: metodologia para avaliação deimpactos / Carlos Miranda e Cristina Costa (organizadores); AntônioMárcio Buainain (coordenador), Carlos Guanziroli, Carolina Homem deMelo, Henrique Neder, Hildo Meirelles de Souza Filho (coordenador), JoséMaria Jardim da Silveira, Mário Otávio Batalha, Marta Arretche, RinaldoArtes (autores). - Brasília: Instituto Interamericano de Cooperação para aAgricultura, 2007. (Série Desenvolvimento Rural Sustentável; v. 6.)p. 228; 15 x 23 cm.ISBN 978-85-98347-11-0Inclui bibliografia1. Socioeconômico. 2. Combate à pobreza – Brasil. 3. Impactossocioeconômicos. 4. Avaliação. I. Miranda, Carlos. II. Costa, Cristina. III. IICA. IV. Série.CDD 304.330.9Catalogação na publicação: Rossana Coely de Oliveira Moura – CRB-3 / 791
  4. 4. PREFÁCIO PELO IICAA dinâmica das transformações hoje vividas pelas organizações, tantoinstitucionais quanto de contexto, seria razão suficiente para umaabordagem séria dos temas tratados neste livro.Lamentavelmente,parece-nos que um futuro de grandes desafios se avizinha, num mundo em quenão somente teremos que prover alimento e energia para uma populaçãoque cresce exponencialmente, mas também prevenir e remediar feridasambientais e sociais centenárias.Assim, monitorar e avaliar, mais do que nunca, é preciso; tanto emrelação à necessidade quanto à precisão técnica encerrados nas palavras.Do contrário, seguiremos brincando com a vida e com os suportesmateriais que a sustentam, num comportamento ao mesmo tempoinjusto e contraproducente.Este livro coloca de forma objetiva o tema da mensuração, clareandoconceitos e propondo um caminho prático aos que se propõem a encararcom firmeza a tarefa de buscar o desenvolvimento e a mudança. Comessas ferramentas, poderão garantir a condução eficiente de seus projetose avaliar o impacto da operação.Dessa forma,poderão ver se estão mesmofazendo uma diferença na construção do futuro justo e sustentável quebuscamos todos.Carlos Américo BascoRepresentante do IICA no Brasil
  5. 5. PREFÁCIO PELA SECRETARIA DE ESTADODA AGRICULTURA,PECUÁRIA E DESENVOLVIMENTORURAL DO MARANHÃOEsta obra preenche um espaço fundamental nas organizaçõesgovernamentais e não-governamentais que trabalham na elaboração e nocontrole social de políticas públicas, bem como na execução de ações decombate à pobreza no Brasil.Cientistas de diversas universidades brasileiras reuniram-se para avaliaros programas sociais de redução da pobreza, em curso no país. O trabalhopautou-se em experiências e no desenvolvimento de técnicas e métodosde monitoramento, acompanhamento e controle sobre a eficiência e aeficácia desses programas. Nasceu, assim, um instrumento de orientaçãoprática e de discussão conceitual para todas as pessoas envolvidas com adiminuição das desigualdades sociais.Reduzir a pobreza tem sido o grande desafio nacional frente àconcentração de renda que tem caracterizado o modelo econômiconacional.Fome, desnutrição, pobreza, miséria e indigência são mazelas quevêm marcando a sociedade brasileira nas últimas décadas, apesar dasriquezas naturais. Nos povoados da zona rural e nas periferias das grandescidades, a população brasileira mais excluída vive em meio a privações erestrições quanto às suas necessidades básicas de emprego, moradia,alimentação,renda,saneamento básico,entre outros.Milhões de brasileirosvivem com dificuldade, na escassez, em uma faixa que vai da linha deindigência à linha de pobreza.Dentre as populações excluídas do processo de desenvolvimentoeconômico, destacam-se, em especial, os agricultores e as agricultorasfamiliares, sobretudo, os do Norte e Nordeste. No entanto, milhões dedólares já foram aplicados para que superassem a condição de pobres eexcluídos. E por que a situação deles não melhorou? O valor destapublicação está em nos oferecer respostas para essa inquietanteindagação. As políticas públicas precisar ser avaliadas de forma sistemáticae sempre.
  6. 6. Inquestionavelmente, o Brasil é um país rico, mas a circulação de riquezanão alcança a maioria da população. Por outro lado, muitos dos recursosdos programas sociais não são bem empregados ou não chegam aopúblico-alvo,a quem foi destinado.De igual forma,projetos mal elaborados,com desperdício do dinheiro público, e ações equivocadas acabam nãobeneficiando as comunidades necessitadas.Assim, métodos científicos de avaliação para otimizar ações sociaiscrescem de importância, tornando-se fundamentais em países de pobrezageneralizada e de riqueza concentrada, como ocorre hoje no Brasil.Domingos PazSecretário de Estado da Agricultura,Pecuária e Desenvolvimento Rural do Maranhão
  7. 7. APRESENTAÇÃOO Instituto Interamericano de Cooperação para a Agricultura (IICA)apresenta o Volume 6 da Série Desenvolvimento Rural Sustentável. Estapublicação aborda a temática Ações de combate à pobreza rural:metodologia para avaliação de impactos. A iniciativa integra ainda oconjunto de atividades realizadas pelo Fórum Permanente deDesenvolvimento Rural Sustentável – Fórum DRS,organizado e promovidopelo Instituto.Avaliar impacto de programas e de projetos sociais firma-se comoexigência para melhorar a alocação de recurso público e mostra-se eficazna redução da pobreza e da desigualdade em todos os países do mundo,desde os menos desenvolvidos aos mais ricos. Em muitos casos, asavaliações são tratadas como “imposição” dos financiadores e executadasburocraticamente pelos responsáveis apenas para cumprir a formalidadeincontornável. Em outros, felizmente em número crescente, os estudos deavaliação são incorporados às atividades essenciais ao desenvolvimentodo projeto e considerados ferramenta útil para acompanhar as ações dosetor público, corrigir rumos, melhorar o desenho das políticas eoportunizar reflexão mais ampla não somente sobre o contextoeconômico, social e institucional, no qual se inserem as políticas, mastambém sobre a estratégia e os instrumentos adotados.Ressalta-se que o resultado e a validade das avaliações dependem dametodologia adotada, da temporalidade dos estudos e do próprio custopara realizá-los. O desafio é efetivar avaliações técnicas emetodologicamente consistentes, feitas ao menor custo possível econcluídas em tempo hábil para permitir, por parte dos formuladores,reforço dos acertos e mudança das práticas equivocadas.A obra tem como base a metodologia desenvolvida e utilizada por umgrupo de pesquisadores de várias universidades brasileiras para avaliar oProjeto de Combate à Pobreza Rural, financiado com recursos deempréstimo do Banco Mundial e que conta com contrapartida da União edos estados participantes. Esse tipo de projeto, implementado no Brasil
  8. 8. desde meados da década de 1990, visa facilitar a compreensão doprocesso de avaliação, seja para aquele que contrata, seja para os querealizam esse tipo de trabalho.Os estudos realizados orientaram a formulação da metodologiaaplicada à concepção de que as avaliações devem vincular-se aos sistemasde monitoramento do processo de implantação dos programas e dosprojetos sociais. Avaliações concebidas e colocadas em prática como“externas” são de difícil apropriação pelos formuladores de políticaspúblicas, voltadas ao tema, bem como de seus respectivos responsáveis,uma vez que essas avaliações enfrentam dificuldades para sereminternalizadas e utilizadas como instrumento de planejamento. O primeirocapítulo trata desse ponto, indicando a necessidade básica demonitoração da política a ser implementada e as diferenças entremonitorar e avaliar. Isso implica a construção de indicadores, temaretomado no Capítulo 2, que fornece um panorama geral dos processosde avaliação de impactos e dos experimentos às técnicas econométricas.O capítulo 3 aborda outro tipo de análise: permite o cálculo da relaçãocusto/benefício do projeto, cujo objetivo é vincular a decisão de alocarrecursos a uma política específica, possibilitando, assim, criação de viáveisalternativas para adequado desenvolvimento do projeto a custo acessível.Consta ainda a dificuldade de se realizar este tipo de análise, uma vez quemuitos desses benefícios são de difícil apreensão e mensuração, além deexigirem tempo de amadurecimento. A leitura dos três primeiros capítulosjá permite a formação de um panorama quase completo sobre avaliaçãode impactos.Os capítulos 4 e 5 detalham as técnicas que permitem responder duasquestões fundamentais: o projeto é realmente voltado para o seu público-alvo? O programa cria vínculos comunitários que permitem a redução desua dependência em relação às políticas públicas focalizadas no combateà pobreza? De se destacar que focalização e capital social são temasatualmente obrigatórios no currículo dos formuladores de políticas doSéculo XXI.Os capítulos que se seguem tratam de técnicas e de procedimentoscomuns às avaliações, independentemente do objeto de estudo, comorelacionar variáveis, delinear processos amostrais e estabelecer osrequisitos para a construção de instrumentos de coleta adequados àformação de bancos de dados úteis para avaliações presentes e futuras. Olivro também fornece apêndices com a descrição resumida dos principaismétodos utilizados em avaliação de políticas sociais. Um interessante
  9. 9. resultado é de fácil percepção neste trabalho: quem avança essas páginaspassa a conhecer um panorama das técnicas econométricas maisutilizadas na literatura econômica moderna.É evidente que o texto deste Volume 6 da Série Desenvolvimento RuralSustentável não pretende substituir a vasta literatura específica sobre oassunto, mas objetiva sintetizar os diferentes tópicos que qualquer pessoaenvolvida em processo de avaliação deveria conhecer, ainda que de formaintrodutória.Espera-se que este livro incentive os gestores atuais e futuros da políticasocial a sustentar uma mentalidade crítica baseada na objetividade dosfatos e no constante dos processos, em substituição ao “achismo” tãopresente nos dias de hoje.Programas dão errado por várias razões. Ao contrário do que pensammuitos dos contratantes de estudos de avaliação, boas avaliações não sãoaquelas que elogiam as ações implementadas, algumas vezes à custa daprópria consistência do trabalho. Boas avaliações são aquelas capazes deapontar as causas dos erros e de destacar os acertos, sem que quaisquergrupos políticos e ideológicos se dêem ao luxo de não levá-las emconsideração.Os Organizadores
  10. 10. PRESENTATIONThe Inter-American Institute for Cooperation on Agriculture (IICA)presents Volume 6 of the Sustainable Rural Development Series. Thispublication discusses Actions to Fight Rural Poverty: Impact AssessmentMethodology. This initiative is also part of a set of activities carried out bythe Permanent Sustainable Rural Development Forum – SRD Forum,organized and promoted by the Institute.Assessing the impact of social programs and projects has becomeessential in order to improve allocation of public funds and has provedeffective in reducing poverty and inequality all over the world – from leastdeveloped nations to richer countries.Very often, assessment is seen as an“imposition”placed by funders and conducted bureaucratically by those incharge – only to meet a formal requirement. Fortunately, more and moreoften, assessment studies are incorporated as an integral part of theproject development process and considered a useful tool to use in publicsector actions, to get back on track, to enhance policy design and toprovide an opportunity to broadly reflect not only on the economic, socialand institutional context in which policies are introduced but also on thestrategy and tools adopted.It is worth pointing out that assessment validity and outcomes dependon the methodology used, the timeliness of the studies and the costsinvolved. The challenge is to carry out technically and methodologicallyconsistent assessments that are conducted at the lowest cost possible andcompleted in a timely manner so as to give designers an opportunity toreinforce strengths and change wrong practices.The work is based on a methodology developed and used by a group ofresearchers from several Brazilian universities to assess the Project to FightRural Poverty, funded by a World Bank loan and supported by the Unionand participating Member States.This kind of project,implemented in Brazilsince the mid 90s, is intended to facilitate understanding of the assessmentprocess – by both contractors and those doing this type of work.The studies conducted focused the applied methodology on the ideathat assessments should be linked to the systems used to monitor theimplementation process of social programs and projects.The assessments
  11. 11. developed and put into practice as “external” create ownership difficultiesfor public policy makers in this field and for those responsible, as there aredifficulties in internalizing assessments and using them as a planning tool.The first chapter discusses this issue, indicating the basic need tomonitor policies to be implemented and the differences betweenmonitoring and assessing.This implies the elaboration of indicators, whichis taken up in Chapter 2. The latter provides an overview of impactassessment processes and experiments with econometric techniques.Chapter 3 addresses another kind of analysis enabling project cost-benefit calculation, with a view to linking the decision to allocate funds toa specific policy, thus enabling the development of feasible alternatives forappropriate project development at an affordable cost. It also discussesthe problems associated with conducting this kind of analysis, since manyof these benefits are difficult to understand and measure and need time tomature. The first three chapters provide the reader with a fairlycomprehensive overview of impact assessment.Chapters 4 and 5 describe the techniques by which two key questionsmay be answered: does the project actually address its target audience?,and does the program create community links that help reducedependence on public policies intended to fight poverty? It is worthpointing out that focus and social capital are now mandatory subjects inthe curriculum of Twenty-first century policy makers.These following chapters deal with common assessment techniquesand procedures, regardless of the subject matter, such as relating variables,outlining sampling processes and establishing requirements to developcollection tools suitable to the creation of useful databases for current andfuture assessments.The book also contains appendices outlining the mainmethods used in social policy assessment. An interesting outcome of thistext is that as readers move forward with the reading, they can easily seehow they get an overview of the most commonly used econometrictechniques in modern economic literature.Of course, the text of Volume 6 of the Sustainable Rural DevelopmentSeries is not intended to replace the vast specialized literature on thismatter; rather, it aims to summarize and serve as an introduction to thevarious issues that anyone involved in assessment processes should know.It is hoped that this book will promote critical thinking among currentand future social policy managers, based on objective facts and on thecontinuity of processes, instead of reliance on what the Brazilians call“achismo”(opinion) – so widespread today.
  12. 12. Programs fail for a number of reasons. Unlike what many assessmentstudy contractors think, good assessment does not praise implementedactions, sometimes at the expense of consistency in the work. Assessmentis good when it can identify the causes of mistakes and highlightsuccesses, without any political and ideological groups having thesatisfaction of not taking them into consideration.The Organizers
  13. 13. PRESENTACIÓNEl Instituto Interamericano de Cooperación para la Agricultura (IICA)presenta el Volumen 6 de la Serie de Desarrollo Rural Sostenible. Estapublicación aborda la temática Acciones para combatir la pobreza rural:metodología para la evaluación del impacto.Asimismo, la iniciativa integra elconjunto de actividades realizadas por el Foro Permanente de DesarrolloRural Sostenible – Foro DRS, organizado y promovido por el Instituto.Evaluar el impacto de los programas y proyectos sociales se afirmacomo una exigencia para mejorar la asignación de los recursos públicos yse muestra eficaz para reducir la pobreza y la desigualdad en todos lospaíses del mundo, desde los menos desarrollados a los más ricos. Enmuchos casos, las evaluaciones son tratadas como una “imposición” porparte de los financiadores y ejecutadas burocráticamente por losresponsables, sólo para cumplir con un requisito formal. En otros, porsuerte cada vez más, los estudios de evaluación son incorporados comouna actividad esencial dentro del desarrollo del proyecto y consideradosuna herramienta útil para acompañar las acciones del sector público,corregir rumbos, mejorar la formulación de las políticas y brindaroportunidades para una reflexión amplia, no sólo sobre el contextoeconómico, social e institucional en el cual se insertan las políticas, sinotambién sobre la estrategia y los instrumentos adoptados.Cabe destacar que el resultado y la validez de las evaluacionesdependen de la metodología adoptada, de los plazos de los estudios y delos propios costos de su realización. El desafío es realizar evaluaciones quesean técnica y metodológicamente coherentes, supongan el menor costoposible y se concluyan en tiempo y forma a fin de permitir que losformuladores refuercen sus aciertos y modifiquen las prácticasequivocadas.La obra tiene como base la metodología desarrollada y utilizada por ungrupo de investigadores de varias universidades brasileñas para evaluar elProyecto de Lucha contra la Pobreza Rural, financiado con recursos de unpréstamo del Banco Mundial y que cuenta con el apoyo de la Unión y delos estados participantes. Este tipo de proyecto, implementado en Brasil
  14. 14. desde mediados de la década de 1990, apunta a facilitar la comprensióndel proceso de evaluación, tanto para el contratista como para el querealiza esta clase de trabajo.Los estudios realizados orientaron la formulación de la metodologíaaplicada a la idea de que las evaluaciones deben estar relacionadas con lossistemas de monitoreo del proceso de implementación de los programasy proyectos sociales. Las evaluaciones concebidas y puestas en prácticacomo“externas”son de difícil apropiación por parte de los formuladores depolíticas públicas relativas al tema, así como por parte de sus respectivosresponsables, puesto que esas evaluaciones plantean dificultades para serinternalizadas y utilizadas como instrumento de planificación.El primer capítulo aborda este asunto, indicando la necesidad básica demonitoreo de la política a ser implementada y las diferencias entremonitorear y evaluar. Esto implica la elaboración de indicadores, temaretomado en el Capítulo 2, que ofrece un panorama general de losprocesos de evaluación del impacto y de los experimentos en las técnicaseconométricas.El capítulo 3 aborda otro tipo de análisis que permite el cálculo de larelación costo/beneficio del proyecto, con el objetivo de vincular ladecisión de destinar recursos a una política específica, posibilitando así lacreación de alternativas viables para el adecuado desarrollo del proyecto aun costo accesible. Asimismo, trata acerca de la dificultad de realizar estetipo de análisis, ya que muchos de estos beneficios son difíciles deaprehender y medir, además de que exigen tiempo de maduración. Lalectura de los tres primeros capítulos ofrece, pues, un panorama casicompleto sobre la evaluación del impacto.Los capítulos 4 y 5 detallan las técnicas que permiten responder a dospreguntas fundamentales: ¿el proyecto está realmente dirigido a susdestinatarios?, y ¿el programa crea vínculos comunitarios que permiten lareducción de su dependencia respecto de las políticas públicas orientadasa la lucha contra la pobreza? Cabe destacar que la focalización y el capitalsocial son temas actualmente obligatorios en el currículo de losformuladores de políticas del Siglo XXI.Los capítulos siguientes abordan las técnicas y los procedimientoscomunes a las evaluaciones, independientemente del objeto de estudio,tales como relacionar variables, desarrollar procesos de toma de muestrasy establecer los requisitos para la elaboración de instrumentos derecolección adecuados a la formación de bases de datos útiles para laevaluaciones presentes y futuras. El libro también contiene apéndices quedescriben brevemente los principales métodos utilizados en la evaluación
  15. 15. de políticas sociales. Un resultado interesante y de fácil percepción delpresente trabajo es que a medida que se avanza en la lectura, se llega aobtener un panorama de las técnicas econométricas más utilizadas en laliteratura económica moderna.Evidentemente, el texto de este Volumen 6 de la Serie Desarrollo RuralSostenible no pretende sustituir la vasta literatura específica sobre el tema,sino que busca sintetizar las diferentes cuestiones que toda persona queparticipa en los procesos de evaluación debería conocer, al menos demanera introductoria.Se espera que este libro incentive a los gestores presentes y futuros delas políticas sociales a tener una mentalidad crítica, basada en laobjetividad de los hechos y en la continuidad de los procesos, en vez de loque los brasileños llaman “achismo” (opiniones) – tan presente en laactualidad.Los programas fracasan por varias razones. Contrariamente a lo quepiensan muchos contratistas de estudios de evaluación, una buenaevaluación no es aquella que elogia las acciones implementadas, enocasiones a costa de la propia consistencia del trabajo. Una buenaevaluación es aquella capaz de identificar las causas de los errores y dedestacar los aciertos, sin que ningún grupo político e ideológico sepermita el lujo de no tomarlas en consideración.Los Organizadores
  16. 16. RESUMOO objetivo principal deste trabalho é fornecer aos pesquisadores egestores públicos, que atuam em desenvolvimento rural, um amplopanorama de metodologias e procedimentos que envolvem monitorar eavaliar programas sociais. Foram reunidas, em um mesmo livro, váriasdiscussões sobre diversos temas: sistemas de monitoramento, avaliação deimpactos e análise custo/benefício além de estudos de avaliação dafocalização e do capital social. Todos esses temas estão articulados emtorno do desenvolvimento rural. A idéia central é a de o leitor reconhecerquando e porque aplicar cada um deles, segundo distintos objetivos, bemcomo ser capaz de combiná-los em um só estudo, quando necessário ouconveniente.
  17. 17. ABSTRACTThis work aims mainly at providing public managers and researchersinvolved in rural development with a wide range of social program(policy)evaluation methodologies and procedures. The book covers severalthemes and issues related to the subjects of monitoring systems, impactevaluation and cost-benefit analysis. It also discusses social capital andidentification of target audiences, always in relation to the subject of ruraldevelopment. The publication should allow readers to recognize andcombine the appropriate tools at their convenience.
  18. 18. RESUMENEl objetivo principal de este trabajo es brindar a los investigadores ygestores públicos que actúan en áreas de desarrollo rural, un panoramaamplio de metodologías y procedimientos que involucran monitoreo yevaluación de programas sociales. En un mismo libro, se reunieron variasdiscusiones sobre diversos asuntos: sistemas de monitoreo, evaluación deimpactos y análisis costo/beneficio, estudios de evaluación de focalizacióny capital social, todos articulados sobre el tema de desarrollo rural. La ideacentral es permitir al lector reconocer cuándo y porqué aplicar cada unode ellos, según objetivos diferentes, así como combinarlos en un soloestudio, de acuerdo a la necesidad o conveniencia.
  19. 19. SUMÁRIOINTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291. SISTEMAS DE MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS EPROJETOS DE DESENVOLVIMENTO E COMBATE À POBREZA RURAL . . . . . 331.1. Definição e Propósito do Monitoramento e da Avaliação . . . . . . . . 331.2. Avaliação Contínua e Avaliação Ex Post . . . . . . . . . . . . . . . . . . . . . . . . . . . 351.3. Monitoramento de Objetivos e Resultados . . . . . . . . . . . . . . . . . . . . . . . 361.4. Indicadores. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391.4.1. Indicadores de recursos, operação e performance . . . . . . . . . 401.4.2. Indicadores de impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411.4.3. Indicadores indiretos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421.4.4. Indicadores de condições externas . . . . . . . . . . . . . . . . . . . . . . . . 421.5. Resistências ao Monitoramento e Avaliação . . . . . . . . . . . . . . . . . . . . . . 421.6. Problemas Práticos do Monitoramento e da Avaliação . . . . . . . . . . . 441.7. Outros Componentes da Avaliação. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462. A AVALIAÇÃO DO IMPACTO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492.1. Experimentos, Quasi-Experimentos e Viés de Seleção . . . . . . . . . . . . . 492.2. Desenho Experimental. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512.3. Métodos Quasi-Experimentais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522.4. Viés de Seleção . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 532.5. Baseline e Follow-Up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552.6. Modelo Econométrico Geral para a Medição de Impactos . . . . . . . 572.7. Introduzindo Variáveis para Controlar a Imperfeiçãodo Pareamento. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 592.8. Variáveis Instrumentais. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692.9. Algumas Palavras sobre Métodos Utilizados paraEliminar Viés de Seleção e Parear Variáveis. . . . . . . . . . . . . . . . . . . . . . . . 702.10. Variáveis do Estudo de Impacto. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732.10.1. Indicadores de impacto no bem-estar . . . . . . . . . . . . . . . . . . . 732.10.2. Indicadores de saúde. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742.10.3. Indicadores de educação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 762.10.4. Indicadores de consumo e segurança alimentar. . . . . . . . . 782.10.5. Indicadores de capital físico. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 812.10.6. Indicadores de capital financeiro (poupança) . . . . . . . . . . . . 822.10.7. Variáveis de controle das diferenças observáveis . . . . . . . . 822.10.8. Variáveis de controle do viés de seleção . . . . . . . . . . . . . . . . . 832.10.9. Variáveis de determinação do impacto . . . . . . . . . . . . . . . . . . 842.10.10. Variáveis indicadoras da presença de outros programas . . . 84
  20. 20. 3. AVALIAÇÃO DE CUSTO-BENEFÍCIO E CUSTO-EFICÁCIA . . . . . . . . . . . . . . . . 873.1. Análise de Custo-Benefício. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923.1.1. Definição e cálculo do método do ValorPresente Líquido (VPL) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 943.1.2. Exemplo de aplicação do método do VPL . . . . . . . . . . . . . . . . . . 943.1.3. Definição e cálculo da Taxa Interna de Retorno (TIR) . . . . . . . . 963.1.4. Cálculo do período de pay-back do projeto. . . . . . . . . . . . . . . . . 963.1.5. Cálculo do custo-benefício descontado (C/Bd). . . . . . . . . . . . . . 983.2. Custo-Eficácia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 994. AVALIAÇÃO DA FOCALIZAÇÃO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1074.1. Conceituando Focalização . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1084.2. Modalidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1094.3. Critérios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1114.3.1. Eficiência . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1114.3.2. Vazamentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1124.3.3. Custos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1124.3.4. Custos administrativos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1124.3.5. Custos de incentivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1134.3.6. Custos políticos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1144.4. Métodos de Focalização. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1144.4.1. Avaliação individual/domiciliar. . . . . . . . . . . . . . . . . . . . . . . . . . . . 1154.4.2. Estabelecendo uma linha de pobreza . . . . . . . . . . . . . . . . . . . . . 1164.4.3. Focalização por categorias ou focalização por grupos . . . . . 1234.4.4. Auto-seleção. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1234.5. Medindo o Grau de Focalização . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1254.6. Comentários Finais. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1305. ESTUDOS DE AVALIAÇÃO DO CAPITAL SOCIAL . . . . . . . . . . . . . . . . . . . . . . . 1315.1. Indicadores do Capital Social das Comunidades . . . . . . . . . . . . . . . . . 1375.1.1. O nível e a natureza da organização comunitária. . . . . . . . . . 1375.1.2. Índice de participação comunitária. . . . . . . . . . . . . . . . . . . . . . . . 1375.1.3. Índice de institucionalização da associação comunitária. . . 1385.2. Indicadores da Existência Prévia de Capital Socialnas Comunidades. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1395.2.1. Índice de tradição comunitária . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1395.2.2. Nível de organização da sociedade civil . . . . . . . . . . . . . . . . . . . 1395.3. Indicadores do Capital Social nos Conselhos. . . . . . . . . . . . . . . . . . . . . 1405.3.1. Desempenho dos conselhos municipais . . . . . . . . . . . . . . . . . . 1405.4. Indicadores de Desempenho da Política Pública . . . . . . . . . . . . . . . . . 1415.4.1. Desempenho da equipe gestora . . . . . . . . . . . . . . . . . . . . . . . . . . 141
  21. 21. 6. ANÁLISE EXPLORATÓRIA DOS DADOS:ANÁLISE DE CORRESPONDÊNCIAS MÚLTIPLAS. . . . . . . . . . . . . . . . . . . . . . . . 1456.1. Blocos de Variáveis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1486.1.1. Bloco de capital físico. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1496.1.2. Bloco sobre indicadores de condiçõessócio-econômicas (acumulação de capital prévia) . . . . . . . . . 1516.1.3. Bloco de capital humano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1516.1.4. Indicadores de capital social e coletivo . . . . . . . . . . . . . . . . . . . . 1526.2. Preparando os Dados. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1526.3. Escolha do Número de Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1536.4. Escolha das Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1537. PLANO AMOSTRAL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1557.1. Sorteio em Múltiplos Estágios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1567.2. O Que É Uma Comunidade?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1577.3. Segmentando Grupos Populacionais. . . . . . . . . . . . . . . . . . . . . . . . . . . . 1587.4. Plano Amostral. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1607.4.1. Aspectos comuns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1607.4.2. Aspectos específicos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1617.5. Dimensionamento Amostral. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1628. ELEMENTOS PARA COLETA DE INFORMAÇÕES ECONSTRUÇÃO DE QUESTIONÁRIOS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1638.1. Roteiro de Questionário a Ser Aplicado nos Domicílios . . . . . . . . . 1648.2. Roteiro para Coleta de Informações sobre asUnidades Técnicas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1668.3. Roteiro para Coleta de Informações sobre osEstados e os Municípios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1678.4. Planejamento de Campo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1678.4.1. Dimensionamento da equipe de campo . . . . . . . . . . . . . . . . . 1688.4.2. Equipe necessária para aplicação de questionário . . . . . . . . . 1698.4.3. Recrutamento e seleção de pessoal . . . . . . . . . . . . . . . . . . . . . . . 1698.4.4. Aplicação de questionário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1709. CONSIDERAÇÕES FINAIS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17310. ANEXOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17911. REFERÊNCIAS BIBLIOGRÁFICAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
  22. 22. ÍNDICE DE TABELASTabela 1 Despesas, receitas e resultados líquidosde um projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .97Tabela 2 Alcance de dois programas por quintilde renda – Exemplo 1 – percentual dos beneficiáriosdo quintil no total de beneficiários . . . . . . . . . . . . . . . . . . . . . . . . . .129Tabela 3 Alcance em dois programas por quintilde renda – Exemplo 2 – percentual dos beneficiáriosdo quintil no total da população do quintil . . . . . . . . . . . . . . . .129ÍNDICE DE FIGURASFigura 1 Exemplo: Síntese da avaliação de impacto doPrograma de Combate à Pobreza Rural, Brasil . . . . . . . . . . . . . . . .48Figura 2 Uma comparação de benefícios com/sem projetos . . . . . . . . .89Figura 3 Fluxo de caixa de um projeto convencional . . . . . . . . . . . . . . . . .91Figura 4 Fluxo de caixa de um projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .95ÍNDICE DE GRÁFICOGráfico 1 Relação entre renda e consumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61ÍNDICE DE QUADROSQuadro 1 Comparação de alguns métodos diretos eindiretos para mensuração da fome, pobreza edesnutrição no Brasil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .122Quadro 2 Erros de exclusão e inclusão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .126Quadro 3 Resumo esquemático para o estudo das populaçõese seleção das variáveis relevantes para a análise doPrograma de Combate à Pobreza Rural II, sob aaplicação da Análise de Correspondências Múltiplas . . . . . .150Quadro 4 Análise confirmatória: um esquema simples pararelacionar CPI e MCPI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202Quadro 5 Matriz de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .212Quadro 6 Matriz de similaridades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .213
  23. 23. ÍNDICE DE ANEXOSAnexo 1 A correção de Heckman visando eliminar o viésproveniente das variáveis não-observáveis . . . . . . . . . . . . . . . . . . .179Anexo 2 Os métodos de pareamento utilizados para corrigiro viés das observáveis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .183Anexo 3 O método da dupla diferença e o modelo deefeitos fixos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .185Anexo 4 Considerações sobre a utilização de dados empainel em modelos econométricos comvariáveis dependentes qualitativas . . . . . . . . . . . . . . . . . . . . . . . . . . . .192Anexo 5 Análise dos Componentes Principais (ACP):um resumo do procedimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .194Anexo 6 Metodologias de construção de indicadoresde capital social . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .197Anexo 7 A obtenção de um indicador sintético decapital social usando ACP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .205Anexo 8 Análise confirmatória de estruturas baseadas emvariáveis latentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .207Anexo 9 Expansão dos resultados amostrais, estimador razãoe agrupação de municípios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .208ÍNDICE DE BOXESBox 1 Dados em painel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .56Box 2 Pareamento de amostras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59Box 3 Regressão linear: uma técnica simples que podeser empregada em avaliação de impactos . . . . . . . . . . . . . . . . . . . . .60Box 4 Modelo logit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67Box 5 Endogeneidade versus viés de seleção amostral:qual modelo adotar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72Box 6 Definição de segurança alimentar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .79Box 7 Características dos domicílios e das comunidades . . . . . . . . . . . . .82Box 8 Projeto de construção de estrada no espaço rural . . . . . . . . . . . .100Box 9 Exemplos de critérios de avaliação que podemser utilizados em projetos de infra-estrutura . . . . . . . . . . . . . . . . . .103
  24. 24. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos29INTRODUÇÃOEm muitos países, governos têm despendido recursos consideráveisem políticas sociais. Entretanto, em vários programas e projetos, a eficáciatem sido considerada, no mínimo, duvidosa. A pobreza e a desigualdadesocial continuam elevadas, e as demandas e as necessidades superam emmuitas vezes a disponibilidade de recursos.Em período recente, o Brasil transformou-se em verdadeiro laboratóriode programas sociais, cobrindo diversas áreas (da saúde à reforma agrária),inclusive com programas de complementação de renda. Os modelos e asconcepções têm sido distintas. A execução tem ficado a cargo de todas asesferas governamentais.Em que pese o meritório esforço de ações de combate à pobreza, osresultados ainda carecem de avaliações objetivas. A decisão de priorizar osocial – em um quadro de restrições de recursos – coloca em pauta odebate sobre a eficácia e a eficiência dos programas. Alguns elementosdessa avaliação podem ser claramente observados e explicitados.Espera-se que os programas sociais alcancem de fato a populaçãopobre com eficácia e eficiência — atributos indispensáveis para o sucessodas ações. Enquanto a eficiência diz respeito à utilização dos recursosescassos,a eficácia refere-se à melhoria do nível de bem-estar da populaçãometa. De pouco adiantaria atingir metas sociais em programas de altocusto, desperdiçando recursos que faltariam em outros programas, aindaque de igual cunho social.A experiência acumulada tem demonstrado que o sucesso dosprogramas sociais depende diretamente de um conjunto de fatores aincluir aqueles que favorecem o custo e a disponibilidade de recursosfinanceiros, bem como aqueles que dizem respeito exclusivamente aodesenho e à concepção das ações. Nesse segundo grupo, estão incluídasquestões relativas à focalização e à seleção dos beneficiários,sobre as quaisserão feitas algumas reflexões iniciais.Foco e seleção são cruciais para o sucesso das ações sociais.Não se trataapenas de definir, com clareza, a quem as ações se dirigem (população debeneficiários potenciais), mas de selecionar aqueles que participarão
  25. 25. 30efetivamente do programa. Essa questão seria irrelevante caso os recursosfossem suficientes para atender a todos. Como a situação nunca é essa,mesmo para políticas de alcance universal,como a de saúde e de educação,coloca-se o dilema: pelo menos no futuro imediato, quem participa? Quemfica de fora? Que critérios utilizar para escolher os beneficiários? Fila? Maiornecessidade? O critério de quem tem mais chance de beneficiar-se de fatodas ações previstas no programa? O da maior competência?Não é trivial tratar essas questões e, naturalmente, não existe uma únicaresposta:os critérios são variados e dependem da natureza e do objetivo decada programa. Esses critérios não são, e nem devem ser, estabelecidosapenas do ponto de vista exclusivamente técnico, pois os resultados nãosão neutros do ponto de vista social. As escolhas devem passar porinstâncias de decisão política, apoiadas, é claro, pela melhor avaliaçãotécnica. Assim, um programa de combate à fome deve tomar como critérioa maior vulnerabilidade alimentar da população. Já um programa dereforma agrária deveria escolher aquelas famílias com maior aptidão paraexplorar a terra, e cujos integrantes tenham maiores possibilidades de seviabilizarem como produtores.Contudo,a aparente obviedade dos critériosnão resolve a questão e, dificilmente, servirá de consolo para os pobres queficarem de fora.A primeira dificuldade para a definição do foco é de natureza política.Entretanto, dificuldades de natureza técnica também estão presentes, poismesmo quando há consenso (com relação ao foco dos programas), não étrivial selecionar de forma eficaz e eficiente. A escolha de um ou outromecanismo de seleção, ou mesmo a combinação de mecanismos emdiferentes etapas do programa, não deve ser realizada sem considerar aeficiência da estrutura montada para executar o programa. Considerandoapenas a questão do foco, essa eficiência diz respeito à capacidade doprograma de, ao menor custo possível, em termos de administração,burocracia, monitoramento, etc., incluir o maior número possível deindivíduos do público-alvo (maximizar o alcance) e excluir o maior númeropossível de indivíduos que não pertencem a esse grupo (minimizar ovazamento de recursos para o público não necessitado).Os desafios não terminam aí. Não é suficiente que o programa definaalcance e público-alvo (agricultores familiares; famílias pobres com filhosem idade escolar; população com deficiência nutricional; grupos étnicosetc.). A adequação a esses critérios gerais de seleção de beneficiários nãoelimina uma clara realidade: as diferenças entre os indivíduos quecompõem um mesmo grupo. Essas diferenças referem-se a atributospessoais, familiares e, principalmente, às condições sócio-econômicas.SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos
  26. 26. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos31Todos são pobres, mas uns são mais pobres do que os outros; todos sãosem-terra, mas alguns têm mais aptidão para o trabalho no meio rural doque outros; todos querem o benefício, mas cada indivíduo, ou cada família,atribui um grau de importância diferente ao benefício recebido. O fato deser pobre não implica automaticamente ter carências nutricionais. Coloca-se, portanto, a questão de identificar, nos indivíduos do público-alvo, algunsatributos que sejam chave para selecionar os beneficiários efetivos. Aidentificação desses atributos tampouco é tarefa comum.O sucesso de alguns programas depende apenas da identificação deatributos explícitos que, com maior ou menor dificuldade, podem serapontados (em um programa de combate à fome, deveria ser suficienteidentificar os grupos que têm carência alimentar e assegurar-lhes acesso aoalimento). Se fosse possível a perfeita identificação desses grupos, nãohaveria motivos para supor que os beneficiários desviariam os alimentospara outros fins que não o de nutrir-se. Nesse caso, o problema de seleçãodiz respeito a como identificar, de forma competente (com custosadequados e eficácia), esse grupo vulnerável. Há um claro trade off entreeficácia e custo.Para identificar esse grupo,pode ser necessário realizar umapesquisa sobre o status nutricional, o que asseguraria uma seleção perfeita,mas teria um enorme custo financeiro e despenderia muito tempo. Odesafio é definir mecanismos que permitam compatibilizar eficácia doprocesso seletivo e eficiência no uso dos recursos.Já em outros programas não basta identificar os atributos explícitos dosindivíduos. A eficiência da intervenção dependerá de características e deatributos que não são aparentes (como disposição para trabalhar e dedicar-se ao trabalho na terra). Como identificar ex ante essa disposição? É óbvioque todos os candidatos declararão a maior disposição para o trabalho emostrarão grande entusiasmo em relação ao programa. Como identificaraqueles que de fato estão dispostos e preparados para enfrentar o desafio?Uma focalização inadequada pode gerar problemas que comprometem,na origem, a possibilidade de sucesso da intervenção social. De um lado,introduz distorções de natureza diversa, como desincentivo para o trabalho,após a seleção; atração de famílias de outras regiões para áreas que estãosendo assistidas,comprometendo o orçamento e a possibilidade de mantera qualidade da ação; vazamento para público não-alvo, como no caso denão-negros que se definem negros apenas para ter as vantagens oferecidaspelo programa; outros.De outro lado, também há um trade off entre seleçãoe custos de monitoramento do uso dos recursos, seja dos recursosdestinados à execução – que são gastos pelos executores –, seja dosrecursos destinados aos beneficiários.Uma seleção apropriada reduz tanto a
  27. 27. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos32necessidade de monitoramento quanto os prejuízos associados a erros deseleção (concessão de auxílio alimentação a quem não tem carêncianutricional).Pelo exposto acima,percebe-se que não é tarefa simples estabelecer umprograma de combate à pobreza, a começar pela definição e pela seleçãodos beneficiários. Não basta uma elevada dotação orçamentária paraatender aos programas, pois um programa mal formulado pode esgotarrapidamente os recursos sem atingir os objetivos.Por mais boa vontade que tenham os gestores públicos, fatores comocustos burocráticos, monitoramento, corrupção, vazamento de benefíciospara grupos não-alvos, podem exaurir as fontes de recursos, reduzindo aeficiência e a capacidade dos programas de realmente atingir os pobres.Este livro procura trazer subsídios para a formulação e para a avaliaçãodos programas de combate à pobreza. Não se consubstancia como umaproposta acabada para a formulação e avaliação de programas, masapresenta elementos que podem auxiliar no desenvolvimento de melhoresmetodologias e na identificação de mecanismos de monitoramento e deavaliação de impactos. Há uma clara preocupação no sentido de proverinsumos para uma reflexão de alto nível sobre as concepções mais eficazese que dão melhores respostas para atacar determinados problemas. Paratanto, foi fundamental colocar de lado idéias pré-concebidas, que, emalguns casos, têm influência negativa à concepção e à avaliação deprogramas sociais.Não se trata de evitar um posicionamento político, mas sim, de proporabordagens com o máximo rigor científico. Apenas dessa forma é possívelcontribuir para desenvolver programas sociais eficientes que sejam capazesde reduzir a pobreza no Brasil.Antônio Márcio Buainain (IE/Unicamp)Hildo Meirelles de Souza Filho (Gepai/DEP/UFSCar)
  28. 28. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos331.SISTEMAS DEMONITORAMENTO EAVALIAÇÃO DE PROGRAMASE PROJETOS DEDESENVOLVIMENTO ECOMBATE À POBREZARURAL11.1. Definição e Propósito do Monitoramento e da AvaliaçãoMonitoramento e avaliação de programas podem ser definidos comoum processo de medir, registrar, coletar, processar, analisar e comunicarinformação com objetivo de auxiliar a gestão de programas, projetos eatividades em geral. Sistemas de monitoramento, ao possibilitar a coleta ea organização de informações que se encontram institucionalmente etemporalmente dispersas, e ao automatizar relatórios analíticos básicos,facilitam, em especial, a tomada de decisões sobre os rumos das açõesempreendidas. Nesse sentido, o sistema de monitoramento e avaliação deum programa ou projeto de desenvolvimento e combate à pobreza ruraldeve ser concebido como uma ferramenta de planejamento e deorganização de informações para a tomada de decisões.Monitoramento e avaliação são temas complexos, pois envolvem umconjunto muito amplo de variáveis, fatores, instâncias e atores queinteragem e respondem a muitas políticas, seja de alcance macro seja dealcance setorial e local. A concepção de um sistema de monitoramento eavaliação não se refere, rigorosamente, ao monitoramento e avaliação dodesenvolvimento rural, mas sim da operação, do desempenho e deimpactos das ações levadas a cabo no contexto de um programa ouprojeto.1 Esta seção baseia-se em FAO monitoring systems for agricultural and rural development projects –Volume 2. FAO: Rome, 1989.
  29. 29. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos34Os principais elementos considerados na concepção do sistema demonitoramento e avaliação são:i) A operação de um programa, projeto ou intervençãocompreende muitas tarefas que, realizadas regularmente oueventualmente, são relevantes para o funcionamento adequado daatividade. Como exemplo, a constituição e o apoio institucional aconselhos locais de desenvolvimento envolvem atividades demobilização dos atores, capacitação institucional, elaboração de umplano de desenvolvimento sustentável. Essas atividades podem exigir ocadastro de atores, cursos variados, avaliação de consistência dosplanos, visitas locais, alocação de recursos, etc.ii) O desempenho refere-se ao nível de alcance das metasestabelecidas pelo programa/projeto, tais como realização deencontros, conselhos implantados, projetos de desenvolvimentoexecutados e população atingida.iii) O impacto alude aos efeitos da execução e desempenho sobre apopulação rural, podendo ser indicado por alterações nos níveis edistribuição de renda,receita das propriedades,nível de emprego,níveisde bem-estar e nutrição das famílias, etc. Incorporam-se tambémindicadores de mudanças no meio ambiente e na economia local queresultam da operação e do desempenho do projeto (erosão esalinidade do solo, mudanças nos preços de insumos e produtosagrícolas, entre outros).O propósito do monitoramento e da avaliação é indicar para os agentesenvolvidos se os objetivos do programa/projeto estão sendo alcançados.Para isso,utiliza-se um conjunto de informações relevantes que indica se astarefas estão sendo executadas conforme planejado; se as condiçõesoferecidas aos beneficiários e se os resultados observados atingiram osníveis estabelecidos no desenho dos projetos; se os impactos estão deacordo com os objetivos ou se esses objetivos devem ser ajustados à luzda experiência.A informação monitorada fornece a base para tomada de decisões eações cotidianas referentes à gestão de programas e de projetos. Issoocorre quando o monitoramento revela operações inadequadas,deficiências no desempenho e discrepância entre objetivospreestabelecidos (ou impactos previstos) e objetivos alcançados. Dessaforma, é possível modificar objetivos inadequados para redirecionar oprojeto, corrigir deficiências e trazer o projeto de volta ao curso desejado.A atividade de monitoramento e avaliação compreende quatrooperações/fases básicas:
  30. 30. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactosi. a coleta de informações apropriadas;ii. organização das informações;iii. análise e interpretação dos dados;iv. a adoção de ações apropriadas à luz do monitoramento e daavaliação.As fases (i) e (ii) são a própria essência do monitoramento; a fase (iii) é aavaliação, já que a interpretação pressupõe um referencial conceitual eincorpora, necessariamente, certa subjetividade. O monitoramento é frio eobjetivo: foram realizados “x” cursos que correspondem a “y”% do totalplanejado.A avaliação envolve interpretar e explicar esse resultado.O êxitoou o fracasso, maior ou menor, não podem ser diretamente derivados dosnúmeros. Assim, um desempenho relativamente baixo pode serrequalificado em função das condições enfrentadas para execução dasações.Também um desempenho alto pode ser considerado insuficiente àluz da análise das informações em seu conjunto. A fase (iv) refere-se àtomada de decisão propriamente dita, e não pode ser confundida com aavaliação, nem do ponto de vista metodológico, nem institucional: a boaprática recomenda separar quem avalia de quem toma a decisão,exatamente para assegurar a independência metodológica e institucionalentre as fases.Existe uma distinção sutil entre a avaliação (iii) e a tomada de decisão(iv). A avaliação revela e indica o que fazer; a tomada de decisão, a decisãode fazê-lo. O monitoramento é (ao menos deveria ser) mais ou menosneutro, como neutros são a operação e o desempenho do projeto.Entretanto, a seleção de indicadores de impacto normalmente envolvejuízo de valor. A avaliação de dados monitorados revela a necessidade deajustamentos na execução dos projetos e programas que podem ou nãoser adotados para facilitar e agilizar o alcance dos objetivos iniciais.Com menor freqüência, a avaliação cotidiana possibilita mudanças nosobjetivos e metas dos projetos que ocorrem mais como resultado deavaliações ad hoc (diante daquelas realizadas de tempos em tempos). Asinformações colhidas e organizadas pelo sistema de monitoramento eavaliação são importantes insumos que facilitam muito essas avaliaçõesespeciais.1.2. Avaliação Contínua e Avaliação Ex PostA atividade de avaliação contínua estabelece a ligação entre a gestão doprograma/projeto e o monitoramento.A avaliação contínua compreende a35
  31. 31. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos36comparação da operação real, do desempenho e do impacto do projetocom o que foi originalmente estabelecido ou planejado. Além disso,permite determinar as relações causais entre as atividades do projeto e seusresultados e a influência de fatores externos ou de suporte sobre aoperação e o desempenho. Neste raciocínio, avaliação contínua nada maisé do que uma análise que faz uso da gestão da informação monitorada embase contínua, permitindo ajustar ou redefinir políticas, objetivos, arranjosinstitucionais e recursos que afetam o projeto durante sua execução.O monitoramento e a avaliação contínua não devem sercompreendidos como um processo de decisão em si, mas comoportadores de elementos para a gestão do projeto e para melhorar odesempenho na tomada de decisões.A avaliação ex post utiliza informação monitorada para avaliar aoperação, o desempenho e o impacto de projetos em determinadoestágio (geralmente o fim do programa/projeto ou de uma fase) e auxiliarno planejamento de ações no futuro. A concepção proposta assume queo sistema deve ser capaz não apenas de monitorar e avaliarcontinuamente as ações do programa/projeto, mas também auxiliar narealização de avaliações ex post e ad hoc.1.3. Monitoramento de Objetivos e ResultadosA principal tarefa na gestão de um programa/projeto é assegurar autilização eficaz e eficiente dos recursos além de executá-lo emconformidade com sua concepção e objetivos. Em termos práticos, agestão deve assegurar que os objetivos e as metas planejadas (ou previstas)sejam alcançados dentro do cronograma previamente estabelecido.O monitoramento da operação, do desempenho e do impacto forneceà gerência a informação apropriada para facilitar essa tarefa. Entretanto, aefetividade do monitoramento dependerá, geralmente, da precisão comque os objetivos e metas são definidos; da validade; da possibilidade dequantificar os objetivos com maior precisão; da consistência entreobjetivos e meios disponíveis e entre objetivos,concepção e instrumentosmobilizados.Enfim,a efetividade do monitoramente depende diretamentedo desenho do programa/projeto.Projetos mal definidos e/ou com objetivos inconsistentes em relaçãoaos meios disponíveis não são raros. Objetivos vagos de desenvolvimento,como melhoria das condições de vida e do bem-estar da população ruralpobre,aumento do número de empregos na área rural e outros,resultados
  32. 32. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos37de diversas ações, dificilmente podem ser monitorados com precisão porsistemas de monitoramento específicos. Esse tipo de objetivo abrangenteé, em geral, melhor captado em estatísticas geradas por órgãosresponsáveis pelas informações macro e regionais tanto dos estadosquanto do país. O estabelecimento de metas que não podem seralcançadas dentro de um cronograma de forma razoável acarretaproblemas e adversidades para a gestão do projeto.Muitos objetivos e metas relacionados com operação, desempenho eimpacto podem (e devem) ser claramente definidos e quantificados. Taismetas e objetivos devem ser selecionados para monitoramento, assimcomo os indicadores a eles relacionados. É necessário especificarindicadores para cada tipo de projeto. Assim, em projetos deabastecimento de água, pode-se utilizar o número de cisternas ou pontosde captação de água construídos; em projetos de mecanização agrícola eintrodução de novas variedades, a expansão de área cultivada, o aumentoda produtividade da terra e da produção são componentes mensuráveisdo desempenho.Mudanças como renda e nutrição, que afetam os beneficiários dosprojetos, são aspectos socioeconômicos dos efeitos dos próprios projetos.Os impactos no meio ambiente físico (erosão do solo, v.g.) e nascomunidades rurais fora do projeto – raramente consideradas nosobjetivos e negligenciadas como atividade de monitoramento –, emmuitos casos, podem ser quantificados.Existem sistemas de monitoramento dedicados apenas ao registro daoperação e do desempenho, enquanto outros se voltam exclusivamentepara a medição de impacto. As atividades de ambos estão relacionadascom os objetivos gerais dos programas/projetos e, de certa forma, sesobrepõem, apesar das diferenças na forma de funcionamento e desenho.O monitoramento da operação e desempenho de umprograma/projeto compreende, mesmo que de maneira intermitente,contínua medição, registro de tarefas programadas, atividadesestabelecidas em cronogramas e resultados esperados. A observação eregistros de tarefas e atividades são freqüentes; algumas vezes, diárias. Opropósito dessa atividade de monitoramento é o de prover informaçãopara uma avaliação contínua e gestão diária.A avaliação contínua abrange a comparação de indicadores (tarefas,entradas e saídas) e os objetivos e critérios do projeto. Em contraste, omonitoramento de impacto do projeto compreende o registro periódicoe não freqüente de entradas,saídas e desempenho,o que possibilita avaliaro impacto sobre os territórios, famílias e indivíduos. Essa informação
  33. 33. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos38contribui para a avaliação periódica e para a gerência dar respostas aeventuais problemas, além de ser fundamental para a avaliação ex post. Adivergência entre indicadores de impacto e os objetivos deve influenciaro desenho de futuros programas e projetos.O monitoramento da operação e do desempenho de determinadoprograma bem como do impacto que produz requer sistemas comdesenhos diferentes. Admitindo-se a hipótese de que a concepção e odesenho do programa são consistentes, a operação e o desempenhodependerão, em geral, da ação técnico-gerencial da equipe responsávelpela execução. O monitoramento (do programa) está relacionado com aoperação e/ou registro de tarefas programadas; e o sistema demonitoramento, às atividades da equipe do programa, que possui umconjunto preestabelecido de obrigações além de realizar e registrar, emmaior ou menor medida, operações programadas e propósitos pré-definidos. Funcionários/técnicos processam e transmitem as informaçõesa um ponto preestabelecido na estrutura gerencial.Acima de tudo, o monitoramento do impacto de um projeto estávoltado para os efeitos da operação do projeto sobre seus beneficiários, eé intrínseco à população rural beneficiada pelo programa. Em algunscasos,relaciona-se à população que está fora,mas que,apesar disso,recebeefeitos positivos ou negativos (spillovers). É tarefa complexa cuja execuçãodeve ser balanceada. Deve-se, ainda, levar em conta os custos de avaliaçãovis-à-vis o custo do próprio programa.O sistema de monitoramento de impacto tem como foco principal aobtenção de dados relacionados à unidade geográfica de análise,propriedade, família do produtor e da comunidade rural (escolas, posto desaúde, comércio local, etc.). Tem por função medir e registrar indicadores:custos de produção nas propriedades; renda líquida das propriedades esua distribuição; composição e nível de nutrição familiar; uso de água ehigiene no domicílio; disponibilidade e acesso a serviços sociais; o papel eo status das mulheres; entre outros.Alguns – ou todos esses itens – podemestar especificados como objetivos do projeto.Nesse caso,o progresso emdireção ao alcance do projeto precisa ser monitorado.Os dados relacionados com o monitoramento de impacto são maisdifíceis de medir. Estão sujeitos a erros maiores e usam métodos de coletadiferentes daqueles utilizados para tarefas programadas e outrosindicadores técnicos do desempenho do projeto. Sistemas demonitoramento de impacto envolvem o uso de estudos especiais decampo (crédito, água, nutrição, higiene) e a aplicação de questionáriossobre a produção,a propriedade e o domicílio.Essas pesquisas – de caráter
  34. 34. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos39empírico – apresentam dificuldades, sobretudo em países menosdesenvolvidos: amostragem estatística, desenho da pesquisa de campo,questionários de campo, freqüência de coleta, seleção de indicadoresadequados de bem-estar ou desenvolvimento rural. Indicadores indiretossão utilizados para a observação de diversos aspectos,incluindo a renda dapropriedade e do domicílio e, além da distribuição dessas rendas, o nível ea qualidade de nutrição,as disponibilidades de bens sociais para diferentesgrupos rurais, a participação das mulheres. Entretanto, diferente dosindicadores técnicos de desempenho, esses indicadores de impactopossuem significado ambíguo e levantam problemas de interpretação.A dimensão temporal também é diferente. Em vez de uma situação emque a informação é coletada diariamente (e obtém resposta), o registro e amedição de indicadores de impacto podem ter que aguardar todo o ciclode uma safra (o que pode significar anos), como ocorre com dados sobrea renda da propriedade ou do desenvolvimento territorial. Após a coletade informações, alguns meses podem ser requeridos para processar ainformação monitorada, segundo um método apropriado para se realizara avaliação e obter uma resposta.As pesquisas de campo, em geral caras e difíceis, não devem serencaradas como uma atividade que se encerra uma única vez no tempo.O monitoramento de indicadores relacionados com os objetivos dosprogramas e dos projetos deve ser iniciado antes da implementação econtinuar, muitas vezes de forma intermitente, além do período requeridopara alcançar os objetivos do projeto. Com bastante freqüência, níveispreestabelecidos de eficiência operacional dos projetos são alcançadosantes dos objetivos dos projetos.Em muitos casos,o monitoramento de impacto é mais complexo e carodo que o monitoramento da operação e do desempenho. Isso teráimplicações quanto à alocação dos recursos entre esses dois sistemas. Masnão é o caso de se dar prioridade para o monitoramento de desempenho,em que a disponibilidade limitada de recursos impõe uma escolha. Outroscritérios são também relevantes para essa decisão, incluindo o tipo deprojeto.1.4. IndicadoresA verificação e/ou a medição da operação, desempenho e impacto deum programa/projeto requer(em) a especificação de variáveis ouindicadores das entradas (inputs), saídas (outputs), efeitos e fatores externos
  35. 35. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos40ou restrições.A seleção de indicadores de monitoramento apropriados nãoé tarefa fácil. Não há grandes dificuldades para incorporá-las ao sistema demonitoramento e avaliação quando os indicadores – sejam de entradas,resultados, atividades, restrições e de fatores externos – são medidasobjetivamente verificáveis de fatos e eventos (entregas de equipamentos,volume de água para irrigação, manutenção de conjuntos de irrigação,volume de crédito concedido, número de operações de crédito realizadas,níveis de produtividade e de produção). Entretanto, algumas vezes não épossível observar e medir determinados resultados de um projeto. Nessescasos, indicadores indiretos ou proxies podem ser utilizados.A seleção de poucos e essenciais indicadores que tornem possível umagestão eficiente e uma avaliação completa para a formulação de políticasé parte da “arte” de desenhar sistemas de informação. Qualquer seleçãonunca é a última. Não importa quão bem desenhado seja um sistema demonitoramento,ele deve apresentar-se sempre flexível,como de fato deveser um projeto.1.4.1. Indicadores de recursos,operação e performance2Em um sistema de monitoramento e avaliação bem desenhado edotado de informações, alguns indicadores estarão de pronto disponíveis:recursos, operação e desempenho.• Indicadores de recursos: consistem em utilização de pessoal,equipamentos e de fundos correntes para operação dos projetos ouprogramas; podem incluir oferta de crédito, arranjos institucionais eoutros.• Indicadores de operação: medem e registram a operação, apontualidade, a qualidade e os possíveis custos das tarefas eatividades do projeto.• Indicadores de desempenho:comparam os resultados das atividadesou operações com as metas estabelecidas. São medidos em termosfísicos (quilômetros de estradas ou canais construídos; número dehectares plantados; número de propriedades visitadas; número deanimais vacinados; quantidade de fertilizantes distribuídos; número defamílias assentadas; número de casas construídas; níveis de produçãoe produtividade; empréstimos concedidos; provisão de serviçosmédicos; alimentos distribuídos, etc.).2 Ver Pétry, F. In: Monitoring systems for agricultural and rural development projects. FAO economicand social development paper, n. 12, Rev. 1. Food and agricultural. Organization of the UnitedNations.
  36. 36. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos411.4.2. Indicadores de impactoA maioria dos indicadores de impacto estará disponível apenas depoisde decorrido o tempo necessário para que os benefícios se manifestem.Alguns impactos são diretamente decorrentes do programa ou projeto.Outros impactos decorrem dos efeitos imediatos do projeto ou programa,denominados impactos indiretos.Indicadores de impacto direto (também chamados de indicadores deefeitos) medem o efeito imediato das realizações do projeto comoprodutividade das propriedades, mudanças nos padrões de produção,incidência de enfermidades animais, renda das propriedades, taxa demortalidade infantil, etc. Os indicadores de impacto direto podem serdivididos em dois grupos:• indicadores de consecução ou realização de objetivos: comparamos resultados obtidos com as metas estabelecidas (porcentagens deaumento em relação ao perfil de entrada);• indicadores de alcance efetivo: colocam os resultados em umcontexto mais amplo, comparando-os com a situação em áreassemelhantes ou com um possível máximo ou padrão (IDH, porexemplo).Ambos são necessários para se obter uma análise útil do julgamento eda tomada de decisões. Os rendimentos das culturas podem ter sidomelhores do que o estabelecido nos objetivos do projeto; porém, nãoforam maiores do que aqueles alcançados em áreas próximas, fora doprojeto. Nesse caso, os elevados rendimentos são devidos, provavelmente,às condições climáticas ou a outras políticas governamentais, não apenasao projeto.Já os indicadores de impacto indireto medem todos os outros efeitos.Espera-se alcançar objetivos secundários como conseqüência do alcancedos objetivos principais: renda do domicílio/renda da propriedade,condições nutricionais/aumento da produtividade e/ou renda,participação e associativismo/crédito coletivo. Efeitos não planejados,desejáveis ou não, encontram-se também nessa categoria e devem sermonitorados (redução no suprimento de água para outros produtoreslocalizados abaixo do açude; aumento da produção e redução dos preçoslocais; salinização do solo; aumento do risco devido ao endividamento;adoção de monocultura; outros).
  37. 37. 1.4.3. Indicadores indiretosAlguns objetivos – melhoria do padrão de vida e expansão doassociativismo – são complexos para se medir ou verificar. A medição diretapode requerer múltiplos indicadores,cuja geração pode ser cara,demorada einjustificável para o tamanho da intervenção. Para superar essas dificuldades,indicadores indiretos para o padrão de vida – condições da moradia e omontante de bens duráveis possuídos pelas famílias – têm sido sugeridos.Dados sobre esses itens podem ser obtidos rapidamente e a baixo custo comuma única visita (uma rápida pesquisa de campo com aplicação dequestionário). Entretanto, a redução de custos de coleta pode ter comoconseqüência a perda de precisão. Se os gastos em investimentos napropriedade e/ou em poupança são ignorados,como saber se o aumento nopatrimônio de bens domésticos duráveis é resultado de um aumentosustentado da renda ou da descapitalização da propriedade? Assim, deve-seinterpretá-lo como um indicador parcial e com certo cuidado.Os indicadores indiretos são utilizados com grande dubiedade onde elesnão são quantificáveis e requerem julgamento pessoal,como indicadores demudanças no comportamento (inclusive associativista) e atitudes dosatores. Esses indicadores estão sujeitos a grande imprecisão, o que faz comque o mérito de sua utilização deva ser questionado – sobretudo as atitudesem relação ao associativismo.1.4.4. Indicadores de condições externasIndicadores de condições externas estão relacionados a fatores quefogem ao controle da gerência, embora o seu comportamento seja capazde requerer mudanças nos objetivos. Alguns exemplos são: preços deinsumos e produtos, condições de comercialização, disponibilidade deinsumos-chave (como fertilizantes,vacinas,maquinas especiais,mão de obracapacitada), custo do crédito para os produtores (taxa de juros, serviços eburocracia), condições climáticas (seca, excesso de chuvas, enchentes, etc.),incidência de pragas e doenças. Alterações nesses indicadores podemsugerir mudanças nos objetivos dos projetos/programas.1.5. Resistências ao Monitoramento e AvaliaçãoEm teoria, o desenho e a implantação de um sistema de monitoramentoe avaliação parecem ser inquestionáveis. É uma questão de organização. OSÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos42
  38. 38. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos43processo de monitoramento deve ser formalizado em um conjunto deinstruções que prescrevam o que será monitorado, com qual freqüência epor quem, além de fazer previsão ao procedimento de registro e aoprocessamento da informação registrada para se obter o máximo designificância operacional.A proposição de que o monitoramento e a avaliação são essenciaispara uma gestão eficiente quase nunca é questionada. A princípio, osplanejadores o aconselham e os ministros o aceitam. Na prática, ossistemas de monitoramento e avaliação são deficientes e têm poucaefetividade. Tal fato ocorre não apenas com sistemas relativamentesofisticados, mas também com procedimentos de monitoramentosimples, desenhados para projetos pequenos. Não é raro encontrar umaoposição não revelada ao monitoramento e à avaliação.O monitoramentoexpõe deficiências na operação e no desempenho, e revela debilidades dagestão.Uma das principais fontes de resistência ao monitoramento e avaliaçãopor parte das gerências de projetos e subprojetos é a desconsideração da“dimensão humana”na formulação.Tem sido grande o número de sistemasde monitoramento e avaliação.De igual forma, as atividades relacionadas aeles, criados e operados com pouca ou nenhuma participação dosoperadores e gerentes, mesmo no estágio relativo ao seu desenho. Essessistemas,criados externamente,requerem uma substancial dose de gestãopara operar. Espera-se ser a gerência a usuária e a beneficiária principal.Assim, não é de surpreender que o monitoramento, em boa medida, nãose torne efetivo quando:• a equipe do projeto se indignar com o fato de ter que dedicardemasiado tempo ao monitoramento e desviar esforços quepoderiam ser canalizados para as atividades de condução do dia-a-diado projeto;• a equipe do projeto não utiliza os resultados do monitoramento e daavaliação por várias razões, dentre as quais destacam-se: o fato de nãoter sido consultada, desconhecer a utilidade da informação e ter apercepção de que pouco contribui para o desempenho dasobrigações primárias.Apenas recentemente, a necessidade de se incluir a participação dosoperadores e gerentes dos projetos no desenho de sistemas demonitoramento e avaliação tem sido reconhecida. Sem essa participação,o monitoramento e a avaliação tornam-se pouco efetivos ou não sãoutilizados de acordo com o seu propósito. A participação dos gerentes eda equipe permite melhor compreensão do propósito do monitoramento
  39. 39. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos44e da avaliação, contribui na formulação do conjunto de informações aserem coletadas e estabelece um limite de tempo que a equipe devededicar-se às atividades de monitoramento. Ainda, evita a geração deinformação excessiva, desnecessária e sem uso. Para aumentar o usoefetivo dos resultados do monitoramento, é vital aumentar a cooperaçãoda gerência nas atividades do próprio monitoramento.1.6. Problemas Práticos do Monitoramento e da AvaliaçãoNa teoria, um sistema de monitoramento e avaliação, bem desenhadoe adequadamente funcionando, fornece a informação certa, na formacerta, na hora certa, no lugar certo (dentro da estrutura gerencial) e com afreqüência certa. Permite à gerência reagir e manter programas ouprojetos em curso, mantendo níveis de eficiência e alcançando objetivos eníveis de desempenho preestabelecidos. Entretanto, a experiência reveladiferenças entre a prática e os modelos teóricos.Inadequados monitoramento e avaliação estão comumente associadosa sistemas mal desenhados. Tais sistemas possuem maior produção dedados do que o necessário (ou do que pode ser processado), além deinadequada atribuição de atividades de monitoramento e avaliação juntoà equipe do projeto, sem contar a incapacidade de realizar estudos doperfil de entrada (baseline) com a necessária antecedência.Compõem ainda esses sistemas, substanciais atrasos devido aoprocessamento de dados (geralmente devido a inadequadas condiçõesde processamento e à carência de pessoal) e atraso na análise dos dadose apresentação dos resultados (devido à falta de profissionais seniores efalhas na coleta de dados em campo). Finalmente, mesmo evitando todasessas deficiências, o sistema de monitoramento e avaliação podepermanecer sem uso pela equipe do projeto.São inúmeras as causas desses problemas, mas destacam-se aintrodução apressada do monitoramento e sua excessiva ambição,conforme o caso, sobretudo quando se trata de avaliação de impacto.O custo das atividades de monitoramento e avaliação pode serelevado, podendo alcançar 4,5% (quatro vírgula cinco por cento) doorçamento total do projeto ou programa. Apesar de a experiência terdemonstrado que sistemas de monitoramento e avaliação podem ser degrande valia para a gestão, é difícil quantificar os ganhos e confrontá-loscom seus custos. Essa é uma das razões que levam governos a serem
  40. 40. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos45extremamente relutantes em arcar com os custos de monitoramento eavaliação, pois não lhes é claro o retorno desses gastos. Adicione-se a issoo fato de que gerentes e departamentos de planejamento vêem omonitoramento e a avaliação com grande desconfiança. A resistência éainda maior onde existe prévia percepção de que uma massa de dadosserá coletada e não utilizada, portanto, sua coleta representa desperdíciode dinheiro.Uma importante lição a ser aprendida da experiência de monitoramentoe avaliação é a de que a prudência é fundamental:• na seleção de projetos, subprojetos ou programas a seremmonitorados e avaliados. Não existe um conjunto acabado decritérios de seleção. Tamanho e complexidade são certamenteimportantes. Em programas de múltiplos propósitos pode serdesejável monitorar apenas os componentes mais críticos e/ou caros.É desejável documentar a experiência e registrar informações sobreprojetos inovadores, pilotos;• no desenho de sistemas de monitoramento e avaliação. O tamanho eo tipo de projeto, bem como o nível de eficiência gerencial, deveminfluenciar no desenho de um sistema de monitoramento e avaliação.Um gerenciamento pouco competente não conseguirá tirar proveitode um sofisticado sistema. Os sistemas devem ser o mais simplespossível, e isso se aplica aos procedimentos de instrução, àdocumentação, comunicação e processamento de dados. Se umsistema informativo simples revela-se adequado, não há porquecarregá-lo com procedimentos mais complexos;• ao decidir sobre o balanço a ser dado quanto ao foco domonitoramento e avaliação, entre operação, desempenho e impacto.Esse balanço depende principalmente do tipo de projeto ouprograma, de seus objetivos principais, dos ditames políticos e dadisponibilidade de recursos. Recursos limitados constituem aprincipal razão pelos quais sistemas de monitoramento e avaliaçãoraramente cobrem operação, desempenho e impacto no seuconjunto (concentrando-se em uma ou, no máximo, duas dessasáreas). É usual que os projetos de irrigação tenham o foco naoperação e, talvez, no desempenho; projetos de segurança alimentarpreocupam-se mais com o impacto; projetos-piloto de grandeinteresse social (reforma agrária e combate à pobreza rural) sãodirecionados para as três áreas, mas com grande interesse noimpacto.
  41. 41. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos461.7. Outros Componentes da AvaliaçãoAlém dos componentes acima citados, a avaliação de impacto deprogramas e de projetos de desenvolvimento rural inclui três outroscomponentes: avaliação de custo-benefício e custo-eficácia, estudo defocalização e estudo de impacto sobre o capital social.A avaliação de custo-benefício e custo-eficácia possui um conjunto demetodologias e técnicas de análise de projetos capazes de evidenciar oimpacto (em termos de benefícios) vis-à-vis os seus custos. No custo-benefício, a análise faz uso de medidas monetárias capazes de produzirindicadores como valores presentes líquidos (VPL) e taxas internas deretorno (TIR). Esses indicadores são úteis na análise de projetos produtivos.O custo-eficácia é utilizado em uma grande gama de projetos cujosbenefícios não têm preços estabelecidos no mercado ou são de difícilmensuração em termos monetários, por isso, são utilizados como projetossociais e de infra-estrutura em que os cálculos do VLP e da TIR podem serdispensados. O Capítulo 3 é dedicado ao custo-benefício e ao custo-eficácia.O estudo de focalização é importante para avaliar se oprograma/projeto atinge o público-alvo. Nesse sentido, permite identificartanto o grau de vazamento quanto o nível de cobertura do programa. Ovazamento ocorre quando o programa atinge um público que nãopertence ao público-meta (um programa de combate à pobreza terávazamentos caso beneficie domicílios de maior renda em detrimento dedomicílios pobres). O nível de cobertura indica o percentual do público-meta que é beneficiado (o programa poderá ter destinado benefícios a50% da população pobre). Não é raro encontrar programas de combate àpobreza que tenham baixo vazamento e, mesmo assim, beneficiam umaparcela muito pequena dos pobres. Esse tipo de informação permite nãoapenas avaliar a focalização do programa, mas também qualificar asconclusões relacionadas com o impacto. Devido à importância dessetema, o Capítulo 4 traz uma discussão mais ampla dos conceitos, critériose metodologias de avaliação da focalização de programas.A nova geração de programas sociais de combate à pobreza temincorporado instrumentos e regras que visam aumentar o grau deorganização social, como promoção de ações que orientem asexpectativas e os comportamentos dos membros das comunidades,fortalecendo relações de cooperação e confiança mútua. Espera-se queessas ações cooperativas aumentem a eficiência dos esforços individuais epromovam melhor aproveitamento do capital físico e humano.
  42. 42. A hipótese central que norteia a inclusão desses objetivos nosprogramas é a de que as mudanças sócio-culturais e político-administrativas estão relacionadas ao processo de desenvolvimento decapital social que se expressa na organização comunitária e noempoderamento das populações pobres. Assume-se também que asformas descentralizadas de acesso à infra-estrutura e a outros tipos deativos de uso comunitário são fundamentais nesse processo. Discussãomais ampla do conceito de capital social e de metodologias para suaavaliação encontra-se no Capítulo 5.A Figura 1 representa uma síntese do conjunto de estudos propostospara avaliação do Programa de Combate à Pobreza Rural (PCPRII) noNordeste brasileiro. No exemplo destacado, estão contemplados todos osaspetos relacionados com a avaliação de impacto sobre o bem-estar,focalização, custo-benefício e custo-eficácia além do capital social. Paraesse conjunto de avaliações, são propostas várias metodologias eferramentas de análise (modelos econométricos, técnicas de pareamento emétodos de amostragem).Os capítulos que se seguem abordam metodologias e ferramentas quepodem ser associadas aos diversos objetivos da avaliação de programas dedesenvolvimento e combate à pobreza rural.SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos47
  43. 43. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos48Figura1SíntesedaavaliaçãodeimpactodoProgramadeCombateàPobrezaRural(Brasil)
  44. 44. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos492. A AVALIAÇÃODO IMPACTOA metodologia estatística disponível para avaliar os impactos de umprograma/projeto pode basear-se em um conjunto grande de modelosque inclui desde simples estatísticas descritivas a modelos estatísticos maiscomplexos. Esses modelos são utilizados em estudos de maiorprofundidade que procuram isolar e medir o impacto do programa,separando-o de outros efeitos e de modelos econométricos baseados emdados de painel. Em especial, esses dados correspondem a uma coletarealizada no início do programa e a outra algum tempo depois, quando osresultados já estão se manifestando. Este capítulo tem como objetivodescrever procedimentos e modelos estatísticos utilizados nadeterminação do impacto3, seja por meio de técnicas de estatísticadescritiva, seja por meio de modelos econométricos mais sofisticados.Técnicas como análise de cluster, análise de componentes principais eanálise fatorial de correspondências têm sido utilizadas com propósitodescritivo, visando captar os aspectos que se salientam nos dados.2.1. Experimentos, Quasi-Experimentos e Viés de SeleçãoA avaliação de impacto tem como objetivo, em primeiro lugar,identificar e quantificar os efeitos do programa. Em segundo, avaliar (e emque medida) a correspondência desses efeitos àqueles esperados edesejáveis. Os programas atuam e impactam pessoas, domicílios,comunidades; é, pois, preciso definir os efeitos esperados e onde serãomedidos. É evidente que um programa de assentamento terá efeitosprimários sobre as famílias beneficiárias, mas também poderão ter3 Em geral, antes de se proceder a uma avaliação de impacto, recomenda-se uma análise iniciale exploratória das informações e dos dados, cujos objetivos são: conhecer a realidade, a partir deestudos anteriores; examinar algumas hipóteses que podem ser úteis para a avaliação dosimpactos do programa que se vai analisar; identificar situações particulares que possam afetar osresultados esperados; explorar alternativas para explicar a evolução recente da realidade local; econtribuir tanto para qualificar os modelos analíticos passíveis de uso no processo de avaliaçãocomo para compreender melhor os resultados da própria avaliação. A análise exploratória étratada com mais detalhes no Capítulo 6.
  45. 45. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos50impactos sobre a comunidade local e até mesmo sobre o município.Portanto, é necessário avaliar se o programa/projeto está produzindo osefeitos esperados e desejáveis nos domicílios, comunidades, municípiose/ou nas sub-regiões. Isto é feito a partir da identificação adequada dequais seriam esses efeitos e dos indicadores a eles correspondentes.É fundamental determinar os efeitos líquidos das ações,ou seja,aquelesque se devem (e que decorrem das ações) a ações implantadas peloprograma, separando-os de possíveis efeitos de outros programas oumesmo de mudanças que ocorreriam de qualquer forma, independentede qualquer ação particular da política pública. Como exemplo, sabe-seque em condições normais uma criança deve crescer alguns centímetrosno primeiro ano de vida, logo, não seria legítimo atribuir todo ocrescimento do recém-nascido à política de saúde.Algumas questões-chave devem ser respondidas:• como o programa afeta os beneficiários?• as melhorias são resultantes diretas do programa ou elas poderiamter acontecido de qualquer forma com a sua ausência?• o desenho do programa poderia ser modificado no sentido deampliar o seu impacto?Para assegurar o rigor metodológico, a avaliação do impacto sobre obem-estar deve estimar o que teria acontecido caso o programa nãotivesse existido (counterfactual). Os exemplos do crescimento da criançaou dos testes de um novo medicamento ajudam a esclarecer anecessidade de examinar não apenas o que acontece após a ação do setorpúblico, mas também o que teria acontecido sem essa ação. Da mesmamaneira que não é possível atribuir todo o crescimento de uma criança àpolítica de saúde, não seria verdadeiro atribuir a cura de todos os doentesao novo medicamento em teste. Em ambos os casos, estar-se-ia ignorandoos benefícios da ação do próprio organismo humano sobre o crescimento,bem como dos mecanismos próprios de reação aos ataques de vírus ebactérias que, na prática, impedem doenças e são os responsáveis pelamaior parte das curas de muitas enfermidades.Assim,qual seria a evoluçãodos indicadores se o programa não tivesse existido?O quadro em comento implica separar efeitos do programa dos efeitosde outros programas que podem estar em execução nas mesmascomunidades/regiões. A análise deve considerar que o efeito puro doprograma em um determinado produtor, que não seja beneficiado poroutros programas, pode ser menor do que o efeito em produtores que jápossuam outros programas em execução, ou seja, a combinação podecriar efeitos sinérgicos.
  46. 46. SÉRIE DESENVOLVIMENTO RURAL SUSTENTÁVELAções de combate à pobreza rural:metodologia para avaliação de impactos51Para determinar o counterfactual, é necessário eliminar os efeitosproduzidos por outros fatores. Essa tarefa não é simples, mas pode serrealizada por meio de grupos de controle (comunidades e domicílios quenão participam ou não recebem os benefícios do programa), os quais sãocomparados com o grupo de beneficiários (indivíduos diretamentebeneficiados pelo programa). Um grupo de controle deve ser selecionadoaleatoriamente da mesma população em que se encontra o grupo debeneficiários e deve ser o mais semelhante possível ao grupo debeneficiários em todos os aspectos, exceto o fato de participarem ou nãodo programa. Um dos métodos utilizados para garantir a semelhança dogrupo de controle com o grupo de beneficiários é o chamadopareamento amostral, que será tratado adiante.A determinação do counterfactual é a questão central no desenho deuma avaliação de impacto. Não é tarefa fácil eliminar os efeitos decondições históricas diferentes, e possível viés de seleção, dos impactosobservados. A literatura apresenta várias metodologias para contornaresses problemas, dentre as quais se destacam os desenhos experimentais(aleatórios) e quasi-experimentais (não aleatórios). Além dessas categorias,encontram-se ainda métodos qualitativos e participativos que podemprover inferências e interpretações mais profundas a partir da perspectivados beneficiários e dos processos que determinam os resultados.2.2. Desenho ExperimentalO desenho experimental costuma ser considerado como a mais robustadas metodologias de avaliação de impacto.Implica comparar um grupo deindivíduos previamente escolhido para receber benefícios com outrogrupo (também previamente escolhido) que não receberá os benefícios.Uma amostra de beneficiários deve ser escolhida em processo aleatório,permitindo que se criem, por meio do próprio mecanismo de focalização,grupos comparáveis de beneficiários e não beneficiários (grupos decontrole). Os dados estatísticos dos dois grupos seriam equivalentes eapresentariam características socioeconômicas semelhantes. Seria possívela ambos receber os benefícios, mas apenas um grupo seria beneficiado.Nesse caso, o grupo de controle opera como um perfeito counterfactual,livre de problemas relacionados ao viés de seleção que existem em todasas avaliações.A principal vantagem dessa técnica é a simplicidade com que osresultados podem ser interpretados. O impacto do programa nosindicadores (saúde, educação, consumo e capital) pode ser avaliado por

×