Desenho e Marco Lógico para Avaliação de Programas

Desenho e Marco Lógico para Avaliação de Programas Victor Maia Senna Delgado – Fundação JoãoPinheiro - MG II Seminario de Avaliacao de Políticas Publicas FEE-RS 28 - Setembro de 2009 Porto Alegre

Introdução.

O marco lógico resgata princípios da política de planejamento estratégico .

Todo programa necessita de um planejamento que o insira em um plano maior de estado ou de governo.

Além de ser também necessário inseri-lo em uma teoria que justifique sua atuação.

Mas o principal motivador para o surgimento de programas é o componente político.

Introdução.

Vontade Política.

Recursos Financeiros.

Contexto.

Estrutura.

Teoria.

Introdução.

Todo projeto tem implícito um modelo causal, uma hipótese ou conjunto de hipóteses que orientam a intervenção!

A formulação do modelo causal não é tarefa simples! Problemas sociais são multifacetados, com causas múltiplas que interagem. Exemplo: Pobreza.

É difícil estabelecer as cadeias de causalidade.

Assim, às vezes é difícil definir os mecanismos necessários para enfrentar o problema!

Frequentemente, as bases teóricas que sustentam as intervenções são frágeis!

Planejamento: Objetivos Metas Ações Indicadores

Planejamento: Objetivos Metas Ações Indicadores Resultados

Planejamento: Objetivos Metas Ações Indicadores Resultados Avaliação

O Ciclo da Política Pública Fase 1 Identificação do Problema Fase de Desenvolvimento da Política Análise Ex-ante Fase de Avaliação de Política Análise Ex-post Fase 2 Formulação da Política Fase 3 Implementação da Política Fase 6 Feedback Fase 5 Pesquisa de Avaliação Fase 4 Desenho da Avaliação

Processo de desenvolvimento de uma política Análise de custo-benefício Os impactos são alcançados com um custo razoável? Eficiência do Programa Avaliação de Impacto O programa está tendo os efeitos desejados? Resultados do programa Avaliação de processo, monitoramento A operação está de acordo com o planejado? Operação do programa Avaliação de processo Como o programa deve operar? Implementação do programa Avaliação ex-ante, simulações Qual é a melhor abordagem? Seleção de programa Desenvolvimento e avaliação da teoria do programa Quais intervenções poderiam produzir as mudanças desejadas? Design de alternativas para o programa Avaliação de necessidade O que precisa ser feito? Estabelecimento de objetivos Avaliação de necessidade, trabalho diagnóstico Qual é o problema e quais são as necessidades? Avaliação do problema e das necessidades Estratégia de Avaliação Pergunta Estágio do Programa

Planejamento e Marco Lógico.

A construção de um marco lógico é muito auxiliada pelos itens de planejamento.

Mas não se constitui exatamente o planejamento. Nem mesmo é um projeto do programa.

Marco Lógico é um conjunto de estruturas e modelos que nos permitem compreender o programa por inteiro.

Ele exige que haja definição de público-alvo , métodos e maneiras de implementação , avaliação de recursos (Humanos e de Capital), definição clara de objetivos e dos resultados .

Marco Lógico.

Bamberguer (2006) ressalta que o marco lógico deve nos servir para pensar de forma mais analítica sobre causa e efeito do programa:

identificar relações entre componentes do programa (considerar relações internas do programa)‏

Clarificar os objetivos e metas de longo prazo do programa.

Identificar os principais indicadores para M&A.

Identificar as principais premissas que fundamentam o programa.

Desenvolver nossas perguntas para avaliação.

visualizar um programa dentro do contexto (considerar fatores no ambiente social/físico que são externos ao programa, mas podem influenciar os resultados do programa)‏

Marco Lógico.

O Roteiro (Plano de Trabalho) proporcionado pelo marco lógico permite identificar também possíveis falhas do programa.

O marco lógico permite esclarecer à sociedade e planejadores (“por no papel”) tudo que os gestores do programa estão pensando.

Já o desenho do programa é a identificação de como o programa ira atuar, prevendo a cadeia de atuação da maneira mais completa possível.

Identificando possíveis incentivos contrários ao funcionamento ao programa juntamente com outros pontos críticos .

Desenho do Programa. Insumos Atividades Produtos Objetivos Quais os insumos necessários para operar o programa? Esses insumos são usados para realizar as ações necessárias Se as atividades forem feitas de maneira correta, estes produtos serão alcançados Se esses benefícios forem atingidos, espera-se que ocorram estas mudanças na sociedade ou comunidade.

Desenho do Programa. Desenho Insumos Processo de Imple- mentação Produtos Resultados Impactos Sustentabi- lidade Contexto econômico no qual o projeto opera Contexto político no qual o projeto opera Contexto institucional e operacional Características sócio-econômicas e culturais das populações afetadas Ambiente físico

Entender os componentes do Desenho do Programa e de seu marco lógico é fundamental para que se possa então medir seu impacto .

Ou avaliar o por quê de não ter havido impacto.

Permite obter um previsão de quais os fatores sociais mediadores são mais importantes e quais não são.

Além de expor a lógica causal do modelo explícitamente, o que permite até uma avaliação metodológica mais adequada.

Ferramentas para o Diagnóstico:

Mulheres tem acesso limitado a oportunidades econômicas devido à falta de acesso ao crédito e outros recursos produtivos e ao controle social O projeto oferece crédito, assistência Técnica e formação em grupo Mulheres criam empresas Mulheres não criam empresas Uso para dote Mulheres pagam as dívidas Marido toma Os lucros Geração de lucros Melhora do bem-estar da família no curto prazo Lucro re-investido Empresa mantida Empresa fracassa Limitações de tempo Falta de demanda Pressões sociais Falta de recursos produtivos Melhora permanente do bem-estar familiar Moradia melhorada Nutrição, saúde, roupas Educação melhorada, especialmente p/ meninas Melhoras econômicas Modelo da Cadeia de Resultados para o Programa de Desenvolvimento de Pequenos Negócios de Mulheres Resultados Positivos Resultados negativos

Identifica os atores envolvidos no problema (indivíduos ou instituições que podem ser afetados pelo projeto direta ou indiretamente)‏

Identifica riscos e conflitos que interferem no êxito de uma intervenção.

Identifica os interesses dos atores.

Identifica o problema central e estabelece as relações de causalidade envolvidas.

Estabelece as causas e conseqüências de determinado problema.

Auxilia na concepção e previsão de um tempo de maturação de um programa.

A B C 1 2 3 4 5 6 7 Ano E F E I T O Início do projeto Final do projeto Diferentes cenários para a variação dos efeitos do projeto ao longo do tempo

Muitos projetos são bem desenhados, mas não conseguem alcançar seus impactos por causa de problemas durante a implementação. Esses problemas podem:

Reduzir a efetividade (reduz a potencialidade).

Resultar em alguns grupos serem mais beneficiados do que outros (Erro de Vazamento).

Afetar a sustentabilidade e replicabilidade (não como manter ou realizar o scalling up do programa).

O Marco Lógico e o desenho são aliados que auxiliam na metodologia da avaliação de impacto.

São aliados dos gestores para entender e divulgar o processo.

São aliados da sociedade pois permitem um entendimento mais claro das diretrizes das ações e medidas adotadas.

No entanto no Brasil são muito pouco utilizados e há muito poucas avaliações de processo e de implementação.

Conclusões.

Marco Lógico e desenho do programa são importantes ferramentas de implementação e avaliação

Podem ser desenvolvidos no âmbito do planejamento e em linha com os planos Plurianuais.

Comunica informação essencial aos envolvidos no projeto de forma eficiente e estrutura o projeto de forma lógica.

Auxilia no desenho do plano de avaliação e na determinação das perguntas a serem respondidas.

Apesar da importância no Brasil, há pouca programação para o seu uso e pouca avaliação dos procedimentos adotados que envolvem o marco lógico de um programa.

Obrigado!