Este documento discute a avaliação de políticas públicas no IV Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto. Apresenta conceitos-chave como formação e gestão de políticas, tipologia de políticas, e o papel da avaliação no processo de políticas públicas. Discute como a avaliação deve ocorrer ao longo de todo o ciclo de políticas, e não apenas no final, para melhorar continuamente a formulação e implementação de políticas.

1. IV Seminário de Avaliação de Políticas
Públicas e Qualidade do Gasto
Secretaria da Fazenda (Sefaz), Secretaria do Planejamento, Gestão e
Participação Cidadã (Seplag), Fundação de Economia e Estatística (FEE),
Tribunal de Contas
Estado do Rio Grande do Sul
Porto Alegre – 5-6 de dezembro de 2011
Sonia Nahas de Carvalho

2. Desenho, tipos de políticas e a posição ocupada
pela avaliação
 Agenda de governo, formação e gestão de políticas
 Tipologia de políticas públicas
 Avaliação e processo das políticas públicas
Sonia Nahas de Carvalho

3. AGENDA DE GOVERNO, FORMAÇÃO E GESTÃO DE
POLÍTICAS
FORMAÇÃO GESTÃO
Decompostos em:
Estabelecimento da Escolha entre alternativas
agenda de políticas
Definição de alternativas
Implementação da decisão
AVALIAÇÃO DA POLÍTICA E DAS POLÍTICAS
Sonia Nahas de Carvalho

4. Processo complexo e em geral longo
FORMAÇÃO Introdução da questão na agenda social e
passagem para a governamental
Embates entre alternativas de solução
Apropriação do problema pelos agentes
Formulação e decisão da política
Estabelecimento das estratégias de
implementação
GESTÃO Implementação da decisão
atividades-meio
atividades-fim (execução propriamente dita)
Sonia Nahas de Carvalho

5. TIPOLOGIA DE POLÍTICAS
1. Distributivas
Remete à noção de arenas de
2. Regulatórias
políticas públicas
3. Redistributivas
Referências conceituais
 Uma política pública ou um conjunto de políticas se enquadra em uma
arena e não em outra, pois as categorias para esse enquadramento são
distintas.
Sistemas de participação e de decisão estruturam-se mutuamente e se
interrelacionam à luz do objeto de decisão.
 Portanto, é preciso conhecer o objeto de decisão e as possibilidades
de sua divisão.
Sonia Nahas de Carvalho

6. Objeto de decisão
... que determina a capacidade de sensibilizar atores
políticos, sua forma de atuação e o exato instante em que a
decisão será tomada.
... em função de suas características poderá ocorrer a
ampliação ou limitação dos atores participantes.
... suas características específicas poderão também contribuir
para redefinir o próprio objeto de decisão, distinto daquele
proposto no momento inicial.
Sonia Nahas de Carvalho

7. E o que é objeto de decisão?
Nada mais é que o resultado do processo que
transforma questões sociais em problemas
merecedores de atenção pública.
Ou seja, problemas que se tornam itens da
agenda governamental.
Sonia Nahas de Carvalho

8. Que coalizão de forças é necessária para a
emergência de uma política destinada a solucionar
um dado problema?
A coalizão de forças existente e novas forças
eventualmente invocadas são impostas pelo objeto em
decisão. Em conjunto irão determinar processos de
participação mais limitados ou que permitam incluir novos
atores.
Resultado: alteração ou não do equilíbrio de forças, com
ou sem deslocamento do objeto proposto no momento
inicial.
Sonia Nahas de Carvalho

9. Políticas da arena distributiva
Facilmente desagregadas e distribuídas. Em consequência, é inevitável a
multiplicação de interesses e acesso.
Tendem para decisões altamente individualizadas. De baixa
visibilidade, as decisões não proporcionam incentivos à participação.
Em geral, inexistem conflitos, acordos e interesses. Em decorrência, as
coalizões formam-se por pessoas que nada possuem em comum.
Arena clientelista por excelência. A possibilidade de multiplicação de
itens não relacionados uns com os outros permite uma multiplicidade de
contemplados.
A inexistência de confronto direto entre ganhador e perdedor é a melhor
maneira de oferecer proteção e evitar conflito.
Sonia Nahas de Carvalho

10. Políticas da arena regulatória
Como as distributivas, são também específicas e individuais. Porém,
não se prestam a um alto grau de divisibilidade como nas políticas
distributivas.
As decisões individuais ocorrem pelo cumprimento de uma lei mais
geral e, somente assim, tornam-se interrelacionadas dentro dos padrões
mais amplos da lei.
Coalizão típica: surge a partir do conflito e do acordo de interesses
divergentes que normalmente envolvem todo um setor da economia. Na
medida que elas se formam em torno de interesses divididos, as coalizões
mudarão quando houver novos conflitos de interesse ou quando
interesses tiverem sido atendidos.
Sonia Nahas de Carvalho

11. Políticas da arena redistributiva
Altamente agregadas e envolvem grandes categorias sociais.
Por consequência, decisões individuais apresentam-se
interrelacionadas.
Coalizões: tendem a se concentrar em dois polos, que são claros,
estáveis e consistentes, aproximando-se da distinção clássica de
classes sociais.
Sonia Nahas de Carvalho

12. AVALIAÇÃO E PROCESSO DAS POLÍTICAS PÚBLICAS
Entender políticas públicas pressupõe a noção
de processo e, como tal, requer revisões
periódicas.
Sonia Nahas de Carvalho

13. Processo contínuo de tomada de
decisões Configuração do
quadro real das
 Decisões para mais bem ajustar ações ao
políticas públicas.
objeto da política.
 Decisões que podem alterar a política
substancialmente.
Uma política pública NÃO se Somente na aparência,
configura como sequência formulação, implementação e
linear de etapas. avaliação são etapas distintas.
Portanto, a avaliação é parte
constitutiva do processo da
política pública
Sonia Nahas de Carvalho

14. 1º pressuposto
Se políticas públicas configuram-se como processo
contínuo de decisões que se alternam
permanentemente,
 o objeto central da avaliação é o processo das políticas
públicas
 e o sistema das políticas públicas é o processo em
fluxo
Sonia Nahas de Carvalho

15. Dois aspectos a considerar
1. Processo temporal de redefinição dos objetos em jogo,
como resultado de decisões anteriores.
2. Processo pelo qual se altera a própria definição do que
é e do que não é objeto de decisão política.
Sonia Nahas de Carvalho

16. 2º pressuposto
Uma intervenção pública – política ou programa –
desde sua entrada na agenda de governo até sua
execução final é permeada por redes de poder,
influência e interesses que não atuam de forma linear.
Ao contrário, é tenso e conflitivo de tal forma que pode
alterar a direção prevista originalmente.
Sonia Nahas de Carvalho

17. Se avaliação é parte constitutiva do processo da política
pública, ela não se confunde à etapa final de seu processo.
Como princípio, a avaliação deve se remeter à noção de
análise, pois ela ocorre ao longo de todo o processo, seja
 na formação da agenda,
 na formulação das políticas,
 na implementação da política através de programas,
 nos impactos ou efeitos sociais provocados pelas
ações públicas.
Sonia Nahas de Carvalho

18. 3º pressuposto
Há sempre a geração e agregação de conhecimento,
entendido como aporte técnico pelo qual dados são
processados em informações, necessários à
definição e delimitação
 de problemas,
 de alternativas de solução e
 de procedimentos de operacionalização para
tratar problemas.
Sonia Nahas de Carvalho

19. FORMAÇÃO GESTÃO
CONHECIMENTO
Recurso a metodologias, conceitos e procedimentos
destinados a organizar conflitos, a agregar parâmetros
técnicos e a contribuir para ampliar a eficiência ao
processo das políticas públicas.
Sonia Nahas de Carvalho

20. Relação entre as dimensões conhecimento e política para entendimento
das políticas públicas
1º) superar (se houver) o entendimento de recursos técnicos como
sinônimo de racionalidade técnica ou de neutralidade.
2º) afastar-se da visão tecnicista do processo das políticas públicas
De qualquer forma, recursos técnicos estão disponíveis e
devem ser utilizados.
Duas questões
- Em que medida recursos técnicos contribuem (ou interferem?)
para a tomada de decisões ao longo de todo o processo das
políticas públicas?
- Como a dimensão técnica pode ser incorporada ou apropriada
no processo das políticas públicas?
Sonia Nahas de Carvalho

21. Possibilidade de resposta
- Reconhecer a dimensão política.
Como?
- Ampliando o escopo analítico: ao lado de análises custo-
benefício, proposto-realizado promover análises de processo de
tomada de decisão, identificando razões que fundamentaram
determinada decisão e não outra e dificuldades encontradas
durante a execução. Com isso, poder-se-á mais bem qualificar a
relação entre proposto e realizado e entre custos e benefícios.
- Ampliando o conhecimento dos processos sociais e das
estruturas institucionais para além do objeto específico da
política pública.
Sonia Nahas de Carvalho

22. Diante do exposto, o avaliador precisa perguntar...
Sonia Nahas de Carvalho

23. Quais os objetos de decisão? Por que estes e
não outros? Como questões se transformam Formação da Agenda
em problemas merecedores de decisão
A
pública?
V
Qual alternativa de intervenção foi escolhida?
A Por que esta e não outra? Qual diagnóstico Formulação
para qual problema? Que recursos foram
L
mobilizados?
I
A Objetivos e metas são atingidos? É preciso Implementação
rever os mecanismos de funcionamento do
Ç programa? Os objetivos originais foram
redefinidos? Eles precisam ser revistos?
Ã
Os efeitos sociais esperados foram
O alcançados? Houve efeitos não esperados?
Ampliar a efetividade das políticas. Ou seja, garantir quantidade,
qualidade e alocação de recursos públicos compatíveis ao
propósito de, pelo menos, melhorar as condições sociais.

24. Bibliografia de referência
AGUILAR, Maria José e ANDER-EGG, Ezequiel. Avaliação de serviços e
programas sociais. Petrópolis: Editora Vozes, 1994.
COHEN, Ernesto e FRANCO, Rolando. Avaliação de projetos sociais.
Petrópolis: Editora Vozes, 1993.
CARVALHO, Sonia Nahas de. Avaliação de programas sociais: balanço das
experiências e contribuição para o debate. São Paulo em Perspectiva. 17(3-
4): 185-197, 2003. http://www.seade.gov.br/produtos; www.scielo.br
FIGUEIREDO, M.F. e FIGUEIREDO, A.M.C. Avaliação política e avaliação de
políticas: Um quadro de referência teórica. Análise & Conjuntura. Belo
Horizonte, 1 (3), set./dez. 1986, pp. 107-127.
IPEA. Vinte anos da Constituição Federal. Políticas sociais: acompanhamento
e análise, volume 17. 2010 (3 volumes).
LOWI, T. American business, public policies, case-studies and political theory.
World Politics, 16(4). Jul 1964.
Sonia Nahas de Carvalho

25. Bibliografia de referência
RODRIGUES, Lea Carvalho . Propostas para uma avaliação em profundidade de
políticas públicas sociais. AVAL REVISTA AVALIAÇÃO DE POLÍTICAS
PÚBLICAS, v. 1, p. 1-15, 2008.
SAAVEDRA, Jaime. Importancia de M&A. In: BANCO MUNDIAL, BANCO
INTERAMERICANO DE DESENVOLVIMENTO. Hacia la institucionalización de
los sistemas de monitoreo y evaluación en América Latina y el Caribe – II
Conferencia Regional de M&E. Julho de 2007.
SILVA E SILVA, Maria Ozanira. Avaliação de Políticas e Programas Sociais:
aspectos conceituais e metodológicos. In: SILVA E SILVA, Maria Ozanira.
Avaliação de políticas e programas sociais: teoria & prática. São Paulo:
Veras Editora, 2001.
WORTHEN, B.R.; SANDERS, J.R.; FITZPATRICK, J.L. Avaliação de Programas:
concepções e práticas. São Paulo: Editora Gente, 2004.
Sonia Nahas de Carvalho

26. ANEXO
Construção da agenda de trabalho
POLÍTICAS PÚBLICAS E AVALIAÇÃO
Sonia Nahas de Carvalho

27. AGENDA DE TRABALHO
Por que construir uma agenda?
Dar sistematicidade à ampla variedade de estudos de
avaliação de políticas e programas desenvolvidos.
Avaliar a capacidade explicativa dos modelos
analíticos utilizados.
Preocupação Ou como os modelos lidam com:
central  conteúdo e contexto de programas / políticas?
 formal e real?
 “olhar para trás” e “olhar para frente”?
Sonia Nahas de Carvalho

28.  Unicidade ou diversidade de objetivos a considerar nos projetos de
avaliação?
 Dar eficiência às decisões?
 Melhorar a qualidade da ação pública?
 Medir o desempenho dos programas?
 Ampliar a efetividade das políticas?
 Unicidade ou diversidade de modalidades de análise avaliativa?
 De conteúdo (texto)
 De contexto (social, político, econômico, cultural)
 Organizacional (relações de poder, jogo de interesses, estruturas
burocráticas, etc)
 Perspectivas de institucionalidade da avaliação relacionam-se com
 Existência de planejamento + orçamento (planos setoriais; PPA)?
 Mudança nas formas de gestão pública (Estado com foco em resultados)?
 Uso real dos resultados da avaliação? Retroalimentação no desenho das
políticas e programas?
Sonia Nahas de Carvalho

29. É preciso distinguir avaliação política e avaliação de políticas públicas?
 Avaliação política – referenciada a juízos de valor, princípios?
 Avaliação de políticas – apoiada nos critérios de eficiência, eficácia e
efetividade?
 É preciso distinguir avaliação de políticas e avaliação de programas ou
projetos?
 quanto a objetivos?
 quanto a metodologias?
 Quem é o “cliente” da avaliação?
 Exigência das agências multilaterais de financiamento?
 Democratização e controle social?
 Ampliação da eficiência e eficácia e, quem sabe, da efetividade da ação
pública?
Sonia Nahas de Carvalho

30. Obrigada
Sonia Nahas de Carvalho
sonahas@seade.gov.br
sonianahasdecarvalho@gmail.com
Fundação Sistema Estadual de Análise de Dados - SEADE
Sonia Nahas de Carvalho