V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominica...
Upcoming SlideShare
Loading in …5
×

Clad0038402

379 views

Published on

Published in: Design
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
379
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Clad0038402

  1. 1. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000 Avaliação de políticas públicas na América do Sul.1 A avaliação de programas públicos: uma estratégia de análise Pedro Luiz Barros Silva2 Nilson do Rosário Costa3 Outubro de 2 000CAPÍTULO 1: UMA REVISÃO DOS ESTUDOS NACIONAIS SOBRE O FORTALECIMENTO DA FUNÇÃO AVALIAÇÃO NA AMÉRICA DO SUL1. INTRODUÇÃOEste capítulo analisa os documentos sobre a situação da função de avaliação em três países daAmérica do Sul: Brasil, Argentina e Chile. Os trabalhos foram elaborados respectivamente peloMinistério do Planejamento e Orçamento/Instituto de Pesquisa Econômica Aplicada “A ExperiênciaBrasileira e o Caso do Brasil em Ação”, Brasília, Março de 1999; Ministério de Planificación yCooperación/República de Chile “Instrumentos de Evaluación de la Gestión Pública y los ProgramasPúblicos del Estado Chileno”, Santiago, Dezembro de 1998; Clarisa Hardy “Sistema de Información,Evaluación y Monitoreo de Programas Sociales – SIEMPRO – de Argentina, Buenos Aires, Setembrode 1998Os documentos de consultores trazem contribuições diferenciadas sobre o estado da arte daavaliação nos contextos nacionais do Brasil, Chile de Argentina.Os relatórios sobre Brasil e Chile a) situam o desenvolvimento da avaliação no contexto macro-econômico e demonstram que esses países tem definido nos anos recentes orientaçõesestratégicas compreensivas para avaliação do das políticas públicas nacionais. O relatóriosobre a Argentina b) descreve a centralização institucional das atividades de produção deinformações sociais e o desenvolvimento da avaliação de programas sociais focalizados.O trabalho sobre o caso brasileiro oferece um quadro referencial sobre os conceitos e opçõesmetodológicas para a avaliação. Esse quadro de referência é compreensivo em razão dos conceitosoperacionais e os problemas metodológicos apresentados estarem implicitamente presentes nosrelatórios dos casos analisados de Argentina e Chile.O relatório brasileiro aponta a definição de avaliação da OECD (Organization for EconomicCooperation and Development): avaliação é uma estimativa das características e efeitos de umapolítica ou de um programa ou projeto, concluído ou em fase de execução, da sua concepção,implementação e resultados. Ela visa determinar a relevância e realização dos seus objetivos esua eficiência, eficácia, impactos e sustentabilidade do ponto de vista do desenvolvimento.Uma avaliação deve suprir informações críveis e úteis e permitir a absorções dos resultadospelo processo decisório e pelos beneficiários das políticas e programas.Os relatórios tratam da avaliação de políticas públicas em diferentes níveis de abrangência.Descrevem os esforços institucionais para a implementação de avaliações nacionais ou global,como as dedicadas às avaliações da política econômica ou social, e o desenvolvimento da avaliaçãono nível setorial (política de educacional, por exemplo), no nível multisetorial, territorial e a análisedo desempenho de projetos específicos.1 Trabalho apresentado no painel “Estado Democrático e Governança no Século XXI: reformando a reforma” do VCongresso Internacional do CLAD sobre Reforma do Estado e Administração Pública.2 Administrador Público, Doutor em Ciência Política e Coordenador do Núcleo de Estudos de Políticas Públicas – NEPP daUniversidade Estadual de Campinas – UNICAMP.3 Sociólogo, Doutor em Planejamento Urbano, Coordenador de Pesquisa da ENSP/FIOCRUZ.
  2. 2. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000Os relatórios assinalam que os objetivos da função de avaliação se diferenciam das atividadesde auditagem ou monitoramento dos processos formais associados à administração pública.As atividades consideradas nos estudos como de função de avaliação foram aquelas que buscaramcaracterizar a validade, utilidade, eficiência e efetividade de programas e políticas, em termosdos seus resultados, impactos e repercussões econômicas e sociais. Portanto, que tiveramcomo meta a geração de resultados ou recomendações para a melhoria da eficiência e daefetividade da ação do governo.As funções de avaliação analisadas foram as que responderam a objetivos finais e objetivosinstrumentais de melhoria da performance governamental. Melhorar a eficiência do gasto público e aeficácia da ação de governo tem sido o objetivo final de muitas atividades de avaliação assim comoas avaliações tem servido para objetivos instrumentais ao contribuírem para a melhoria da qualidadeda gestão pública por um processo de realimentação ou “feedback”.As avaliações analisadas nos relatório também estiveram orientadas por exigências de clientesinstitucionais ou usuários financiadores que condicionaram a natureza, o formato, a profundidade e aforma de divulgação dos resultados do processo avaliativo.O desenvolvimento da capacidade institucional de avaliação descrito pelos relatórios nacionais indicasobretudo o crescimento da exigência de legitimação dos programas e políticas implementadas peloExecutivo face as demandas por accountability (responsabilização) feitas pelos Poderes Legislativo eJudiciário e das pressões intra-governamentais por transparência e maior visibilidade do processodecisório, advindas, principalmente, dos Tribunais de Conta. Além da crescente difusão naadministração pública das demandas por qualidade de governo que afetam organizações eprogramas públicos.Um aspecto importante desse processo é o interesse da sociedade como um todo e, em particular,dos segmentos da comunidade que podem se caracterizados como “stakeholders” de determinadosprogramas governamentais. É exigido dos programas sociais, por exemplo, a definição demecanismos de acompanhamento e avaliação que facilitem a comunicação do governo com osbeneficiários e atendam aos requisitos de responsabilização perante a sociedade.2. SÍNTESE DAS SITUAÇÕES NACIONAIS ESTUDADASApresenta-se, a seguir, as principais características da função avaliação nos países estudados.2.1 BrasilO relatório assinala que o país tem experimentado uma grande variedade de conceitos e abordagensem relação a função de avaliação, especialmente no contexto da experiência de planejamento,gestão governamental e em desenvolvimento de programas sociais no nível federal.A experiência brasileira nesse setor é ampla e diversificada, mas considerada insuficiente einsatisfatória. As avaliações de programas de governo se caracterizam, salvo alguns programas naárea social, pela dispersão e descontinuidade e as evidências e resultados são raramentedocumentadas e sistematizadas. Isso deve-se as duas características dominantes do planejamentogovernamental do país: a) a ênfase ao processo de formulação de planos e elaboração de programas e projetos; b) alta negligência as etapas de acompanhamento e avaliação dos processos, resultados e impactosO relatório apresenta mapeamento detalhado das iniciativas descontínuas e difusas deacompanhamento e avaliação em cinco níveis de planejamento: • Planos nacionais; 2
  3. 3. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000 • Planos e programas regionais; • Programas setoriais; • Projetos financiados por bancos de fomento; • Planejamento estadual.O mapeamento evidencia o amplo universo de experiências de acompanhamento e avaliação nosníveis federal e estadual cujos os resultados estão dispersos e não foram adequadamenteanalisados, justificando-se pesquisas adicionais com o objetivo de gerar subsídios para oaperfeiçoamento dos processos de planejamento e gestão na administração pública. Em resumo, oprocesso de implementação de programas e projetos têm apresentado como características centrais: • gerenciamento difuso • descontinuidade • implementação à margem ou em paralelo à estrutura da burocracia formal.2.1.1. A Experiência do Sistema de Acompanhamento do Programa de Ações Prioritárias do Governo Federal no NordesteEm meados da década de 1990 a criação do Sistema de Acompanhamento do Programa de AçõesPrioritárias do Governo Federal no Nordeste procurou ampliar as condições de eficácia naimplementação do programa pela introdução da perspectiva da avaliação aos processos deformulação e implementação. Tratava-se de um programa de grande envergadura orçamentária ecom financiamento externos e de bancos oficiais federais direcionado para setores consideradosestratégicos para o desenvolvimento do Nordeste.Quando da montagem do Sistema de Acompanhamento no ano de 1996, solicitou-se as seguintesprovidências: • levantamento de todas as informações disponíveis sobre essas Ações; • elaboração e promulgação de marco institucional normativo; • definição de esquema de trabalho conjunto dos vários Ministérios envolvidos; • planejamento e organização de sistema metodologia de trabalho; • definição de responsabilidades individuais pelos diferentes segmentos do trabalho.A idéia central fora definir um projeto piloto de sistema de acompanhamento e avaliação queorientasse as avaliações de todos os programas regionais do governo. Para tanto sugeriu-se asseguintes iniciativas: •definição prévia dos objetivos da avaliação •levantamento prévio das informações e relatórios já disponíveis dos programas e projetos •definição relações formais com os implementadores para acessar as informações, evitando a multiplicidade de interlocutores; • concepção de indicadores sintéticos e operacionais; • caracterização de formato básico dos relatórios de avaliação para garantir agilidade, uniformidade e coerência.Foram apresentados à Câmara de Políticas Regionais relatórios de acompanhamento especificando,em relação a cada programa ou projetos, as seguintes variáveis: • objetivos gerais; • objetivos específicos; • metas quantitativas; • aspectos qualitativos; • indicadores sintéticos para avaliar o grau de execução das metas; • problemas financeiros; • problemas operacionais; • problemas gerenciais e institucionais; 3
  4. 4. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000 • sugestões e recomendações de medidas corretivas.Esse roteiro gerou relatórios sintéticos – de no máximo 10 páginas – e objetivos com um conjunto deindicadores selecionados orientados para a avaliação dos projetos em termos de dificuldades edeficiências encontradas e sugestões para a eliminação dos problemas identificados. Esses relatóriospermitiram a introdução de mudanças substantivas no processo de implementação, demonstrando aas grandes potencialidades do sistema de avaliação como um instrumento de monitoramento ecorreção da ação do governo.2.1.2. A Primeira Etapa do Plano Plurianual (PPA)A política do Plano Plurianual (PPA) para o período 1996/1999 definida pelo governo federal foi atentativa mais abrangente de ação de política pública para a viabilização de objetivos estratégicos demodernização do estado; redução de desequilíbrios espaciais e sociais e inserção competitiva dopaís. A lei que aprovou o PPA estabeleceu a exigência de um relatório de acompanhamento doPlano, detalhando uma exigência geral já estabelecida pela Constituição de 1988.A metodologia utilizada compreendeu basicamente: • Levantamento final do dados relacionados do PPA disponibilizados nos sistemas informatizados de planejamento e execução orçamentária do governo federal; • Repasse dos dados para os órgãos setoriais para identificação dos que são de utilidade para acompanhamento dos projetos e atividades do PPA; • Confronto do valor programado com o valor executado; • Levantamento junto aos órgãos setoriais dos dados relacionados com programação e execução física, para cada meta do PPA; • Preparação da distribuição de freqüência, relacionando metas e o grau de execução física.A analise do relatório do ano de 1997 revela um documento mais descritivo do que analítico, queapresenta uma visão geral da ação do governo em cada área. A despeito da grande massa deinformação coletada, não uma análise que consolide os dados em indicadores sintéticos dedesempenho.O relatório sobre o caso brasileiro assinala as dificuldades também de natureza operacional para aformulação de indicadores de avaliação sintética do PPA: • Formas de apresentação divergentes entre o PPA e o Orçamento Geral da União (os sistemas informatizados do PPA e de acompanhamento orçamentário do governo – SIAFI, SIDOR e SIEST não são compatíveis); • Projetos e atividades cujos recursos tem destinação múltipla, exigindo ajustes para identificar os valores programados; • Projetos cujo financiamento é complementado com recursos extra-orçamentários; • Dependência total dos órgãos executores para o levantamento da execução física das metas do PPA; • Ausência de informações e parâmetros de permitam obter uma avaliação de desempenho do governo em termos de execução física de suas metas2.1.3. O novo modelo de planejamento para o Brasil em AçãoDiante dessas dificuldades operacionais, a Secretaria de Investimentos Estratégicos do Ministério doPlanejamento e Orçamento detalhou um novo modelo de planejamento com definições e orientações 4
  5. 5. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000básicas. O processo de planejamento tem início: • pelos estudos preparatórios para a formulação da Base Estratégica do Plano; • pelo inventário das ações do governo federal em andamento; • recadastramento dos programas e projetos em execução.Em processo modificou a classificação funcional-programática do governo federal da lei 4.320 de17/03/1964, especificando 28 funções do governo, desdobradas em múltiplas sub-funções pelaPortaria No. 17 de 12 de Novembro de 1998.Alguns conceitos básicos foram também explicitados em função das ações e intervenções do governoque foram resumidas em quatro categorias: • Programa • Projeto • Atividade • Operações EspeciaisNa definição das programação governamental faz-se uma distinção entre atividade finalística einstrumental. A primeira agrupam Programas ou conjuntos articulados de projetos, atividades e outrasações orientadas à solução de problemas da população. A segunda está organizada em Programasde Gestão Administrativa, voltada para às atividades de capacidade de governo (planejamento,administração financeira, controle, administração de pessoal, comunicação etc.)Em todas as etapas do processo de planejamento do novo PPA buscar-se-á o apoio de um sistemade informações gerenciais, em modo eletrônico. O sistema disponibilizará as seguintes informaçõessobre cada programa: • Objetivo • Indicador • Público-Alvo • Unidade Responsável • Gerente • Metas e Valores Regionalizados • Outras Ações (sem expressão financeira) • Parcerias • Cronograma Físico e Financeiro • Dados SituacionaisNa etapa de avaliação serão levantadas as seguintes informações: • Evolução do indicador selecionado para o programa; • Resultado realizado das metas do programa; • Grau de satisfação da sociedade quanto bens e serviços permanentes e continuamente ofertados pelo poder público; • Realização das metas de qualidade e produtividade; • Síntese da avaliação do programa.Em função dessa nova estratégia foram selecionados 42 projetos do PPA para integrara o ProgramaBrasil em Ação. Forma submetidos a um regime especial de acompanhamento e gerenciamento comos objetivos: • Orientar o processo orçamentário, sinalizando claramente as prioridades de investimento do governo; • Detectar, de forma tempestiva, os problemas de implementação e induzir medidas 5
  6. 6. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000 corretivas de execução; • Criar base de dados e informação para atrair investidores nacionais estrangeiros e facilitar a formação de parcerias entre o governo e o setor privado.O Brasil em Ação apresenta algumas características inovadoras de planejamento governamental,apresentadas a seguir.A primeira é que as ações e intervenções se caracterizam como projetos por identificar: objetivos emetas (físicas e financeiras); localização; agentes executores (inclusive parceiros privados);necessidades de investimento e fontes de financiamento; e cronogramas de execução etc.Em segundo lugar, o gerenciamento especial define para cada projeto um gerente com autoridade emeios para interagir com todos os órgãos e pessoas envolvidas na implementação das açõesplanejadas e com condições de acompanhar, monitorar e avaliar a execução dos empreendimentos.Em terceiro lugar, a disponibilidade de um sistema informatizado de informações que tornam possívelaos gerentes e executores: • Acompanhar e avaliar a execução dos projetos; • Atualizar o planejamento inicial; • Elaborar relatórios atualizados sobre o andamento do projeto; • Disseminar informações e interagir com órgãos, instituições e pessoas que tenham responsabilidades específicas em relação ao projeto; • Identificar caminhos críticos, pontos de estrangulamento e marcos importantes (milestones) no processo de execução do projeto; • Antecipar problemas e dificuldades e adotar ou propor medidas preventivas ou corretivas para a sua superação.A combinação do processo de avaliação às etapas de formulação e implementação pelo Brasil emAção abrem uma perspectiva de superação das falhas do planejamento governamental originadas,por um lado, pela exclusiva ênfase ao momento de formulação de planos e elaboração de programase projetos; e, por outro, pouca importância dada às etapas de acompanhamento e avaliação dosprocessos, resultados e impactos.Essa possibilidade é favorecida pela estratégia compreensiva que tiveram relativo êxito em outroscontextos de avaliação ao adotar:• Um enfoque global de avaliação, que não se limita a setores, atividades ou região por combinar a função de avaliação de programas e projetos à estratégia macroeconômica, ampliação da infra- estrutura e verificação de performance social;• A articulação entre os vários níveis decisórios da gestão pública para superar a perspectiva da avaliação como função de especialistas insulados em organismos técnicos especializados;• A difusão na gestão dos projetos de tecnologias da informação que permite uso ágil de banco de dados e geração de informação em curto prazo;• A geração de consenso sobre os conceitos operacionais de planejamento e avaliação a serem utilizados.2.2. O Caso da ArgentinaO estudo descreve a nova institucionalidade da função de avaliação pela criação em 1994 doSIEMPRO (Sistema de Informação, Avaliação e Monitoramento de Programas Sociais), que contacom financiamento do Banco Mundial.O SIEMPRO visa acompanhar o crescimento crescente do gasto nacional na área social e gerardiagnósticos sobre a capacidade e qualidade de destinação de recursos públicos dos governosnacional e sub-nacionais.Os estudos sobre financiamento público constatam um gasto nacional relativamente alto na áreasocial Essa despesa não tem produzido resultados correspondentes nas condições de vida da 6
  7. 7. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000população, o que permite a conclusão sobre a baixa eficiência e eficácia dos programas sociais aoque se atribui: • Fragmentação e superposição de instituições e programas, que implicam em duplicação, omissão, dissipação de recursos e esforços; • Inexistência de Instrumentos explícitos e comuns de focalização para orientar a destinação de gasto e a implementação especializada de programas; • Carência de informação idônea sobre as dinâmicas sociais em curso, as mudanças e as novas necessidades da população; • Inadequação programática pela inércia e falta de objetivos • Falta de participação dos beneficiários para definição de necessidades e controle de performance; • Ausência de instrumentos de monitoramento e avaliação de resultados e falta de transparência no uso dos recursos públicos; • Baixa capacidade técnica dos recursos humanos responsáveis pelos programas sociais nos níveis de execução subnacionais.Diante desse diagnóstico, o SIEMPRO tem como objetivo geral dotar a Secretaria deDesenvolvimento Social do governo central da Argentina de recursos e instrumentos necessáriospara a operação de um sistema de informação social, monitoramento, avaliação e capacitação emgestão social.Como objetivos específicos, propõe:• Melhorar o gestão de programas sociais;• Gerar uma base de dados útil sobre condições de vida e oferta de programas sociais para os responsáveis pela execução de políticas e programas sociais;• Produzir informação social para o desenho e focalização dos programas sociais;• Promover a incorporação e institucionalização de um sistema de gestão integral de programas sociais por resultados;• Oferecer assistência técnica e capacitação aos organismos da área social nos níveis nacionais e estaduais;• Difundir na opinião pública nacional informação sobre condições de vida das populações, sobre políticas sociais e o papel do estado;• Gerar análises e estratégias de intervenção na área social.A partir desses objetivos específicos e geral que visam introduzir correções na política social e nãodiminuir ou suprimir os gastos sociais no contexto do ajuste macro-econômico, o SIEMPROreconhece a centralidade, a autonomia e a especificidade da avaliação social em comparação àshabituais avaliações de investimentos físicos por critérios estritamente econômicos. Essereconhecimento significa o superar as concepções tradicionais de avaliação originadas emmetodologias de custo/benefício. Igualmente não se restringe a avaliação dos programas sociais,mas também de políticas sociais e de cenários prospectivos do impacto social de políticaseconômicas e outros investimentos públicos e privados.Desde a sua criação o SIEMPRO busca a integração dos sistemas de informação social com osprocessos de avaliação dos programas sociais destinados a superação da pobreza e da extremavulnerabilidade social.A dinâmica integradora de ambas as funções permite a transformação a função de avaliação eminstrumento de democratização da informação a serviço da cidadania.Como parte do seu desenvolvimento institucional e a geração de produtos, o elaborou em 1997, emcooperação com o Instituto Nacional de Estadística, sua própria base de dados sobre a situaçãosocial por meio da Encuesta de Desarrollo Social y Acceso a Programas y Servicios Sociales (EDS)com informações sócio-econômicas dos domicílios, com dados de cobertura e utilização dos 7
  8. 8. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000programas sociais.Outra importante atividade do SIEMPRO foi a identificação dos programas sociais nacionais dirigidosa população em situação de pobreza e vulnerabilidade social. Este cadastro permitiu a criação deuma Base de Dados de Programas Sociais atualizada relativa a programas sociais focalizados denatureza nacional.Um outro produto importante é o conjunto de indicadores sociais de monitoramento e gestão dosprogramas sociais cujo seguimento é realizado pelos próprios implementadores.O resultado direto dessa atividade é o Sistema Integrado de Monitoreo (SIM) que acompanha odesempenho de programas sociais focalizados da Secretaria de Desenvolvimento Social por meio derelatórios periódicos (trimestrais e anuais).Por último o SIEMPRO desenhou e opera um sistema de identificação e registro de famíliasbeneficiárias dos programas e serviços sociais (SISFAM) que permite a identificação e das famíliasmais pobres e vulneráveis para facilitar o seu acolhimento pelas intervenções sociais numaabordagem integral, familiar e territorial.Na perspectiva específica da avaliação Encuesta de Desarrollo Social y Acceso a Programas yServicios Sociales (EDS) com informações sócio-econômicas dos domicílios, com dados de coberturae utilização dos programas sociais, não é somente um instrumento de informação social privilegiadomas um instrumento de avaliação que permite verificar resultados e impactos de programas sociais eseus efeitos distributivos.A aplicação do EDS permite avaliar os programas sociais desde a perspectiva da demanda emrelação a focalização, conhecer quem acessa aos serviços, o tipo de serviço recebe e com queperiodicidade. Permite estimar a transferência de renda aos domicílios e o impacto distributivo quetem a despesa social.2.3. O caso do ChileO desenvolvimento da função de avaliação tem como referência no Chile a criação do ComitêIntersetorial de Modernização da Gestão Pública com a missão de impulsionar e coordenar osesforços de modernização das instituições pública. Esse comitê é constituído por representantes dosMinistérios do Interior, da Fazenda e da Secretaria Geral da Presidência. A Secretaria Técnica estásituada no Ministério Secretaria Geral da Presidência.Como princípios orientadores da modernização da gestão pública o Comitê definiu:• Aumentar a eficácia dos serviços públicos;• Promover lideranças capazes de animar o processo de modernização da cultura organizacional do setor público;• Adaptar e aplicar novas tecnologias organizacionais e de gestão;• Promover a gestão estatal e governamental orientada por resultados;• Centrar a gestão em função das demandas e das necessidades dos usuários;• Orientar o processo de gestão pelo princípio da transparência;• Otimizar o usos dos recursos públicos;• Melhorar qualitativamente os recursos humanos do setor público e dignificar a sua funçãoA adaptação de novas tecnologias de gerência e administração, a orientação ao cidadão, aflexibilização e a modernização da gestão estão entre os objetivos estratégicos dos programas einiciativas que impulsiona o governo no âmbito da gestão pública.Nesse processo estão situados os processos de avaliação geral da gestão pública no qual sedistinguem as estratégias de (i) avaliação ex ante; (ii) de processo: monitoramento ou seguimento; (iii)avaliação ex post: de resultados ou de impacto. 8
  9. 9. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000O informe apresenta os componentes dos sistema geral de avaliação da gestão pública chileno,conforme resumido a seguir, através da descrição dos instrumentos, instituições, utilização e produtose articulação institucional.2.3.1. Instrumento de Avaliação2.3.1.1: Sistema Nacional de Investimento Público.Instituição: Ministério do Planejamento (Mideplan)Objetivo: melhorar o processo de investimento público.Utilização e Produtos: seguimento dos investimentos públicos; programação orçamentária de projetose programas.Relação com outros instrumentos: exigência de de avaliação para a programação orçamentária doMinistério da Fazenda2.3.1.2 Programa de Monitoramento da Política SocialInstituição: Ministério do Planejamento (Mideplan)Objetivo: colaborar na tomada de decisão relativa ao desenho, execução, gestão e investimento noâmbito das política sociais.Utilização e Produtos: gerar informação para melhor gestão pela avaliação de processo; estudosfocalizados, validação da intervenção social e avaliação de impacto.Relação com outros instrumentos: avaliação considerada na destinação de orçamento para osprogramas2.3.1.3 Indicadores de GestãoInstituição: Direção de Orçamento do Ministério da FazendaObjetivo: geração de informação sobre o desempenho das organizações públicas e geração de basede dados para a tomada de decisão das organizações e serviços.Utilização e produtos: utilizado no processo de orçamentaçãoRelação com outros instrumentos: incorporado ao Programa de Melhoramento da Gestão dosServiços Públicos2.3.1.4 Programa de Avaliação de Projetos GovernamentaisInstituição: Direção de OrçamentoObjetivo: geração de informação sobre os resultados dos programas avaliadosUtilização e produtos: avaliação e programas governamentais; informação ao Congresso nadiscussão de orçamentoRelação com outros Instrumentos: informação que se entrega aos Congresso.2.3.1.5 Programa de Melhoramento da Gestão (PMG)Instituição: Direção de OrçamentoObjetivo do Instrumento: apoiar a Modernização da Gestão Pública, as metas ministeriais para osetor, os recursos disponíveis. Instrumento para definir o incremento de desempenho organizacionalfixado por lei. 9
  10. 10. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000Utilização e produtos: Identificação das metas mais relevantes dos Ministérios e serviços a cada ano;avaliação geral de desempenho; insumo para a discussão orçamentária.Relação com outros instrumentos: fixação de metas ministeriais e regionais.2.3.1.6 Metas MinisteriaisInstituição: Ministério da Fazenda, Secretaria Geral da Presidência e Ministério do Planejamento.Objetivo do Instrumento: identificar as iniciativas, planos e programas mais relevantes para o conjuntodo setor público em relação a missão e objetivos de gestão.Utilização e produtos: Identificação de metas mais relevantes dos Ministérios e serviços anualmente;avaliação geral de desempenho; insumo para a discussão orçamentária.Relação com outros instrumentos: fixação de metas ministeriais e regionais.2.3.1.7 Projeto de ModernizaçãoInstituição: Comitê Interministerial de Modernização da Gestão PúblicaObjetivo: melhorar a efetividade, eficiência e qualidade dos processos e resultados da gestãoUtilização e Produtos: sistematizar e desenvolver as iniciativas de modernização dos Ministérios eserviços.Relação com outros instrumentos: é considerado na elaboração do PMG.CONSIDERAÇÕES FINAISA função avaliação nos países analisados mostra diferenças no grau de institucionalidade e deobjetivos na gestão pública.O caso brasileiro revela que a função de avaliação é incorporada em meados da década de 1990 aum conjunto articulado de Programas inovadores que definem um modelo de planejamento plurianualpara a gestão pública. O processo de planejamento tem início pelos estudos preparatórios para aformulação da base estratégica; pelo inventário das ações do governo federal em andamento;recadastramento dos programas e projetos em execução.Em processo modificou a classificação funcional-programática do governo federal e resumiu ações eintervenções do governo em quatro categorias operacionais:• Programa: instrumento de organização da ação governamental, visando a concretização dos objetivos pretendidos, sendo mensurado por metas estabelecidas no plano plurianual• Projeto: instrumento de programação para alcançar o objetivo de um programa, envolvendo um conjunto de operações limitadas no tempo, das quais resulta um produto que concorre com a expansão e o aperfeiçoamento da ação do governo.• Atividade: instrumento de programação para alcançar o objetivo de um programa, envolvendo um conjunto de operações que realizam um modo contínuo e permanente , das quais resulta um produto necessário `manutenção da ação do governo.• Operações Especiais: são despesas que não contribuem para a manutenção da ação do governo, das quais não resulta um produto e não geram contraprestação sob a forma de bem ou serviços, representando, basicamente, o detalhamento da função Encargos Espaciais. Os encargos especiais, por sua vez, são definidos como aqueles correspondentes a dívidas, transferências, ressarcimentos, indenizações e outros afins, representando, portanto, uma agregação neutra.A combinação do processo de avaliação às etapas de formulação e implementação pelo Brasil emAção abrem uma perspectiva de superação das falhas do planejamento governamental originadas, 10
  11. 11. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000por um lado, pela exclusiva ênfase ao momento de formulação de planos e elaboração de programase projetos; e, por outro, pouca importância dada às etapas de acompanhamento e avaliação dosprocessos, resultados e impactos.Essa possibilidade é favorecida pela estratégia compreensiva que teve relativo êxito em outroscontextos de avaliação ao adotar:• Um enfoque global de avaliação, que não se limita a setores, atividades ou região por combinar a função de avaliação de programas e projetos à estratégia macroeconômica, ampliação da infra- estrutura e verificação de performance social;• A articulação entre os vários níveis decisórios da gestão pública para superar a perspectiva da avaliação como função de especialistas insulados em organismos técnicos especializados;• A difusão na gestão dos projetos de tecnologias da informação que permite uso ágil de banco de dados e geração de informação em curto prazo;• A difusão de conceitos operacionais de planejamento e avaliação de programa, projeto, atividade que oferecem as condições iniciais para o desenho da função de avaliação.O caso da Argentina mostra o desenvolvimento da função de avaliação nos programas sociaisfocalizados desenvolvidos pelo governo nacional. Portanto, a institucionalidade da avaliação élimitada, não interagindo com o processo de planejamento macroeconômico das ações de governo.Oferece instrumentos muito importantes para monitoramento de resultados e impactos pela ênfasedada ao desenho de metodologias de avaliação dos processos formativos e de construção de bancosde dados sobre os programas dedicados os pobres e grupos vulneráveis.O caso do Chile é um exemplo de difusão em larga escala das orientações da nova administraçãopública no nível nacional de governo, afetando de modo abrangente o monitoramento e aimplementação das políticas públicas. A função de avaliação intragovernamental, com forte ênfasenos aspectos orçamentários, é a principal caraterística da experiência chilena, embora tambémapresente aspectos muito inovadores da definição de instrumentos, como o Programa deMonitoramento da Política Social, criado em 1992, e o Programa de Melhoramento da Gestão de1998. O caso do Chile é aquele que aponta uma orientação normativa explicita para a inserção dosinstrumentos de responsabilização e desempenho no conjunto da administração pública. No entanto,os objetivos da função de avaliação ficam difusos porque não é precisa a instância operacional dagestão pública que é o objeto da avaliação. Os casos brasileiros e argentinos são mais precisos aoelegerem, na década de 1990, a categoria programa como a categoria analítica inicial para a funçãode avaliação.Face a tais conclusões iniciais, parece interessante explorar mais as tendências recentes da literaturae da experiência internacional e brasileira acerca da avaliação de programas. Mais do que isso sedefende um enfoque que privilegie, através de uma determinada combinação dos instrumentos,técnicas e desenhos de avaliação, o processo de implementação dos programas públicos. As razõesteóricas e metodológicas que sustentam essa escolha são apresentadas no próximo capítulo destetrabalho.CAPÍTULO 2: AVALIAÇÃO DE PROGRAMAS PÚBLICOS: TENDÊNCIAS RECENTES1. INTRODUÇÃOEste capítulo reúne alguns dos principais pontos relevantes que orientam os recentes estudos epesquisas de avaliação de políticas públicas e programas governamentais. O propósito do trabalho éo de apresentar, de forma didática, o foco de análise, parâmetros e uma estratégia metodológica quepode ser utilizada, pelos gestores públicos, para estruturar a avaliação de programas e políticaspúblicas.As políticas públicas, os programas e projetos do governo são, neste trabalho, o objeto dos estudos 11
  12. 12. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000de avaliação, e consistem em atividades (ou em um conjunto de atividades) racionalmenteformuladas visando alcançar determinados resultados no plano da implementação. Por exemplo, umprograma ou política P, formulado por uma organização O para aumentar em x % a capacidade deprodução dos agricultores familiares, em uma determinada região, num determinado período detempo, se constitui em um conjunto de atividades e projetos formulados para atingir este resultado oumeta. Nesse sentido, os programas podem ser simples, com objetivos programáticos claros4,perfeitamente exequíveis, e com resultados tangíveis e passíveis de avaliação. Em outros casos, osprogramas e políticas do governo encapsulam múltiplos objetivos e materializam intenções dogoverno em atingir objetivos que são pouco operacionais, de complexa mensuração por indicadoressimples. Em ambos os casos, se considera que ao implementar políticas públicas ou programas, ogoverno e suas organizações tem interesses em atingir determinados resultados (controle dapoluição, possibilitar acesso de desempregados ao mercado de trabalho, reduzir a mortalidadeinfantil, atrair investimentos para determinadas indústrias; elevar o desempenho das organizaçõespúblicas etc.), os quais são denominados de objetivos programáticos. A partir destes objetivosprogramáticos é possível avaliar se este programa, ao ser implementado produz ou não taisresultados esperados, ou ainda o modo pelo qual este programa consegue realizar tal objetivo.Assim, o interesse imediato do tipo de estudo de avaliação, tratado neste trabalho, seria o deresponder a questão: em que medida os objetivos propostos pelo programa estão sendo (ou foram)atingidos com sua implementação? O segundo tipo de questão que interessa a esse tipo de estudode avaliação tem a ver com: como o programa funciona e quais os mecanismos específicos quelevam a atingir (ou não) os seus resultados?Weiss (1997) aponta que, estudos e pesquisas de avaliação, com a perspectiva aqui proposta, estãorelacionados com os seguintes propósitos: informação para o processo decisório, ou tomada dedecisão; e aprendizado organizacional. O quadro a seguir ilustra os tipos de estudos de avaliação eseus principais propósitos.4 O problema de ambiguidade nos objetivos (goal ambiguity) é uma das características centrais dos programasgovernamentais, e mais amplamente da burocracia. Quando os objetivos de um programa ou política, e mais amplamente deuma organização pública são ambíguos, e pouco operacionais, se torna complexo mensurar os efeitos ou impactos geradospelo programa, e por consequência, avaliar os resultados. Neste sentido, os estudos de resultados em avaliação no setorpúblico podem e devem partir dos objetivos oficiais do programa como datum para análise. Alguns analistas do setorpúblico, e da teoria das organizações argumentam que o goal ambiguity seria uma das naturezas do setor público cf. Ouchi,William (1980)., Markets, Bureaucracies, and Clans. Administrative Science Quarterly, 25. Pp. 129-141, ou Wilson, JamesQ. (1989)., Bureaucracy: what government agencies do and why they do it. New York. Basic Books. Outros autoresapontam que, diferentemente, a questão da ambiguidade decorre de que as organizações públicas operam com múltiplosobjetivos (multi-goal approach), os quais são condensados nos objetivos oficiais dos programas e políticas do governo.Neste sentido, é possível para o analista quebrar estes objetivos em objetivos operacionais para proceder a análise deavaliação da efetividade dos programas e políticas do governo. 12
  13. 13. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000 Quadro 1 Propósitos Gerais para Estudos de AvaliaçãoAvaliação para o Propósito Avaliação para Propósito Processo Aprendizado Decisório OrganizacionalAções corretivas Descobrir durante o Ter registro da Ter o registro histórico ouno funcionamento funcionamento do história do documental de um programa.do programa programa se programa mudanças precisam ser realizadas.Continuidade ou Descobrir em que Gerar feedback Gerar feedback para aquelesfim do programa medida um programa para que colocam o programa em está atingindo os seus implementadores funcionamento permitindo objetivos pretendidos. do programa elementos para a reflexão sobre a prática (reflective practice)Teste de novas Descobrir o sucesso Dar ênfase aos Reforçar os objetivos a seremidéias de um novo programa objetivos do alcançados pelo programa para ou componente do programa os que operam o programa. programa.Escolha da melhor Descobrir qual a Accountability e Gerar relatórios de informaçãoalternativa melhor opção a seguir controle social sobre o funcionamento dodisponível dentre alternativas sobre os programa para usos públicos de disponíveis. programas controle socialFinanciamento do Decidir se o programa Entender modos Adquirir conhecimento básicoprograma deve continuar a ser de intervenção sobre os tipos de atividades que financiado social buscam mudar as condições sociais e o comportamento humano.Fonte: Weiss, Carol (1997)Como consideração final desta introdução cabe a pergunta que orienta este capítulo: qual o usopotencial dos estudos e pesquisas de avaliação como instrumentos de trabalho para gerentes edecisores nas organizações e agências do governo, os quais mais de perto lidam com aimplementação, e formulação de políticas e programas governamentais?A importância do uso dos estudos de avaliação de programas e políticas permite, quando conduzidodentro de um rigor téorico e metodológico adequado aos propósitos, que a tomada de decisão acercados programas sejam dotadas de maior racionalidade técnica e gerencial, pois quase sempre,sobretudo no Brasil, as tomadas de decisão sobre programas e políticas são realizadas sem oadequado conhecimento de como o programa funciona em sua realidade no plano da implementação.A necessidade de se conhecer os programas por dentro, suas dificuldades, os obstáculos deimplementação, os fatores gerenciais e operacionais destes, e ainda como estes realmente produzemefeitos esperados e não-esperados, é um instrumento de poderoso uso para a melhoria dodesempenho das organizações públicas, em qualquer escala do governo. Organizações ao lançaremmão de instrumentos adequados de avaliação dos seus programas estariam, ao menos em tese, semovendo na direção de uma maior accountability e qualidade no uso de recursos públicos. A partir deinformações advindas de processos de avaliação, é possível identificar e incentivar os programas quefuncionam com mais efetividade, eficiência e qualidade. Mais do que isso, é possível orientar aquelescom fraco desempenho, no sentido de seu aperfeiçoamento e correção de erros e superação deobstáculos. Mecanismos de avaliação se mostram de extrema valia em contextos onde as 13
  14. 14. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000organizações do setor público são exigidas a adotar uma orientação por resultados, foco no usuário,e sobretudo critérios alocativos que imprimam uma maior qualidade no uso dos recursos públicos.2. A LÓGICA DA IMPLEMENTAÇÃO: ESTABELECENDO PARÂMETROS DA AVALIAÇÃO DE PROGRAMAS PÚBLICOS5Convém recordar aqui, que as políticas públicas no plano internacional vem sofrendo, desde o iníciodos anos 90, alterações significativas em seu desenho, tornando mais complexa o seu processo deavaliação. Para o caso brasileiro - que interessa mais de perto - pode-se afirmar que constituem eixosordenadores desse processo mudança: continuidade e reforço à descentralização de programas;aumento dos níveis de participação social; tentativas de aumentar os níveis de integração setorial einter-setorial; busca de maior coordenação de ações entre distintos níveis de governo e entre osPoderes Executivo, Legislativo e Judiciário; discriminação positiva de clientelas e de regiõesassociada ao estabelecimentos de incentivos para a melhoria do desempenho dos programas eprojetos.A avaliação da natureza, alcance e limites dessas iniciativas constitui procedimento estratégico, nomomento mesmo em que se implementam essas inovações materializadas em distintos programas. Asua oportunidade é a de poder oferecer, ainda enquanto se implantam as inovações abrangidas pelosdistintos programas, críticas e sugestões alternativas que permitam corrigir ou reorientar o curso dasações, sempre que necessário.No caso particular de programas de inovação institucional visando a melhora do atendimento públicoe de sua qualidade, através de políticas de corte universal ou focalizadas em clientelas ou regiõesespecíficas, vale a pena relembrar que muitos dos diagnósticos que, principalmente na últimadécada, vêm sendo feitos sobre o desempenho das políticas e programas já experimentados,ressaltam certas condições da implementação como responsáveis pelos insucessos e fracassos dasações governamentais nesse campo.Desde o final dos anos 70, mas principalmente nos 80, foram muitos os programas e medidasensaiadas visando a melhoria das condições de vida de populações vulneráveis e o conseqüentemelhor desempenho de indicadores sociais. Entretanto, os impactos desses programas foram, namaioria das vezes, minguados. Tome-se um dos exemplos mais exitosos no caso brasileiro, o setoreducacional: até os dias atuais, muito embora praticamente já se tenha universalizado o acesso àescola, e mesmo sendo altas as taxas de permanência dos alunos no sistema educacional, asdefasagens idade/série continuam muito altas e, pior ainda, mantêm-se baixas as taxas de conclusãodo ensino elementar daqueles que nele ingressaram. As explicações tradicionais desses fenômenossempre focalizaram as condições associadas à situação social dos alunos, invocadas de formaisolada para explicar o fracasso escolar. É verdade que essas condições continuam a responder porparte ponderável da explicação. Entretanto, mais recentemente, os estudiosos têm chamado aatenção para razões internas ao funcionamento do sistema educacional - aqui denominadas comoaquelas derivadas diretamente do desenho dos programas e de sua estratégia de implementação -que ajudam a explicar de modo muito significativo o sucesso ou fracasso das iniciativas adotadas.Outro conjunto de explicações pode ser ainda mais diretamente associado às condições daimplementação dos programas e medidas. Em geral aponta-se, em primeiro lugar, para oexperimentalismo dos programas, freqüentemente concebidos como pilotos e com poucas condiçõesde se espraiarem e generalizarem para toda a rede pública. Mais ainda, a descontinuidade daimplementação parece ser a característica importante, já que mudanças de prioridade na agendapolítica dos Governos Federal, Estaduais e Municipais contribuem fortemente para desestruturar as5 Esse capítulo beneficiou-se das reflexões metodológicas acumuladas, pelo NEPP, em diferentes pesquisas de avaliação daimplementação de políticas públicas, em especial: NEPP (1996) – Avaliação do projeto IEB e medidas da escola-padrão daSEE de São Paulo. 14
  15. 15. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000condições propícias à continuidade dos programas. Também as questões de tempo: a rapidez daformulação e da decisão de implementar programas, em alguns casos, sem que condições prévias daimplementação fossem asseguradas; ou, em outros, exageradas demoras entre a formulação e aimplementação.Não é fácil a tarefa de determinar o peso relativo que têm as condições de implementação naexplicação do sucesso ou do fracasso de inovações e reformas da política social. Entretanto, não hádúvida sobre sua importância, principalmente em redes de serviços das dimensões daquelasenvolvidas na implementação de programas públicos no Brasil: redes de organizações complexas,fortemente marcada por rotinas, tradições e culturas internas específicas. À base de estudos que oNEPP realizou no passado recente, pode-se afirmar que, na maioria dos casos, o pequeno sucessoou mesmo o fracasso de grande parte das iniciativas governamentais nessa área deveram-sesobretudo às más condições da implementação. Mas também não se estaria muito longe da verdadese fosse afirmado ser grande a margem de correções e acertos que os processos de implementaçãoadmitem ao longo de seu curso, não previstos e introduzidos a tempo porque não se contou ou secontou pouco com sistemas de monitoramento e estudos de avaliação.2.2. Parâmetros estratégicos geraisEstudos voltados à avaliação da implementação de programas e de seus resultados imediatos juntoao usuário constituem um subcampo particular das pesquisas de avaliação de políticas. Os estudosde avaliação, por sua vez, integram um campo especial, entre vários tipos de estudos de políticaspúblicas e de organizações complexas.A literatura internacional aponta que é sobretudo na distinção entre fases de uma policy que osautores se fixam para identificar a especificidade dos estudos de implementação. Porque, desde logo,estão concebendo a implementação como a fase que sucede a pelo menos duas outras, a daformação das políticas (constituição das agendas, conformação do campo de interesses eexplicitação das alternativas que competem entre si), e a da formulação, quando as propostasganham forma e estatuto de política, recebendo mínimos tratamentos formais, definindo-se metas,objetivos e recursos e, finalmente, explicitando-se a estratégia da implementação6. É nesse momento,segundo o clássico estudo de Pressman & Wildavsky7, que a política se transforma em programa esão criadas as "condições iniciais" que antecedem a sua implementação.Vários autores, entretanto, chamam a atenção para as dificuldades conceituais e empíricas de sedefinir e distinguir a implementação da própria formação e formulação da política e, principalmente,do programa. "...As políticas tornam-se programas quando, por uma ação de autoridade, ascondições iniciais são criadas...". A implementação, então, é a habilidade de forjar os subseqüenteselos da cadeia causal em vistas a obter os resultados desejados. A partir desse momento,desencadeado o movimento da implementação, passam a distinguir-se cada vez menos as condiçõesiniciais e a cadeia causal subseqüente, já que se modificam as circunstâncias e se alteram as metas6 .É muito extensa a bibliografia considerada já como clássica, de corte metodológico, sobre análise de políticas públicas.Para apoio a este projeto, os textos mais gerais de referência escolhidos foram os de Muller, P. - Les Politiques Publiques,Que sais-je?, PUF, Paris, 1990 e de Meny, Y.; Thoenig, Jean-Claude - Politiques Publiques, PUF, Paris, 1989. Para aconceituação e análise das fases das políticas, veja-se Kingdon, W.J. - Agendas, Alternatives and Public Policies, Brownand Co., Boston, 1984. Para as definições, conceituações e modelos de análise de implementação, veja-se principalmenteHoppe, R.; Van der Graaf, H.; Van Dijk, A. - Implementation as a Design Problem, Vridje University, IPSA texts, 1985,mimeo.; Elmore, R. - Backward Mapping Implementation Research and Policy Decisions, Political Science Quartely,Winter, 1979/80; Van Metter, D.; Van Horn, C. - The Policy Implementation Process, Administration and Society, nº 6,1975; Kivieniemi, Makku - Public Policies and Their Targets A Typological Elaboration of the Concept ofImplementation IPSA texts, 1985, mimeo; Grindle, Marilee - Policy Content and Context in Implementation, Politicsand Policy Implementation in the Third World, IPSA texts, 1985, mimeo.7 .Pressman, L. Jeffrey; Wildavsky, Aaron - Implementation, Berkeley: Univ. of California Press, 1984, 3ª ed. 15
  16. 16. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000no próprio movimento que conduz o programa a suas metas.Também a distinção no interior do processo de implementação, das etapas decisórias não se faztranqüilamente. O bom senso e a experiência em avaliações concretas indicam que se deveconsiderar - dentre as decisões que percorrem todo o processo de implementação – aquelas quepodem ser consideradas decisões cruciais. Ou seja, todas as decisões que, ao longo daimplementação, logram alterar a estratégia inicial ou condicionam a continuidade do programa. Ora,momentos de decisão desse tipo se constituem em situações particulares onde se condensamconflitos, disputas por alternativas e oportunidades especiais de afastamento ou aproximação entremetas, meios e estratégias. Por isso mesmo os estudos de implementação devem focalizar decisõese decisores que conformam elos críticos e estratégicos, como o seu foco de análise. Fica apergunta: como identificá-los no interior do complexo processo decisório das políticas públicas?É possível identificar três dimensões que auxiliam essa localização e, por essa razão, devem serobjeto de consideração especial nos modelos de avaliação dos processos de implementação depolíticas ou programas públicos. A primeira dimensão, diz respeito àquelas decisões que definem asrelações entre desenho ou formulação, de um lado, e os formatos que os programas adquiremao final do processo que os implementou, de outro. A maior ou menor coerência e distância queguardam, assim como os movimentos que condicionam as decisões, na implementação, constituemum dos principais problemas de pesquisas nessa área. Essa dimensão constituirá, para efeitos daestratégia de avaliação aqui proposta, o primeiro parâmetro básico.A segunda é a dimensão temporal do processo de implementação e seus efeitos (diferenciadosno tempo) sobre as organizações em que se processam (evidencia-se aqui a questão daaprendizagem institucional); sobre os atores que implementam (resistências ou adesões e alteraçõesde comportamento que se processam); e sobre as condições iniciais, modificadas, reproduzidas ealteradas pela própria implementação. Os estudos de avaliação da implementação necessariamenteestão voltados para captar essas alterações, comparando-as em diferentes momentos do tempo.Essa dimensão constitui o segundo parâmetro básico da estratégia de avaliação proposta.Finalmente, a terceira dimensão, constituindo o terceiro parâmetro, trata da identificação dascondições que propiciam ou entravam o processo de implementação do programa em análise, quepodem ser sintetizadas na área de conteúdo e nas características básicas de seu desenho. Ou sejaqual a ambição e complexidade da intervenção e quais são os fatores econômico-financeiros,institucionais e gerenciais que explicam a natureza, alcance e os limites da implementação em curso:perfil do gasto público; a forma de organização da intervenção; organização da demanda e aderênciado bem ou serviço às condições específicas do demandante.Entretanto, as políticas e programas públicos recentes nas áreas econômica e social têm outrasdimensões e natureza, o que exige uma reflexão e busca de apoio teórico e metodológico adicional.De fato, os programas e medidas mais recentes, objeto desta reflexão, dizem respeito não a qualquerpolítica mas, particularmente, a políticas e programas que pretendem introduzir reformas e inovaçõesem áreas tradicionais de intervenção ou em áreas pouco cobertas pela intervenção estatal. Ora,reformas e inovações em políticas e programas colocam outros problemas de investigação quedevem ser considerados na elaboração de uma estratégia de avaliação, particularmente a relaçãoentre eficácia, reformas e instituições públicas. Veja-se o problema nos seus contornos mais gerais8.O acompanhamento e estudo de um dado movimento de reforma ou inovação de política pública,envolve antes de tudo a reconstituição das estratégias elaboradas e seguidas pelos atores maisimportantes envolvidos em tal processo, o que tem o significado de um estudo das decisões cruciaise do campo de conflitos e tensões em que ocorrem, considerada cada etapa do processo de reformae de sua implementação. Em outros termos, e para economia de exposição, entende-se, nesteprojeto, cada policy como portadora de estratégias (já que se quer privilegiar a reforma ou inovação)8 .Estas preocupações metodológicas foram desenvolvidas em Draibe, Sônia M. - Metodologia de Análise Comparativa deProgramas Sociais, paper elaborado para o Projeto "Reformas de Políticas para Aumentar a Efetividade do Estado naAmérica Latina", sob auspícios da Cepal, maio 1991. 16
  17. 17. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000e que se compreendesse estratégia como um modelo possível de ser apreendido no fluxo dedecisões de atores e/ou de organizações. Essas definições que valem para o estudo das formulaçõese decisões iniciais, fazem também sentido para a etapa da implementação.Se as estratégias de reforma das policies são elaboradas visando a maior eficácia e eficiência daação pública, é possível enfatizar três níveis de questões pertinentes 9, e que nortearam a montagemda estratégia de avaliação aqui sugerida:a) os dilemas postos para os atores num dado arcabouço organizacional em transformação ou, em outros termos, como criar alternativas para viabilizar metas estratégicas com algum grau de eficácia e em ambientes que, se admitem algum grau de previsibilidade, apresentam predominantemente densas áreas de incerteza. As decisões cruciais, a que se referiu, relacionam- se com tais dilemas e alternativas, postos já no curso da implementação;b) a necessária correlação entre estratégia, estrutura organizacional e eficácia. A tese subjacente é a de que, em organizações complexas (como costumam ser os aparatos de políticas públicas), qualquer melhoria de eficácia torna-se impossível sem que a forma organizacional se transforme no sentido de acompanhar as estratégias e as mudanças por elas impostas como condição para lograr as metas (de melhoria de eficácia)10.c) os projetos de reformas envolvem uma necessária definição estratégica de sua reprodução ampliada. Em outras palavras, requerem alternativas de como alcançar mais eficazmente os agentes operadores e os "usuários", considerando suas diferenças sociais, culturais, profissionais, assim como suas distintas distribuições na hierarquia dos postos, das posições decisórias e de operação da política e do programa em questão. Mais do que isso, devem prever os mecanismos e os instrumentos que permitirão sua incorporação no cotidiano e na cultura das organizações abrangidas pelas reformas. Além da adequada identificação desses agentes e usuários, há que se decidir por corretos métodos e técnicas de avaliação das estratégias de expansão, crescimento e diversificação propostas para a implementação contínua de inovações. O que envolve examinar as alternativas de como se concebeu e propôs novas formas de organização, permanentes ou não, mas flexíveis, que admitam elas próprias diferentes modos de alcançar distintos "usuários". Em geral, essa questão aparece nas estratégias de reforma referidas às tecnologias e fluxo de informação, assim como à produção e distribuição de serviços sociais. As questões da interface entre clientelas/operadores de serviços, bem como a das características diferenciais dos aparelhos administrativo-institucionais referem-se também a essa dimensão das estratégias.2.3. Estratégia de implementação: conceito e dimensõesO ponto de partida metodológico, aqui sugerido, para a análise do processo de implementação depolíticas e programas públicos, é o de reconstrução da estratégia prevista para dirigi-lo. É amplo oquadro conceitual manejado na análise de estratégias11. Sintetiza-se aqui os principais conceitos,eixos e dimensões utilizados na reconstituição da estratégia de implementação dos Projetos Sociaisavaliados em alguns dos projetos realizados pelo NEPP.9 .Cf.Chandler, A. - STRATEGY AND STRUCTURE, MIT Press, Mass.,1967.10 .Deve-se considerar aqui a difícil, renitente e reiterada questão de como conceber e como medir a eficácia do setorpúblico, principalmente naquilo que a diferencia do setor privado. Esta pesquisa teve como foco o processo deimplementação, não tratando dessa questão. Ainda assim, cabe chamar atenção que os critérios para se conceituar e avaliarresultados, produção, produtividade, eficiência e eficácia no setor público, particularmente quando se trata de política social,são extremamente difusos e muito pouco consensuais. As propostas de reformas de programas sociais geralmente envolvem,conceitualmente ou na prática, alguma forma de conceber eficácia e eficiência, assim como explicitam os modos emecanismos que se conceberam para melhor alcançá-las. Não se procurou avaliar esses conceitos, modos e mecanismosnem mensurar os resultados obtidos a partir deles.11 .Veja-se, por exemplo, Dror, Y. 1973 - Strategies for Administrative Reform in Leemans, A. F. (ed.) - The Managementof Change in Government, The Hague: Martinius Nijhoff. 17
  18. 18. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000O conceito de estratégia de implementação é aqui adotado no seu sentido mais estrutural, referindo-se a: preferências, opções e definições tomadas no espaço político-institucional e que dirigem osmodos, formas e tempos da implantação de um dado projeto12.A pauta de questões que pode ser extraída da definição acima é bastante extensa. Sugere-sealgumas perguntas selecionadas para orientar a reconstituição e avaliação da estratégia e doprocesso de implementação:• Objetivos do programa reformulado ou inovador e desenho da implementação - Supondo que aos programas novos ou reformulados buscam metas globais múltiplas, até onde a estratégia escolhida para a implementação é consistente com os objetivos da mudança?• Escopo e grau de inovação da intervenção - Aqui se trata de identificar o modo como os formuladores da política equacionaram as relações entre estratégia da implementação, estrutura e dinâmica organizacionais, na busca eficaz dos resultados pretendidos. Essa equação pode ser traduzida em algumas perguntas básicas. Como se compuseram escopo (compreensividade baixa, média ou alta) e intensidade de inovação (baixa, média ou alta) dos componentes da inovação ou reforma de cada intervenção específica e o meio organizacional no qual está sendo implementada (estrutura organizacional; política de pessoal; sistemas de capacitação; sistemas de informação etc.)? Ao longo da implementação, quais as escolhas (e alterações) que se introduziram visando ampliar ou reduzir a abrangência e o grau de inovação da reforma, assim como reduzir os entraves institucionais e comportamentais que poderiam comprometê-la?• Preferências temporais - Quais foram as preferências de distribuição, no tempo, da introdução das mudanças e de concretização de seus resultados? De outro modo, como foram distribuídos os resultados no curto, médio e no longo prazos?• Aceitabilidade de riscos e grau de inovação pretendidos - Como se compuseram as opções por maiores conteúdos inovadores (e portanto mais ampla margem para riscos e imprevisibilidade de resultados) com modos mais incrementais de mudanças no sistema (e portanto, mais baixos graus de riscos envolvidos)?• Equilíbrio e choque - O quanto a estratégia de implementação pautou-se por uma opção por mudanças coordenadas do conjunto dos componentes da política pública em questão, ou se concentrou em alguns poucos componentes com o objetivo de, a partir de mudanças localizadas e do tipo fato consumado, "implodir" por choque, impacto ou efeito-demonstração, todo o sistema?• A autoridade do gestor da mudança e a lógica organizacional - Qual o perfil do grupo gestor encarregado da implementação? Que relações mantêm tais agentes com a rede institucional e com que graus e margens de legitimidade e liberdade contam? Em geral, as estratégias de implementação enfrentam duas alternativas de escolha do grupo gestor: ou se privilegiam agências e a burocracia já instalada no topo da hierarquia dos subsistemas públicos envolvidos na implementação, ou se opta por um staff altamente qualificado, trazido de fora do sistema administrativo público, que concentra e “isola” em uma, ou em um número reduzido de agências, o poder decisório ao longo do processo de implementação13. Também no que se refere à lógica organizacional, a estratégia reformista se defronta com níveis e circuitos organizacionais12 .Cf. Dror, Y. 1990 - Grand Policy Analysis, APPAM Anual Research Conference, San Francisco, C.A., paper.13 .As vantagens e desvantagens de cada alternativa são relativamente conhecidas. No primeiro caso, as vantagens doconhecimento da máquina, da familiaridade com os processos e pessoal e da legitimidade freqüentemente são neutralizadaspelos entraves das rotinas a que estão submetidos os dirigentes tradicionais, assim como pelo alto grau de adesão quemanifestam ao sistema de valores predominante. No segundo caso, em que se opta por uma "vanguarda externa" e pelaestratégia de insulamento, as vantagens de maior liberdade circunstancial e do menor risco de "contaminação" pelas rotinase valores predominantes tende a ser neutralizada pelo desconhecimento e isolamento, com conseqüente perda delegitimidade. 18
  19. 19. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000 alternativos, sobre os quais poderá se apoiar de forma privilegiada o processo de implementação. No que diz respeito aos níveis, as opções em geral tendem a se polarizar entre as agências e agentes do nível intermediário (atividade-meio), ou a ponta do sistema, onde se processa a atividade-fim. No que diz respeito à lógica organizacional, as preferências estratégicas se manifestam ou pela estrutura principal e rotineira, ou por estruturas e mecanismos paralelos. Nesse último caso, tanto quanto no da autoridade externamente recrutada, o ponto crucial que passa a condicionar o sucesso da implementação é sempre o do momento e da forma em que se processará, no futuro, a supressão dos paralelismo e a plena integração dos processos e procedimentos.• Construção de coalizões de apoio – Processos de implementação envolvem custos políticos, já que afetam, positiva ou negativamente, sistemas vigentes de poder. Dadas as opções anteriores - em particular as que combinam amplo escopo e alta intensidade de inovação de certos programas; rapidez de resultados; mudanças por choques e altos níveis de riscos e incertezas e, finalmente, a condução, através de circuitos paralelos, por uma autoridade ad hoc - é de se perguntar de que modo a estratégia de implementação privilegiou atores, sistemas de barganha, redes institucionais e mecanismos geradores de apoio (seja no interior nas arenas decisórias principais, seja no conjunto do aparato estatal)14.• Supostos sobre a sustentabilidade futura da mudança - Com que supostos de continuidade/interrupção do movimento de implementação operou a estratégia? Aqui, trata-se de identificar se existiram os recursos com que se armou a estratégia frente aos diferentes cenários futuros: o de continuidade e extensão das inovações introduzidas (definição de processos contínuos; mecanismos de disseminação da inovação etc.); o de melhoria das próprias inovações (sistemas de produção e assimilação de inovações; mecanismos de flexibilização das inovações introduzidas, etc.) ou, enfim, o cenário de interrupção da implementação ou da sua extensão ao conjunto do sistema (mecanismos de redução das diferenças e dos desperdícios; usos alternativos dos recursos etc.).Em outras palavras, mudanças passam a ocorrer quando se consegue uma estratégia que procurecombinar, de forma adequada, diretrizes claras e mecanismos de indução advindos dos órgãoscentrais da administração pública, com a capacidade de iniciativa, maior autonomia eresponsabilidade dos órgãos descentralizados ou desconcentrados.A literatura indica que, além do exame de estruturas, processos, políticas e suas dimensõestemporais já discutidos nas partes anteriores deste capítulo, no caso da política social, especialatenção deva ser dada ao papel cumprido pelos atores e suas práticas organizacionais nadeterminação do sucesso ou fracasso de processos de implementação de inovações e,consequentemente, em sua avaliação.2.4. Atores enquanto agentes de mudançaPara grande parte dos autores, o comportamento das inovações está fortemente associado àpresença de um agente de mudança, ou seja, aqueles que buscam influenciar as decisões adotadasna direção que lhes pareçam mais desejável. Esta sugestiva noção de agente de mudança pareceútil, desde que se possa estender seu conceito a grupos alocados especialmente em alguns bolsõesou organismos da burocracia, capazes de influenciar as decisões iniciais, desencadear processos demudanças e sustentá-los por período de tempo afetando, no momento posterior, o comportamento do14 .Apoios e resistências dizem respeito a conjuntos variados de mecanismos de atração/afastamento que afetam ocomportamento dos agentes e as possibilidades de compor interesses e construir coalizões. Além do sistema de valores e dacultura institucional predominante, tais mecanismos referem-se aos graus de participação admitidos nas decisões cruciais;aos graus de centralização/descentralização decisória introduzidos; aos sistemas de recompensas e punições acionados; àsformas cooptativas mobilizadas etc. 19
  20. 20. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000conjunto dos agentes implementadores. Em outras palavras, atores que controlem institucionalmente“elos críticos de decisão”De fato, a implementação de inovações de política públicas tem o significado mais geral demanifestar-se como alterações nos comportamentos de atores e das organizações. Um modosimplificado de trabalhar com esse significado é o de reduzir o problema do sucesso ou do fracassoda implementação às resistências ou adesões dos atores estratégicos. Além de outrosconstrangimentos estruturais a serem levados em conta, essa argumentação, segundo Gross,Giaquinta & Bernstein, ignora "...importantes considerações sobre obstáculos aos quais membros quenão eram resistentes à mudança podem vir a estar expostos quando se esforçam para implementarinovações, sobre a possível importância que os administradores, integrantes do conjunto de agentes,podem ter na criação ou superação desses obstáculos, e sobre a possibilidade de que membros nãoresistentes inicialmente às mudanças organizacionais possam mais tarde desenvolver atitudesnegativas em relação a elas"15.A análise e avaliação da ação ou reação dos atores enquanto agentes de mudança deve, portanto,levar em consideração outros aspectos, tais como16:• mudar e inovar são processos e não eventos isolados, só produzindo efeito se lograrem, no longo prazo, promover, através da própria estratégia de implementação das inovações, a articulação dos agentes de mudança via a criação de condições de trabalho sistemático nas novas direções propostas;• o papel dos agentes de mudança deve ser analisado levando-se em conta menos suas resistências e apoios imediatos às inovações e mais suas possibilidades, ou não, de contribuir para a sedimentação de um processo interativo entre eles próprios, e que dê suporte, não para uma mudança específica, mas para o aperfeiçoamento permanente dos sistemas de políticas públicas onde esses atores se inserem;• mudanças e inovações envolvem adaptações comportamentais significativas afetando práticas pessoais, habilidades e valores sobre o que é importante e essencial. Face a isso, é comum que o contato inicial dos agentes de mudança com o processo de inovação seja avaliado como perda, gerando resistências que podem ou não permanecer e se transformar em obstáculos à mudança;• profissionais ligados à atividades públicas, especialmente na área social junto à populações vulneráveis, possuem uma certa ética pragmática: quais os resultados objetivos que as mudanças podem trazer para cada um deles e para os usuários ou beneficiários dos serviços ? Essa ética deve ser levada em consideração na análise do comportamento dos atores face às inovações;• a incorporação do processo de mudança como parte intrínseca do cotidiano dos agentes de mudança requer - por parte das lideranças dos gestores dos programas no nível central - a capacidade de exercer de forma combinada pressão e apoio. Requer também o desenvolvimento de mecanismos de interação mais direta e pessoal com os profissionais de “ponta de linha” (street- level bureaucracy) para agilizar a resolução de problemas e dar continuidade aos processo de implementação de inovações.A implementação de inovações no sistema de políticas públicas tende a alterar de forma significativapráticas organizacionais em todos os níveis de governo, podendo gerar por isso mesmo resistênciasque atuarão como obstáculos, superáveis ou não, dependendo da escolha e introdução de alteraçõesadequadas, claras, com qualidade e praticidade visíveis para os agentes de mudança. Maior apoiopor parte desses agentes são mais prováveis quando as alterações das práticas e rotinasorganizacionais possuírem os seguintes atributos:• adaptem-se à situação organizacional concreta dos agentes, sendo perfeitamente compreendidas15 .Gross, N. Giaquinta & Bernstein, M. 1971 - Implementing Organizacional Innovations, A Sociological Analysis ofPlanned Educational Change, N. York: Basic Books Inc, Publisher.16 A listagem seguinte beneficiou-se do excelente trabalho de Suzanne M. Stiegelbauer. Parte da discussão que se segue éuma adaptação livre, para a realidade das políticas públicas brasileiras, de várias indicações da autora, que realiza umbalanço de vinte anos de pesquisa sobre processo de implementação de mudanças no setor educacional nos EUA. 20
  21. 21. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000 o que inclui a existência de informações claras quanto à forma de sua adoção;• contribuam, de forma evidente, para o aperfeiçoamento e melhoria da intervenção considerada;• não modifiquem desnecessariamente todas as práticas, já que a manutenção daquelas que funcionam razoavelmente bem é decisiva para criar apoios, facilitar a adaptação e minimizar resistências;• não sejam insignificantes, refletindo uma posição conservadora e excessivamente cautelosa na introdução de inovações ou o seu oposto - inovações gerais e irrestritas do funcionamento do sistema em sua dimensões mais importantes. A adoção de posições extremadas pode redundar na paralização ou entropia do processo como um todo. Obtém-se maior sucesso quando as modificações são significativas, mas sua incorporação consegue ser administrada pelos agentes implementadores;• sejam introduzidas levando-se em conta seus efeitos para o sistema de políticas públicas como um todo (intersetorialidade), ou seja, considerando outras práticas e procedimentos que podem ser afetados positiva ou negativamente;• sejam planejadas e implementadas considerando os efeitos que causam nos comportamentos humanos, nas habilidades que se tornam necessárias e nas que passam a ser irrelevantes, assim como, nos valores transformados, em suma, na forma com que as pessoas trabalham umas com as outras.A consideração desses aspectos na análise e avaliação da ação dos agentes implementadorespermite entender e explicar, de forma mais completa e nãoreducionista, seu comportamento - seja elede resistência ou obstaculização, seja ele de apoio ou adesão. Proporciona, ainda, condiçõesanalíticas para que se relacione seu comportamento tanto com valores presentes na cultura dasorganizações, cujas práticas estão sendo transformadas, quanto com o próprio conteúdo dasinovações de política pública em exame. Sob essa perspectiva, podem ser consideradas asestruturas, os processos, as políticas e o fator temporal da implementação enquanto variáveis queinfluem na moldagem do comportamento e opiniões dos agentes que implementam as mudanças.A partir desse quadro conceitual geral, é possível desenvolver estratégias metodológicas queprocurem, dar conta de todas as dimensões e aspectos exigidos para a avaliação da adequação, danatureza, do alcance e dos limites do também complexo processo de implementação de políticaspúblicas no novo séculoBIBLIOGRAFIABickman, Leonard (ed) (1987)., Using Program Theory in Evaluation. New Directions for Program Evaluation Series, n.33. San Francisco. Jossey-Bass.Chandler, A. - Strategy and Structure, MIT Press, Mass., 1967Chen, Huey-Tysh, J.S. Wang, and L-H. Lin (1980)., The multi-goal approach to evaluation: a model linking basic and applied social science. Social Forces, 59. pp. 106-122.Dror, Y. 1973 - Strategies for Administrative Reform in Leemans, A. F. (ed.) - The Management of Change in Government, The Hague: Martinius NijhoffDror, Y. 1990 - Grand Policy Analysis, APPAM Anual Research Conference, San Francisco, C.A., paperGross, N.; Giaquinta, J.; Bernstein, M. 1971 - Implementing Organizacional Innovations, A Sociological Analysis of Planned Educational Change, N. York: Basic Books Inc, PublisherMc Graw et alli (1996)., Using process data to explain outcomes: illustrations from the Child and Adolescent Trial for Cardiovascular Health. Evaluation Review, 20(3). pp. 291-312.Pentz M.A et alli (1990)., Effects of Program Implementation on adolescent drug use behavior. Evaluation Review, 14 (3). pp. 264-289.Rein, Martin (1981)., “Compreheensive Program Evaluation”. In Levine, Robert et al. Evaluation Research and Practice: Comparative and International Perspective. Beverly Hills. SAGE. pp. 132-148. 21
  22. 22. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000Riggin, J.C (1990)., “Linking Program Theory and Social Science Theory”. In Bickman, Leonard (ed) New Directions for Program Evaluation: advances in program theory. pp. 109-120.Rossi, Peter H. and Howard E. Freeman (1993)., Evaluation: a systematic approach. Newbury Park. CA. Sage.Pressman, L. Jeffrey; Wildavski, A. 1984 - Implementation, Berkeley: Univ. of California Press, 1984, 3ª ed.Shadish, William R. et al (eds) (1995)., New Directions for Program Evaluation: guiding principles for evaluators. New Directions for Program Evaluation Series, n.66. San Francisco. Jossey-Bass.Shadish, William R., Thomas D. Cook, and Laura C. Leviton (1991)., Foundations of Program Evaluation: theories of practice. Newbury Park. CA. Sage.Stewart, David W. and P.N. Shamdasani (1993)., Focus Groups: theory and practice. Thousand Oaks. CA. Sage.Weiss, Carol H. (1972)., Evaluation Research: methods of assessing program effectiveness. Englewood Cliffs. NJ. Prentice-Hall.Weiss, Carol H. (1997)., How can theory-based evaluation make greater headway Evaluation Review, 21(4). pp. 501-524.Weiss, Carol H. and M.J. Bueuvalas (1980)., Social Science research and decision-making. New York. Columbia University Press.Wholey, Joseph S. (1979)., Evaluation: promise and performance. Washington. Urban Institute. Wholey, Joseph S. (1983)., Evaluation and Effective Public Management. Boston. Little and Brown. 22

×