Monitoramento e Avaliacao

2,837 views

Published on

Monitoramento e Avaliação (ler páginas 01 a 07).

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,837
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
79
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Monitoramento e Avaliacao

  1. 1. Monitoramento e AvaliaçãoVISÃO GERALBreve resumoEsse pacote de ferramentas lida com os elementos básicos para se inserir e utilizar umsistema de avaliação e monitoramento para um projeto ou uma organização. Ele esclareceo que monitoramento e avaliação são, como planejar a sua execução, como desenhar umsistema de monitoramento e como criar um processo de avaliação que associe tudo isso deuma maneira útil. Ele analisa como coletar informações, evitando que você se afogue numaanálise de dados relativamente descabida ou excessiva em informações desnecessárias.Por fim, este pacote suscita e tenta aplicar diretamente sua fórmula a alguns dos tópicos aserem revigorados com base no que foi ensinado.Por que um pacote detalhado de ferramentas para monitoramento e avaliação?Se você não se importa com a maneira como conduz seu trabalho ou qual o impacto têmsuas atitudes, por que se importar com qualquer outra coisa? Avaliação e monitoramentopossibilitam analisar a qualidade e o impacto de seu trabalho em relação ao seu plano deação e seu plano estratégico. Para que a avaliação e o monitoramento sejam realmenteválidos, você precisa ter planejado corretamente. Um planejamento correto é tratado comdetalhes em outros pacotes de ferramentas nesta mesma página da internet.Quem deve se utilizar deste pacote de ferramentas?Este pacote será útil ao leitor e leitora interessados na eficiência, na eficácia e no impactode seus trabalhos em um projeto ou em uma organização.Quando este pacote será útil?Este pacote será útil quando: Você estiver estruturando sistemas para a coleta de dados durante as fases de planejamento de um projeto ou uma organização; Você quiser analisar os dados coletados através de um processo de monitoramento; Você estiver interessado em descobrir como está a eficiência e a eficácia de seu trabalho; Você atingir um estágio de seu projeto ou um período na vida da sua organização, no qual imagine ser útil avaliar o tamanho do impacto do trabalho que está obtendo; Doadores solicitam uma avaliação externa de sua organização e/ou trabalho.Ainda que haja uma tendência de enxergar em organizações de sociedade civil umaavaliação como algo que acontece quando um doador insiste em ter uma, de fato,uma avaliação e um monitoramento são ferramentas imprescindíveis de trabalho.Sem uma noção de como se está caminhando em relação a indicadores e metas, osrecursos terminam sendo desperdiçados e não modificam a situação inicialmenteidentificada. O monitoramento e a avaliação habilitam para que se faça essa análisecorretamente.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 1
  2. 2. Monitoramento e Avaliação VISÃO PRINCÍPIOS MELHORES RECURSOS GLOSSÁRIO GERAL BÁSICOS PRÁTICAS Pg. 49 Pgs. 50-52 Pg. 1 Pgs. 2-40 Pgs. 41-46 Exemplos Estudo de Caso: Desenhando Formato do Relatório Exemplos de indicadores pgs. 42-43 um sistema de Monitoramento de Campo pgs. 47-48 pgs. 44-46O que é Planejamento para Estruturando um Coletando Analisando Tomando atitudesMonitoramento e Monitoramento e processo de Informações p. 27 Informações pgs. 36 monitoramento e/ou pg. 35Avaliação? Pgs. 3-4 Avaliação pg. 11 avaliação pg. 19 Diretrizes e Relatório pg. 37Por que fazer O que queremos controles de dano Indicadores pg. 28-29Monitoramento e saber? pg. 12-15 Aprendendo pg. 39avaliação? Pgs. 4-5 Tipos diferentes Monitoramento Avaliação Métodos pgs. 30-33 Tomada de de informação – pg. 20-22 pg. 23 decisõesMais informações a quantitativa e eficazes pg. 40respeito de qualitativa pg. 16monitoramento e Propósito pg. 24avaliação – o que Lidando com Como obteremos aestá envolvido e contrariedades informação? pg. 17 Questões centrais para asuas diferentes pg. 41ligações pgs. 6-10 avaliação pg. 25 Quem deve estar envolvido? Pg. 18 Metodologia pg. 26Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 2
  3. 3. Monitoramento e AvaliaçãoPRINCÍPIOS BÁSICOSO que é monitoramento e avaliação?Por mais que a expressão “monitoramento e avaliação” tenda a ser escrita como se as duascoisas parecessem uma única coisa, monitoramento e avaliação são de fato, duas formasdistintas de atividades organizacionais, relacionadas, porém jamais idênticas.O Monitoramento é uma coleta sistemática e uma análise da informação de como umprojeto progride. É criado para melhorar a eficiência e a eficácia de um projeto ouorganização. É baseado em metas e atividades dirigidas durante as fases de planejamentodo trabalho. Auxilia a manter o trabalho em sua linha geral e possibilita ao gerenciamentoidentificar quando as coisas não estão andando corretamente. Se utilizado corretamente,torna-se uma ferramenta inestimável para um bom gerenciamento e fornece uma base deavaliação muito útil. Habilita saber se os recursos estão sendo bem utilizados e se serãosuficientes para o que está sendo feito; se sua capacidade de trabalho é suficiente eapropriada; e se você está realizando aquilo que planejou fazer (verifique também o pacotede ferramentas para o planejamento de ações).A Avaliação é a comparação do real impacto do projeto em relação ao planejamentoestratégico estudado anteriormente. Averigua o que foi formulado para ser realizado com oque foi feito e como isso foi alcançado. Pode ser formativa (sendo elaborada ao mesmotempo em que ocorre o projeto ou existe a organização, com a intenção de melhorar aestratégia ou a forma do funcionamento de um projeto ou organização). E pode também serresumida (aferindo aspectos de ensinamentos para um projeto finalizado ou umaorganização que deixou de existir). Uma vez, uma pessoa descreveu a diferença entre osdois como sendo a diferença entre uma avaliação médica geral e uma autópsia!O que a avaliação e o monitoramento têm em comum é que ambos são estruturadosdurante o aprendizado do que se está fazendo e como se está fazendo, focalizando: Eficiência Eficácia ImpactoA Eficiência diz que o insumo empreendido em seu trabalho é apropriado em termos deresultados. Isso pode ser insumo em termos de dinheiro, tempo, equipe, equipamento eassim por diante. Quando você trilha um projeto e está preocupado com sua replicabilidade,ou com a maneira como ele se desenvolverá numa projeção de escala (veja o Glossário),então, é muito importante que se tenha o elemento de eficiência corretamente.Eficácia é a medida de extensão do qual um programa de desenvolvimento ou projetoalcança com os objetivos específicos que traçou para si. Se, por exemplo, foi traçadomelhorar as qualificações de todos os professores de segundo grau de uma determinadaárea, nós conseguimos?Impacto diz se o que você realizou fez ou não alguma diferença em relação ao problema dasituação que você tentou solucionar. Em outras palavras, sua estratégia foi útil? Houve umamelhora, ao final de contas, na taxa de aprovação dos alunos no final do ano quando seassegurou uma maior qualificação dos professores? Antes de se decidir por crescer ouMonitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 3
  4. 4. Monitoramento e Avaliaçãoduplicar o projeto você precisa estar certo de que o que está sendo realizado está fazendosentido nos termos do impacto que se quer atingir.A partir disso, deveria estar claro que o monitoramento e avaliação são mais bem realizadosquando foi estruturado previamente um planejamento que vislumbre seus alcances eprogressos. Existem três pacotes de ferramentas que lidam diretamente com relação a isso– a visão geral de planejamento, um planejamento estratégico e um planejamento de ação.Nesta seção, analisamos com mais profundidade ‘por que fazer uma avaliação e ummonitoramento?’ e ‘mais a respeito de monitoramento e avaliação’, e o que issoenvolve. Isso inclui uma discussão das diferentes abordagens de monitoramento eavaliação e o que pensar a respeito de quando se utiliza um avaliador externo.POR QUE FAZER MONITORAMENTO E AVALIAÇÃO?O monitoramento e a avaliação habilitam que se averigúe o “ponto fundamental” (consulte oGlossário) de um desenvolvimento de trabalho: Não, “estamos tendo lucro?”, mas “estamosfazendo a diferença?”. Através de monitoramento e avaliação, pode-se: Revisar o progresso; Identificar os problemas em planejamento e/ou implementação; Promover ajustes para que se possa mais fortemente “fazer a diferença”.Em muitas organizações, “monitoramento e avaliação” é alguma coisa vista mais como umarequisição de doadores do que uma ferramenta de gerenciamento. Doadores certamentetêm todo o direito de saber se seu dinheiro está sendo gasto de maneira apropriada e seestá sendo bem gasto. Porém, primariamente (e muito mais importante) o uso da avaliaçãoe monitoramento deve ser feito para a própria organização ou projeto saber como estáandando em relação aos seus objetivos, se está tendo um impacto, se está se trabalhandocom eficiência e para aprender a ser melhor.Planos são essenciais, mas não são feitos de concreto (fixados de forma totalmenteinflexível). Se não estão funcionando, ou se as circunstâncias mudaram então os planostambém devem sofrer mudanças. O monitoramento e avaliação são ferramentas queajudarão um projeto ou organização a perceber quando seus planos não estão funcionandoou quando as circunstâncias sofreram mudanças. Eles fornecem ao gerenciamento ainformação necessária para tomadas de decisões a respeito do projeto e da organizaçãodas mudanças que se mostrem necessárias em relação aos planos ou a própria estratégia.Através disso, as constantes permanecem como pilares da rede estratégica: a análise deproblemas, a visão e os valores da organização ou do projeto. Tudo o mais pode serrenegociável (veja também o pacote de planejamento estratégico). Fazer algo errado não éum crime. Falhar e não mostrar que aprendeu com erros do passado por não ter feito ummonitoramento e avaliação, é.O efeito do monitoramento e avaliação pode ser visto no ciclo a seguir. Observe que vocêmonitorará e ajustará diversas vezes antes que esteja preparado para fazer uma avaliaçãoe possa planejar novamente.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 4
  5. 5. Monitoramento e Avaliação Avaliar/aprender / decidir Implementar Planejar Refletir/aprender /decidir/ajustar Implementar Monitorar Monitorar Refletir/ aprender/ Implementar decidir/ajustarÉ importante reconhecer que o monitoramento e a avaliação não são varinhas de condãoque podem ser simplesmente usadas como um passe de mágica, solucionando problemas,ou remediando dificuldades, ou fazendo mudanças miraculosas, sem uma boa dose detrabalho duro sendo feito para a realização do projeto ou organização. Em si mesmos, elesnão são soluções, mas são ferramentas valiosas. O monitoramento e a avaliação podem: Ajudar a identificar problemas e suas causas; Sugerir soluções possíveis para problemas; Levantar questões quanto à estratégia e às previsões realizadas; Levar você a refletir para onde está indo e de como você está chegando lá; Providenciar informações e aspectos internos; Encorajá-lo a agir a respeito dessas informações e aspectos; Aumentar suas possibilidades de acerto que farão uma diferença de desenvolvimento positiva.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 5
  6. 6. Monitoramento e AvaliaçãoMAIS INFORMAÇÕES A RESPEITO DE MONITORAMENTO E AVALIAÇÃOMonitoramento envolve: Estabelecer indicadores (consulte o Glossário) de eficiência, de eficácia e de impacto; Estabelecer sistemas para coleta de informações, relacionando estes indicadores; Coletar e gravar a informação; Analisar a informação; Utilizar a informação para informar ao gerenciamento diariamente.O monitoramento é uma função interna em qualquer projeto ou organização.Avaliação envolve: Avaliar o que o projeto ou a organização pretendem atingir – qual diferença quer fazer? Qual impacto quer ter? Reconhecer seu progresso com relação ao que almejava, suas metas de impacto. Examinar a estratégia de um projeto ou organização. Houve uma estratégia? Houve eficácia em se seguir a estratégia proposta? A estratégia funcionou? Se não, por que não? Examinar como as coisas funcionaram. Houve um uso eficiente dos recursos? Quais foram os custos de oportunidade (veja o Glossário) com a maneira que se optou por trabalhar? Quão sustentável é a forma pela qual o projeto e a organização trabalham? Quais são as implicações para os diversos agentes envolvidos pelo modo com que a organização trabalha?Numa avaliação, avaliamos eficiência, eficácia e impacto (consulte Glossário).Existem muitos tipos diferentes de se fazer uma avaliação. Alguns dos termos mais comunscom que você poderá se deparar são: Auto-avaliação: Isso requer uma organização ou projeto que segure um espelho diante de si mesmo e analise o que faz, como uma forma de prática para melhoramento e aprendizagem. Exige que se tenha uma organização muito honesta e auto-reflexiva para fazer isso de forma eficaz, contudo isso pode ser uma experiência de aprendizagem muito importante. Avaliação participatória: Esta é uma forma de avaliação interna. A intenção é reunir o maior número de pessoas possível que tenham participação direta no trabalho que está sendo realizado. Isso pode significar beneficiários e equipe do projeto trabalhando em conjunto nesta avaliação. Se alguém de fora for chamado será para agir como facilitador do processo, não avaliador. Estimativa Participatória Rápida: Originalmente utilizada em áreas rurais, a mesma metodologia pode, na verdade, ser aplicada na maioria das comunidades. Este é uma forma qualitativa (consulte o Glossário) de se fazer avaliações. É conduzida e semi-estruturada por um time interdisciplinar e levada por um curto período de tempo. É utilizada como base de início para se entender uma situação local e é uma maneira rápida, útil e barata de se armazenar informações. Envolve o uso de revisões de dados secundárias (consulte o Glossário), observação direta, entrevistas semi-estruturadas, informantes chave, entrevistas de grupos, jogos, diagramas, mapas eMonitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 6
  7. 7. Monitoramento e Avaliação calendários. Em um contexto de avaliação, ele permite que se obtenham dados valorosos daqueles que supostamente estão se beneficiando do trabalho de desenvolvimento. É flexível e interativo. Avaliação externa: É uma avaliação feita por um time de fora ou alguém externo cuidadosamente escolhido. Avaliação interativa: Isso requer uma interação muita ativa entre o avaliador ou time externo e a organização ou projeto sendo avaliado. Às vezes, alguém de dentro pode ser incluído no time de avaliação.Para mais informações de vantagens e desvantagens das avaliações internas e externas,veja a próxima página.Para maiores informações a respeito de um avaliador externo, vá para a página 9.Para maiores informações de diferentes tipos de abordagens para avaliação, vá para apágina14.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 7
  8. 8. Monitoramento e AvaliaçãoΞ VANTAGENS E DESVANTAGENS DE AVALIAÇÕES INTERNAS E EXTERNAS Vantagens DesvantagensAvaliação interna Os avaliadores têm muita O time de avaliação possuirá familiaridade com o trabalho, um interesse especial em com a cultura organizacional e alcançar conclusões positivas com seus objetivos e metas. com relação ao projeto ou organização. Por esta razão Algumas vezes as pessoas inclusive, se desenvolve o sentem-se mais à vontade em motivo para que doadores falar com pessoas de dentro da prefiram uma avaliação externa. organização do que com pessoas de fora. O time pode não ser especializado ou treinado Uma avaliação interna é muito especificamente para realizar claramente uma ferramenta uma avaliação. gerencial e de auto-correção bem menos ameaçadora que A avaliação tomará uma uma avaliação externa. Essa considerável quantia de tempo- forma torna muito mais simples enquanto poderá custar menos para todos os envolvidos deixar que uma avaliação aceitar certas críticas e externa ocorra, em termos de sugestões e opiniões a respeito custo de oportunidade (consulte do trabalho sendo realizado. o Glossário). Dessa forma, pode ser mais elevado que Uma avaliação interna custará simplesmente contratar uma muito menos que uma avaliação externa. avaliação externa.Avaliação Externa (feita por A avaliação tende a ser muito Alguém de fora da organizaçãoum time ou pessoa sem mais objetiva, já que os ou projeto pode não entender ainteresses especiais pelo avaliadores mantêm-se cultura ou até mesmo oprojeto em questão) distantes do trabalho sendo trabalho que se pretende realizado. alcançar. Os avaliadores possuem Aqueles que estão diretamente geralmente uma grande envolvidos podem se sentir variedade de habilidades e ameaçados pelos avaliadores experiências de avaliação. externos e podem ter menos propensão a falar abertamente Algumas vezes, as pessoas e cooperar com o processo. preferem relatar coisas a pessoas de fora ao invés de Uma avaliação externa pode pessoas internas a ser muito custosa. organização. Um avaliador externo pode Gera-se muito mais interpretar mal o que você credibilidade a opiniões e deseja e pode não fornecer o sugestões utilizando-se um que você precisaria. avaliador externo, especialmente no caso de sugestões positivas.Se você decidir ter uma avaliação externa, você encontrará algumas sugestões de critériosa serem utilizados na escolha de um avaliador externo na próxima página.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 8
  9. 9. Monitoramento e AvaliaçãoΞ SELECIONANDO UM AVALIADOR EXTERNO OU UM TIME DE AVALIAÇÃOQualidades para serem levadas em conta quanto à escolha de um avaliador ou time deavaliação externa: Uma boa compreensão de assuntos de desenvolvimento. Uma boa compreensão de assuntos organizacionais. Experiência na avaliação de desenvolvimento de projetos, programas ou organizações. Um bom histórico que possa ser averiguado com relação a clientes anteriores. Grandes habilidades de pesquisa. Um compromisso com qualidade. Um compromisso com datas de trabalhos a serem cumpridos. Objetividade, honestidade e justiça. Lógica e facilidade em operar sistematicamente. Forte habilidade em se comunicar tanto escrevendo como verbalmente. Um estilo e abordagem que se encaixe com a personalidade de sua organização. Valores que sejam compatíveis com aqueles que sua organização tenha. Preços razoáveis (custo), comparáveis com os de outras empresas no mercado.Como você descobre tudo isso? Formulando uma grande quantidade de perguntas!Quando você decide utilizar um avaliador externo: Confira as referências de quem seja. Reúna-se com os avaliadores antes de tomar a decisão final. Comunique o que você deseja claramente – bons Termos de Referência (veja o Glossário) são fundamentais para uma boa relação contratual. Negocie um contrato que forneça uma previsão do que acontecerá se o calendário e os resultados esperados, em termos de compromissos, não forem alcançados. Peça por um plano de trabalho com resultados e datas afixadas. Mantenha contato – peça por relatórios intermediários nesse ínterim como parte do trabalho a ser realizado – seja verbalmente ou por escrito. Estruture esse acompanhamento formalmente e combine quando isso deverá ser entregue a você.Não espere que todo avaliador seja completamente objetivo. Essa pessoa terá opiniões evisões – você não está procurando alguém que seja um robô! Entretanto, suas opiniõesdevem estar claramente estabelecidas como tais, e não devem desviar ou serem colocadascomo “fatos”. É bastante importante também ter uma noção de quais serão as abordagensque esse avaliador utilizará para fazer a avaliação.A próxima página traz mais informações quanto a diferentes tipos de abordagens paraavaliação.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 9
  10. 10. Monitoramento e AvaliaçãoΞ DIFERENTES ABORDAGENS PARA AVALIAÇÃO Abordagem Propósito principal Possíveis Metodologia análoga questionamentos em focoBaseadas em metas Compreender o As metas foram Comparar a linha de alcance de metas e alcançadas? base (veja o Glossário) objetivos. Eficientemente? Foram e as informações de essas as metas progresso (veja o corretas? Glossário); encontrando maneiras de definir indicadores.Tomadas de decisões Fornecer informação. O projeto foi eficaz? Compreender a Deve continuar? Como variedade de opções deve ser modificado? relacionadas com o contexto do projeto, resultados, processos, e o produto. Estabelecer algum tipo de consenso quanto à tomada de decisões.Com objetivos livres Compreender a Quais foram todos os Determinação variedade dos efeitos resultados independente de do projeto pretendidos relacionados? Que necessidades e ou imprevistos. valor eles possuem? padrões para julgar a validade do projeto. Técnicas qualitativas e quantitativas que descubram quaisquer resultados possíveis.Julgamento de Utilização de um Como um profissional Revisão críticaespecialistas especialista. externo a este projeto baseada na pode avaliá-lo? experiência, pesquisa informal e reflexões internas.Em nossa opinião, os melhores avaliadores se valem de uma combinação de todas essasabordagens. Uma organização pode pedir para que uma delas seja enfatizada, mas éimportante não excluir qualquer descoberta ou conclusão, e não fazer uso de umaabordagem diferente.(Agradecimentos à PACT’s Evaluation Sourcebook, 1984, por muito do que foi escrito aqui.)Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 10
  11. 11. Monitoramento e AvaliaçãoPlanejamento para Monitoramento e AvaliaçãoO monitoramento e a avaliação devem ser parte de seu processo de planejamento. É muitomais complicado retornar e estabelecer os sistemas de monitoramento e avaliação uma vezque as coisas já tenham começado a acontecer. A necessidade de se começar a coletarinformações de desempenho em relação a suas metas é importante desde o primeiroinstante de atividades. A primeira informação coletada deve ser feita, na verdade, quandose estruturam as primeiras necessidades de documentação (consulte, no pacote deferramentas de visão geral de planejamento, a seção a respeito do trabalho de base). Elefornecerá a informação necessária quanto ao alcance em relação a melhoramentos com odecorrer do tempo.Quando você realiza seu processo de planejamento, você define indicadores (veja oGlossário). Estes indicadores fornecem a rede que possibilita seu sistema demonitoramento e avaliação. Eles informam o que você deseja saber e os tipos deinformação cuja coleta será útil. Nesta seção examinaremos: O que queremos saber? Isso inclui examinar indicadores de ambos os assuntos, externos e internos (Confira também os exemplos de indicadores mais adiante neste pacote de ferramentas.) Tipos diferentes de informação. Como obteremos a informação? Quem deve estar envolvido?Não há um único modo de planejamento para monitoramento e avaliação. As sugestõesincluídas nos pacotes de ferramentas de planejamento, planejamento estratégico eplanejamento de ações lhe auxiliarão no desenvolvimento de uma rede dinâmica para seusistema de monitoramento e avaliação. Se você possui uma familiaridade com uma rede deanálise lógica e já a utiliza em seu planejamento, esta abordagem traz em si mesma umaforma de planejar um sistema de avaliação e monitoramento. (Consulte também no pacotede ferramentas a respeito da visão geral de planejamento, a seção de ferramentas deplanejamento – visão geral.)Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 11
  12. 12. Monitoramento e AvaliaçãoO QUE QUEREMOS SABER?O que queremos saber está relacionado com o que pensamos ser importante. Notrabalho de desenvolvimento, o que pensamos ser importante está relacionado comnossos valores.A maioria do trabalho está envolvida por uma rede de valores. É esta rede que determina ospadrões de aceitação no trabalho que fazemos. Os valores centrais, nos quais a maioria dotrabalho de desenvolvimento é feito, são: Servir a pessoas carentes; Favorecer os desprotegidos; Mudar a sociedade, não simplesmente com a ajuda individual; Sustentabilidade; Uso eficiente de recursos.Então, a primeira coisa que precisamos saber é: O que estamos fazendo e como estamosagindo está auxiliando para o favorecimento destes valores? Para responder a estaquestão, nosso sistema de monitoramento e avaliação deve nos fornecer informações arespeito de: Quem está se beneficiando do que fazemos? O quanto estão se beneficiando? Os beneficiados recebem de uma forma unilateral e passivamente ou o processo auxilia para que eles possam assumir algum controle de suas vidas? Existem quaisquer ensinamentos que possam trazer um maior impacto além deste que está acontecendo com nosso projeto? Isso que estamos fazendo tem alguma possibilidade de se sustentar a longo-termo, ou cessará assim que partirmos? Estamos alcançando o máximo dos melhores resultados possíveis para os problemas apresentados?Queremos nos concentrar no produto ou no processo que está sendo desenvolvido?O trabalho de desenvolvimento deve ser avaliado em termos de processo (a forma com queo trabalho está sendo desenvolvido) ou o produto (o que o trabalho produz)? Geralmente,essa discussão é feita mais para se desculpar desempenhos inadequados que discutirrealmente algo que deve ser levado a sério. O produto e o processo não estão separadosem um trabalho de desenvolvimento. Aquilo que alcançamos e a maneira como alcançamossão geralmente a mesma coisa. Se o objetivo é desenvolvimento, baseando-se em valoresdesenvolvimentistas, então cavar um poço sem transferir a habilidade para manter emanusear o poço não é suficiente. Dizer: “Iria demorar muito dessa forma, não podíamosesperar que eles agissem por si mesmos. Dissemos que iríamos cavar um poço e ofizemos” não é suficiente. Mas também não é suficiente dizer: “Não tem importância que opoço não tenha acontecido ainda. O importante é que a população foi instruída”.Ambos os processos e produtos devem ser parte de um sistema de avaliação emonitoramento. Mas como podemos tornar o processo, o produto e tais valoresmensuráveis? A resposta se encontra no estabelecimento de indicadores, e este assunto éabordado na subseção a seguir.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 12
  13. 13. Monitoramento e AvaliaçãoO QUE QUEREMOS SABER?IndicadoresIndicadores são também abordados na visão geral de planejamento, na seção a respeito demonitoramento e avaliação. Indicadores são sinais tangíveis ou mensuráveis de que algo foifeito ou alcançado. Em alguns estudos, por exemplo, o aumento de antenas de televisãonuma comunidade foi utilizado como indicador de que o padrão de vida da comunidadeaumentou. Um indicativo de maior organização comunitária pode ser um aumento dafreqüência de membros da comunidade nos encontros periódicos. Se alguém estáinteressado no impacto da participação em relação ao gênero, pode-se utilizar “envolverespecial atenção e maior tempo em projetos de desenvolvimento a uma maior participaçãofeminina” como um indicador. Indicadores comuns que apontam para o estado de saúdegeral de uma comunidade são taxas de mortalidade de bebês/crianças/ mães, taxas denatalidade, status nutricional e peso de bebês ao nascerem. Podem-se analisar indicadoresmenos diretos, como extensão de imunização, extensão de água potável disponível, eassim por diante. (veja maiores exemplos de indicadores mais adiante).Os indicadores são uma parte essencial de um sistema de monitoramento e avaliação, poiseles são o que você vai poder medir e/ou monitorar. Através de indicadores você podeperguntar e responder questões como: Quem? Quantos? Com qual freqüência? Quanto custa?Entretanto, você precisa decidir anteriormente quais indicadores vai utilizar para quecomece a coletar informações imediatamente. Você não pode querer se utilizar de umindicativo como o número de antenas de televisão como sinal de melhora de padrão dacomunidade se você não sabe quantas havia no começo do processo.Algumas pessoas argumentam que o problema com indicadores mensuráveis é que outrasvariáveis (fatores) podem ter um impacto sobre eles também. Mais membros dacomunidade podem estar participando nos encontros comunitários simplesmente por haverum maior número de pessoas com um passado ativo, e mudado simplesmente para aquelaárea. As mulheres podem ter mais tempo para projetos de desenvolvimento porque oshomens da vila participaram de um seminário para questões de gênero e decidiram dividir eajudar mulheres em algumas tarefas tradicionalmente realizadas por mulherespossibilitando assim que se ocupem de outras atividades. E assim por diante. Ainda queisso seja verdade, é possível identificar outras variáveis e levá-las em conta. É tambémmuito importante notar que, se nada está se modificando, se não se pode averiguar nem ummelhoramento na mensuração dos indicadores-chave escolhidos, é sinal de que suaestratégia não está funcionando e precisa ser repensada.Para estudar um método de desenvolvimento de indicadores, veja a próxima página.Para consultar exemplos de indicadores, vá para exemplos.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 13
  14. 14. Monitoramento e AvaliaçãoΞ DESENVOLVENDO INDICADORES1º Passo: Identifique o problema que você está tentando resolver. Ele pode ser: Situação econômica (desemprego, baixos salários, etc.). Situação social (moradia, saúde, educação, etc.). Situação cultural ou religiosa (perda do uso de línguas tradicionais, pouca freqüência em serviços religiosos, etc.). Situação política ou organizacional (governo local ineficiente, lutas de facções, etc.).Pode haver outras situações também.(consulte a seção de análise de problemas em seu pacote a respeito da visão geral deplanejamento, na seção que trata do trabalho de base).2º Passo: Desenvolva uma visão de como você gostaria que estas áreas fossem ou parecessem (consulte, no pacote de planejamento estratégico, a seção a respeito de visão). Isso lhe fornecerá indicadores de impacto.O que lhe mostraria que sua visão foi alcançada? Que sinais você identificaria e quepossam ser medidos que “provariam” que sua visão foi alcançada? Por exemplo, se suavisão foi a de que as pessoas em sua comunidade seriam mais saudáveis, então você podeusar indicadores de saúde para averiguar como está avançando. A mortalidade infantilsofreu uma queda? Menos mulheres estão falecendo durante o parto? A taxa decontaminação pelo vírus da AIDS tem sido reduzida? Se você pode dizer “sim” a estasquestões, então algum progresso foi alcançado.3º Passo: Desenvolva uma visão progressiva de como você quer que as coisas sejamatingidas. Isso lhe fornecerá indicadores de processo.Se, por exemplo, você quer atingir seus resultados através da participação da comunidadee de seus próprios esforços, então sua visão de processo pode incluir coisas comotrabalhadores de saúde da comunidade treinados e que ofereçam um serviço de qualidadepara todos; eventos organizados regularmente pela comunidade para limpeza geral, eassim por diante.4º passo: Desenvolver indicadores para eficácia.Por exemplo, se você acredita que pode aumentar a taxa de alunos aprovados no ensinosecundário, melhorando o nível de seus professores, então precisará de indicadores quemostrem que você obteve sucesso quanto à melhora destes professores, p.ex. evidênciasde uma pesquisa em escolas, comparando com a pesquisa de base inicial.5º passo: Desenvolver indicadores para metas de eficiência.Aqui você pode estabelecer indicadores, tais como: seminários planejados devem ocorremjunto com o tempo pré-estabelecido, custos para os seminários são mantidos em 2.50dólares por pessoa, no máximo, não se deve utilizar mais de 160 horas com a organizaçãode uma conferência; sem reclamações quanto à organização da conferência, etc.Com a estrutura colocada em seu devido lugar, você estará apto a monitorar e avaliareficiência, eficácia, e o impacto disso tudo (Veja o Glossário).Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 14
  15. 15. Monitoramento e AvaliaçãoTIPOS DIFERENTES DE INFORMAÇÃO – QUANTITATIVA E QUALITATIVAA informação utilizada para monitorar e avaliar pode classificada como: Quantitativa; ou Qualitativa.A medida quantitativa lhe diz “quanto ou quantos?”. Quantas pessoas assistiram aoseminário, quantas pessoas foram aprovadas em seus testes finais, quanto custa umapublicação, quantas pessoas foram infectadas pelo vírus da AIDS, quantas pessoasprecisam se deslocar para conseguir água ou madeira para o fogo, e assim por diante. Amedida quantitativa pode ser expressa em números absolutos (3241 mulheres da amostraestão infectadas) ou com percentual (50% das residências nesta área possuem antenas detelevisão). Pode também ser expressa por razões (uma a cada 30000 pessoas). De umamaneira ou de outra, você terá uma informação quantitativa (número) por contar ou medir.A medida qualitativa indica como as pessoas se sentem a respeito de alguma situação oucomo as coisas são feitas, ou como as pessoas se comportam. Então, por exemplo, aindaque você descubra que 50% dos professores da escola estão insatisfeitos com o critérioselecionado, isso ainda é considerado uma informação qualitativa, não uma informaçãoquantitativa. Consegue-se a informação qualitativa perguntando, observando einterpretando.Algumas pessoas consideram a informação quantitativa confortante – ela parece confiável,sólida e “objetiva”. Elas consideram a informação qualitativa “subjetiva” e poucoconvincente. É um erro, porém dizer que “a informação quantitativa fala por si mesma”. Ainformação quantitativa está sujeita a interpretações tanto quanto a informação qualitativa.Pode ser um “fato” que o ingresso de meninas em escolas de alguns países emdesenvolvimento está caindo – a contabilidade disso pode nos mostrar tal fato, mas não nosdirá coisa alguma a respeito das causas ou motivos desses dados. Para se alcançar esseentendimento, será necessário sair e perguntar a respeito de tais razões – ou seja, ponderarinformações qualitativas. A escolha de indicadores é também algo subjetivo, seja a partir demétodos quantitativos ou qualitativos para a mensuração real. Os pesquisadores escolhemmedir o ingresso de meninas para a escola porque eles acreditam que isso diga algo arespeito de como as mulheres são tratadas ou vistas na sociedade.Para que uma boa compreensão seja alcançada, o processo de monitoramento e avaliaçãonecessita de uma combinação de informações qualitativas e quantitativas. Por exemplo,precisamos saber quais são os dados de quantas meninas vão para a escola, assim comoprecisamos saber qual o motivo para que seus pais permitam ou não que freqüentem aescola. Talvez as taxas de matrícula para meninas sejam mais altas porque nestacomunidade considera-se que ir para a escola seja um luxo e prefira-se treinar meninos emtarefas mais práticas e tradicionais, como tomar conta de animais, por exemplo. Neste caso,um ingresso maior de meninas na escola não necessariamente indica uma maiorvalorização de meninas.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 15
  16. 16. Monitoramento e AvaliaçãoCOMO OBTEREMOS A INFORMAÇÃO?Isso é tratado com detalhes no pacote do planejamento de ações, na seção demonitoramento, coletando informações à medida que se progride no planejamento. Seusmétodos de coleta de informação precisam ser construídos dentro de seu planejamento deações. Você deve estar apto a manter um canal de informações firmes correndo em seuprojeto ou organização a respeito do trabalho e de como está sendo realizado, semsobrecarregar ninguém. A informação que é coletada deve significar alguma coisa: nãocolecione informações para manter-se ocupado, somente o faça para encontrar o queprecisa saber, e depois arquive a informação de uma forma que possa ser simples consultá-la.Geralmente, você pode utilizar relatórios, minutas, registros de presença e declaraçõesfinanceiras que são parte de seu trabalho como fontes de monitoramento e informação deavaliação.Entretanto, às vezes você precisa utilizar-se de ferramentas especiais que são simples, masúteis para adicionar à informação básica coletada em seu curso natural de trabalho.Algumas das ferramentas mais conhecidas são: Estudos de caso Avaliação gravada Diários Análise e gravação de incidentes importantes (chamado “análise de incidente crítico”) Questionários estruturados Entrevistas face a face Grupos focais Pesquisas de amostras Revisão sistemática de estatísticas relevantes oficiais.Consulte a seção métodos para mais informações a respeito de maneiras de coletarinformação.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 16
  17. 17. Monitoramento e AvaliaçãoQUEM DEVE ESTAR ENVOLVIDO?Quase todos da organização ou projeto estarão envolvidos de alguma forma na coleta deinformações que possa ser usada para monitorar e avaliar. Isso inclui: O administrador, que guarda minutas de uma reunião, ou prepara e distribui o registro de presença; Os trabalhadores de campo, que escrevem relatórios de suas visitas de campo; O arquivador, que registra rendas e gastos.Para que sejam maximizados seus esforços, a organização ou projeto precisa: Preparar relatórios que incluam a mensuração quantitativa ou qualitativa de indicadores importantes. Por exemplo, se você quer saber a respeito da participação da comunidade em atividades, ou da participação feminina especificamente, construa um relatório que possibilite que os trabalhadores de campo possam tecer comentários a respeito disso, sustentando observações com os fatos. (Veja um tipo de relatório de trabalho de campo, mais adiante neste pacote). Prepare tipos de relatórios que incluam a mensuração quantitativa ou qualitativa de indicadores importantes. Por exemplo, se você deseja saber quantos homens e quantas mulheres participaram da reunião, inclua uma coluna que especifique o gênero de sua lista de presença. Armazene a informação de uma forma que seja possível manejar o que se precisa saber. Por exemplo, se você precisa saber se um projeto é sustentável financeiramente, e quais elementos são mais dispendiosos, então certifique-se de que seus arquivos de gravação averigúem essa informação relevante.É um princípio muito útil olhar para cada atividade e dizer: O que necessitamos saber destaatividade, ambos os processos (como está sendo feito) e produtos (o que se pretendeatingir), e qual é a maneira mais fácil de encontrar e gravar isso à medida quecaminhamos?Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 17
  18. 18. Monitoramento e AvaliaçãoEstruturando um processo de monitoramento e/ou avaliaçãoComo existem diferenças entre como desenhar um sistema de monitoramento e umprocesso de avaliação, lidaremos aqui com os dois separadamente.Sob monitoramento, avaliaremos o processo que uma organização pode atravessar paraconstruir um sistema de monitoramento.Sob avaliação, avaliaremos: Motivo Questões de avaliação chave Metodologia.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 18
  19. 19. Monitoramento e AvaliaçãoMONITORAMENTOQuando você estrutura um sistema de monitoramento, você está estabelecendo um pontode visão formativo e criando um sistema que lhe providenciará informação útil de uma basecorrente para melhorar o que fazer e como fazer.Na próxima página, você encontrará um processo sugerido para criar um sistema demonitoramento.Para um estudo de caso que mostra como uma organização se saiu elaborando um sistemade monitoramento, vá à seção com exemplos e veja o exemplo: criando um sistema demonitoramento.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 19
  20. 20. Monitoramento e AvaliaçãoΨ CRIANDO UM SISTEMA DE MONITORAMENTOLogo abaixo, mostramos passo a passo o processo de criação de um sistema demonitoramento para sua organização ou projeto.Para o caso de estudo de como uma organização conseguiu implantar seu sistema demonitoramento, veja a parte de exemplos.1º passo: Um seminário com equipe e/ou voluntários, liderado por você ou por um consultor: Introduza os conceitos de eficiência, eficácia, e impacto (veja o glossário). Explique que um sistema de monitoramento precisa cobrir todos os três. Faça uma lista de indicadores para cada um dos três aspectos. Esclareça quais variáveis (consulte o glossário) precisam ser conectadas. Então, por exemplo, você quer criar uma relação entre a idade dos professores com suas qualificações para poder responder a pergunta: Existe a tendência de professores mais velhos terem mais qualificações? Esclareça quais informações o projeto ou organização já está coletando.2º passo: Inclua os dados e comentários do seminário em um breve resumo de questões, colocando seu sistema de monitoramento. Dependendo do quão complexo forem seus requisitos, e de qual é sua capacidade, você talvez decida ter uma base de dados computadorizada ou manual. Se você quer poder relacionar muitas variáveis através de muitos casos (e.g. participantes, escolas, envolvimento dos pais, recursos, urbano e rural, etc.) você talvez precise de uma linha computadorizada. Se você possui poucas variáveis, você pode provavelmente fazer isso manualmente. A coisa mais importante é começar descobrindo as variáveis e manter os dados nestas variáveis. Conexão e análise podem ser feitos posteriormente. (Estes conceitos são complicados. Ajudará ler o estudo de caso nos exemplos da seção do pacote de ferramentas). Deste seminário, você saberá o que quer monitorar. Você terá os indicadores de eficiência, eficácia e impacto que precisarão ser priorizados. Você então escolherá as variáveis que auxiliarão a responder as questões que pense serem importantes. Então, por exemplo, você pode ter um indicador de impacto que seja “opções de sexo mais seguras foram escolhidas” como um indicador de que “pessoas mais jovens agora estão fazendo escolhas de vida mais maduras”. As variáveis que podem influenciar o indicador são: Idade Gênero Religião Região Urbana/rural Categoria Econômica Ambiente familiar Extensão de exposição para suas iniciativas de projeto. Número de seminários assistidos.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 20
  21. 21. Monitoramento e Avaliação A informação correta lhe capacitará a responder as seguintes questões: Existe alguma diferença em relação à idade no modo como nossa mensagem é recebida? A categoria econômica, isto é, jovens de áreas mais ricas respondem melhor ou pior à mensagem, ou isso simplesmente não faz diferença? Houve um impacto maior para as pessoas que assistiram a mais seminários? Respostas a estes tipos de questões ajudam uma organização ou um projeto a tomar decisões a respeito do que eles fazem e de como realizam isso, para poder executar as mudanças nos programas e medir seus impactos e sua eficácia. Respostas a questões como as seguintes ajudam o projeto ou a organização e mensurar e melhorar sua eficiência: Houve um maior número de pessoas com sessões bastante programadas com antecipação? Mais escolas participam quando não se cobra? Mais jovens participam quando as sessões são durante o final de semana ou quando são no período noturno? Custa menos organizar um seminário na comunidade, ou trazer as pessoas para nosso centro de treinamento para realizar o seminário?3º passo: Decida como você coletará a informação de que precisa (veja coletando a informação) e onde deve ser mantida (no computador, em arquivos manuais).4º passo: Decida com qual freqüência você analisará a informação – isso pode significar organizar tudo junto e tentar responder às questões que você considera importantes.5º passo: Faça a coleta, analise, faça um relatório.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 21
  22. 22. Monitoramento e AvaliaçãoAVALIAÇÃOCriar um processo de avaliação pode significar estar apto a desenvolver os Termos deReferência para tal processo (se você é a organização ou o projeto) ou ser capaz dedesenhar uma proposta sensata que supra as necessidades do projeto ou da organização(se você é um consultor).Os principais setores dos Termos de Referência para um processo de avaliação geralmenteincluem: Conhecimento adquirido: Esse é o fundo de conhecimento do projeto ou organização, alguma informação quanto ao problema identificado, o que você faz, quanto tempo você existe como organização ou projeto, ou as razões por você decidir fazer uma avaliação. Motivo: Neste setor, você mostrará o que a organização ou o projeto quer alcançar com a avaliação. Questões de avaliação-chave: Quais são as perguntas centrais que a avaliação precisa ocupar-se em resolver. Objetivos específicos: Quais áreas específicas, externas e/ou internas, que você deseja que a avaliação focalize. Por exemplo, talvez você queira que a avaliação inclua uma revisão de finanças, ou inclua certo tipo específico de áreas de programas. Metodologia: Neste setor, você poderá dar amplos parâmetros ao tipo de abordagem que favorece em sua avaliação (veja a seção, mais a respeito de avaliação e monitoramento). Você também poderá sugerir os tipos de técnicas para o time de avaliação. Pontos logísticos: Eles incluem tempo de duração, custo, requisitos para a composição do time de avaliação, e assim por diante.Para informações a respeito de alguns dos componentes mais difíceis dos Termos deReferência, continue a leitura das próximas páginas.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 22
  23. 23. Monitoramento e AvaliaçãoPropósitoO propósito de uma avaliação é o motivo do que se faz. Vai além dos motivos do que vocêquer realizar para alcançar o intento que o move a realizar tal coisa. É geralmente dotamanho de uma frase ou, no máximo, de um parágrafo. Ele possui duas partes: O que você deseja avaliar; Com qual fim você quer que isso se realize.Os exemplos de um propósito de avaliação poderiam ser: Providenciar à organização informações necessárias para tomadas de decisões a respeito do futuro de um projeto. Descobrir se o projeto ou a organização está tendo o impacto planejado de maneira que possa replicar seu modelo, ou não, em outros lugares. Para melhorar seu funcionamento em termos de sua eficácia, impacto sobre um grupo alvo, eficiência e sustentabilidade.O propósito fornece um foco para o amplo processo de avaliação.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 23
  24. 24. Monitoramento e AvaliaçãoQuestões centrais para a avaliaçãoAs questões de avaliação-chave são as questões centrais que você deseja que seuprocesso de avaliação responda. Elas não são simples questões. Você dificilmente poderáresponder simplesmente “sim” ou “não” a elas. Uma questão de avaliação útil: Incita fortes pensamentos. Desafia previsões. Focaliza reflexões e questionamentos. Levanta muitas questões adicionais.Abaixo, alguns exemplos de questões de avaliação-chave relacionadas com o propósito doprojeto:O propósito da avaliação é entender quão eficiente é o projeto em distribuir benefícios paraa comunidade em questão, de forma que informe, às decisões de Diretoria, a respeito dacontinuidade e da replicabilidade do projeto.Questões de avaliação-chave: Quem está atualmente se beneficiando do projeto e de que forma? Os insumos (em dinheiro e tempo) justificam os resultados e, se sim ou não, em qual base essa reivindicação se justifica? O que melhoraria a eficiência, a eficácia e o impacto do projeto atual? Que lições podem ser aprendidas deste projeto em termos de replicabilidade?Note que nenhuma dessas questões lida com um elemento específico ou área defuncionamento interno ou externo de funcionamento do projeto ou organização. A maioriadas questões exigirá que o time de avaliação lide com uma série de elementos do projetoou da organização para que consiga respondê-las.Outros exemplos de questões de avaliação podem ser: Quais são as maneiras mais eficazes na qual um projeto deste tipo pode resolver o problema identificado? Em qual extensão o funcionamento interno e a estrutura de organização conseguem causar positivamente o impacto de seu programa de trabalho? Quais ensinamentos deste projeto têm aplicabilidade através de um espectro de desenvolvimento completo?Certamente podem ser citados diversos outros exemplos. Nossa experiência tem nosmostrado que quando um processo de avaliação é desenhado com tais questões em mente,ele produz muito mais reflexões interessantes do que simplesmente as questões maisóbvias como “A diretoria tem um papel importante na organização?”, ou, “Que impactoestamos atingindo?”.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 24
  25. 25. Monitoramento e AvaliaçãoMetodologia“Metodologia”, em contraposição aos “métodos”, trata mais do tipo de abordagem que seutiliza em seu processo de avaliação. (Veja nas páginas anteriores mais a respeito demonitoramento e avaliação neste pacote de ferramentas). Você pode, por exemplo,comissionar ou fazer um processo de avaliação que quase pareça inteiramente de fontesescritas, primárias ou secundárias: relatórios, páginas de dados, minutas, e assim pordiante. Ou você pode pedir um processo de avaliação que envolva obter resultados detodos os grupos de apoio importantes relacionados no processo. A maioria dos termos dereferência pode perguntar pela combinação dessas metodologias, mas eles podemespecificar também como querem que o time de avaliação receba os insumos dos gruposde apoio, por exemplo: Através de uma pesquisa; Através de informantes-chave; Através de grupos focais.(Para mais informações de métodos atuais, veja posteriormente a seção coletandoinformações).Aqui também se espera encontrar alguma indicação de relatórios escritos: Todos osrelatórios estarão escritos? O time de avaliação se reportará somente à diretoria ou a toda aequipe, ou para a equipe, a diretoria e seus beneficiários? Existirão relatórios intermediáriosou somente um relatório final? Que tipo de evidência a organização ou projeto requer paravalidar as opiniões de seu avaliador? Quem estará envolvido nesta análise?A seção de metodologia dos Termos de Referência deve providenciar uma ampla rede decomo um projeto ou organização deseja que o trabalho de avaliação seja realizado.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 25
  26. 26. Monitoramento e AvaliaçãoColetando Informações(Isso também é tratado no pacote de ferramentas de planejamento de ações, dentro daseção a respeito de monitoramento, coletando informações ao passo que você caminhacom a estrutura de seu planejamento).Abaixo, analisaremos com detalhes: As linhas de base e o controle de danos; Métodos.Entendemos controle de danos como sendo o que você precisa fazer se falhar em coletaras informações de linhas de base no início do trabalho.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 26
  27. 27. Monitoramento e AvaliaçãoDIRETRIZES E CONTROLES DE DANODe forma ideal, se você fez seu planejamento de maneira correta e coletou a informação arespeito da situação no começo de sua intervenção, então você obterá seus dados de base.Os dados de base são as informações que você tem a respeito da situação antes de sefazer qualquer coisa. É o conteúdo no qual sua análise do problema foi baseada. Será muitodifícil mensurar o impacto de suas iniciativas se você não souber como a situação estavaquando você começou o trabalho. (Consulte também o pacote da visão geral para oplanejamento, na seção que trata de como realizar o trabalho de base). Você precisará dedados de base relevantes para os indicadores que você decidiu, e que auxiliarão em mediro impacto de seu trabalho.Existem diferentes níveis de dados de base: Informações gerais quanto à situação, geralmente disponíveis em estatísticas oficiais, e.g. taxas de mortalidade infantil, ingresso por gênero dos alunos nas escolas, taxas de desemprego, taxas de alfabetização da população, e assim por diante. Se você estiver trabalhando numa região geográfica específica, precisará de dados a respeito dela. Se estes dados não estiverem disponíveis em estatísticas oficiais, vocês possivelmente terão que reunir, por si mesmos, as informações. Isso talvez envolva pesquisas de casa em casa, sejam elas por amostragens ou por todas as casas (veja a seção posterior a respeito de métodos), ou visitando escolas, hospitais, etc. Focalizando em seus indicadores do impacto quando estiverem coletando esta informação. Se você tiver decidido medir o impacto através de uma amostra de pessoas ou famílias com quem está trabalhando, necessitará de informações específicas dessas pessoas ou famílias. Então, por exemplo, para famílias (ou empresas de negócios ou escolas ou qualquer que seja o tipo de unidades com que esteja trabalhando) você pode querer informações específicas de renda, histórico, número de pessoas empregadas, número de crianças por sala e assim por diante. Você provavelmente obterá essa informação com uma combinação de entrevistas e questionários básicos a serem preenchidos. Mais uma vez, lembre-se de manter o foco nos indicadores que você decidiu serem importantes para seu trabalho. Se você está trabalhando com indivíduos, então necessitará “ingerir” informações – informações documentadas a respeito da situação das pessoas com quem você vai começar a trabalhar. Por exemplo, você pode querer saber além da idade, gênero, nome e etc., a renda atual, o status de trabalho, os níveis atuais de educação, o tempo gasto em atividades esportivas, ambições e assim por diante, para cada indivíduo participante de sua pesquisa. Novamente, você provavelmente obterá as informações da combinação de entrevistas e preenchimentos de questionários básicos, e você deve concentrar sua atenção nos indicadores que considera importantes.É muito difícil reiniciar e coletar esse tipo de informação-base depois que você começou seutrabalho e a situação modificou-se. Mas e se você não tiver coletado esse tipo deMonitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 27
  28. 28. Monitoramento e Avaliaçãoinformação no começo do processo? Existem maneiras de se fazer o controle de danos.Você pode se utilizar de evidências não-formais, ”anedotas” (consulte o glossário) daquelesque estiveram envolvidos desde o princípio e você pode perguntar a eles como a situaçãoestava quando o projeto começou. Você pode não ter sequer decidido quais eram osindicadores importantes no momento quando começou o projeto. Você terá que trabalharretroativamente e buscar informações da situação relacionada àqueles indicadores desdequando iniciou seu trabalho. Você pode conversar com pessoas, analisar dados e consultaroutras fontes como minutas, relatórios e assim por diante.Uma maneira útil de se fazer comparações significativas onde você não tem informações delinhas de base é através da utilização de grupos de controle. Grupos de controle sãogrupos de pessoas, negócios, famílias, ou qualquer outra unidade a qual você estejafocalizando e que não tenha sido influenciada pelas melhoras que sua organização ouprojeto trouxeram e que, porém, são unidades de muitas maneiras, bastantes similares comaquela que você está trabalhando.Por exemplo: Você vem trabalhando, ao redor do país, com grupos de crianças na escolapara melhorar sua auto-estima e conhecimento como forma de combater a disseminação daAIDS/HIV e prevenir a gravidez de adolescentes. Após alguns anos, você quer descobrirqual o impacto que obteve sobre estas crianças. Você vai consultar uma série de grupos defoco (veja métodos) com as crianças em escolas onde realizou seu trabalho. Mas você nãorealizou nenhum estudo de base com eles. Como saberá qual a diferença que vocêobteve?Você pode organizar grupos de controle dentro de escolas nas mesmas áreas, com omesmo perfil, onde não tenha trabalhado. Perguntando a ambas as crianças, àquelas comque você trabalhou e àquelas com que não trabalhou o mesmo tipo de questões envolvendoauto-estima, comportamento sexual e assim por diante. Assim, você deverá ser capaz dedizer se, em seu trabalho, houve uma diferenciação ou não. Quando você organiza gruposde controle, você deve tentar assegurar-se de que: Os perfis dos grupos de controle são parecidos com aqueles com os quais você trabalhou. Por exemplo, podem ser escolas que têm o mesmo padrão econômico, numa igual área geográfica e com as mesmas taxas de gênero, grupos de idade, etnia e miscigenação. Não existe nenhuma outra variável que possa afetar as comparações e afirmações. Por exemplo, se outro projeto, fazendo um trabalho parecido, estiver envolvido com a escola, essa escola não será um bom local de estabelecer um grupo de controle. Você precisa de uma situação que seja a mais próxima possível da situação que seus beneficiados viviam quando o projeto foi iniciado.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 28
  29. 29. Monitoramento e AvaliaçãoMÉTODOSNesta seção daremos a você uma “lista de compras” de diferentes tipos de métodos quepodem ser utilizados para a coleta de informações com propósitos de se avaliar e monitorar.Você precisa selecionar os métodos que servirão para seus propósitos e seus recursos.Não planeje realizar uma pesquisa extensa de 100.000 moradias se você tiver duassemanas e muito pouco dinheiro. Utilize uma amostragem neste caso.A Amostragem (consulte o glossário) é outro conceito importante quando se utiliza devárias ferramentas para o processo de avaliação e monitoramento. A amostragem não éuma ferramenta em si, mas se utilizada com outras ferramentas, ela se torna muito útil. Aamostragem responde à questão: Quem pesquisaremos, entrevistaremos ou incluiremosnum grupo de foco, etc.? É uma maneira de se reduzir o número possível de entrevistadospara tornar a pesquisa gerenciável e com um custo realizável. Algumas vezes, é necessárioincluir todos os indivíduos. Isso significa ter de acessar todas as possíveis moradias, ouescolas, ou professores, ou clínicas, etc. Numa avaliação, você pode bem se utilizar de todaa informação coletada em cada caso durante o processo de monitoramento em uma análisegeral. Geralmente, porém, ao menos que os números sejam muito pequenos, para umaexploração mais a fundo, você utilizará uma amostragem. As técnicas de amostragem são: Amostragem randômica (Em teoria, realizar uma amostragem randômica é fazer uma espécie de sorteio lotérico onde, por exemplo, todos os nomes sejam misturados numa caixinha, chacoalhados e retirados um a um. Este tipo de amostragem randômica é muito difícil de ser utilizado pelo tipo de trabalho que estamos lidando. Para propósitos práticos, será mais simples selecionar a sétima moradia, ou uma a cada três pessoas em uma lista. A essência da questão é que não haja distinções na seleção); Amostragem estratificada (e.g. toda sétima moradia, na esquina do lado direito, e toda terceira moradia, na esquina do lado esquerdo); Amostragem por clusters=grupos homogêneos (p.ex. somente aquelas pessoas que estão no projeto por no mínimo dois anos).É também sempre melhor fazer uma triangulação (veja o glossário). Essa é uma palavraconhecida que significa que um conjunto de dados ou informações são confirmados pelosoutros. Você geralmente procura confirmações de um número de fontes dizendo a mesmacoisa.Ferramenta Descrição Utilidade DesvantagensEntrevistas Podem ser estruturadas, Podem ser utilizadas com Requer alguma semi-estruturadas, ou quase todos que tiveram habilidade do sem estrutura (consulte o algum envolvimento com entrevistador. Para glossário). Elas envolvem o projeto. Podem ser maiores informações a formular perguntas realizadas pessoalmente respeito de habilidades específicas que tenham ou pelo telefone ou de entrevistas, leia mais a como objetivo obter a mesmo por e-mail. Muito seguir neste pacote. informação que possibilite flexível. que os indicadores sejam mensurados. As questões podem ser abertas ou fechadas (respostas sim/não). Podem ser uma fonte de informações qualitativas e quantitativas.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 29
  30. 30. Monitoramento e AvaliaçãoEntrevistas de Estas são entrevistas que Como estes informantes Necessita de um hábilinformantes-chave são conduzidas por geralmente têm pouco a entrevistador com um especialistas em um ver com a organização ou bom entendimento do tópico ou alguém que projeto, eles podem ser assunto. Tenha cuidado pode estar apto a bastante objetivos e para não transformar algo compartilhar uma oferecer perspectivas numa verdade absoluta indicação ou luz especial bastante úteis. Eles (que não possa ser acerca do processo. podem providenciar uma questionada) por ter sido visão mais ampla, dita por um informante- enquanto que pessoas chave. mais envolvidas podem ter seu foco na visão de nível mais micro (pequeno).Questionários Estas são questões Essa ferramenta pode Pessoas que não escritas usadas para economizar bastante conseguem ler ou obter respostas escritas tempo se for para escrever precisarão de as quais, quando preencher um acompanhamento analisadas, possam individualmente, com os questionários, o possibilitar que os possibilitando atingir que significa que nenhum indicadores sejam muitas pessoas. Feita tempo será ganho e os medidos. dessa maneira, ela números passíveis de possibilita às pessoas um alcance serão limitados. sentimento de anonimato Com questionários, não e elas talvez dirão coisas se tem a possibilidade de que não diriam a um explorar o que as entrevistador. pessoas estão dizendo além do que está escrito. Questionários também são utilizados em demasia e as pessoas ficam cansadas de responder a eles. Questionários devem ser conduzidos tendo claro que as perguntas podem ser entendidas e não vão ser mal interpretadas. Se o questionário for complexo e precisar ser analisado no computador, você necessitará de ajuda de um especialista que saiba lidar com esta análise.Grupos focais Num grupo focal, uma Essa pode ser uma É bastante difícil realizar média de média de seis a maneira útil de conseguir uma amostragem doze pessoas são opiniões de uma amostra randômica para grupos entrevistadas em bastante grande de focais e isso significa que conjunto por um pessoas. posicionamentos e entrevistador experiente pensamentos não podem com uma agenda de ser generalizados. entrevista Algumas vezes, as cuidadosamente pessoas influenciam estruturada. As questões umas às outras dizendo são geralmente alguma coisa ou se focalizadas ao redor de calando a respeito de um tópico ou tema outra. Se possível, específico. entrevistas de grupos de foco devem ser gravadas e então transcritas. Isso requer equipamento especial e pode serMonitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 30
  31. 31. Monitoramento e Avaliação bastante demorado.Encontros da Isso envolve um encontro Encontros da comunidade Difíceis de seremcomunidade de uma significativa são bastante úteis para analisados – requisitando porção da comunidade de conseguir uma ampla um beneficiários a quem resposta de muitas facilitador/entrevistador questões, problemas, e pessoas em assuntos experiente. Possa talvez situações são colocadas específicos. É também requisitar desdobrar em como dados que auxiliem uma forma de envolver os pequenos grupos a medir os indicadores. beneficiários diretamente seguidos por sessões de no processo de avaliação, plenário quando todos dando a eles a sensação são colocados juntos de autoria no processo. novamente. Eles são úteis em pontos críticos de projetos comunitários.Relatórios de campo Relatórios de formato Flexível, uma extensão Depende dos(veja também formatos estruturado que garante de um trabalho normal, trabalhadores de campode relatórios de campo que questões portanto, barata e rápida. serem disciplinados esob exemplos) relacionadas a conscientes. indicadores sejam feitas, respondidas e gravadas e observações sejam gravadas a cada visita.Ranking Isso envolve fazer com Pode ser utilizado por Ranking é um conceito que as pessoas digam o indivíduos e grupos, difícil de ser entendido, e que pensam ser o mais como parte de uma necessita de uma importante, menos útil, agenda de entrevistas ou explicação muito etc. um questionário, ou como cuidadosa, bem como de uma sessão separada. testes que assegurem Onde pessoas não que as pessoas podem ler nem escrever, entenderam o que está imagens podem ser sendo pedido. Se as utilizadas. pessoas mal- interpretarem seus dados, eles podem ser completamente distorcidos.Estímulos áudio- Isso inclui imagens, Muito útil para ser usado Você deve utilizar ovisuais filmes, fitas, estórias, conjuntamente com estímulo correto, e o atividades dinâmicas, outras ferramentas, entrevistador precisa ser fotografias, utilizadas particularmente com hábil em se utilizar desse para ilustrar problemas ou pessoas que não estímulo. temas, ou eventos conseguem ler ou passados ou futuros. escrever.Configurando Escalas Essa técnica faz uso de É útil para mensurar Você precisa testar os um contínuo, ao longo do atitudes, opiniões e posicionamentos com qual se espera que as percepções. bastante cuidado, para pessoas coloquem seus estar certo de que não próprios sentimentos, houve algum mal- observações, etc. As entendido. Um problema pessoas são geralmente comum é quando dois levadas a se posicionar conceitos são incluídos se concordam fortemente, no posicionamento e você concordam, não sabem, não consegue ter certeza discordam, ou discordam se a opinião foi dada em fortemente com uma um ou outro, ou em dessas perspectivas. ambos. Você pode usar imagens e símbolos nessa técnica se as pessoas não souberem ler e escrever.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 31
  32. 32. Monitoramento e AvaliaçãoEvento crítico/ análise Este método é uma Muito útil quando algo A equipe de avaliaçãode ocorrências maneira de focalizar problemático tiver pode terminar soterrada entrevistas com ocorrido e as pessoas sob uma montanha de indivíduos ou grupos a sentirem-se emocionadas detalhes contraditórios e respeito de eventos pelo que houve. Se todos muitos “ele disse/ela particulares ou incidentes. os envolvidos na situação disse”. Pode se tornar O propósito é obter uma estiverem incluídos, isso difícil não ser parcial e visão ampla do que ajudará a equipe de permanecer objetivo. realmente aconteceu. avaliação a obter uma imagem que seja razoavelmente próxima do que aconteceu de verdade, e diagnosticar o que ocorreu de errado.Observação Isso envolve observação Pode ser uma maneira É difícil observar eparticipante direta de eventos muito útil de confirmar, ou participar. O processo processos, não, a informação torna-se muito demorado. relacionamentos, e providenciada de outras comportamentos. formas. “Participante”, aqui, refere-se mais ao observador estar envolvido nas atividades do que manter alguma distância.Desenhos Isso envolve os Pode ser bastante útil Pode ser difícil de participantes em particularmente com explicar ou interpretar. desenhar gravuras, crianças mais jovens. geralmente a respeito do que sentem ou pensam de algo.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 32
  33. 33. Monitoramento e AvaliaçãoΨ HABILIDADES DE ENTREVISTAO que fazer e o que não se deve fazer em entrevistas: □ Faça um teste com o formulário de entrevistas com antecedência para maior clareza, e para ter certeza de que as questões não serão interpretadas de forma incorreta. □ Estabeleça da forma mais clara possível o propósito de sua entrevista. □ Assegure ao entrevistado que o que for dito será tratado em sigilo. □ Pergunte ao entrevistado se ele se importa que você tome notas e use um gravador durante a entrevista. □ Registre com a maior exatidão possível as palavras dos entrevistados. □ Continue falando enquanto escreve. □ Mantenha a entrevista dentro do tema desta. □ Preencha todas as questões do formulário. □ Fique atento para questões que sejam vagas e possam exigir mais informações. □ Seja flexível, e anote tudo que foi dito e que seja interessante, mesmo que não esteja no formulário. □ NÃO ofenda o entrevistado de maneira alguma. □ NÃO diga coisas que tenham um teor de julgamento. □ NÃO o interrompa no meio do que ele está falando. □ NÃO coloque palavras na boca do entrevistado. □ NÃO mostre o que estiver pensando através de um tom de voz diferente.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 33
  34. 34. Monitoramento e AvaliaçãoAnalisando InformaçõesAnalisando tanto o monitoramento quanto a avaliação, haverá um momento que você vai sedeparar com uma grande quantidade de informações e terá que decidir como fazer com queaquilo tudo faça sentido, ou seja processado e analisado. Se você estiver utilizando umaequipe de avaliação externa, será ela que fará essa análise, mas em algum momento daavaliação, e certamente quando estiver monitorando, você, o projeto ou a organização terãoque se prontificar a realizar essa análise.Análise é o processo de transformar a informação detalhada em padrões de entendimento,comparações, e interpretações. O ponto inicial para a análise em um contexto de projeto ouorganizacional é muitas vezes muito pouco científico. É seu entendimento intuitivo de temaschave que resultarão em um processo de associação de informações. Uma vez que vocêsaiba os temas-chave, torna-se possível trabalhar a informação, estruturando-a e aorganizando corretamente. O próximo passo é escrever a respeito de suas descobertas ereflexões como base para alcançar conclusões e fazer recomendações.Assim, seu processo parecerá algo do tipo: Determine os indicadores chave para o processo de avaliação e monitoramento Recolha a informação a respeito dos indicadores Desenvolva uma estrutura para sua análise, baseada no entendimento intuitivo de temas emergentes e preocupações, e onde você suspeite haver alguma variação do que você esperava e/ou previa. Organize seus dados, colocando-os relacionados em temas e preocupações. Identifique padrões, comparações e possíveis interpretações. Escreva suas conclusões e descobertas. Estude formas e alternativas possíveis (recomendações).Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 34
  35. 35. Monitoramento e AvaliaçãoTomando atitudesO monitoramento e a avaliação têm pouco valor se a organização ou o projeto não realizamo procedimento de analisar os dados coletados a respeito das informações obtidas. Umavez que você estabeleça as descobertas, conclusões e recomendações de seu processo demonitoramento e avaliação, você precisará: Enviar relatórios aos seus patrocinadores; Aprender do processo geral; Tomar as decisões eficazes, para mover em frente; e, se necessário, Lidar com a resistência para fazer mudanças necessárias dentro do projeto ou organização, ou mesmo com relação aos que dão suporte ao projeto.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 35
  36. 36. Monitoramento e AvaliaçãoRELATÓRIOSe você estiver monitorando ou avaliando, em algum ponto, ou pontos, existirá um processode fazer um relatório. O processo de um relatório segue os mesmos passos da análise deinformações. Você se reportará aos diferentes patrocinadores de diferentes maneiras, àsvezes de forma escrita, outras verbalmente, e, cada vez mais, utilizando-se de ferramentascomo apresentações de PowerPoint, slides e vídeos.A tabela abaixo traz algumas sugestões de mecanismos de relatórios para momentosdistintos nos ciclos de projetos. Para dicas de escrita, consulte o pacote de ferramentas queajuda a escrever com mais eficácia. Grupo alvo Estágio do ciclo de projeto Formato apropriadoDiretoria De tempos em tempos, baseado na Relatório escrito análise de monitoramento. Avaliação Relatório escrito com um sumário executivo, e uma apresentação verbal do time de avaliação.Time gerencial De tempos em tempos, baseado no Relatório escrito, discutido em uma monitoramento. reunião do time gerencial. Avaliação Relatório escrito, apresentado verbalmente pelo time de avaliação.Equipe De tempos em tempos, baseado no Apresentação escrita e verbal aos monitoramento. níveis de time e departamento. Avaliação Relatório escrito, apresentado verbalmente pelo time de avaliação e seguido em profundidade de uma discussão com recomendações relevantes para cada time e departamento.Beneficiados De tempos em tempos, mas Apresentação verbal, com base em somente com os pontos um documento resumido, utilizando significativos, e avaliação. tabelas apropriadas, gráficos visuais e áudios-visuais. Isso é especialmente importante se a organização ou projeto tem intenções de formular uma grande mudança que trará um grande impacto aos beneficiados.Doadores De tempos em tempos, baseado no Resumido em um relatório por monitoramento. escrito. Avaliação Relatório completo por escrito, com um sumário executivo ou uma versão especial, focalizada nas preocupações e interesses dos doadores.Comunidade de Avaliação Artigos de jornal, seminários,desenvolvimento em geral conferências e páginas da internet.Para um esboço do que normalmente é colocado em um relatório escrito, veja a página aseguir.Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 36

×