Shapiro, janet. monitoramento e avaliacao ler apenas das pág. 01 a 07

Monitoramento e Avaliação
VISÃO GERAL
Breve resumo
Esse pacote de ferramentas lida com os elementos básicos para se inserir e utilizar um
sistema de avaliação e monitoramento para um projeto ou uma organização. Ele esclarece
o que monitoramento e avaliação são, como planejar a sua execução, como desenhar um
sistema de monitoramento e como criar um processo de avaliação que associe tudo isso de
uma maneira útil. Ele analisa como coletar informações, evitando que você se afogue numa
análise de dados relativamente descabida ou excessiva em informações desnecessárias.
Por fim, este pacote suscita e tenta aplicar diretamente sua fórmula a alguns dos tópicos a
serem revigorados com base no que foi ensinado.
Por que um pacote detalhado de ferramentas para monitoramento e avaliação?
Se você não se importa com a maneira como conduz seu trabalho ou qual o impacto têm
suas atitudes, por que se importar com qualquer outra coisa? Avaliação e monitoramento
possibilitam analisar a qualidade e o impacto de seu trabalho em relação ao seu plano de
ação e seu plano estratégico. Para que a avaliação e o monitoramento sejam realmente
válidos, você precisa ter planejado corretamente. Um planejamento correto é tratado com
detalhes em outros pacotes de ferramentas nesta mesma página da internet.
Quem deve se utilizar deste pacote de ferramentas?
Este pacote será útil ao leitor e leitora interessados na eficiência, na eficácia e no impacto
de seus trabalhos em um projeto ou em uma organização.
Quando este pacote será útil?
Este pacote será útil quando:
Você estiver estruturando sistemas para a coleta de dados durante as fases de
planejamento de um projeto ou uma organização;
Você quiser analisar os dados coletados através de um processo de monitoramento;
Você estiver interessado em descobrir como está a eficiência e a eficácia de seu
trabalho;
Você atingir um estágio de seu projeto ou um período na vida da sua organização,
no qual imagine ser útil avaliar o tamanho do impacto do trabalho que está obtendo;
Doadores solicitam uma avaliação externa de sua organização e/ou trabalho.

Ainda que haja uma tendência de enxergar em organizações de sociedade civil uma
avaliação como algo que acontece quando um doador insiste em ter uma, de fato,
uma avaliação e um monitoramento são ferramentas imprescindíveis de trabalho.
Sem uma noção de como se está caminhando em relação a indicadores e metas, os
recursos terminam sendo desperdiçados e não modificam a situação inicialmente
identificada. O monitoramento e a avaliação habilitam para que se faça essa análise
corretamente.

Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org)

1


VISÃO
GERAL

PRINCÍPIOS
BÁSICOS

MELHORES
PRÁTICAS

Pg. 1

Pgs. 2-40

Pgs. 41-46

RECURSOS

GLOSSÁRIO

Pg. 49

Pgs. 50-52

Exemplos

Exemplos de
indicadores pgs. 42-43

O que é
Monitoramento e
Avaliação? Pgs. 3-4
Por que fazer
Monitoramento e
avaliação? Pgs. 4-5
Mais informações a
respeito de
monitoramento e
avaliação – o que
está envolvido e
suas diferentes
ligações pgs. 6-10

Planejamento para
Monitoramento e
Avaliação pg. 11

Estudo de Caso: Desenhando
um sistema de Monitoramento
pgs. 44-46

Estruturando um
processo de
monitoramento e/ou
avaliação pg. 19

Coletando
Informações p. 27

Indicadores

Tipos diferentes
de informação –
quantitativa e
qualitativa pg. 16

Monitoramento

Avaliação

pg. 20-22


Tomando atitudes
pgs. 36

pg. 35

Diretrizes e
controles de dano

Relatório pg. 37
Aprendendo pg. 39

Métodos pgs. 30-33

Tomada de
decisões
eficazes pg. 40

pg. 23

Quem deve estar
envolvido? Pg. 18

Analisando
Informações

pg. 28-29

O que queremos
saber? pg. 12-15

Como obteremos a
informação? pg. 17

Formato do Relatório
de Campo pgs. 47-48

Propósito pg. 24
Questões centrais para a
avaliação pg. 25

Lidando com
contrariedades
pg. 41

Metodologia pg. 26

2

PRINCÍPIOS BÁSICOS
O que é monitoramento e avaliação?
Por mais que a expressão “monitoramento e avaliação” tenda a ser escrita como se as duas
coisas parecessem uma única coisa, monitoramento e avaliação são de fato, duas formas
distintas de atividades organizacionais, relacionadas, porém jamais idênticas.
O Monitoramento é uma coleta sistemática e uma análise da informação de como um
projeto progride. É criado para melhorar a eficiência e a eficácia de um projeto ou
organização. É baseado em metas e atividades dirigidas durante as fases de planejamento
do trabalho. Auxilia a manter o trabalho em sua linha geral e possibilita ao gerenciamento
identificar quando as coisas não estão andando corretamente. Se utilizado corretamente,
torna-se uma ferramenta inestimável para um bom gerenciamento e fornece uma base de
avaliação muito útil. Habilita saber se os recursos estão sendo bem utilizados e se serão
suficientes para o que está sendo feito; se sua capacidade de trabalho é suficiente e
apropriada; e se você está realizando aquilo que planejou fazer (verifique também o pacote
de ferramentas para o planejamento de ações).
A Avaliação é a comparação do real impacto do projeto em relação ao planejamento
estratégico estudado anteriormente. Averigua o que foi formulado para ser realizado com o
que foi feito e como isso foi alcançado. Pode ser formativa (sendo elaborada ao mesmo
tempo em que ocorre o projeto ou existe a organização, com a intenção de melhorar a
estratégia ou a forma do funcionamento de um projeto ou organização). E pode também ser
resumida (aferindo aspectos de ensinamentos para um projeto finalizado ou uma
organização que deixou de existir). Uma vez, uma pessoa descreveu a diferença entre os
dois como sendo a diferença entre uma avaliação médica geral e uma autópsia!
O que a avaliação e o monitoramento têm em comum é que ambos são estruturados
durante o aprendizado do que se está fazendo e como se está fazendo, focalizando:
Eficiência
Eficácia
Impacto
A Eficiência diz que o insumo empreendido em seu trabalho é apropriado em termos de
resultados. Isso pode ser insumo em termos de dinheiro, tempo, equipe, equipamento e
assim por diante. Quando você trilha um projeto e está preocupado com sua replicabilidade,
ou com a maneira como ele se desenvolverá numa projeção de escala (veja o Glossário),
então, é muito importante que se tenha o elemento de eficiência corretamente.
Eficácia é a medida de extensão do qual um programa de desenvolvimento ou projeto
alcança com os objetivos específicos que traçou para si. Se, por exemplo, foi traçado
melhorar as qualificações de todos os professores de segundo grau de uma determinada
área, nós conseguimos?
Impacto diz se o que você realizou fez ou não alguma diferença em relação ao problema da
situação que você tentou solucionar. Em outras palavras, sua estratégia foi útil? Houve uma
melhora, ao final de contas, na taxa de aprovação dos alunos no final do ano quando se
assegurou uma maior qualificação dos professores? Antes de se decidir por crescer ou


3

duplicar o projeto você precisa estar certo de que o que está sendo realizado está fazendo
sentido nos termos do impacto que se quer atingir.
A partir disso, deveria estar claro que o monitoramento e avaliação são mais bem realizados
quando foi estruturado previamente um planejamento que vislumbre seus alcances e
progressos. Existem três pacotes de ferramentas que lidam diretamente com relação a isso
– a visão geral de planejamento, um planejamento estratégico e um planejamento de ação.
Nesta seção, analisamos com mais profundidade ‘por que fazer uma avaliação e um
monitoramento?’ e ‘mais a respeito de monitoramento e avaliação’, e o que isso
envolve. Isso inclui uma discussão das diferentes abordagens de monitoramento e
avaliação e o que pensar a respeito de quando se utiliza um avaliador externo.

POR QUE FAZER MONITORAMENTO E AVALIAÇÃO?
O monitoramento e a avaliação habilitam que se averigúe o “ponto fundamental” (consulte o
Glossário) de um desenvolvimento de trabalho: Não, “estamos tendo lucro?”, mas “estamos
fazendo a diferença?”. Através de monitoramento e avaliação, pode-se:
Revisar o progresso;
Identificar os problemas em planejamento e/ou implementação;
Promover ajustes para que se possa mais fortemente “fazer a diferença”.
Em muitas organizações, “monitoramento e avaliação” é alguma coisa vista mais como uma
requisição de doadores do que uma ferramenta de gerenciamento. Doadores certamente
têm todo o direito de saber se seu dinheiro está sendo gasto de maneira apropriada e se
está sendo bem gasto. Porém, primariamente (e muito mais importante) o uso da avaliação
e monitoramento deve ser feito para a própria organização ou projeto saber como está
andando em relação aos seus objetivos, se está tendo um impacto, se está se trabalhando
com eficiência e para aprender a ser melhor.
Planos são essenciais, mas não são feitos de concreto (fixados de forma totalmente
inflexível). Se não estão funcionando, ou se as circunstâncias mudaram então os planos
também devem sofrer mudanças. O monitoramento e avaliação são ferramentas que
ajudarão um projeto ou organização a perceber quando seus planos não estão funcionando
ou quando as circunstâncias sofreram mudanças. Eles fornecem ao gerenciamento a
informação necessária para tomadas de decisões a respeito do projeto e da organização
das mudanças que se mostrem necessárias em relação aos planos ou a própria estratégia.
Através disso, as constantes permanecem como pilares da rede estratégica: a análise de
problemas, a visão e os valores da organização ou do projeto. Tudo o mais pode ser
renegociável (veja também o pacote de planejamento estratégico). Fazer algo errado não é
um crime. Falhar e não mostrar que aprendeu com erros do passado por não ter feito um
monitoramento e avaliação, é.
O efeito do monitoramento e avaliação pode ser visto no ciclo a seguir. Observe que você
monitorará e ajustará diversas vezes antes que esteja preparado para fazer uma avaliação
e possa planejar novamente.


4

Avaliar/aprender
/ decidir
Implementar
Planejar

Refletir/aprender
/decidir/ajustar

Implementar

Monitorar

Monitorar

Implementar

Refletir/
aprender/
decidir/ajustar

É importante reconhecer que o monitoramento e a avaliação não são varinhas de condão
que podem ser simplesmente usadas como um passe de mágica, solucionando problemas,
ou remediando dificuldades, ou fazendo mudanças miraculosas, sem uma boa dose de
trabalho duro sendo feito para a realização do projeto ou organização. Em si mesmos, eles
não são soluções, mas são ferramentas valiosas. O monitoramento e a avaliação podem:
Ajudar a identificar problemas e suas causas;
Sugerir soluções possíveis para problemas;
Levantar questões quanto à estratégia e às previsões realizadas;
Levar você a refletir para onde está indo e de como você está chegando lá;
Providenciar informações e aspectos internos;
Encorajá-lo a agir a respeito dessas informações e aspectos;
Aumentar suas possibilidades de acerto que farão uma diferença de
desenvolvimento positiva.


5

MAIS INFORMAÇÕES A RESPEITO DE MONITORAMENTO E AVALIAÇÃO
Monitoramento envolve:
Estabelecer indicadores (consulte o Glossário) de eficiência, de eficácia e de
impacto;
Estabelecer sistemas para coleta de informações, relacionando estes indicadores;
Coletar e gravar a informação;
Analisar a informação;
Utilizar a informação para informar ao gerenciamento diariamente.
O monitoramento é uma função interna em qualquer projeto ou organização.
Avaliação envolve:
Avaliar o que o projeto ou a organização pretendem atingir – qual diferença quer
fazer? Qual impacto quer ter?
Reconhecer seu progresso com relação ao que almejava, suas metas de impacto.
Examinar a estratégia de um projeto ou organização. Houve uma estratégia? Houve
eficácia em se seguir a estratégia proposta? A estratégia funcionou? Se não, por
que não?
Examinar como as coisas funcionaram. Houve um uso eficiente dos recursos? Quais
foram os custos de oportunidade (veja o Glossário) com a maneira que se optou por
trabalhar? Quão sustentável é a forma pela qual o projeto e a organização
trabalham? Quais são as implicações para os diversos agentes envolvidos pelo
modo com que a organização trabalha?
Numa avaliação, avaliamos eficiência, eficácia e impacto (consulte Glossário).
Existem muitos tipos diferentes de se fazer uma avaliação. Alguns dos termos mais comuns
com que você poderá se deparar são:
Auto-avaliação: Isso requer uma organização ou projeto que segure um espelho
diante de si mesmo e analise o que faz, como uma forma de prática para
melhoramento e aprendizagem. Exige que se tenha uma organização muito
honesta e auto-reflexiva para fazer isso de forma eficaz, contudo isso pode ser
uma experiência de aprendizagem muito importante.
Avaliação participatória: Esta é uma forma de avaliação interna. A intenção é
reunir o maior número de pessoas possível que tenham participação direta no
trabalho que está sendo realizado. Isso pode significar beneficiários e equipe do
projeto trabalhando em conjunto nesta avaliação. Se alguém de fora for
chamado será para agir como facilitador do processo, não avaliador.
Estimativa Participatória Rápida: Originalmente utilizada em áreas rurais, a
mesma metodologia pode, na verdade, ser aplicada na maioria das
comunidades. Este é uma forma qualitativa (consulte o Glossário) de se fazer
avaliações. É conduzida e semi-estruturada por um time interdisciplinar e levada
por um curto período de tempo. É utilizada como base de início para se
entender uma situação local e é uma maneira rápida, útil e barata de se
armazenar informações. Envolve o uso de revisões de dados secundárias
(consulte o Glossário), observação direta, entrevistas semi-estruturadas,
informantes chave, entrevistas de grupos, jogos, diagramas, mapas e


6

calendários. Em um contexto de avaliação, ele permite que se obtenham dados
valorosos daqueles que supostamente estão se beneficiando do trabalho de
desenvolvimento. É flexível e interativo.
Avaliação externa: É uma avaliação feita por um time de fora ou alguém
externo cuidadosamente escolhido.
Avaliação interativa: Isso requer uma interação muita ativa entre o avaliador ou
time externo e a organização ou projeto sendo avaliado. Às vezes, alguém de
dentro pode ser incluído no time de avaliação.
Para mais informações de vantagens e desvantagens das avaliações internas e externas,
veja a próxima página.
Para maiores informações a respeito de um avaliador externo, vá para a página 9.
Para maiores informações de diferentes tipos de abordagens para avaliação, vá para a
página14.


7

Ξ

VANTAGENS E DESVANTAGENS DE AVALIAÇÕES INTERNAS E EXTERNAS

Avaliação interna

Vantagens
Os avaliadores têm muita
familiaridade com o trabalho,
com a cultura organizacional e
com seus objetivos e metas.
Algumas vezes as pessoas
sentem-se mais à vontade em
falar com pessoas de dentro da
organização do que com
pessoas de fora.
Uma avaliação interna é muito
claramente uma ferramenta
gerencial e de auto-correção
bem menos ameaçadora que
uma avaliação externa. Essa
forma torna muito mais simples
para todos os envolvidos
aceitar certas críticas e
sugestões e opiniões a respeito
do trabalho sendo realizado.

Avaliação Externa (feita por
um time ou pessoa sem
interesses especiais pelo
projeto em questão)

Uma avaliação interna custará
muito menos que uma
avaliação externa.
A avaliação tende a ser muito
mais objetiva, já que os
avaliadores mantêm-se
distantes do trabalho sendo
realizado.
Os avaliadores possuem
geralmente uma grande
variedade de habilidades e
experiências de avaliação.
Algumas vezes, as pessoas
preferem relatar coisas a
pessoas de fora ao invés de
pessoas internas a
organização.
Gera-se muito mais
credibilidade a opiniões e
sugestões utilizando-se um
avaliador externo,
especialmente no caso de
sugestões positivas.

Desvantagens
O time de avaliação possuirá
um interesse especial em
alcançar conclusões positivas
com relação ao projeto ou
organização. Por esta razão
inclusive, se desenvolve o
motivo para que doadores
prefiram uma avaliação externa.
O time pode não ser
especializado ou treinado
especificamente para realizar
uma avaliação.
A avaliação tomará uma
considerável quantia de tempoenquanto poderá custar menos
deixar que uma avaliação
externa ocorra, em termos de
custo de oportunidade (consulte
o Glossário). Dessa forma,
pode ser mais elevado que
simplesmente contratar uma
avaliação externa.
Alguém de fora da organização
ou projeto pode não entender a
cultura ou até mesmo o
trabalho que se pretende
alcançar.
Aqueles que estão diretamente
envolvidos podem se sentir
ameaçados pelos avaliadores
externos e podem ter menos
propensão a falar abertamente
e cooperar com o processo.
Uma avaliação externa pode
ser muito custosa.
Um avaliador externo pode
interpretar mal o que você
deseja e pode não fornecer o
que você precisaria.

Se você decidir ter uma avaliação externa, você encontrará algumas sugestões de critérios
a serem utilizados na escolha de um avaliador externo na próxima página.


8

Ξ

SELECIONANDO UM AVALIADOR EXTERNO OU UM TIME DE AVALIAÇÃO

Qualidades para serem levadas em conta quanto à escolha de um avaliador ou time de
avaliação externa:
Uma boa compreensão de assuntos de desenvolvimento.
Uma boa compreensão de assuntos organizacionais.
Experiência na avaliação de desenvolvimento de projetos, programas ou organizações.
Um bom histórico que possa ser averiguado com relação a clientes anteriores.
Grandes habilidades de pesquisa.
Um compromisso com qualidade.
Um compromisso com datas de trabalhos a serem cumpridos.
Objetividade, honestidade e justiça.
Lógica e facilidade em operar sistematicamente.
Forte habilidade em se comunicar tanto escrevendo como verbalmente.
Um estilo e abordagem que se encaixe com a personalidade de sua organização.
Valores que sejam compatíveis com aqueles que sua organização tenha.
Preços razoáveis (custo), comparáveis com os de outras empresas no mercado.
Como você descobre tudo isso? Formulando uma grande quantidade de perguntas!
Quando você decide utilizar um avaliador externo:
Confira as referências de quem seja.
Reúna-se com os avaliadores antes de tomar a decisão final.
Comunique o que você deseja claramente – bons Termos de Referência (veja o
Glossário) são fundamentais para uma boa relação contratual.
Negocie um contrato que forneça uma previsão do que acontecerá se o calendário e os
resultados esperados, em termos de compromissos, não forem alcançados.
Peça por um plano de trabalho com resultados e datas afixadas.
Mantenha contato – peça por relatórios intermediários nesse ínterim como parte do
trabalho a ser realizado – seja verbalmente ou por escrito.
Estruture esse acompanhamento formalmente e combine quando isso deverá ser
entregue a você.
Não espere que todo avaliador seja completamente objetivo. Essa pessoa terá opiniões e
visões – você não está procurando alguém que seja um robô! Entretanto, suas opiniões
devem estar claramente estabelecidas como tais, e não devem desviar ou serem colocadas
como “fatos”. É bastante importante também ter uma noção de quais serão as abordagens
que esse avaliador utilizará para fazer a avaliação.
A próxima página traz mais informações quanto a diferentes tipos de abordagens para
avaliação.


9

Ξ

DIFERENTES ABORDAGENS PARA AVALIAÇÃO
Abordagem

Propósito principal

Possíveis
questionamentos em
foco
As metas foram
alcançadas?
Eficientemente? Foram
essas as metas
corretas?

Baseadas em metas

Compreender o
alcance de metas e
objetivos.

Tomadas de decisões

Fornecer informação.

O projeto foi eficaz?
Deve continuar? Como
deve ser modificado?

Com objetivos livres

Compreender a
variedade dos efeitos
do projeto pretendidos
ou imprevistos.

Quais foram todos os
resultados
relacionados? Que
valor eles possuem?

Julgamento de
especialistas

Utilização de um
especialista.

Como um profissional
externo a este projeto
pode avaliá-lo?

Metodologia análoga

Comparar a linha de
base (veja o Glossário)
e as informações de
progresso (veja o
Glossário);
encontrando maneiras
de definir indicadores.
Compreender a
variedade de opções
relacionadas com o
contexto do projeto,
resultados, processos,
e o produto.
Estabelecer algum tipo
de consenso quanto à
tomada de decisões.
Determinação
independente de
necessidades e
padrões para julgar a
validade do projeto.
Técnicas qualitativas e
quantitativas que
descubram quaisquer
resultados possíveis.
Revisão crítica
baseada na
experiência, pesquisa
informal e reflexões
internas.

Em nossa opinião, os melhores avaliadores se valem de uma combinação de todas essas
abordagens. Uma organização pode pedir para que uma delas seja enfatizada, mas é
importante não excluir qualquer descoberta ou conclusão, e não fazer uso de uma
abordagem diferente.
(Agradecimentos à PACT’s Evaluation Sourcebook, 1984, por muito do que foi escrito aqui.)


10

Planejamento para Monitoramento e Avaliação
O monitoramento e a avaliação devem ser parte de seu processo de planejamento. É muito
mais complicado retornar e estabelecer os sistemas de monitoramento e avaliação uma vez
que as coisas já tenham começado a acontecer. A necessidade de se começar a coletar
informações de desempenho em relação a suas metas é importante desde o primeiro
instante de atividades. A primeira informação coletada deve ser feita, na verdade, quando
se estruturam as primeiras necessidades de documentação (consulte, no pacote de
ferramentas de visão geral de planejamento, a seção a respeito do trabalho de base). Ele
fornecerá a informação necessária quanto ao alcance em relação a melhoramentos com o
decorrer do tempo.
Quando você realiza seu processo de planejamento, você define indicadores (veja o
Glossário). Estes indicadores fornecem a rede que possibilita seu sistema de
monitoramento e avaliação. Eles informam o que você deseja saber e os tipos de
informação cuja coleta será útil. Nesta seção examinaremos:
O que queremos saber? Isso inclui examinar indicadores de ambos os assuntos,
externos e internos (Confira também os exemplos de indicadores mais adiante neste
pacote de ferramentas.)
Tipos diferentes de informação.
Como obteremos a informação?
Quem deve estar envolvido?
Não há um único modo de planejamento para monitoramento e avaliação. As sugestões
incluídas nos pacotes de ferramentas de planejamento, planejamento estratégico e
planejamento de ações lhe auxiliarão no desenvolvimento de uma rede dinâmica para seu
sistema de monitoramento e avaliação. Se você possui uma familiaridade com uma rede de
análise lógica e já a utiliza em seu planejamento, esta abordagem traz em si mesma uma
forma de planejar um sistema de avaliação e monitoramento. (Consulte também no pacote
de ferramentas a respeito da visão geral de planejamento, a seção de ferramentas de
planejamento – visão geral.)


11

O QUE QUEREMOS SABER?
O que queremos saber está relacionado com o que pensamos ser importante. No
trabalho de desenvolvimento, o que pensamos ser importante está relacionado com
nossos valores.
A maioria do trabalho está envolvida por uma rede de valores. É esta rede que determina os
padrões de aceitação no trabalho que fazemos. Os valores centrais, nos quais a maioria do
trabalho de desenvolvimento é feito, são:
Servir a pessoas carentes;
Favorecer os desprotegidos;
Mudar a sociedade, não simplesmente com a ajuda individual;
Sustentabilidade;
Uso eficiente de recursos.
Então, a primeira coisa que precisamos saber é: O que estamos fazendo e como estamos
agindo está auxiliando para o favorecimento destes valores? Para responder a esta
questão, nosso sistema de monitoramento e avaliação deve nos fornecer informações a
respeito de:
Quem está se beneficiando do que fazemos? O quanto estão se beneficiando?
Os beneficiados recebem de uma forma unilateral e passivamente ou o processo
auxilia para que eles possam assumir algum controle de suas vidas?
Existem quaisquer ensinamentos que possam trazer um maior impacto além deste
que está acontecendo com nosso projeto?
Isso que estamos fazendo tem alguma possibilidade de se sustentar a longo-termo,
ou cessará assim que partirmos?
Estamos alcançando o máximo dos melhores resultados possíveis para os
problemas apresentados?
Queremos nos concentrar no produto ou no processo que está sendo desenvolvido?
O trabalho de desenvolvimento deve ser avaliado em termos de processo (a forma com que
o trabalho está sendo desenvolvido) ou o produto (o que o trabalho produz)? Geralmente,
essa discussão é feita mais para se desculpar desempenhos inadequados que discutir
realmente algo que deve ser levado a sério. O produto e o processo não estão separados
em um trabalho de desenvolvimento. Aquilo que alcançamos e a maneira como alcançamos
são geralmente a mesma coisa. Se o objetivo é desenvolvimento, baseando-se em valores
desenvolvimentistas, então cavar um poço sem transferir a habilidade para manter e
manusear o poço não é suficiente. Dizer: “Iria demorar muito dessa forma, não podíamos
esperar que eles agissem por si mesmos. Dissemos que iríamos cavar um poço e o
fizemos” não é suficiente. Mas também não é suficiente dizer: “Não tem importância que o
poço não tenha acontecido ainda. O importante é que a população foi instruída”.
Ambos os processos e produtos devem ser parte de um sistema de avaliação e
monitoramento. Mas como podemos tornar o processo, o produto e tais valores
mensuráveis? A resposta se encontra no estabelecimento de indicadores, e este assunto é
abordado na subseção a seguir.


12

O QUE QUEREMOS SABER?
Indicadores
Indicadores são também abordados na visão geral de planejamento, na seção a respeito de
monitoramento e avaliação. Indicadores são sinais tangíveis ou mensuráveis de que algo foi
feito ou alcançado. Em alguns estudos, por exemplo, o aumento de antenas de televisão
numa comunidade foi utilizado como indicador de que o padrão de vida da comunidade
aumentou. Um indicativo de maior organização comunitária pode ser um aumento da
freqüência de membros da comunidade nos encontros periódicos. Se alguém está
interessado no impacto da participação em relação ao gênero, pode-se utilizar “envolver
especial atenção e maior tempo em projetos de desenvolvimento a uma maior participação
feminina” como um indicador. Indicadores comuns que apontam para o estado de saúde
geral de uma comunidade são taxas de mortalidade de bebês/crianças/ mães, taxas de
natalidade, status nutricional e peso de bebês ao nascerem. Podem-se analisar indicadores
menos diretos, como extensão de imunização, extensão de água potável disponível, e
assim por diante. (veja maiores exemplos de indicadores mais adiante).
Os indicadores são uma parte essencial de um sistema de monitoramento e avaliação, pois
eles são o que você vai poder medir e/ou monitorar. Através de indicadores você pode
perguntar e responder questões como:
Quem?
Quantos?
Com qual freqüência?
Quanto custa?
Entretanto, você precisa decidir anteriormente quais indicadores vai utilizar para que
comece a coletar informações imediatamente. Você não pode querer se utilizar de um
indicativo como o número de antenas de televisão como sinal de melhora de padrão da
comunidade se você não sabe quantas havia no começo do processo.
Algumas pessoas argumentam que o problema com indicadores mensuráveis é que outras
variáveis (fatores) podem ter um impacto sobre eles também. Mais membros da
comunidade podem estar participando nos encontros comunitários simplesmente por haver
um maior número de pessoas com um passado ativo, e mudado simplesmente para aquela
área. As mulheres podem ter mais tempo para projetos de desenvolvimento porque os
homens da vila participaram de um seminário para questões de gênero e decidiram dividir e
ajudar mulheres em algumas tarefas tradicionalmente realizadas por mulheres
possibilitando assim que se ocupem de outras atividades. E assim por diante. Ainda que
isso seja verdade, é possível identificar outras variáveis e levá-las em conta. É também
muito importante notar que, se nada está se modificando, se não se pode averiguar nem um
melhoramento na mensuração dos indicadores-chave escolhidos, é sinal de que sua
estratégia não está funcionando e precisa ser repensada.
Para estudar um método de desenvolvimento de indicadores, veja a próxima página.
Para consultar exemplos de indicadores, vá para exemplos.


13

Ξ

DESENVOLVENDO INDICADORES

1º Passo: Identifique o problema que você está tentando resolver. Ele pode ser:
Situação econômica (desemprego, baixos salários, etc.).
Situação social (moradia, saúde, educação, etc.).
Situação cultural ou religiosa (perda do uso de línguas tradicionais, pouca freqüência
em serviços religiosos, etc.).
Situação política ou organizacional (governo local ineficiente, lutas de facções, etc.).
Pode haver outras situações também.
(consulte a seção de análise de problemas em seu pacote a respeito da visão geral de
planejamento, na seção que trata do trabalho de base).
2º Passo: Desenvolva uma visão de como você gostaria que estas áreas fossem ou
parecessem (consulte, no pacote de planejamento estratégico, a seção a respeito
de visão). Isso lhe fornecerá indicadores de impacto.
O que lhe mostraria que sua visão foi alcançada? Que sinais você identificaria e que
possam ser medidos que “provariam” que sua visão foi alcançada? Por exemplo, se sua
visão foi a de que as pessoas em sua comunidade seriam mais saudáveis, então você pode
usar indicadores de saúde para averiguar como está avançando. A mortalidade infantil
sofreu uma queda? Menos mulheres estão falecendo durante o parto? A taxa de
contaminação pelo vírus da AIDS tem sido reduzida? Se você pode dizer “sim” a estas
questões, então algum progresso foi alcançado.
3º Passo: Desenvolva uma visão progressiva de como você quer que as coisas sejam
atingidas. Isso lhe fornecerá indicadores de processo.
Se, por exemplo, você quer atingir seus resultados através da participação da comunidade
e de seus próprios esforços, então sua visão de processo pode incluir coisas como
trabalhadores de saúde da comunidade treinados e que ofereçam um serviço de qualidade
para todos; eventos organizados regularmente pela comunidade para limpeza geral, e
assim por diante.
4º passo: Desenvolver indicadores para eficácia.
Por exemplo, se você acredita que pode aumentar a taxa de alunos aprovados no ensino
secundário, melhorando o nível de seus professores, então precisará de indicadores que
mostrem que você obteve sucesso quanto à melhora destes professores, p.ex. evidências
de uma pesquisa em escolas, comparando com a pesquisa de base inicial.
5º passo: Desenvolver indicadores para metas de eficiência.
Aqui você pode estabelecer indicadores, tais como: seminários planejados devem ocorrem
junto com o tempo pré-estabelecido, custos para os seminários são mantidos em 2.50
dólares por pessoa, no máximo, não se deve utilizar mais de 160 horas com a organização
de uma conferência; sem reclamações quanto à organização da conferência, etc.
Com a estrutura colocada em seu devido lugar, você estará apto a monitorar e avaliar
eficiência, eficácia, e o impacto disso tudo (Veja o Glossário).


14

TIPOS DIFERENTES DE INFORMAÇÃO – QUANTITATIVA E QUALITATIVA
A informação utilizada para monitorar e avaliar pode classificada como:
Quantitativa; ou
Qualitativa.
A medida quantitativa lhe diz “quanto ou quantos?”. Quantas pessoas assistiram ao
seminário, quantas pessoas foram aprovadas em seus testes finais, quanto custa uma
publicação, quantas pessoas foram infectadas pelo vírus da AIDS, quantas pessoas
precisam se deslocar para conseguir água ou madeira para o fogo, e assim por diante. A
medida quantitativa pode ser expressa em números absolutos (3241 mulheres da amostra
estão infectadas) ou com percentual (50% das residências nesta área possuem antenas de
televisão). Pode também ser expressa por razões (uma a cada 30000 pessoas). De uma
maneira ou de outra, você terá uma informação quantitativa (número) por contar ou medir.
A medida qualitativa indica como as pessoas se sentem a respeito de alguma situação ou
como as coisas são feitas, ou como as pessoas se comportam. Então, por exemplo, ainda
que você descubra que 50% dos professores da escola estão insatisfeitos com o critério
selecionado, isso ainda é considerado uma informação qualitativa, não uma informação
quantitativa. Consegue-se a informação qualitativa perguntando, observando e
interpretando.
Algumas pessoas consideram a informação quantitativa confortante – ela parece confiável,
sólida e “objetiva”. Elas consideram a informação qualitativa “subjetiva” e pouco
convincente. É um erro, porém dizer que “a informação quantitativa fala por si mesma”. A
informação quantitativa está sujeita a interpretações tanto quanto a informação qualitativa.
Pode ser um “fato” que o ingresso de meninas em escolas de alguns países em
desenvolvimento está caindo – a contabilidade disso pode nos mostrar tal fato, mas não nos
dirá coisa alguma a respeito das causas ou motivos desses dados. Para se alcançar esse
entendimento, será necessário sair e perguntar a respeito de tais razões – ou seja, ponderar
informações qualitativas. A escolha de indicadores é também algo subjetivo, seja a partir de
métodos quantitativos ou qualitativos para a mensuração real. Os pesquisadores escolhem
medir o ingresso de meninas para a escola porque eles acreditam que isso diga algo a
respeito de como as mulheres são tratadas ou vistas na sociedade.
Para que uma boa compreensão seja alcançada, o processo de monitoramento e avaliação
necessita de uma combinação de informações qualitativas e quantitativas. Por exemplo,
precisamos saber quais são os dados de quantas meninas vão para a escola, assim como
precisamos saber qual o motivo para que seus pais permitam ou não que freqüentem a
escola. Talvez as taxas de matrícula para meninas sejam mais altas porque nesta
comunidade considera-se que ir para a escola seja um luxo e prefira-se treinar meninos em
tarefas mais práticas e tradicionais, como tomar conta de animais, por exemplo. Neste caso,
um ingresso maior de meninas na escola não necessariamente indica uma maior
valorização de meninas.


15

COMO OBTEREMOS A INFORMAÇÃO?
Isso é tratado com detalhes no pacote do planejamento de ações, na seção de
monitoramento, coletando informações à medida que se progride no planejamento. Seus
métodos de coleta de informação precisam ser construídos dentro de seu planejamento de
ações. Você deve estar apto a manter um canal de informações firmes correndo em seu
projeto ou organização a respeito do trabalho e de como está sendo realizado, sem
sobrecarregar ninguém. A informação que é coletada deve significar alguma coisa: não
colecione informações para manter-se ocupado, somente o faça para encontrar o que
precisa saber, e depois arquive a informação de uma forma que possa ser simples consultála.
Geralmente, você pode utilizar relatórios, minutas, registros de presença e declarações
financeiras que são parte de seu trabalho como fontes de monitoramento e informação de
avaliação.
Entretanto, às vezes você precisa utilizar-se de ferramentas especiais que são simples, mas
úteis para adicionar à informação básica coletada em seu curso natural de trabalho.
Algumas das ferramentas mais conhecidas são:
Estudos de caso
Avaliação gravada
Diários
Análise e gravação de incidentes importantes (chamado “análise de incidente
crítico”)
Questionários estruturados
Entrevistas face a face
Grupos focais
Pesquisas de amostras
Revisão sistemática de estatísticas relevantes oficiais.
Consulte a seção métodos para mais informações a respeito de maneiras de coletar
informação.


16

QUEM DEVE ESTAR ENVOLVIDO?
Quase todos da organização ou projeto estarão envolvidos de alguma forma na coleta de
informações que possa ser usada para monitorar e avaliar. Isso inclui:
O administrador, que guarda minutas de uma reunião, ou prepara e distribui o
registro de presença;
Os trabalhadores de campo, que escrevem relatórios de suas visitas de campo;
O arquivador, que registra rendas e gastos.
Para que sejam maximizados seus esforços, a organização ou projeto precisa:
Preparar relatórios que incluam a mensuração quantitativa ou qualitativa de
indicadores importantes. Por exemplo, se você quer saber a respeito da participação
da comunidade em atividades, ou da participação feminina especificamente,
construa um relatório que possibilite que os trabalhadores de campo possam tecer
comentários a respeito disso, sustentando observações com os fatos. (Veja um tipo
de relatório de trabalho de campo, mais adiante neste pacote).
Prepare tipos de relatórios que incluam a mensuração quantitativa ou qualitativa de
indicadores importantes. Por exemplo, se você deseja saber quantos homens e
quantas mulheres participaram da reunião, inclua uma coluna que especifique o
gênero de sua lista de presença.
Armazene a informação de uma forma que seja possível manejar o que se precisa
saber. Por exemplo, se você precisa saber se um projeto é sustentável
financeiramente, e quais elementos são mais dispendiosos, então certifique-se de
que seus arquivos de gravação averigúem essa informação relevante.
É um princípio muito útil olhar para cada atividade e dizer: O que necessitamos saber desta
atividade, ambos os processos (como está sendo feito) e produtos (o que se pretende
atingir), e qual é a maneira mais fácil de encontrar e gravar isso à medida que
caminhamos?


17

Estruturando um processo de monitoramento e/ou avaliação
Como existem diferenças entre como desenhar um sistema de monitoramento e um
processo de avaliação, lidaremos aqui com os dois separadamente.
Sob monitoramento, avaliaremos o processo que uma organização pode atravessar para
construir um sistema de monitoramento.
Sob avaliação, avaliaremos:
Motivo
Questões de avaliação chave
Metodologia.


18

MONITORAMENTO
Quando você estrutura um sistema de monitoramento, você está estabelecendo um ponto
de visão formativo e criando um sistema que lhe providenciará informação útil de uma base
corrente para melhorar o que fazer e como fazer.
Na próxima página, você encontrará um processo sugerido para criar um sistema de
monitoramento.
Para um estudo de caso que mostra como uma organização se saiu elaborando um sistema
de monitoramento, vá à seção com exemplos e veja o exemplo: criando um sistema de
monitoramento.


19

Ψ

CRIANDO UM SISTEMA DE MONITORAMENTO

Logo abaixo, mostramos passo a passo o processo de criação de um sistema de
monitoramento para sua organização ou projeto.
Para o caso de estudo de como uma organização conseguiu implantar seu sistema de
monitoramento, veja a parte de exemplos.
1º passo:

Um seminário com equipe e/ou voluntários, liderado por você ou por um
consultor:
Introduza os conceitos de eficiência, eficácia, e impacto (veja o glossário).
Explique que um sistema de monitoramento precisa cobrir todos os três.
Faça uma lista de indicadores para cada um dos três aspectos.
Esclareça quais variáveis (consulte o glossário) precisam ser conectadas.
Então, por exemplo, você quer criar uma relação entre a idade dos
professores com suas qualificações para poder responder a pergunta:
Existe a tendência de professores mais velhos terem mais qualificações?
Esclareça quais informações o projeto ou organização já está coletando.

2º passo:

Inclua os dados e comentários do seminário em um breve resumo de
questões, colocando seu sistema de monitoramento. Dependendo do quão
complexo forem seus requisitos, e de qual é sua capacidade, você talvez
decida ter uma base de dados computadorizada ou manual. Se você quer
poder relacionar muitas variáveis através de muitos casos (e.g.
participantes, escolas, envolvimento dos pais, recursos, urbano e rural, etc.)
você talvez precise de uma linha computadorizada. Se você possui poucas
variáveis, você pode provavelmente fazer isso manualmente. A coisa mais
importante é começar descobrindo as variáveis e manter os dados nestas
variáveis. Conexão e análise podem ser feitos posteriormente. (Estes
conceitos são complicados. Ajudará ler o estudo de caso nos exemplos da
seção do pacote de ferramentas).
Deste seminário, você saberá o que quer monitorar. Você terá os indicadores
de eficiência, eficácia e impacto que precisarão ser priorizados. Você então
escolherá as variáveis que auxiliarão a responder as questões que pense
serem importantes.
Então, por exemplo, você pode ter um indicador de impacto que seja “opções
de sexo mais seguras foram escolhidas” como um indicador de que “pessoas
mais jovens agora estão fazendo escolhas de vida mais maduras”. As
variáveis que podem influenciar o indicador são:
Idade
Gênero
Religião
Região Urbana/rural
Categoria Econômica
Ambiente familiar
Extensão de exposição para suas iniciativas de projeto.
Número de seminários assistidos.


20

A informação correta lhe capacitará a responder as seguintes questões:
Existe alguma diferença em relação à idade no modo como nossa
mensagem é recebida?
A categoria econômica, isto é, jovens de áreas mais ricas respondem
melhor ou pior à mensagem, ou isso simplesmente não faz diferença?
Houve um impacto maior para as pessoas que assistiram a mais
seminários?
Respostas a estes tipos de questões ajudam uma organização ou um projeto a
tomar decisões a respeito do que eles fazem e de como realizam isso, para
poder executar as mudanças nos programas e medir seus impactos e sua
eficácia. Respostas a questões como as seguintes ajudam o projeto ou a
organização e mensurar e melhorar sua eficiência:
Houve um maior número de pessoas com sessões bastante programadas
com antecipação?
Mais escolas participam quando não se cobra?
Mais jovens participam quando as sessões são durante o final de semana
ou quando são no período noturno?
Custa menos organizar um seminário na comunidade, ou trazer as
pessoas para nosso centro de treinamento para realizar o seminário?
3º passo:

Decida como você coletará a informação de que precisa (veja coletando a
informação) e onde deve ser mantida (no computador, em arquivos
manuais).

4º passo:

Decida com qual freqüência você analisará a informação – isso pode
significar organizar tudo junto e tentar responder às questões que você
considera importantes.

5º passo:

Faça a coleta, analise, faça um relatório.


21

AVALIAÇÃO
Criar um processo de avaliação pode significar estar apto a desenvolver os Termos de
Referência para tal processo (se você é a organização ou o projeto) ou ser capaz de
desenhar uma proposta sensata que supra as necessidades do projeto ou da organização
(se você é um consultor).
Os principais setores dos Termos de Referência para um processo de avaliação geralmente
incluem:
Conhecimento adquirido: Esse é o fundo de conhecimento do projeto ou
organização, alguma informação quanto ao problema identificado, o que você faz,
quanto tempo você existe como organização ou projeto, ou as razões por você
decidir fazer uma avaliação.
Motivo: Neste setor, você mostrará o que a organização ou o projeto quer alcançar
com a avaliação.
Questões de avaliação-chave: Quais são as perguntas centrais que a avaliação
precisa ocupar-se em resolver.
Objetivos específicos: Quais áreas específicas, externas e/ou internas, que você
deseja que a avaliação focalize. Por exemplo, talvez você queira que a avaliação
inclua uma revisão de finanças, ou inclua certo tipo específico de áreas de
programas.
Metodologia: Neste setor, você poderá dar amplos parâmetros ao tipo de abordagem
que favorece em sua avaliação (veja a seção, mais a respeito de avaliação e
monitoramento). Você também poderá sugerir os tipos de técnicas para o time de
avaliação.
Pontos logísticos: Eles incluem tempo de duração, custo, requisitos para a
composição do time de avaliação, e assim por diante.
Para informações a respeito de alguns dos componentes mais difíceis dos Termos de
Referência, continue a leitura das próximas páginas.


22

Propósito
O propósito de uma avaliação é o motivo do que se faz. Vai além dos motivos do que você
quer realizar para alcançar o intento que o move a realizar tal coisa. É geralmente do
tamanho de uma frase ou, no máximo, de um parágrafo. Ele possui duas partes:
O que você deseja avaliar;
Com qual fim você quer que isso se realize.
Os exemplos de um propósito de avaliação poderiam ser:
Providenciar à organização informações necessárias para tomadas de
decisões a respeito do futuro de um projeto.
Descobrir se o projeto ou a organização está tendo o impacto planejado de
maneira que possa replicar seu modelo, ou não, em outros lugares.
Para melhorar seu funcionamento em termos de sua eficácia, impacto sobre
um grupo alvo, eficiência e sustentabilidade.
O propósito fornece um foco para o amplo processo de avaliação.


23

Questões centrais para a avaliação
As questões de avaliação-chave são as questões centrais que você deseja que seu
processo de avaliação responda. Elas não são simples questões. Você dificilmente poderá
responder simplesmente “sim” ou “não” a elas. Uma questão de avaliação útil:
Incita fortes pensamentos.
Desafia previsões.
Focaliza reflexões e questionamentos.
Levanta muitas questões adicionais.
Abaixo, alguns exemplos de questões de avaliação-chave relacionadas com o propósito do
projeto:
O propósito da avaliação é entender quão eficiente é o projeto em distribuir benefícios para
a comunidade em questão, de forma que informe, às decisões de Diretoria, a respeito da
continuidade e da replicabilidade do projeto.
Questões de avaliação-chave:
Quem está atualmente se beneficiando do projeto e de que forma?
Os insumos (em dinheiro e tempo) justificam os resultados e, se sim ou não, em qual
base essa reivindicação se justifica?
O que melhoraria a eficiência, a eficácia e o impacto do projeto atual?
Que lições podem ser aprendidas deste projeto em termos de replicabilidade?
Note que nenhuma dessas questões lida com um elemento específico ou área de
funcionamento interno ou externo de funcionamento do projeto ou organização. A maioria
das questões exigirá que o time de avaliação lide com uma série de elementos do projeto
ou da organização para que consiga respondê-las.
Outros exemplos de questões de avaliação podem ser:
Quais são as maneiras mais eficazes na qual um projeto deste tipo pode resolver o
problema identificado?
Em qual extensão o funcionamento interno e a estrutura de organização conseguem
causar positivamente o impacto de seu programa de trabalho?
Quais ensinamentos deste projeto têm aplicabilidade através de um espectro de
desenvolvimento completo?
Certamente podem ser citados diversos outros exemplos. Nossa experiência tem nos
mostrado que quando um processo de avaliação é desenhado com tais questões em mente,
ele produz muito mais reflexões interessantes do que simplesmente as questões mais
óbvias como “A diretoria tem um papel importante na organização?”, ou, “Que impacto
estamos atingindo?”.


24

Metodologia
“Metodologia”, em contraposição aos “métodos”, trata mais do tipo de abordagem que se
utiliza em seu processo de avaliação. (Veja nas páginas anteriores mais a respeito de
monitoramento e avaliação neste pacote de ferramentas). Você pode, por exemplo,
comissionar ou fazer um processo de avaliação que quase pareça inteiramente de fontes
escritas, primárias ou secundárias: relatórios, páginas de dados, minutas, e assim por
diante. Ou você pode pedir um processo de avaliação que envolva obter resultados de
todos os grupos de apoio importantes relacionados no processo. A maioria dos termos de
referência pode perguntar pela combinação dessas metodologias, mas eles podem
especificar também como querem que o time de avaliação receba os insumos dos grupos
de apoio, por exemplo:
Através de uma pesquisa;
Através de informantes-chave;
Através de grupos focais.
(Para mais informações de métodos atuais, veja posteriormente a seção coletando
informações).
Aqui também se espera encontrar alguma indicação de relatórios escritos: Todos os
relatórios estarão escritos? O time de avaliação se reportará somente à diretoria ou a toda a
equipe, ou para a equipe, a diretoria e seus beneficiários? Existirão relatórios intermediários
ou somente um relatório final? Que tipo de evidência a organização ou projeto requer para
validar as opiniões de seu avaliador? Quem estará envolvido nesta análise?
A seção de metodologia dos Termos de Referência deve providenciar uma ampla rede de
como um projeto ou organização deseja que o trabalho de avaliação seja realizado.


25

Coletando Informações
(Isso também é tratado no pacote de ferramentas de planejamento de ações, dentro da
seção a respeito de monitoramento, coletando informações ao passo que você caminha
com a estrutura de seu planejamento).
Abaixo, analisaremos com detalhes:
As linhas de base e o controle de danos;
Métodos.
Entendemos controle de danos como sendo o que você precisa fazer se falhar em coletar
as informações de linhas de base no início do trabalho.


26

DIRETRIZES E CONTROLES DE DANO
De forma ideal, se você fez seu planejamento de maneira correta e coletou a informação a
respeito da situação no começo de sua intervenção, então você obterá seus dados de base.
Os dados de base são as informações que você tem a respeito da situação antes de se
fazer qualquer coisa. É o conteúdo no qual sua análise do problema foi baseada. Será muito
difícil mensurar o impacto de suas iniciativas se você não souber como a situação estava
quando você começou o trabalho. (Consulte também o pacote da visão geral para o
planejamento, na seção que trata de como realizar o trabalho de base). Você precisará de
dados de base relevantes para os indicadores que você decidiu, e que auxiliarão em medir
o impacto de seu trabalho.
Existem diferentes níveis de dados de base:
Informações gerais quanto à situação, geralmente disponíveis em estatísticas
oficiais, e.g. taxas de mortalidade infantil, ingresso por gênero dos alunos nas
escolas, taxas de desemprego, taxas de alfabetização da população, e assim por
diante. Se você estiver trabalhando numa região geográfica específica, precisará de
dados a respeito dela. Se estes dados não estiverem disponíveis em estatísticas
oficiais, vocês possivelmente terão que reunir, por si mesmos, as informações. Isso
talvez envolva pesquisas de casa em casa, sejam elas por amostragens ou por
todas as casas (veja a seção posterior a respeito de métodos), ou visitando escolas,
hospitais, etc. Focalizando em seus indicadores do impacto quando estiverem
coletando esta informação.
Se você tiver decidido medir o impacto através de uma amostra de pessoas ou
famílias com quem está trabalhando, necessitará de informações específicas dessas
pessoas ou famílias. Então, por exemplo, para famílias (ou empresas de negócios
ou escolas ou qualquer que seja o tipo de unidades com que esteja trabalhando)
você pode querer informações específicas de renda, histórico, número de pessoas
empregadas, número de crianças por sala e assim por diante. Você provavelmente
obterá essa informação com uma combinação de entrevistas e questionários básicos
a serem preenchidos. Mais uma vez, lembre-se de manter o foco nos indicadores
que você decidiu serem importantes para seu trabalho.
Se você está trabalhando com indivíduos, então necessitará “ingerir” informações –
informações documentadas a respeito da situação das pessoas com quem você vai
começar a trabalhar. Por exemplo, você pode querer saber além da idade, gênero,
nome e etc., a renda atual, o status de trabalho, os níveis atuais de educação, o
tempo gasto em atividades esportivas, ambições e assim por diante, para cada
indivíduo participante de sua pesquisa. Novamente, você provavelmente obterá as
informações da combinação de entrevistas e preenchimentos de questionários
básicos, e você deve concentrar sua atenção nos indicadores que considera
importantes.

É muito difícil reiniciar e coletar esse tipo de informação-base depois que você começou seu
trabalho e a situação modificou-se. Mas e se você não tiver coletado esse tipo de


27

informação no começo do processo? Existem maneiras de se fazer o controle de danos.
Você pode se utilizar de evidências não-formais, ”anedotas” (consulte o glossário) daqueles
que estiveram envolvidos desde o princípio e você pode perguntar a eles como a situação
estava quando o projeto começou. Você pode não ter sequer decidido quais eram os
indicadores importantes no momento quando começou o projeto. Você terá que trabalhar
retroativamente e buscar informações da situação relacionada àqueles indicadores desde
quando iniciou seu trabalho. Você pode conversar com pessoas, analisar dados e consultar
outras fontes como minutas, relatórios e assim por diante.
Uma maneira útil de se fazer comparações significativas onde você não tem informações de
linhas de base é através da utilização de grupos de controle. Grupos de controle são
grupos de pessoas, negócios, famílias, ou qualquer outra unidade a qual você esteja
focalizando e que não tenha sido influenciada pelas melhoras que sua organização ou
projeto trouxeram e que, porém, são unidades de muitas maneiras, bastantes similares com
aquela que você está trabalhando.
Por exemplo: Você vem trabalhando, ao redor do país, com grupos de crianças na escola
para melhorar sua auto-estima e conhecimento como forma de combater a disseminação da
AIDS/HIV e prevenir a gravidez de adolescentes. Após alguns anos, você quer descobrir
qual o impacto que obteve sobre estas crianças. Você vai consultar uma série de grupos de
foco (veja métodos) com as crianças em escolas onde realizou seu trabalho. Mas você não
realizou nenhum estudo de base com eles. Como saberá qual a diferença que você
obteve?
Você pode organizar grupos de controle dentro de escolas nas mesmas áreas, com o
mesmo perfil, onde não tenha trabalhado. Perguntando a ambas as crianças, àquelas com
que você trabalhou e àquelas com que não trabalhou o mesmo tipo de questões envolvendo
auto-estima, comportamento sexual e assim por diante. Assim, você deverá ser capaz de
dizer se, em seu trabalho, houve uma diferenciação ou não. Quando você organiza grupos
de controle, você deve tentar assegurar-se de que:
Os perfis dos grupos de controle são parecidos com aqueles com os quais você
trabalhou. Por exemplo, podem ser escolas que têm o mesmo padrão econômico,
numa igual área geográfica e com as mesmas taxas de gênero, grupos de idade,
etnia e miscigenação.
Não existe nenhuma outra variável que possa afetar as comparações e afirmações.
Por exemplo, se outro projeto, fazendo um trabalho parecido, estiver envolvido com
a escola, essa escola não será um bom local de estabelecer um grupo de controle.
Você precisa de uma situação que seja a mais próxima possível da situação que
seus beneficiados viviam quando o projeto foi iniciado.


28

MÉTODOS
Nesta seção daremos a você uma “lista de compras” de diferentes tipos de métodos que
podem ser utilizados para a coleta de informações com propósitos de se avaliar e monitorar.
Você precisa selecionar os métodos que servirão para seus propósitos e seus recursos.
Não planeje realizar uma pesquisa extensa de 100.000 moradias se você tiver duas
semanas e muito pouco dinheiro. Utilize uma amostragem neste caso.
A Amostragem (consulte o glossário) é outro conceito importante quando se utiliza de
várias ferramentas para o processo de avaliação e monitoramento. A amostragem não é
uma ferramenta em si, mas se utilizada com outras ferramentas, ela se torna muito útil. A
amostragem responde à questão: Quem pesquisaremos, entrevistaremos ou incluiremos
num grupo de foco, etc.? É uma maneira de se reduzir o número possível de entrevistados
para tornar a pesquisa gerenciável e com um custo realizável. Algumas vezes, é necessário
incluir todos os indivíduos. Isso significa ter de acessar todas as possíveis moradias, ou
escolas, ou professores, ou clínicas, etc. Numa avaliação, você pode bem se utilizar de toda
a informação coletada em cada caso durante o processo de monitoramento em uma análise
geral. Geralmente, porém, ao menos que os números sejam muito pequenos, para uma
exploração mais a fundo, você utilizará uma amostragem. As técnicas de amostragem são:
Amostragem randômica (Em teoria, realizar uma amostragem randômica é fazer
uma espécie de sorteio lotérico onde, por exemplo, todos os nomes sejam
misturados numa caixinha, chacoalhados e retirados um a um. Este tipo de
amostragem randômica é muito difícil de ser utilizado pelo tipo de trabalho que
estamos lidando. Para propósitos práticos, será mais simples selecionar a sétima
moradia, ou uma a cada três pessoas em uma lista. A essência da questão é que
não haja distinções na seleção);
Amostragem estratificada (e.g. toda sétima moradia, na esquina do lado direito, e
toda terceira moradia, na esquina do lado esquerdo);
Amostragem por clusters=grupos homogêneos (p.ex. somente aquelas pessoas que
estão no projeto por no mínimo dois anos).
É também sempre melhor fazer uma triangulação (veja o glossário). Essa é uma palavra
conhecida que significa que um conjunto de dados ou informações são confirmados pelos
outros. Você geralmente procura confirmações de um número de fontes dizendo a mesma
coisa.
Ferramenta
Entrevistas

Descrição

Utilidade

Desvantagens

Podem ser estruturadas,
semi-estruturadas, ou
sem estrutura (consulte o
glossário). Elas envolvem
formular perguntas
específicas que tenham
como objetivo obter a
informação que possibilite
que os indicadores sejam
mensurados. As questões
podem ser abertas ou
fechadas (respostas
sim/não). Podem ser uma
fonte de informações
qualitativas e
quantitativas.

Podem ser utilizadas com
quase todos que tiveram
algum envolvimento com
o projeto. Podem ser
realizadas pessoalmente
ou pelo telefone ou
mesmo por e-mail. Muito
flexível.

Requer alguma
habilidade do
entrevistador. Para
maiores informações a
respeito de habilidades
de entrevistas, leia mais a
seguir neste pacote.


29

Entrevistas de
informantes-chave

Estas são entrevistas que
são conduzidas por
especialistas em um
tópico ou alguém que
pode estar apto a
compartilhar uma
indicação ou luz especial
acerca do processo.

Questionários

Estas são questões
escritas usadas para
obter respostas escritas
as quais, quando
analisadas, possam
possibilitar que os
indicadores sejam
medidos.

Grupos focais

Num grupo focal, uma
média de média de seis a
doze pessoas são
entrevistadas em
conjunto por um
entrevistador experiente
com uma agenda de
entrevista
cuidadosamente
estruturada. As questões
são geralmente
focalizadas ao redor de
um tópico ou tema
específico.

Como estes informantes
geralmente têm pouco a
ver com a organização ou
projeto, eles podem ser
bastante objetivos e
oferecer perspectivas
bastante úteis. Eles
podem providenciar uma
visão mais ampla,
enquanto que pessoas
mais envolvidas podem
ter seu foco na visão de
nível mais micro
(pequeno).
Essa ferramenta pode
economizar bastante
tempo se for para
preencher
individualmente,
possibilitando atingir
muitas pessoas. Feita
dessa maneira, ela
possibilita às pessoas um
sentimento de anonimato
e elas talvez dirão coisas
que não diriam a um
entrevistador.

Essa pode ser uma
maneira útil de conseguir
opiniões de uma amostra
bastante grande de
pessoas.


Necessita de um hábil
entrevistador com um
bom entendimento do
assunto. Tenha cuidado
para não transformar algo
numa verdade absoluta
(que não possa ser
questionada) por ter sido
dita por um informantechave.

Pessoas que não
conseguem ler ou
escrever precisarão de
um acompanhamento
com os questionários, o
que significa que nenhum
tempo será ganho e os
números passíveis de
alcance serão limitados.
Com questionários, não
se tem a possibilidade de
explorar o que as
pessoas estão dizendo
além do que está escrito.
Questionários também
são utilizados em
demasia e as pessoas
ficam cansadas de
responder a eles.
Questionários devem ser
conduzidos tendo claro
que as perguntas podem
ser entendidas e não vão
ser mal interpretadas. Se
o questionário for
complexo e precisar ser
analisado no computador,
você necessitará de ajuda
de um especialista que
saiba lidar com esta
análise.
É bastante difícil realizar
uma amostragem
randômica para grupos
focais e isso significa que
posicionamentos e
pensamentos não podem
ser generalizados.
Algumas vezes, as
pessoas influenciam
umas às outras dizendo
alguma coisa ou se
calando a respeito de
outra. Se possível,
entrevistas de grupos de
foco devem ser gravadas
e então transcritas. Isso
requer equipamento
especial e pode ser

30

Encontros da
comunidade

Isso envolve um encontro
de uma significativa
porção da comunidade de
beneficiários a quem
questões, problemas, e
situações são colocadas
como dados que auxiliem
a medir os indicadores.

Relatórios de campo
(veja também formatos
de relatórios de campo
sob exemplos)

Relatórios de formato
estruturado que garante
que questões
relacionadas a
indicadores sejam feitas,
respondidas e gravadas e
observações sejam
gravadas a cada visita.
Isso envolve fazer com
que as pessoas digam o
que pensam ser o mais
importante, menos útil,
etc.

Ranking

Encontros da comunidade
são bastante úteis para
conseguir uma ampla
resposta de muitas
pessoas em assuntos
específicos. É também
uma forma de envolver os
beneficiários diretamente
no processo de avaliação,
dando a eles a sensação
de autoria no processo.
Eles são úteis em pontos
críticos de projetos
comunitários.
Flexível, uma extensão
de um trabalho normal,
portanto, barata e rápida.

Pode ser utilizado por
indivíduos e grupos,
como parte de uma
agenda de entrevistas ou
um questionário, ou como
uma sessão separada.
Onde pessoas não
podem ler nem escrever,
imagens podem ser
utilizadas.

Estímulos áudiovisuais

Isso inclui imagens,
filmes, fitas, estórias,
atividades dinâmicas,
fotografias, utilizadas
para ilustrar problemas ou
temas, ou eventos
passados ou futuros.

Muito útil para ser usado
conjuntamente com
outras ferramentas,
particularmente com
pessoas que não
conseguem ler ou
escrever.

Configurando Escalas

Essa técnica faz uso de
um contínuo, ao longo do
qual se espera que as
pessoas coloquem seus
próprios sentimentos,
observações, etc. As
pessoas são geralmente
levadas a se posicionar
se concordam fortemente,
concordam, não sabem,
discordam, ou discordam
fortemente com uma
dessas perspectivas.
Você pode usar imagens
e símbolos nessa técnica
se as pessoas não
souberem ler e escrever.

É útil para mensurar
atitudes, opiniões e
percepções.


bastante demorado.
Difíceis de serem
analisados – requisitando
um
facilitador/entrevistador
experiente. Possa talvez
requisitar desdobrar em
pequenos grupos
seguidos por sessões de
plenário quando todos
são colocados juntos
novamente.

Depende dos
trabalhadores de campo
serem disciplinados e
conscientes.

Ranking é um conceito
difícil de ser entendido, e
necessita de uma
explicação muito
cuidadosa, bem como de
testes que assegurem
que as pessoas
entenderam o que está
sendo pedido. Se as
pessoas malinterpretarem seus dados,
eles podem ser
completamente
distorcidos.
Você deve utilizar o
estímulo correto, e o
entrevistador precisa ser
hábil em se utilizar desse
estímulo.

Você precisa testar os
posicionamentos com
bastante cuidado, para
estar certo de que não
houve algum malentendido. Um problema
comum é quando dois
conceitos são incluídos
no posicionamento e você
não consegue ter certeza
se a opinião foi dada em
um ou outro, ou em
ambos.

31

Evento crítico/ análise
de ocorrências

Este método é uma
maneira de focalizar
entrevistas com
indivíduos ou grupos a
respeito de eventos
particulares ou incidentes.
O propósito é obter uma
visão ampla do que
realmente aconteceu.

Muito útil quando algo
problemático tiver
ocorrido e as pessoas
sentirem-se emocionadas
pelo que houve. Se todos
os envolvidos na situação
estiverem incluídos, isso
ajudará a equipe de
avaliação a obter uma
imagem que seja
razoavelmente próxima
do que aconteceu de
verdade, e diagnosticar o
que ocorreu de errado.

A equipe de avaliação
pode terminar soterrada
sob uma montanha de
detalhes contraditórios e
muitos “ele disse/ela
disse”. Pode se tornar
difícil não ser parcial e
permanecer objetivo.

Observação
participante

Isso envolve observação
direta de eventos
processos,
relacionamentos, e
comportamentos.
“Participante”, aqui,
refere-se mais ao
observador estar
envolvido nas atividades
do que manter alguma
distância.

Pode ser uma maneira
muito útil de confirmar, ou
não, a informação
providenciada de outras
formas.

É difícil observar e
participar. O processo
torna-se muito demorado.

Desenhos

Isso envolve os
participantes em
desenhar gravuras,
geralmente a respeito do
que sentem ou pensam
de algo.

Pode ser bastante útil
particularmente com
crianças mais jovens.

Pode ser difícil de
explicar ou interpretar.


32

Ψ

HABILIDADES DE ENTREVISTA

O que fazer e o que não se deve fazer em entrevistas:

□ Faça um teste com o formulário de entrevistas com antecedência para maior clareza,

e para ter certeza de que as questões não serão interpretadas de forma incorreta.
□ Estabeleça da forma mais clara possível o propósito de sua entrevista.
□ Assegure ao entrevistado que o que for dito será tratado em sigilo.
□ Pergunte ao entrevistado se ele se importa que você tome notas e use um gravador
durante a entrevista.
□ Registre com a maior exatidão possível as palavras dos entrevistados.
□ Continue falando enquanto escreve.
□ Mantenha a entrevista dentro do tema desta.
□ Preencha todas as questões do formulário.
□ Fique atento para questões que sejam vagas e possam exigir mais informações.
□ Seja flexível, e anote tudo que foi dito e que seja interessante, mesmo que não esteja
no formulário.
□ NÃO ofenda o entrevistado de maneira alguma.
□ NÃO diga coisas que tenham um teor de julgamento.
□ NÃO o interrompa no meio do que ele está falando.
□ NÃO coloque palavras na boca do entrevistado.
□ NÃO mostre o que estiver pensando através de um tom de voz diferente.


33

Analisando Informações
Analisando tanto o monitoramento quanto a avaliação, haverá um momento que você vai se
deparar com uma grande quantidade de informações e terá que decidir como fazer com que
aquilo tudo faça sentido, ou seja processado e analisado. Se você estiver utilizando uma
equipe de avaliação externa, será ela que fará essa análise, mas em algum momento da
avaliação, e certamente quando estiver monitorando, você, o projeto ou a organização terão
que se prontificar a realizar essa análise.
Análise é o processo de transformar a informação detalhada em padrões de entendimento,
comparações, e interpretações. O ponto inicial para a análise em um contexto de projeto ou
organizacional é muitas vezes muito pouco científico. É seu entendimento intuitivo de temas
chave que resultarão em um processo de associação de informações. Uma vez que você
saiba os temas-chave, torna-se possível trabalhar a informação, estruturando-a e a
organizando corretamente. O próximo passo é escrever a respeito de suas descobertas e
reflexões como base para alcançar conclusões e fazer recomendações.
Assim, seu processo parecerá algo do tipo:
Determine os indicadores chave para o processo
de avaliação e monitoramento

Recolha a informação a respeito dos indicadores

Desenvolva uma estrutura para sua análise,
baseada no entendimento intuitivo de temas
emergentes e preocupações, e onde você
suspeite haver alguma variação do que você
esperava e/ou previa.

Organize seus dados, colocando-os
relacionados em temas e preocupações.
Identifique padrões, comparações e possíveis
interpretações.
Escreva suas conclusões e descobertas. Estude
formas e alternativas possíveis
(recomendações).


34


Tomando atitudes
O monitoramento e a avaliação têm pouco valor se a organização ou o projeto não realizam
o procedimento de analisar os dados coletados a respeito das informações obtidas. Uma
vez que você estabeleça as descobertas, conclusões e recomendações de seu processo de
monitoramento e avaliação, você precisará:
Enviar relatórios aos seus patrocinadores;
Aprender do processo geral;
Tomar as decisões eficazes, para mover em frente; e, se necessário,
Lidar com a resistência para fazer mudanças necessárias dentro do projeto ou
organização, ou mesmo com relação aos que dão suporte ao projeto.


35

RELATÓRIO
Se você estiver monitorando ou avaliando, em algum ponto, ou pontos, existirá um processo
de fazer um relatório. O processo de um relatório segue os mesmos passos da análise de
informações. Você se reportará aos diferentes patrocinadores de diferentes maneiras, às
vezes de forma escrita, outras verbalmente, e, cada vez mais, utilizando-se de ferramentas
como apresentações de PowerPoint, slides e vídeos.
A tabela abaixo traz algumas sugestões de mecanismos de relatórios para momentos
distintos nos ciclos de projetos. Para dicas de escrita, consulte o pacote de ferramentas que
ajuda a escrever com mais eficácia.
Grupo alvo

Estágio do ciclo de projeto
De tempos em tempos, baseado na
análise de monitoramento.
Avaliação

Diretoria

Time gerencial

De tempos em tempos, baseado no
monitoramento.
Avaliação

Equipe

monitoramento.
Avaliação

Beneficiados

De tempos em tempos, mas
somente
com
os
pontos
significativos, e avaliação.

Doadores

monitoramento.
Avaliação

Comunidade
desenvolvimento em geral

de

Avaliação

Formato apropriado
Relatório escrito
Relatório escrito com um sumário
executivo, e uma apresentação
verbal do time de avaliação.
Relatório escrito, discutido em uma
reunião do time gerencial.
Relatório
escrito,
apresentado
verbalmente
pelo
time
de
avaliação.
Apresentação escrita e verbal aos
níveis de time e departamento.
Relatório
escrito,
apresentado
verbalmente pelo time de avaliação
e seguido em profundidade de uma
discussão com recomendações
relevantes para cada time e
departamento.
Apresentação verbal, com base em
um documento resumido, utilizando
tabelas
apropriadas,
gráficos
visuais e áudios-visuais. Isso é
especialmente importante se a
organização
ou projeto
tem
intenções de formular uma grande
mudança que trará um grande
impacto aos beneficiados.
Resumido em um relatório por
escrito.
Relatório completo por escrito, com
um sumário executivo ou uma
versão especial, focalizada nas
preocupações e interesses dos
doadores.
Artigos de jornal, seminários,
conferências e páginas da internet.

Para um esboço do que normalmente é colocado em um relatório escrito, veja a página a
seguir.


36

Ψ

ESBOÇO DE UM RELATÓRIO DE AVALIAÇÃO

SUMÁRIO EXECUTIVO

(Geralmente não contendo mais do que cinco páginas –
quanto mais curto, melhor – pretende providenciar informação
suficiente para pessoas ocupadas, mas também para aguçar o
apetite das pessoas, para que assim queiram ler o relatório
completo).

PREFÁCIO

(Não é essencial, mas é um bom lugar para agradecimentos e
comentários mais amplos a respeito do processo,
descobertas, etc.).

CONTEÚDO DE PÁGINAS (Com páginas enumeradas, para auxiliar as pessoas a
encontrarem o que desejam ler no relatório).
1ª SESSÃO:
INTRODUÇÃO:

2ª SESSÃO:
DESCOBERTAS:

3ª SESSÃO:
CONCLUSÕES:

4ª SESSÃO:
RECOMENDAÇÕES:
APÊNDICE:

(Geralmente
trata
do
conhecimento-base
da
organização/projeto, do conhecimento-base da avaliação, um
breve resumo do time de avaliação, da metodologia, do
processo utilizado e eventuais problemas ocorridos).
(Aqui serão organizadas seções com áreas importantes de
descobertas, p.ex. eficiência, eficácia e impacto, ou quaisquer
outros temas que tenham emergido).

(Aqui você apresentará conclusões de suas descobertas – a
interpretação, ou seja, o que elas significam. É bastante útil
fazer uma análise SWOT – explicada resumidamente no
glossário deste pacote de ferramentas).

(Elas fornecerão sugestões específicas para progredir, em
termos de lidar com fraquezas e construir bases mais sólidas).
(Aqui serão incluídos os Termos de Referência, as listas das
pessoas entrevistadas, os questionários usados e talvez um
mapa da área, etc.).


37

APRENDENDO
Aprender é, ou devia ser, a principal razão do motivo de um projeto ou organização
monitorar seu trabalho ou fazer sua avaliação. Ao aprender o que funciona e o que não
funciona, o que você está fazendo corretamente e o que você está fazendo errado, você,
como projeto ou organização gerencial, tem mais condições de agir de uma maneira
construtiva e informada. Isso é parte do ciclo de ação reflexiva. (veja o diagrama na seção
do por que monitorar e avaliar?)
O propósito da aprendizagem é realizar mudanças, onde necessárias, e identificar e
solidificar forças onde elas existam. O aprendizado também lhe ajuda a entender, tornando
conscientes as concepções que se tenha. Então, por exemplo, talvez você tenha presumido
que as crianças de escolas mais ricas fossem beneficiar-se menos que as de escolas mais
pobres. Seus dados de monitoramento podem indicar que essa previsão está errada. Uma
vez que você se dê conta disso, você provavelmente enxergará suas interações com essas
escolas de modo diferente.
Permanecendo em um constante modo de ação-reflexão-ação, você será menos
complacente. Algumas vezes quando projetos ou organizações sentem que agora
“entenderam” o que tem de ser feito, eles acabam retrocedendo e fazendo as coisas da
mesma forma que faziam anteriormente, sem se questionar se continuam ainda
trabalhando da maneira correta. Esquecem que situações se modificam, que as
necessidades de seus beneficiados podem mudar e que as estratégias precisam ser
reconsideradas e revisadas.
Por exemplo, uma organização providenciava treinamento e programas para as
comunidades de estação de rádio. Por possuir um excelente equipamento e um estúdio de
produção excelente, convidava outras estações para enviar apresentadores para seu centro
para o treinamento de como apresentar os programas que ela (a organização) estava
produzindo. Ela desenvolveu uma reputação excelente de seu treinamento e produção de
alta qualidade. Ao longo do tempo, entretanto, as estações de rádio da comunidade
começaram a produzir seus próprios programas, e o que eles realmente gostariam seria
que a organização enviasse alguém para suas estações, para auxiliar com seminários e
avaliar o resultado do trabalho que estavam realizando. Isso foi levantado por um processo
de avaliação e a organização percebeu que tinha se acomodado em uma zona de conforto
no que já sabia fazer com excelência, mas que isso, se a organização realmente tinha a
intenção de auxiliar as estações de rádio, precisava ser transformado em sua estratégia.
Organizações e projetos que não aprendem, sofrem uma estagnação. O processo rigoroso
(veja o Glossário) de monitoramento e avaliação força as organizações e projetos a
continuar aprendendo – e crescendo.


38

TOMADA DE DECISÕES EFICAZES
Como gerência de um projeto ou organização, você precisa das conclusões e
recomendações que se obtêm através do monitoramento e da avaliação para auxiliá-lo na
tomada de decisões a respeito de seu trabalho e da forma como você o conduz.
O sucesso do processo depende da capacidade daqueles com responsabilidades
gerenciais de tomar decisões e colocá-las em prática. Os passos envolvidos no processo
como um todo são:
1
2
3
4
5
6
7
8
9
10

Planeje corretamente – saiba o que está tentando alcançar e como você pretende
alcançar isso.
Implemente
Monitore e avalie.
Analise a informação que você recebe do monitoramento e da avaliação e trabalhe
para saber o que ela está lhe dizendo.
Analise as potenciais conseqüências em relação aos planos do que você aprendeu
com os dados de monitoramento e avaliação.
Desenhe uma lista de opções para tomar as devidas atitudes.
Obtenha consenso no que deve fazer e um mandado para tomar as atitudes.
Compartilhe os ajustes e planos com o resto da organização e, se necessário, seus
doadores e beneficiados.
Implemente.
Monitore e avalie.

Os passos-chave para tomadas de decisão eficazes são:
Como um time de gerência, entenda as implicações do que tiver aprendido.
Esclareça o que necessita ser feito e tenha claro em mente o porquê disso precisar
ser feito.
Formule opções de como fazê-lo.
Encare as opções de forma crítica em termos de avaliar qual será a mais eficaz.
Encontre um acordo como um time gerencial.
Consiga estabelecer um consenso organizacional / de projeto no que precisa ser
realizado e como precisa ser realizado.
Obtenha um mandado (geralmente da Diretoria, mas possivelmente também dos
doadores e beneficiados) para fazer isso.
Faça-o.


39

LIDANDO COM CONTRARIEDADES
Nem todos estarão satisfeitos com uma mudança de planos que você decida ser
necessária. As pessoas sempre resistem às mudanças. Algumas das razões para isso
incluem:
As pessoas estão confortáveis com as coisas do modo como estão – elas não
querem ser puxadas para fora de sua área de conforto.
As pessoas se preocupam e pensam que uma mudança diminuirá os seus níveis de
produtividade – elas se sentem julgadas pelo que fazem e pelo quanto fazem, e não
querem utilizar o tempo mais do que o necessário para empreender por mudanças
de planos ou modos novos de fazer as coisas.
As pessoas não gostam de apressar mudanças – como podemos saber que algo
diferente será melhor? Eles gastam tanto tempo pensando e discutindo que atrasam
mudanças úteis que teriam de ser feitas, e, que, às vezes, são feitas tarde demais.
As pessoas não enxergam a “perspectiva macro”. Elas sabem o que estão fazendo e
podem ver que está funcionando; assim, não conseguem ver nenhuma razão para
se mudar afinal de contas.
As pessoas não têm um compromisso de longo termo com o projeto ou organização
– eles vêem isso como uma pedra no sapato em sua carreira. Elas não querem
mudar porque isso atrasará os itens que querem poder marcar como já terminados
em seus currículos.
As pessoas sentem que não podem lidar com mudanças – elas têm que continuar
fazendo o que estão fazendo, mas também trabalhar para conseguir as mudanças.
Pensam estar além daquilo que podem realizar.
Como você pode ajudar para que as pessoas aceitem as mudanças?
Deixe muito claro os motivos pelos quais as mudanças são necessárias – conduza a
todos através do processo de descobertas e conclusões dos processos de
monitoramento e avaliação, envolva-os no processo de tomada de decisões.
Ajude as pessoas a enxergarem a imagem como um todo – além de seus
minúsculos afazeres para a visão geral do impacto do problema analisado.
Focalize os temas-chave – temos que fazer algo a respeito disso!
Reconheça raiva, medo, resistência. Ouça as pessoas, dê-lhes a oportunidade de
expressar frustração e outras emoções.
Encontre um meio comum – coisas que elas também gostariam de ver modificadas.
Encoraje o sentimento de que as mudanças são desejáveis e libertam as pessoas
de coisas que não estão funcionando, para que assim possam tentar novas coisas
que possam funcionar, e isso tudo libera a energia produtiva.
Enfatize a importância de todos se comprometerem com o esforço para que isso
funcione.
Crie condições para interações regulares – qualquer coisa, desde um seminário a
um lápis no quadro de avisos – para discutir o que está acontecendo e como está se
progredindo.
Dê um ritmo para as mudanças, para que assim as pessoas possam lidar melhor
com elas.
(Agradeço à Olive Publications, Ideas for a Change Part 4, Junho 1999, por dicas utilizadas
nesta subseção).


40

MELHORES PRÁTICAS
EXEMPLOS DE INDICADORES
Por favor, lembre-se que estes são somente exemplos – eles podem se adequar ou
não às suas necessidades, mas devem fornecer o tipo de indicador que você pode
utilizar, especialmente para mensurar impacto.
Indicadores de Desenvolvimento Econômico
Média anual da renda de cada moradia
Média de pagamentos por mês/semana
Taxa de emprego, por grupos de idade
Taxa de desemprego, agrupados por idade, por gênero
Taxa de emprego, por ocupação, por gênero
Emprego público
Níveis de ganhos de renda
Média de duração do período de desemprego
Taxas de juros sobre empréstimos
Taxa de aluguel de proprietários para locatários
Renda per capita
Média de renda anual familiar
Percentual de pessoas abaixo da linha de pobreza
Taxas de empregos sazonais para empregos permanentes
Taxa de crescimento de pequenos negócios
Valor de construções residenciais e/ou renovações
Indicadores de Desenvolvimento Social
Taxa de mortalidade
Expectativa de vida de recém-nascidos
Taxas de mortalidade infantil
Causas de morte
Números de médicos per capita
Número de camas de hospital per capita
Número de enfermeiras per capita
Taxas de alfabetização, por idade e gênero
Número de estudantes por professor
Taxa de repetição pelo nível escolar
Taxas de conclusão escolar
Gasto público por aluno
Número de suicídios
Causas de acidentes
Lares com água corrente
Lares com eletricidade
Número de desabrigados
Número de crimes violentos
Taxa de natalidade
Taxa de fertilidade
Diferenças de renda Gini (consulte o Glossário)

41

Taxa de mortalidade infantil
Taxas de hospitalização
Taxas de infecção pelo vírus da AIDS
Taxas de mortes por AIDS
Número de teatros, cinemas e piscinas para cada 1000 habitantes
Número de rádios e televisores per capita
Disponibilidade de livros em línguas tradicionais
Línguas tradicionais ensinadas nas escolas
Tempo gasto ouvindo o rádio ou assistindo televisão por gênero.
Número de programas na televisão e rádio em suas línguas tradicionais e/ou lidando
com costumes tradicionais
Participação da Igreja, por idade e gênero
Desenvolvimento de indicadores políticos/organizacionais
Número de organizações comunitárias
Tipos de esporte organizados
Número de jogos e torneios
Níveis de participação em um esporte organizado
Número de grupos de jovens
Participação de grupos de jovens
Participação de grupos de mulheres
Participação de grupos para idosos
Número de grupos para idosos
Estrutura de liderança política, por idade e gênero
Taxas de participação em eleições, por idade e gênero
Número de encontros públicos feitos
Participação em encontros públicos, por idade e gênero
Exemplos adaptados de Utilizando Indicadores de Desenvolvimento para o
Desenvolvimento Aborígine, Comitê Organizador do Projeto de Indicador de
Desenvolvimento, Setembro de 1991


42

ESTUDO DE CASO: DESENHANDO UM SISTEMA DE MONITORAMENTO
Segue aqui a descrição do processo que uma organização da África do Sul, chamada
Bonecos contra a AIDS, enfrentou com o propósito de desenvolver um sistema de
monitoramento para alimentar outros processos de monitoramento e avaliação.
O trabalho principal da organização era apresentar peças em seminários e/ou shows de
bonecos ligados às habilidades para a vida, especialmente àquelas ligadas com
sexualidade, nas escolas e em torno do país. A organização trabalhava com diversos
grupos de faixa etária diferentes, e com diferentes “produtos” (roteiros), adaptados de
acordo com estes diferentes níveis.
A Bonecos contra a AIDS queria desenvolver um sistema de monitoramento e avaliação
que providenciasse informações úteis quanto à eficiência, eficácia e impacto de suas
operações. Para isso, a organização quis desenvolver dados de linha de base que:
Providenciassem toda a informação básica que a organização precisava a respeito
de clientes e serviços prestados;
Produzissem relatórios que capacitassem a organização para manter tanto a si
mesma quanto outros agentes de apoio, incluindo doadores, parceiros e mesmo
escolas informadas a respeito do impacto de seu trabalho.
A organização tomou a decisão de optar por um sistema computadorizado de
monitoramento. Muito do que era necessário das informações do dia-a-dia já se
encontravam nos dados-base (e.g. escolas, regiões, serviços oferecidos, e assim por
diante), mas o sistema de monitoramento precisaria de uma atualização substancial e o
desenvolvimento de um software para os dados de base específicos que suprissem as
necessidades da organização. A organização também tomou a decisão de desenvolver um
sistema inicialmente para um projeto-piloto, mas com a intenção de estender o sistema para
todo o trabalho realizado com o passar do tempo. Este projeto-piloto funcionaria com
aproximadamente 60 escolas, utilizando-se roteiros diferentes a cada ano, por um período
de três anos. Para conseguir levantar o dinheiro necessário para este processo, a Bonecos
contra a AIDS necessitava de algum tipo de resumo do que seria requerido, para que assim
fosse custeado.
Num seminário inicial com a equipe, organizada por consultores, a equipe desenvolveu uma
lista de indicadores para eficiência, eficácia e impacto em relação ao seu próprio trabalho.
Era isso que a equipe queria saber do sistema em relação àquilo que fez, como fez e qual
foi a diferença alcançada. Os termos foram definidos da seguinte maneira:
Eficiência

Aqui o que era necessário ser compreendido era com qual rapidez,
quão correto, a que custo/efetividade e com qual uso dos recursos os
serviços da organização seriam oferecidos. Muito dessa informação já
tinha sido coletada e estava armazenada em relatórios que refletiam o
planejamento em relação aos seus alcances. Precisava agora ser
feita a transcrição para o computador.

Eficácia

O que precisava aqui ser resolvido era obter resultados em termos de
estratégia de impacto de curto prazo. Por exemplo, os shows de
bonecos eram eficazes meios de comunicação de mensagens a
respeito de sexualidade? Mais uma vez, essa informação já estava


43

sendo coletada e somente necessitava de uma adaptação para
encaixar-se no sistema computadorizado.
Impacto

Aqui o que precisava ser analisado era se a estratégia funcionava a
ponto de ter um impacto no comportamento dos indivíduos (no caso,
estudantes) e se uma mudança em seu comportamento causava um
impacto positivo sobre a sociedade. A organização tinha uma forte
impressão de que estava funcionando, mas queria poder medir isso
de modo mais científico e ser capaz de analisar que variáveis
causavam mais ou menos impacto, ou afetavam o nível do impacto.

A equipe gerou uma lista de variáveis importantes para compreender e perceber diferenças
de impacto. O sistema de monitoramento teria que realizar as conexões de informação
quanto ao impacto dessas variáveis. A intenção era providenciar ambas as informações
qualitativas e quantitativas.
Os consultores e a equipe sênior de membros então desenvolveram indicadores
mensuráveis de desenvolvimento de impacto e uma tabela de variáveis importantes, as
quais incluíam:
Sexo e idade de perfis
Perfil econômico da escola
Perfil religioso da escola
Perfil dos professores da escola
Abordagem da disciplina na escola
Quais roteiros foram utilizados
Qual time de atores apresentou os roteiros
E assim por diante.
Questionários e formulários foram desenvolvidos para medir o impacto de indicadores antes
da primeira intervenção (para o fornecimento da informação de base) e também em
diversos pontos do processo, assim como categorizar conceitos como “perfil de professor”.
Com o questionário dos estudantes, foi possível agregar notas que poderiam ser
comparadas em diferentes estágios do processo. O questionário era composto por uma
série de posicionamentos: os estudantes eram questionados se concordavam / discordavam
/ concordavam fortemente / discordavam fortemente, etc. Dessa forma, posicionamentos
que tinham a ver com a auto-estima incluíam “Quando eu olho no espelho, eu gosto do que
vejo”, e “A maioria das pessoas que conheço gostam do meu verdadeiro eu”.
A organização indicou que gostaria que o sistema gerasse relatórios que tornariam possível
saber:
Que diferença houve entre as taxas dos indicadores do começo para o final do
processo?
Que diferença aconteceu entre as atitudes dos professores no começo e no final do
processo?
Que variações ocorreram na escola e no ambiente escolar, mostrando o impacto no
nível de diferenciação entre os indicadores do começo e do final do processo?
Que variáveis relacionadas com a forma em que os shows são apresentados
apresentaram maior impacto na diferença entre o começo e o final do processo?


44

Tudo isso foi sistematizado e enviado a especialistas em software. Criou-se em seguida um
sistema específico, para atender às exigências requisitadas. O processo foi demorado e
exigiu muito trabalho, mas ele foi desenvolvido finalmente e está atualmente sendo testado.


45

FORMATO DO RELATÓRIO DO TRABALHADOR DE CAMPO
Este formato foi utilizado por um centro de aprendizagem de desenvolvimento para préescola para mensurar os seguintes indicadores em escolas informais:
O aumento na capacidade de professores educadores.
O aumento de equipamentos feito por eles mesmos.
Fichas atualizadas.
Pagamentos em dia.
Comparecimento em encontros do comitê.
________________________________________________________________________
CARE-ED RELATÓRIO DE VISITA DE CAMPO
Data:
Nome da escola:
Informação obtida de:
Relatório preenchido por:
Número de visitas de campo:__
--------------------------------------------------------------------------------------------1. Lista de habilidades utilizadas pelos professores no tempo de sua visita na escola:

2. Lista de equipamentos criados manualmente e visíveis dentro da escola:

3. Lista de atividades de arrecadação de fundos que o comitê da escola está atualmente
envolvido:


46


4. Manutenção e modo de arquivar a documentação:
Tipos
arquivo

de

Arquivos
livros

Atualizados e
precisos

de

Atualizados
mas
não
muito
precisos

Não
atualizados

Inexistentes

Gastos
corriqueiros
Fichamentos
Correspondênci
a
Controle
de
estoque
Registros

5. Número de crianças registradas:
Média de freqüência dos últimos dois meses:
6. Número de pagamentos inadimplentes por mais de dois meses:
7. Média de freqüência em encontros do comitê dos últimos dois meses:
8. Comentários dessa visita:

9. Comparações com a visita de campo anterior:


47

RECURSOS
A CIVICUS gostaria de agradecer às valiosas fontes na preparação deste pacote de
ferramentas:
Olive Publications

Planejando para Monitorar e Avaliar, Olive 2002

Shapiro, Janet
1996

Avaliação: Dia do Julgamento ou Ferramenta Gerencial? Olive


48

GLOSSÁRIO
Dados Não-Formais (anedotas)

A informação de dados não-formais é a informação
que se consegue através de estórias que as pessoas
recordam e que são relevantes para os indicadores
que você está interessado em analisar. Eles não têm
validade científica, mas podem providenciar uma
informação qualitativa bastante utilizável.

Informação de Linha de Base

A informação de linha de base (ou simplesmente
informação de base) advém de um estudo feito antes
de qualquer intervenção. Ele fornece dados e
informações a respeito da situação antes da
intervenção. Essas informações são muito importantes
quando você for fazer monitoramento e avaliação, pois
lhe capacitará em saber qual foi a diferença que sua
intervenção causou.

Ponto Fundamental

Em administração, o ponto mais embaixo (o ‘fundo do
poço’), refere-se ao mínimo de lucro e o relatório de
perda – diz a você se está ou não tendo lucro. É desta
forma que funciona o entendimento do sucesso
administrativo. No trabalho de desenvolvimento, “o
ponto mais baixo” seria: “Estamos causando alguma
diferença quanto ao problema ou não?”.

Eficiência, Eficácia, Impacto

A eficiência diz se os esforços de seu trabalho são
satisfatórios em relação aos resultados alcançados.
Eles podem ser esforços (ou insumos) em termos de
dinheiro, tempo, pessoal, equipamento, e assim por
diante. Eficácia é a medida da extensão do programa
de desenvolvimento ou do projeto para atingir seus
objetivos estabelecidos. O impacto mostra se você fez
ou não uma diferença no problema on na situação que
estava tentando resolver. Em outras palavras, sua
estratégia foi útil?

Distribuição de Renda Gini

A diferença econômica entre a camada social mais alta
e a camada social mais baixa da escala da sociedade.

Trabalhar com Escala

Pegar um projeto lidando com um pequeno número de
beneficiados para lidar depois com um grande número
de beneficiados.

Indicadores

Indicadores são sinais mensuráveis ou tangíveis de
que alguma coisa foi realizada. Por exemplo, um
aumento do número de alunos aprovados é um
indicador do melhoramento na cultura do aprendizado
e do ensino. O meio de verificação é a prova, e o meio


49

Shapiro, janet. monitoramento e avaliacao ler apenas das pág. 01 a 07

Shapiro, janet. monitoramento e avaliacao ler apenas das pág. 01 a 07

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (16)

Semelhante a Shapiro, janet. monitoramento e avaliacao ler apenas das pág. 01 a 07

Semelhante a Shapiro, janet. monitoramento e avaliacao ler apenas das pág. 01 a 07 (20)

Mais de Bruno Martins Soares

Mais de Bruno Martins Soares (17)

Último

Último (20)

Shapiro, janet. monitoramento e avaliacao ler apenas das pág. 01 a 07