O documento discute métodos para desenvolvimento de indicadores de desempenho para programas de governo. Apresenta cinco dimensões de fluxo (insumo, processo, produto, resultado e impacto) e quatro dimensões de avaliação (eficiência, eficácia, efetividade e validade). Também lista requisitos que indicadores devem atender, como validade, confiabilidade e simplicidade, e métodos para seleção de indicadores, como identificar objetivos de medição e desenvolver perguntas e indicadores associados.

1. Roberto de Pinho
17-mai-18 1
roberto.depinho@mctic.gov.br

2. 17-mai-18 2

3.  Insumo (input indicators):
 são indicadores ex-ante facto que têm relação direta com os recursos a serem
alocados, ou seja, com a disponibilidade dos recursos humanos, materiais,
financeiros e outros a serem utilizados pelas ações de governo. Pode-ser citar
como exemplos médicos/mil habitantes e gasto per capita com educação;
 Processo (throughput indicators):
 são medidas in curso ou intermediárias que traduzem o esforço empreendido
na obtenção dos resultados, ou seja, medem o nível de utilização dos insumos
alocados como, por exemplo, o percentual de atendimento de um público-alvo
e o percentual de liberação dos recursos financeiros;
 Produto (output indicators):
 medem o alcance das metas físicas. São medidas ex-post facto que expressam
as entregas de produtos ou serviços ao público-alvo do Programa. São
exemplos o percentual de quilômetros de estrada entregues, de armazéns
construídos e de crianças vacinadas em relação às metas físicas estabelecidas;
17-mai-18 3

4.  Resultado (outcome indicators):
 essas medidas expressam, direta ou indiretamente, os benefícios
no público-alvo decorrentes das ações empreendidas no contexto
do Programa e têm particular importância no contexto de gestão
pública orientada a resultados. São exemplos as taxas de
morbidade (doenças), taxa de reprovação escolar e de homicídios;
 Impacto (impact indicators):
 possuem natureza abrangente e multidimensional, têm relação
com a sociedade como um todo e medem os efeitos das
estratégias governamentais de médio e longo prazos. Na maioria
dos casos estão associados aos objetivos setoriais e de governo
(veja Figura 8). São exemplos o Índice Gini de distribuição de
renda e o PIB per capita.
17-mai-18 4

5. 17-mai-18 5

6.  Economicidade:
 medem os gastos envolvidos na obtenção dos insumos (materiais,
humanos, financeiros etc.) necessários às ações que produzirão os
resultados planejados.Visa a minimizar custos sem comprometer
os padrões de qualidade estabelecidos e requer um sistema que
estabeleça referenciais de comparação e negociação;
 Eficiência:
 essa medida possui estreita relação com produtividade, ou seja, o
quanto se consegue produzir com os meios disponibilizados.
Assim, a partir de um padrão ou referencial, a eficiência de um
processo será tanto maior quanto mais produtos forem
entregues com a mesma quantidade de insumos, ou os mesmos
produtos e/ou serviços sejam obtidos com menor quantidade de
recursos;
17-mai-18 6

7.  Eficácia:
 aponta o grau com que um Programa atinge as metas e
objetivos planejados, ou seja, uma vez estabelecido o
referencial (linha de base) e as metas a serem alcançadas,
utiliza-se indicadores de resultado para avaliar se estas
foram atingidas ou superadas;
 Efetividade:
 mede os efeitos positivos ou negativos na realidade que
sofreu a intervenção, ou seja, aponta se houve mudanças
socioeconômicas, ambientais ou institucionais decorrentes
dos resultados obtidos pela política, plano ou programa.
17-mai-18 7

8.  Validade:
 capacidade de representar, com a maior proximidade
possível, a realidade que se deseja medir e modificar. Um
indicador deve ser significante ao que está sendo medido
e manter essa significância ao longo do tempo;
 Confiabilidade:
 indicadores devem ter origem em fontes confiáveis, que
utilizem metodologias reconhecidas e transparentes de
coleta, processamento e divulgação;
 Simplicidade:
 indicadores devem ser de fácil obtenção, construção,
manutenção, comunicação e entendimento pelo público
em geral, interno ou externo.
17-mai-18 8

9.  Sensibilidade:
 capacidade que um indicador possui de refletir
tempestivamente as mudanças decorrentes das
intervenções realizadas;
 Desagregabilidade:
 capacidade de representação regionalizada de grupos
sociodemográficos, considerando que a dimensão
territorial se apresenta como um componente essencial na
implementação de políticas públicas;
 Economicidade:
 capacidade do indicador de ser obtido a custos módicos; a
relação entre os custos de obtenção e os benefícios
advindos deve ser favorável;
17-mai-18 9

10.  Estabilidade:
 capacidade de estabelecimento de séries históricas
estáveis que permitam monitoramentos e comparações;
 Mensurabilidade:
 capacidade de alcance e mensuração quando necessário,
na sua versão mais atual, com maior precisão possível e
sem ambiguidade;
 Auditabilidade:
 qualquer pessoa deve sentir-se apta a verificar a boa
aplicação das regras de uso dos indicadores (obtenção,
tratamento, formatação, difusão, interpretação).
17-mai-18 10

11.  Publicidade:
 os indicadores devem ser públicos, isto é, conhecidos e acessíveis a todos os
níveis da instituição, bem como à sociedade e aos demais entes da
administração pública.
 Temporalidade:
 a identificação dos indicadores de desempenho deve considerar algumas
questões temporais: em primeiro lugar o momento em que deve começar a
medição; em segundo lugar a disponibilidade de obtenção quando os
diferentes resultados começarem a acontecer; e, por fim, a possibilidade de
que, por meio dessas medidas, seja possível realizar um acompanhamento
periódico do desempenho do Programa.
 Factibilidade:
 os dados necessários para as medições se constituem em informações que
fazem parte dos processos de gestão da instituição e, portanto, obtidas
através de instrumentos de coleta, seja por amostra ou censo, estatísticas,
aplicação de questionários, observação etc., dependendo do aspecto a ser
medido. Uma proposta de elaboração de indicadores deverá permitir dispor
de indicadores de medição factível, em momentos adequados e com uma
periodicidade que equilibre as necessidades de informação com os recursos
técnicos e financeiros.
17-mai-18 11

12. 17-mai-18 12

13.  Etapa 1:
 Considerando um objetivo, iniciativa ou projeto
(“unidade de análise”), confrontar a unidade de
análise com cada uma das 5 dimensões de fluxo e
das 4 dimensões de avaliação;
 Relacionar, se houver, um ou mais indicadores
sugeridos por e para cada uma das dimensões;
 Não considerar nesta etapa o atendimento a
requisitos;
 Resultado: lista extensa de possíveis indicadores.
17-mai-18 13

14.  Etapa 2:
 Avaliar cada indicador possível quanto ao atendimento
aos requisitos, eliminando eventuais redundâncias e
priorizando-os;
 O atendimento de todos os requisitos é difícil de ser
alcançado. É necessário realizar escolhas e fazer
concessões.
 Caso não haja indicadores para avaliar dimensões
importantes, proxys e alternativas podem ser buscadas;
 Resultado: lista avaliada de indicadores.
 Etapa 3:
 Consolidar a lista de indicadores considerando as listas
elaboradas para outros objetivos, iniciativas ou projetos,
eliminando redundâncias;
 Resultado: lista consolidada de indicadores.
17-mai-18 14

15.  Etapa 1:
 A escolha deve ter como base o processo de produção
do resultado;
 Considerando um objetivo, iniciativa ou projeto
(“unidade de análise”), buscar par ou pares de
indicadores que contraponham dimensões de efeito e
contra efeito. Por exemplo:
 Bom: Indicadores de qualidade do resultado;
&
 Barato: Indicadores de volume ou custo da produção;
 Evite medidas de atividade, subjetivas ou não
quantificáveis;
 Resultado: 1 (ou mais) par de possíveis indicadores.
17-mai-18 15

16.  Etapa 2:
 Avaliar cada indicador possível quanto ao atendimento
aos requisitos, eliminando eventuais redundâncias e
priorizando-os;
 O atendimento de todos os requisitos é difícil de ser
alcançado. É necessário realizar escolhas e fazer
concessões.
 Caso não haja indicadores para avaliar dimensões
importantes, proxys e alternativas podem ser buscadas;
 Resultado: lista avaliada de indicadores.
 Etapa 3:
 Consolidar a lista de indicadores considerando as listas
elaboradas para outros objetivos, iniciativas ou projetos,
eliminando redundâncias;
 Resultado: lista consolidada de indicadores.
17-mai-18 16

17.  Etapa 1:
 Elencar os objetivos da
mensuração.
 Etapa 2
 Elencar 1 ou mais perguntas
relacionadas a cada objetivo
de mensuração.
 Ex.:
 Reduzir o custo de produção
 Aumentar o alcance do
programa
 Aumentar a satisfação dos
clientes
 Ex.:
 Qual o custo de produção em
relação ao observado em
outros projetos?
 Quantos são os munícipios
alcançados?
 Quantas reclamações foram
registradas?
17-mai-18 17

18.  Etapa 3:
 Para cada pergunta, listar 1 ou mais indicadores possíveis;
 Resultado: lista extensa de possíveis indicadores.
 Etapa 4:
 Avaliar cada indicador possível quanto ao
atendimento aos requisitos, eliminando eventuais
redundâncias e priorizando-os;
 O atendimento de todos os requisitos é difícil de ser
alcançado. É necessário realizar escolhas e fazer
concessões.
 Caso não haja indicadores para avaliar dimensões
importantes, proxys e alternativas podem ser
buscadas;
 Resultado: lista avaliada de indicadores.
17-mai-18 18

19.  Etapa 5:
 Consolidar a lista de indicadores considerando as
listas elaboradas para outros objetivos, iniciativas
ou projetos, eliminando redundâncias;
 Resultado: lista consolidada de indicadores.
17-mai-18 19

20.  Para os Slides 2 a 12, todos
os textos e imagens
extraídos de:
 Brasil. Ministério do
Planejamento,Orçamento e
Gestão. Secretaria de
Planejamento e
Investimentos Estratégicos -
SPI. “Indicadores de
programas:Guia
Metodológico” Ministério do
Planejamento,Orçamento e
Gestão, Secretaria de
Planejamento e
Investimentos Estratégicos -
Brasília : MP, 2010.
17-mai-18 20

21.  Abordagem II inspirada
no Capítulo 2 de:
 Grove, Andrew S. High
output management.
Vintage, 2015.
17-mai-18 21

22.  Abordagem III inspirada em:
 Basili,V. R., Caldiera, G., &
Rombach, H. D. (1994).
Encyclopedia of Software
Engineering, chapterThe goal
question metric approach,
pages 528--532.
 Basili,V. R., Heidrich, J.,
Lindvall, M., Münch, J.,
Seanian, C., Regardie, M., &
Trendowicz, A. (2009,
February). Determining the
Impact of Business Strategies
Using Principles from Goal-
oriented Measurement. In
Wirtschaftsinformatik (1) (pp.
545-554).
17-mai-18 22
Imagem:
https://www.leadingagile.com/2
013/07/gqm-how-do-you-know-
your-metrics-are-any-good/

23. Roberto de Pinho
17-mai-18 23
roberto.depinho@mctic.gov.br