Trilha - Monitoramento e Avaliação de Políticas Públicas

Prévia do material em texto

Currículo do conteudista 
Rafael Barbosa do Nascimento é bacharel em Direito, bacharelando 
em Administração e especialista em Gestão Pública. No setor 
privado, é professor de Administração Pública em cursos de pós-
graduação e instrutor do Instituto Americano de Desenvolvimento. 
No setor público, foi servidor do Governo do Distrito Federal, do 
Ministério da Justiça e, atualmente, é servidor do Ministério Público 
da União, órgão no qual ocupou os cargos de Secretário-Geral 
Adjunto, chefe da Assessoria Jurídica Administrativa e chefe da 
Assessoria Jurídica de Processos Oriundos de Estados Estrangeiros. 
 
 
 
 
 
Introdução 
 
O monitoramento e a avaliação de políticas 
públicas são processos essenciais que permitem 
aos governos, organizações e partes interessadas 
avaliar o desempenho e o impacto de suas 
iniciativas. 
Os critérios, indicadores e padrões são ferramentas 
que facilitam o monitoramento e a avaliação, 
fornecendo uma maneira objetiva e quantificável de medir o desempenho de uma 
política pública. Eles podem abranger uma variedade de fatores, desde medidas 
econômicas, como custo-benefício, até medidas sociais, como a redução da 
desigualdade. 
No entanto, para entender verdadeiramente o desempenho de uma política, é crucial 
compreender os conceitos de eficiência, eficácia e efetividade. 
 
Ao longo de nossa discussão, vamos constatar que o monitoramento e a avaliação de 
políticas públicas, apoiados por critérios, indicadores e padrões claros e pelo 
entendimento dos conceitos de eficiência, eficácia e efetividade, são fundamentais 
para garantir um adequado processo de políticas públicas. 
 
 
Capítulo 1 - Monitoramento e avaliação de políticas públicas 
A avaliação de uma política pública é descrita por Dias 
e Matos (2012) como “uma área de pesquisa que tem 
por objetivo medir a utilidade e benefícios da 
intervenção pública através do emprego de um 
conjunto de técnicas utilizadas em diferentes campos 
das ciências sociais”. 
Para Secchi (2013), a avaliação é a fase do ciclo de políticas públicas em que o processo 
de implementação e o desempenho da política pública são examinados com o intuito 
de conhecer melhor o estado da política e o nível de redução do problema que a gerou. 
Um aspecto relevante sobre o tema, são as diversas classificações das avaliações de 
políticas públicas. Dias e Matos (2012) consideram os tipos sintetizados na tabela 
abaixo: 
 
 
Os referidos autores apresentaram um detalhamento das classificações, consoante a 
seguir transcrito: 
A. Avaliando a avaliação interna versus externa 
A avaliação pode ser realizada internamente pela equipe do programa ou 
pessoal para gerenciar e executar, ou externamente, por peritos externos 
contratados pela administração. Confrontada com a objetividade e 
independência da avaliação externa, a avaliação interna tem vantagens 
como a maior familiaridade com o programa e, portanto, uma melhor 
compreensão da sua gestão e mecanismos de implementação. Assim, a 
melhor coisa é a criação de equipes conjuntas de avaliação, compostas 
por pessoal de fora do programa e alguns com a responsabilidade pela 
sua gestão e na execução. 
B. Função 
Com base na função, há dois tipos de avaliação: a formativa e a somativa. 
A “avaliação formativa” visa fornecer informações para melhorar o 
objeto que está sendo avaliado, é um processo de aprendizagem, um 
instrumento para melhorar o conhecimento das partes envolvidas no 
programa. E a “avaliação somativa” é concebida como um processo de 
criação e obtenção de informações que serve para facilitar o processo de 
tomada de decisão e para julgar entre diferentes alternativas, 
fornecendo, assim, informações necessárias para decidir se um programa 
deve continuar, expandir ou, por outro lado, deve terminar. 
C. Dependendo do conteúdo da avaliação 
É possível distinguir três tipos de avaliações com base nos elementos do 
pro- grama a ser avaliado: 
• Avaliação conceitual ou design – seu objetivo é analisar a 
concepção do programa, isto é, sua racionalidade, coerência e 
consistência. A análise visa verificar a qualidade do diagnóstico 
socioeconômico realizado (avaliação das necessidades), 
observando a existência de objetivos claramente definidos e 
mensuráveis, analisar sua correspondência com os problemas e 
examinar o modelo lógico de intervenções destinadas, tanto 
internamente como para o programa em relação a outras 
políticas e programas. 
• Avaliação do processo de implementação e gestão do programa 
– trata-se de examinar a maneira na qual ele é gerido e executado, 
isto é, sua implementação. É medir a capacidade de um 
organismo em relação à concepção, à implementação, à 
monitorização e à avaliação de programas e avaliar o grau de 
envolvimento dos gestores com essas tarefas, a sua atitude, a 
formação, organização e pessoal e a adoção de recursos para 
realizá-las de forma otimizada. Por outro lado, a avaliação da 
gestão envolve o estudo da organização responsável pela gestão 
do programa e seus procedimentos e critérios internos de 
desempenho. Portanto, afeta todos os aspectos que influenciam a 
implementação das ações que levarão à execução física e 
financeira dos programas. 
D. Impactos e resultados da avaliação 
Trata-se de saber em que medida a política ou programa aplicado alcança 
os objetivos (quando é em relação aos objetivos) ou atinge o valor de 
parâmetros ou critérios definidos (quando a avaliação não é focada em 
objetivos) e custos dis- poníveis (em termos de tempo, recursos humanos, 
recursos materiais e monetários). No primeiro caso estamos lidando com 
uma avaliação da eficácia, enquanto que ao considerarmos os custos 
estamos falando de avaliação da eficiência. 
Eles são frequentemente realizados em escalas diferentes ou dois níveis: 
• Avaliação dos resultados – este nível refere-se a esses objetivos, 
diretos e imediatos, com o desempenho. A avaliação incide 
analisando os efeitos sobre os usuá- rios/beneficiários do 
programa (negócios, desempregados, grupos de “atenção 
especial” etc.). 
• Avaliação dos impactos – impacto refere-se ao efeito ou 
resultado mais geral do programa. É para analisar o efeito de 
agregação política macroeconômica ou espaço (crescimento do 
PIB, a distribuição de renda, estrutura produtiva, as taxas de 
desemprego e atividade etc.). Alguns autores igualam o nível dos 
resultados com efeitos sobre o objetivo da população definidos no 
programa de ação e o nível de impactos com esses efeitos sobre a 
população em geral. O avaliador deve deter- minar os efeitos de 
outro programa externo para determinar quais alterações de 
extensão são devidas à intervenção. 
E. De acordo com a perspectiva temporal 
O quarto critério refere-se ao tempo que levará para realizar a avaliação 
em relação à aplicação ou execução do programa. 
• Avaliação ex-­ante – é executada antes de se executar o plano, 
política ou programa, sendo seu objetivo principal analisar sua 
adequação às necessidades que o motivam e suas chances de 
sucesso. Ou seja, garantir a priori que o programa, tal como 
concebido, atingiu os objetivos para que foi planejado. Mas, além 
da revisão conceitual, a avaliação/exame também se refere à 
funcionalidade de gestão e monitoramento de mecanismos, à 
coerência de cada uma das suas linhas de ação e sobre o impacto 
previsível do programa e sua eficiência, entendida como a relação 
custos-benefícios sociais e econômicos que podem ser obtidos 
através da sua aplicação. 
• Avaliação intermediária (intermedia ou de monitoramento) – é 
executada durante a implementação. É a análise crítica dos dados 
coletados sobre o programa como um todo e a medição daforma 
como os objetivos estão sendo alcançados, explicando as 
diferenças e estimando, antecipadamente, os resultados da 
intervenção. As avaliações intermediárias contemplam a validade 
da intervenção em curso, a pertinência dos objetivos considerados 
e qualidade do sistema de gestão e acompanhamento do 
programa. Seu objetivo principal é obter informações precisas e 
relevantes para habilitar as alterações necessárias na concepção 
ou execução do programa. Para isto, durante a execução, é 
essencial coletar dados que descrevam o comportamento do 
programa. Essa tarefa de coleta de informações é chamada de 
monitoramento. Assim, o acompanhamento é uma tarefa que 
exige esforços significativos de recolha de informação, física e 
financeira; informações pertinentes e necessárias, para avaliar, 
uma vez concluído o programa ou durante sua implementação, o 
impacto, a eficiência e a eficácia e cada uma de suas atuações. 
• Avaliação ex -post – é realizada ao término do programa. Permite 
avaliar o sucesso do programa, o sucesso da estratégia concebida 
no mesmo, seu grau de flexibilidade e capacidade de adaptação a 
uma realidade sempre em mutação, a sua eficácia e a eficiência e 
a adequação dos mecanismos de gestão e acompanhamento. 
 
De modo geral, a avaliação de políticas públicas refere-se ao processo sistemático de 
análise e mensuração dos benefícios e impactos de uma intervenção pública, por 
meio de um conjunto de técnicas com o objetivo de examinar a implementação e o 
desempenho de uma política pública. Esse processo busca entender melhor o estado 
da política, a utilidade da intervenção e o nível de redução do problema que motivou 
a criação da política. 
 
1.1. Critérios, indicadores e padrões 
Para a realização do monitoramento e avaliação de uma política pública, mostra-se de 
extrema relevância a definição de critérios, indicadores e padrões, analisados a seguir: 
 
1.1.1. Critérios 
Conforme Secchi (2013), os critérios são mecanismos lógicos 
que servem como base para escolhas ou julgamentos, sendo 
fundamentados no entendimento valorativo da realidade. 
Fornecem ao avaliador parâmetros para julgar se uma 
política pública funcionou, ou não. 
 
● Economicidade: Nível de utilização dos recursos. 
 
● Produtividade: Nível de saídas de um processo produtivo. 
 
● Eficiência econômica: Relação entre saídas e entradas. 
 
● Eficiência administrativa: Grau de cumprimento das prescrições e métodos 
estabelecidos. 
 
● Eficácia: Nível de alcance dos objetivos estabelecidos. 
 
● Equidade: Homogeneidade de distribuição de benefícios entre os destinatários 
da política pública. 
 
 
 
 
 
 
Vamos considerar uma política pública hipotética que visa melhorar a qualidade do 
transporte público no Distrito Federal através da implementação de novas linhas de 
ônibus e treinamento de motoristas. 
 
Economicidade: Aqui, avaliamos o nível de utilização dos 
recursos. Por exemplo, se os novos ônibus operam em sua 
capacidade máxima, viajando todas as rotas planejadas e 
acomodando todos os passageiros, eles têm alta 
economicidade. Se, por outro lado, os ônibus só operam 
metade das vezes planejadas e muitos assentos ficam 
vazios, a política pode ter baixa economicidade. 
 
Produtividade: Este é o nível de saídas do processo 
produtivo. No nosso exemplo, poderíamos medir a 
produtividade pelo número de passageiros 
transportados ou pelo número de viagens realizadas 
pelos ônibus. 
 
Eficiência econômica: Esta é a relação entre as saídas e as 
entradas. Aqui, comparamos o número de passageiros 
transportados (saídas) com o custo de operação dos novos 
ônibus e treinamento dos motoristas (entradas). Uma alta 
eficiência econômica significaria que muitos passageiros são 
transportados por um custo relativamente baixo. 
 
Eficiência administrativa: Este critério avalia o grau de 
cumprimento das prescrições, métodos e normas 
estabelecidas. No caso dos novos ônibus, isso poderia 
envolver se os ônibus estão seguindo as rotas 
planejadas, se os motoristas estão aderindo às técnicas 
de direção aprendidas no treinamento, e crucialmente, 
se estão cumprindo todas as normas e regulamentos de 
segurança e operação de transporte público. Uma alta 
eficiência administrativa significaria que as operações do transporte público estão em 
conformidade com as expectativas e as regras estabelecidas. 
Eficácia: Este é o nível de alcance dos objetivos 
estabelecidos. Se o objetivo era melhorar a qualidade 
do transporte público em 20% e a política alcança ou 
supera essa meta (por exemplo, através de pesquisas 
de satisfação do cliente), então é eficaz. Se, no entanto, 
a política não atinge a meta, sua eficácia seria baixa. 
 
Equidade: Esta se refere à homogeneidade de distribuição 
de benefícios entre os destinatários da política pública. No 
caso dos novos ônibus, a política seria considerada 
equitativa se todas as áreas do Distrito Federal tivessem 
acesso igual ao transporte público e se todos os cidadãos, 
independentemente de seu gênero, etnia ou condição 
socioeconômica, tivessem a mesma oportunidade de usar seus serviços e benefícios. 
 
 
 
1.1.2. Indicadores 
Indicadores são medidas quantitativas ou qualitativas que fornecem uma maneira 
simples e confiável de medir conquistas, refletir as mudanças conectadas a uma 
intervenção ou ajudar a avaliar o desempenho de uma organização ou sistema. Eles são 
frequentemente usados para acompanhar o progresso na implementação de um 
programa ou políticas, ou para medir o desempenho de uma entidade em relação a um 
objetivo específico. 
Para Secchi (2013), os indicadores podem ser criados para medir input, output e 
outcomes. 
● Indicadores de Input: relacionam-se aos gastos financeiros, recursos humanos e 
materiais utilizados, entre outros. 
 
● Indicadores de output: relacionam-se à produtividade de serviços ou produtos. 
 
● Indicadores de outcome: relacionam-se aos efeitos da política pública sobre seus 
destinatários, com a consequente mitigação ou redução do problema. 
 
 
 
 
 
Usando o exemplo anterior da política de transporte público no Distrito Federal, 
podemos definir os seguintes indicadores: 
 
Indicadores de Input (entrada): Estes se relacionam com os 
recursos utilizados para implementar a política. Neste caso, 
poderíamos medir o valor gasto na compra de novos ônibus, 
o número de horas de treinamento dos motoristas, a 
quantidade de combustível usado, o custo de manutenção 
dos veículos, entre outros. 
 
Indicadores de Output (saída): Estes se relacionam com a 
produtividade dos serviços ou produtos. No exemplo do 
transporte público, poderíamos considerar o número de viagens 
feitas pelos ônibus por dia, o número de passageiros 
transportados, a quantidade de rotas atendidas, ou o tempo 
médio de viagem. 
 
Indicadores de Outcome (resultado): Estes se relacionam 
com os efeitos da política pública sobre seus destinatários. 
No nosso exemplo, os indicadores de outcome poderiam 
incluir a satisfação dos usuários do transporte público 
(medida através de pesquisas), a redução do tempo de 
viagem médio, a diminuição da quantidade de pessoas que 
reclamam da qualidade do transporte público, ou a redução do número de acidentes 
envolvendo ônibus. 
 
 
 
 
 
 
 
1.1.3. Padrões 
Os padrões constituem uma referência comparativa para os indicadores, podendo ser 
classificados em três tipos básicos segundo Secchi (2013): 
● Padrões absolutos: metas qualitativas ou quantitativas estabelecidas 
anteriormente à implementação da política pública. 
● Padrões históricos: valores ou descrições já alcançados no passado e que 
facilitam a comparação por períodos (meses, anos) e, por consequência, geram 
informações sobre declínio ou melhora da política pública. 
● Padrões normativos: metas qualitativas ou quantitativas estabelecidascom base 
em um benchmark ou standard ideal. 
 
Usando novamente o exemplo da política de transporte público no Distrito Federal, 
vamos considerar exemplos para cada tipo de padrão: 
 
Padrões absolutos: Antes de implementar a nova política 
de transporte público, as autoridades estabelecem que 
desejam reduzir o tempo médio de viagem em 15% e 
aumentar a satisfação do usuário em 20%. Estas são 
metas quantitativas estabelecidas previamente que 
servirão como padrões absolutos contra os quais o 
desempenho da política pode ser medido. 
 
 
Padrões históricos: As autoridades podem olhar para os 
dados do passado para estabelecer padrões. Por 
exemplo, se nos anos anteriores o tempo médio de 
viagem foi de 45 minutos e a satisfação do usuário foi de 
65%, esses valores servirão como padrões históricos. O 
desempenho da nova política pode ser comparado a 
esses padrões para determinar se houve uma melhoria. 
 
 
Padrões normativos: As autoridades também podem estabelecer 
padrões com base em uma ideia ideal ou benchmark. Por exemplo, 
elas podem decidir que o tempo de viagem ideal é de 30 minutos e 
que a satisfação do usuário ideal é de 90%. Estes seriam os padrões 
normativos. O desempenho da política seria então comparado a esses 
padrões ideais. 
 
Capítulo 2 - Conceito de eficiência, eficácia e efetividade 
Eficiência, eficácia e efetividade são três conceitos fundamentais na 
avaliação do desempenho de qualquer política pública ou organização. 
Embora não haja uma única definição absoluta para esses termos, eles 
geralmente são entendidos da seguinte maneira: 
 
● Eficiência: Refere-se à relação entre os recursos utilizados (input) e os produtos 
ou serviços gerados (output) em uma política ou processo. Uma política ou 
processo é considerado eficiente se produz a maior quantidade de output com a 
menor quantidade de input. Isso poderia ser medido, por exemplo, pelo número 
de pessoas servidas por dólar gasto em um programa social, ou pela quantidade 
de resíduos produzidos por unidade de um produto manufaturado. No entanto, 
diferentes campos ou disciplinas podem ter suas próprias maneiras de medir e 
definir eficiência. 
 
● Eficácia: Refere-se à medida em que uma política ou processo atinge os objetivos 
ou metas definidas. Uma política ou processo é considerado eficaz se os 
resultados (outcome) alcançados correspondem aos resultados desejados ou 
esperados. Por exemplo, se o objetivo de uma política de saúde é reduzir a 
incidência de uma determinada doença, a eficácia seria medida pela redução real 
da incidência da doença. Novamente, a maneira exata como a eficácia é medida 
pode variar dependendo do contexto. 
 
● Efetividade: Enquanto a eficácia está relacionada à realização de metas 
imediatas, a efetividade se refere ao impacto de longo prazo de uma política ou 
processo. Uma política ou processo é considerado efetivo se produz mudanças 
duradouras e significativas nas condições que visava melhorar. Por exemplo, 
uma política de educação poderia ser considerada efetiva se levasse a melhorias 
sustentadas nas taxas de alfabetização ou nos resultados dos testes ao longo do 
tempo. 
 
 
 
 
 
 
 
 
Estudo de caso 
 
O Governo do Distrito Federal identificou que o tráfego intenso e a falta de alternativas 
de transporte eficientes estão afetando negativamente a qualidade de vida dos 
moradores e a produtividade econômica da região. Para resolver esse problema, decide 
implementar uma política pública de expansão do sistema de transporte público, incluindo 
a ampliação das linhas de metrô, a introdução de mais ônibus e a criação de ciclovias. 
 
Quais indicadores poderiam ser úteis para avaliar essa política pública? 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Comentário sobre o caso prático 
Entre os indicadores que poderiam ser úteis para avaliar a referida política pública, 
podemos indicar os seguintes: 
Índice de pontualidade do transporte público: Este indicador poderia medir o 
percentual de ônibus e trens de metrô que chegam e partem conforme o horário 
programado. A pontualidade é um elemento importante na eficácia do transporte 
público e na satisfação do usuário. 
Acessibilidade do transporte público: Este indicador poderia medir o percentual 
de moradores que vivem a uma distância razoável (por exemplo, 500 metros) de 
uma parada de ônibus ou estação de metrô. Isso ajudaria a avaliar se a política 
está tornando o transporte público uma opção viável para mais pessoas. 
Satisfação do usuário: Este indicador poderia ser medido através de pesquisas de 
opinião regulares com usuários do transporte público. A satisfação do usuário é 
uma medida importante da qualidade do serviço de transporte público. 
Índice de segurança: Este indicador poderia medir a taxa de incidentes de 
segurança (como acidentes ou crimes) no sistema de transporte público. A 
segurança é uma preocupação importante para os usuários do transporte 
público. 
Emissões de gases de efeito estufa: Este indicador poderia medir a mudança nas 
emissões de gases de efeito estufa do setor de transporte. Isso ajudaria a avaliar 
o impacto ambiental da política. 
Uso de modos alternativos de transporte: Este indicador poderia medir o uso de 
bicicletas ou caminhadas como meio de transporte. Isso ajudaria a avaliar se a 
política está promovendo com sucesso modos de transporte mais sustentáveis. 
Índice de congestionamento: Medir a mudança no índice de congestionamento 
antes e depois da implementação da política ajudaria a entender se a política está 
de fato contribuindo para a melhoria do tráfego na cidade. 
 
 
 
 
Saiba mais 
Conforme o Guia Referencial para Medição de Desempenho e Manual para Construção 
de Indicadores, disponível no site da Biblioteca Digital do Ministério da Economia, os 
componentes básicos de um indicador são: 
● Medida: grandeza qualitativa ou quantitativa que permite classificar as 
características, resultados e consequências dos produtos, processos ou sistemas; 
● Fórmula: padrão matemático que expressa à forma de realização do cálculo; 
● Índice (número): valor de um indicador em determinado momento; 
● Padrão de comparação: índice arbitrário e aceitável para uma avaliação 
comparativa de padrão de cumprimento; e 
● Meta: índice (número) orientado por um indicador em relação a um padrão de 
comparação a ser alcançado durante certo período. 
 
 
 
https://bibliotecadigital.economia.gov.br/bitstream/777/613/1/guia_indicadores_jun2
010.pdf 
 
 
 
Considerações finais 
Ao longo de nossa discussão, exploramos a complexidade e a importância do 
monitoramento e avaliação de políticas públicas, utilizando exemplos ligados ao 
transporte no Distrito Federal. 
Primeiramente, abordamos os critérios de avaliação de políticas públicas, incluindo 
economicidade, produtividade, eficiência econômica e administrativa, eficácia e 
equidade. Cada um destes critérios oferece uma lente diferente para avaliar o sucesso 
de uma política, mas a aplicação e interpretação de cada critério podem variar de acordo 
com o contexto e os objetivos específicos da política. 
Em seguida, discutimos o papel dos indicadores, que são ferramentas essenciais para 
medir o progresso e o impacto de uma política. Novamente, a seleção e a interpretação 
https://bibliotecadigital.economia.gov.br/bitstream/777/613/1/guia_indicadores_jun2010.pdf
https://bibliotecadigital.economia.gov.br/bitstream/777/613/1/guia_indicadores_jun2010.pdf
https://bibliotecadigital.economia.gov.br/bitstream/777/613/1/guia_indicadores_jun2010.pdf
de indicadores envolvem muitas decisões e julgamentos, e podem surgir conflitos 
conceituais. Além disso, os indicadores devem ser considerados em relação aos padrões, 
que fornecem uma referência para avaliar se o desempenho da política é bom ou ruim. 
Finalmente, discutimos os conceitos de eficiência, eficácia e efetividade,que são 
frequentemente usados para avaliar o sucesso de políticas públicas. Cada um destes 
conceitos tem múltiplas interpretações e pode ser medido de várias maneiras, 
dependendo dos objetivos e do contexto da política. 
 
Logo, podemos concluir que, embora existam princípios gerais e melhores práticas, 
não há uma "fórmula mágica" ou manual definitivo para o monitoramento e a 
avaliação de políticas públicas. A avaliação de políticas públicas é uma tarefa 
complexa e multifacetada que exige uma análise cuidadosa e casuística. Cada política 
é única e enfrenta seu próprio conjunto de desafios e oportunidades. Portanto, é 
importante que os formuladores de políticas, gestores e avaliadores sejam flexíveis, 
reflexivos e adaptáveis em seu trabalho, e estejam dispostos a aprender e ajustar 
suas abordagens à medida que a política é implementada e os resultados são 
observados. 
 
 
 
 
Referências 
SECCHI, Leonardo. Políticas públicas: conceitos, esquemas de análise, casos práticos. 2. 
ed. São Paulo: Cengage Leaning, 2013. 
DIAS, Reinaldo; MATOS, Fernanda Costa de. Políticas públicas: princípios, propósitos e 
processos. Grupo GEN, 2012. E-book. ISBN 9788522484478. Disponível em: 
https://integrada.minhabiblioteca.com.br/#/books/9788522484478/. Acesso em: 08 
mai. 2023.