Avaliação Monitoramento Marco Lógico Fiapp2 2023

Prévia do material em texto

AVALIAÇÃO, 
MONITORAMENTO 
E MARCO LÓGICO
Profa. Dra. Cristiane 
Kerches da Silva Leite 
(crisk@usp.br)
Formulação, 
Implementação e 
Avaliação de Políticas 
Públicas II (ACH3546)
16/11/2023
BIBLIOGRAFIA
• MOKATE, Karen Marie. Convirtiendo el “monstruo” en
aliado: la evaluación como herramienta de la
gerencial social. Revista do Serviço Público, Ano 53
Número 1, Jan-Mar 2002, pp. 89-112/120-127
https://repositorio.enap.gov.br/bitstream/1/1964/1/2002
%20Vol.53%2cn.1%20Mokate.pdf
https://repositorio.enap.gov.br/bitstream/1/1964/1/2002%20Vol.53%2cn.1%20Mokate.pdf
https://repositorio.enap.gov.br/bitstream/1/1964/1/2002%20Vol.53%2cn.1%20Mokate.pdf
AVALIAÇÃO COMO “MONSTRO” 
(MOKATE 2002: 89/90)
• Percepções negativas de avaliação se 
relacionam:
• Imposição por alguma exigência legislativa, por 
tecnocratas do governo central ou por agências 
financiadoras – lógica TOP DOWN, TECNICISTA E 
POSITIVISTA;
• Avaliações que se plasmam em informes inócuos, sem 
provocar maiores aportes no desenho ou na gestão da 
iniciativa avaliada – AUSÊNCIA DE FEEDBACK.
• Negatividade diminuiu nos anos 1970 nos EUA: 
estudos de eficiência e eficácia da gestão pública – 
accountability gerencial.
AMÉRICA LATINA – ANOS 1990
(MOKATE 2002: 90/91)
• Muito discurso e muita tinta sobre a importância da 
avaliação – narrativa da “modernização da gestão pública” 
nos anos 1990; usada como instrumento para análise dos 
impactos do gasto público (lembram da discussão do Faria 
2005?);
• Grande reconhecimento contrasta com pouca conversão 
prática como um processo indispensável na gestão pública, 
sobretudo na gestão de programas e políticas sociais.
• POR QUE NÃO HÁ UTILIZAÇÃO AMPLA DA AVALIAÇÃO 
COMO INSTRUMENTO OU INSUMO DOS PROCESSOS 
DE GESTÃO DE POLÍTICAS E PROGRAMAS SOCIAIS? 
HOUVE AVANÇOS (VIDE SAGI DO MDS) 
AVANÇOS
• Entre a década de 1990 e 2016, até o golpe parlamentar, 
houve avanços na institucionalização da avaliação de 
políticas sociais no Brasil na Secretaria de Avaliação e 
Gestão da Informação (SAGI) no MDS:
• Linha do tempo:
• https://aplicacoes.mds.gov.br/sagirmps/noticias/arquivos/file
s/linha%20do%20tempo_final_28_05.pdf
• Publicação sobre a história da SAGI
• https://fpabramo.org.br/acervosocial/wp-
content/uploads/sites/7/2017/08/263.pdf
https://aplicacoes.mds.gov.br/sagirmps/noticias/arquivos/files/linha do tempo_final_28_05.pdf
https://aplicacoes.mds.gov.br/sagirmps/noticias/arquivos/files/linha do tempo_final_28_05.pdf
https://fpabramo.org.br/acervosocial/wp-content/uploads/sites/7/2017/08/263.pdf
https://fpabramo.org.br/acervosocial/wp-content/uploads/sites/7/2017/08/263.pdf
PARA PROMOVER O USO DA “GERÊNCIA 
SOCIAL” DA AVALIAÇÃO, TEMOS QUE 
ENFRENTAR:
• Quais ações devem ser prioritárias?
• Conceitos que devem ser
estabelecidos claramente;
• Reflexão sobre as características dos 
setores sociais.
AVALIAÇÃO X MONITORAMENTO 
(MARIA DA GRAÇA RUA E KAREN 
MOKATE 2002: 91)
• Monitoramento é o exame contínuo de processos; permite 
descrever e qualificar o cumprimento do plano de trabalho; 
seguimento/acompanhamento sistemático e periódico 
da execução das atividades. 
• Avaliação é o exame discreto de processos, produtos,
qualidade, resultados e impactos das ações realizadas. O 
cumprimento do plano de trabalho conduziu ao cumprimento 
dos objetivos que motivaram o desenho e o início da 
iniciativa?
MONITORAMENTO
• Pode-se monitorar atividades, processos, resultados, 
impactos.
• Monitoramento também é chamado de “avaliação em 
processo” quando incide sobre os processos de 
implementação das ações.
• Monitoramento baseia-se principalmente nos dados da 
implementação (internos).
• Pode ter como referência o “Plano de Ação”ou 
“Plano de Atividades” (Mokate 2002: 92).
MONITORAMENTO
• Objetivos: 
• identificar mudanças parciais a partir da linha de base das 
metas; 
• controlar o cumprimento das metas estabelecidas; 
• acompanhar a execução de um Plano de Atividades para 
facilitar sua correta implementação: “El monitoreo hace un
acompañamiento de la ejecución de actividades, la entrega
de productos y el uso de recursos” (Mokate 2002: 92);
• identificar erros e omissões na concepção do próprio projeto 
ou programa – ALERTAS AO GESTOR (“banderas rojas”) (idem);
• proporcionar informações necessárias para a tomada de 
decisão sobre o projeto ou programa;
• proporcionar “policy learning” e accountability.
O que é monitoramento
https://www.youtube.com/watch?v=Gr_FJN
puUPs
https://www.youtube.com/watch?v=Gr_FJNpuUPs
https://www.youtube.com/watch?v=Gr_FJNpuUPs
AVALIAÇÃO SISTEMÁTICA 
OU PESQUISA AVALIATIVA 
(MOKATE 2002: 90/91)
• Pesquisa social orientada pelo método científico, sistemática, 
planejada e dirigida;
• Identifica, obtém e propicia informações válidas confiáveis;
• Suficientes para apoiar um juízo sobre o mérito e o valor dos 
diferentes componentes de um programa ou de um conjunto 
de atividades específicas que tem o propósito de produzir 
efeitos e resultados concretos;
• Avaliação também proporciona “policy learning” (Maria da 
Graça Rua) – tal qual o monitoramento. 
APROXIMAÇÕES E DIFERENÇAS
MONITORAMENTO MONITORAMENTO & 
AVALIAÇÃO
AVALIAÇÃO
- Fornece uma 
possibilidade de cadeia
causal entre atividades 
para gerar o 
cumprimento das metas 
(Mokate 2002: 94);
- Ao reconhecer que o 
plano de ação constitui 
uma hipótese com 
relação ao caminho que 
se pode conduzir para 
alcançar os objetivos 
(discussão da Arretche 
2001). 
Ambos devem permear 
TODO o processo de 
gestão, inclusive na 
identificação do 
problema – para 
aprimorar processos 
gerenciais e decisórios
- deve gerar um valor 
sobre o que a sociedade 
espera das políticas 
sociais. As condições de 
vida melhoraram?
- Pode ser interna ou 
externa.
- Consiste em uma
prova empírica das
hipóteses – verificação 
de que o caminho 
escolhido efetivamente 
está conduzindo a 
melhoras nas condições 
de vida que busca 
promover (Mokate 2002: 
92). 
EM SÍNTESE…
 Relação de complementaridade entre monitoramento e avaliação:
monitoramento implica descrever e qualificar - analisando informações, 
dados, indicadores - o cumprimento de um certo planejamento de 
ações; avaliação permite aferir se esses resultados obtidos implicam o 
cumprimento dos objetivos que motivaram aquela dada intervenção 
(Mokate 2002: 94).
 Avaliação depende de boas informações geradas pelo monitoramento 
para poder julgar a eficácia e a efetividade das ações no cumprimento 
de seus principais objetivos (idem)
 Tanto o monitoramento quanto a avaliação não requerem especialistas 
em avaliação ou administradores de sistemas de informação – 
conhecimento básico de conceitos e técnicas de pesquisa.
Monitoramento: 
acompanhamento 
sistemático e periódico 
da execução do plano 
de atividades que propõe 
hipóteses que organizam 
cadeia causal
Avaliação: pesquisa 
social aplicada que 
buscar responder 
pergunta de 
investigação; pode 
produzir prova empírica 
das hipóteses
PARA AVANÇAR...
Paradigma 
gerencialista 
convencional, focado 
nas atividades, 
instrumento de controle 
implementado por 
experts ou impostos por 
terceiros. “MONSTRO”
Paradigma de 
gerência social, de 
caráter adaptativo e 
focado em resultados 
e nos objetivos, 
realizado pelas equipes 
gestoras da iniciativa. 
ESFORÇOS FOCADOS 
NO DESENVOLVIMENTO 
SOCIAL. “ALIADO”. 
DESAFIOS DA AVALIAÇÃO
(MOKATE 2002: 99/100)
1. Especificação do marco conceitual da política, 
programa ou projeto (objetivos, público, resultados 
esperados); 
2. Superação da distância entre abordagens quantitativas 
e qualitativas na avaliação; 
3. Identificação de indicadores e informações relevantes 
para a avaliação, considerando: marco conceitual, 
diferentes perspectivas e interesses, relações causais 
esperadas; 
4. Uso efetivo das informações produzidas nas 
avaliações: estratégias e incentivos para a promoção 
dessa utilização
ESPECIFICAÇÃO DO MARCO 
CONCEITUAL DA POLÍTICA, 
PROGRAMA OUPROJETO 
• Marco conceitual envolve contraste entre
a situação existente e a situação
desejada (objetivo final); objetivos
operacionais e intermediários.
• Estratégia para definir o marco 
conceitual: que mudança social se busca 
realizar? Como? Por meio de qual 
cadeia de objetivos e quais relações 
causais? (Mokate 2002: 101).
ESPECIFICAÇÃO DO MARCO 
CONCEITUAL DA POLÍTICA, 
PROGRAMA OU PROJETO 
 Elos da cadeia de relações entre objetivos de transformação 
social recebem distintas nomenclaturas. Exemplo de Cohen e 
Franco (1992):
 Impactos: alterações no grupo-alvo que podem ser atribuídas à 
intervenção realizada.
 Efeitos: todos os efeitos/acontecimentos que são decorrentes de 
algum aspecto da intervenção realizada.
 Produtos: resultados concretos das atividades da intervenção - 
geralmente bens e serviços entregues.
 Processos: conjunto de atividades realizadas para obtenção do 
objetivo final.
• Relações entre objetivos intermediários, operacionais, e os 
objetivos finais de uma dada intervenção permite o exame de 
sua viabilidade. (Mokate 2002: 102/103)
MONITORAMENTO E 
MARCO LÓGICO
https://youtu.be/zXzV3LzS3Ag
https://youtu.be/zXzV3LzS3Ag
HIERARQUIA DE OBJETIVOS – 
MARCO LÓGICO (MOKATE 
2002: 104)
Processos, 
atividades e 
insumos, que 
geram...
Produtos, 
componentes e 
resultados 
concretos, para 
atingir...
Propósitos, efeitos 
– impacto direto 
dos componentes. 
OBJETIVOS 
INTERMEDIÁRIOS
Impacto, fim, 
objetivo máximo, 
como a iniciativa 
contribui para a 
solução do 
problema. 
OBJETIVOS FINAIS
Exemplo: programa que tem como objetivo 
aprimorar o desempenho dos estudantes em 
provas padronizadas de matemática (Mokate 
2002:105)
Atividades Produtos Objetivos
intermediários
Objetivos
finais
-Desenho da 
capacitação 
docente
-Desenvolvimento 
e adaptação de 
materiais 
didáticos para os 
professores
-Seleção de 
novos materiais
-Aquisição de 
materiais para os 
docentes
-Promoção da 
capacitação
Capacitação
de todos os
docentes no 
país
Distribuição de 
materiais em
todas as 
escolas
Adaptação de todos
os materiais e 
métodos
pedagógicos
utilizados nas escolas
Melhoria do 
desempenho dos 
alunos nas provas
de matemática
HIPÓTESES CAUSAIS ENTRE 
OS OBJETIVOS FINAL E INTERMEDIÁRIO: 
IMPORTÂNCIA DAS RELAÇÕES CAUSAIS 
DIANTE DA COMPLEXIDADE DAS INTERVENÇÕES 
SOCIAIS. (MOKATE 2002: 107). 
Objetivo final deve 
ser ESPECÍFICO: 
redução da 
mortalidade infantil 
por diarréia
Objetivo 
intermediário 
(baseado nas 2 
hipót.): realização 
de campanha 
educacional sobre 
hidratação oral
Hipótese 1: 
adequada 
hidratação reduz 
mortalidade infantil 
por diarréia.
Hipótese 2: 
campanha 
educativa é 
suficiente para 
conscientizar mães 
sobre hidratação
MARCO CONCEITUAL DA 
POLÍTICA, PROGRAMA OU 
PROJETO 
• Elos da cadeia de relações devem ser: claros, 
verificáveis/mensuráveis, viáveis, específicos, 
delimitados no tempo e no espaço.
• Mas não há uma “terminologia ideal”.
• Ex: Objetivo final ambiguo e ambicioso: “Permitir que los
adolescentes socialmente vulnerables tengan la
oportunidad de desarrollar más plenamente su proyecto
de vida.” Objetivos devem ser avaliáveis (verificáveis de 
maneira objetiva) (Mokate 2002: 106)
• Marco conceitual como mapa para a avaliação e o
monitoramento (Mokate 2002: 103)
MARCO CONCEITUAL COMO MAPA DE 
MONITORAMENTO E AVALIAÇÃO – LIMITES! 
(MOKATE 2002: 107)
Especificação de um objetivo final bem delimitado 
– INDICA ATÉ AONDE VAI A AVALIAÇÃO (o que 
será avaliado)
Interpretação de uma transformação desejada: 
p.ex. redução da exclusão social
Demanda sentimento público favorável e apoio político 
– necessidade de consenso sobre entendimento do 
fenômeno (Educação? Saúde? Governo Local?).
Demanda também avançar para além dos objetivos 
“guarda-chuva”: traduzi-los em objetivos verificáveis em 
termos de impacto, efeito, produto e processo. 
INDICADORES PARA AVALIAÇÃO 
(MOKATE 2002: 117) 
• Expressam uma síntese de informações quantitativas ou 
qualitativas sobre algum fenômeno relevante (taxa de 
mortalidade infantil, índice de qualidade de vida em SP, 
etc.);
• O fluxo de cadeia de objetivos, que constitui o marco 
conceitual, pode ser resumido com indicadores. (Mokate 
2002: 119). 
• Os vários atores no monitoramento e na avaliação, e 
suas diversas percepções, devem ser referências para a 
definição dos indicadores.
INFORMAÇÃO GERADA PARA E PELA 
AVALIAÇÃO E SEUS USOS (MOKATE 
2002: 120)
• Para a avaliação ser ferramenta na gestão social é preciso:
• Educar os processos gerenciais e decisórios para garantir fluxos 
efetivos de informação.
• Enfrentar o desafio de criar incentivos e motivações para o 
surgimento de fluxos de “baixo para cima”.
• Combater a percepção de irrelevância e pouca importância do 
dado: “es necesario definir y manejar motivaciones para
incentivar el trabajo en la recopilación y/o el registro de datos
necesarios para los procesos evaluativos que deben
despertar alguna identificación de la relevancia de la
información para los gestores quienes estén participando en
dicho trabajo. Las motivaciones, entonces, no consisten en un
pago por el dato entregado. Mas bien, consisten en algún
incentivo relacionado con la información misma” (idem: 121).
FLUXOS DE INFORMAÇÕES
• Motivações Bi e multidirecionais (Mokate 2002: 121):
• Gestores locais devem perceber que a provisão da 
informação é de interesse ou de utilidade para si 
próprio – retroalimenta e fortalece a gestão;
• Gestores em órgãos centrais podem motivar gestores 
locais na provisão de dados: comunicação mais fluida 
e assistência técnica geram insumos para melhorias 
no programa.
• Geram USO EFETIVO das informações oriundas da 
avaliação: o gestor conhece as atividades e produtos 
que está administrando, relacionando-os com os 
resultados sociais (idem: 122). 
Marco Lógico Análise do 
Ciclo de PP
TIPO DE INDICADOR
Diagnóstico Diagnóstico Indicadores que permitam retratar a realidade; 
caracterizar o “marco zero” e o contexto do 
programa. INDICADORES AMPLOS 
(RESULTADO E IMPACTO) 
Insumo Formulação Indicadores que orientem objetivamente a 
tomada de decisão: mensura as “matérias 
primas” – recursos humanos, financeiros, 
equipamentos e materiais. 
INDICADORES INSUMO 
Processo Implementa-
ção
Indicadores que permitam monitorar o processo 
de implementação – os esforços de cada ação. 
INDICADORES PROCESSO
Produto
Resultado Avaliação Indicadores que permitam mensurar a eficácia, a 
eficiência e a efetividade social dos programas. 
INDICADORES AMPLOS (RESULTADO; 
IMPACTO; EFICIÊNCIA, EFICÁCIA E 
EFETIVIDADE)
Impacto
INDICADORES SOCIAIS NO CICLO DE FORMULAÇÃO, 
IMPLEMENTAÇÃO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS – 
EX.: PETI (PROGRAMA DE ERRADICAÇÃO DO TRABALHO INFANTIL) 
(FONTE: HTTPS://FPABRAMO.ORG.BR/ACERVOSOCIAL/WP-
CONTENT/UPLOADS/SITES/7/2017/08/051.PDF )
Marco 
Lógico
Análise do 
Ciclo de PP
TIPO DE INDICADOR
Diagnóstico Diagnóstico:
Indicadores
RESULTADO 
ou IMPACTO 
Taxa de trabalho infantil; 
% de crianças e adolescentes (5 a 17 anos) em situação de 
trabalho no Brasil (por Estado); 
Renda domiciliar
Taxa de analfabetismo (famílias)
Taxa de pobreza e extrema pobreza (meio urbano e rural)
Insumo Formulação:
Indicadores 
INSUMO
Número de coordenadores do PETI;
Número de gestores municipais para o SISPETI;
Número de gestores da Assistência Social;
Número de monitores;
Número de escolas disponíveis; 
Número de crianças por famílias elegíveis;
Número de equipamentos para as atividades 
socioeducativas;
Dotação orçamentária prevista; 
Previsão de dotação para o ano seguinte. 
https://fpabramo.org.br/acervosocial/wp-content/uploads/sites/7/2017/08/051.pdf
https://fpabramo.org.br/acervosocial/wp-content/uploads/sites/7/2017/08/051.pdf
INDICADORES SOCIAIS NO CICLO DE FORMULAÇÃO, 
IMPLEMENTAÇÃO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS – 
EX.: PETI (PROGRAMA DE ERRADICAÇÃO DO TRABALHO INFANTIL)(FONTE: HTTPS://FPABRAMO.ORG.BR/ACERVOSOCIAL/WP-
CONTENT/UPLOADS/SITES/7/2017/08/051.PDF )
Marco 
Lógico
Análise do 
Ciclo PP
TIPO DE INDICADOR
Processo Implementa
-ção
Número de cada tipo de atividade realizada (reforço escolar, 
informática, esportes, religiosa, artística...)
Carga horária das atividades desenvolvidas em sala de aula.
Número de horas de trabalho das crianças por semana. 
Número de crianças, adolescentes e famílias atendidas nos 
equipamentos municipais (por Estado); 
Total de crianças assistidas por monitor;
Freqüência de participação das crianças nas atividades 
socioeducativas. 
Produto
Resultado Avaliação Eficácia: % de crianças e adolescentes (5 a 17 anos) em 
situação de trabalho no Brasil (por Estado); Taxa de trabalho 
infantil (desagregável)
Eficiência: custo de atendimento/aluno; gasto realizado em 
cada unidade/mês.
Efetividade social: indicadores de evasão e freqüência escolar; 
indicadores de desnutrição, indicadores de violência 
relacionados às crianças e adolescentes. 
Fontes 
complem.:http://www.ripsa.org.br/fichasIDB/pdf/ficha_B.8.pdf;http://www.chegadetrab
alhoinfantil.org.br/trabalho-infantil/estatisticas/ 
Impacto
https://fpabramo.org.br/acervosocial/wp-content/uploads/sites/7/2017/08/051.pdf
https://fpabramo.org.br/acervosocial/wp-content/uploads/sites/7/2017/08/051.pdf
• Qual é a cadeia causal subjacente 
neste marco lógico?
• Identificação de hipóteses que 
envolvem articulação entre objetivos 
finais, intermediários, produtos e 
atividades. 
	Slide 1: Avaliação, monitoramento e Marco Lógico 
	Slide 2: Bibliografia
	Slide 3: Avaliação como “monstro” (Mokate 2002: 89/90)
	Slide 4: América Latina – anos 1990 (Mokate 2002: 90/91)
	Slide 5: Avanços
	Slide 6: Para promover o uso da “gerência social” da avaliação, temos que enfrentar:
	Slide 7: Avaliação X Monitoramento (Maria da Graça Rua e Karen Mokate 2002: 91)
	Slide 8: Monitoramento
	Slide 9: Monitoramento
	Slide 10
	Slide 11: Avaliação sistemática ou pesquisa avaliativa (Mokate 2002: 90/91)
	Slide 12: Aproximações e diferenças
	Slide 13: Em síntese…
	Slide 14
	Slide 15: Para avançar...
	Slide 16: Desafios da avaliação (Mokate 2002: 99/100)
	Slide 17: Especificação do marco conceitual da política, programa ou projeto 
	Slide 18: Especificação do marco conceitual da política, programa ou projeto 
	Slide 19: Monitoramento e marco lógico
	Slide 20: Hierarquia de objetivos – marco lógico (mokate 2002: 104)
	Slide 21
	Slide 22: Hipóteses causais entre os objetivos final e intermediário: importância das relações causais diante da complexidade das intervenções sociais. (Mokate 2002: 107). 
	Slide 23: Marco conceitual da política, programa ou projeto 
	Slide 24: Marco conceitual como mapa de monitoramento e avaliação – LIMITES! (Mokate 2002: 107)
	Slide 25: Indicadores para avaliação (mokate 2002: 117) 
	Slide 26: Informação gerada para e pela avaliação e seus usos (mokate 2002: 120)
	Slide 27: Fluxos de informações
	Slide 28
	Slide 29: Indicadores Sociais no ciclo de formulação, implementação e avaliação de Políticas Públicas – ex.: PETI (Programa de Erradicação do Trabalho Infantil) (fonte: https://fpabramo.org.br/acervosocial/wp-content/uploads/sites/7/2017/08/051.pdf ) 
	Slide 30: Indicadores Sociais no ciclo de formulação, implementação e avaliação de Políticas Públicas – ex.: PETI (Programa de Erradicação do Trabalho Infantil) (fonte: https://fpabramo.org.br/acervosocial/wp-content/uploads/sites/7/2017/08/051.pdf ) 
	Slide 31