Texto 1 SIMÕES ENAP 2015 - AVALIAÇÃO_DE_PROGRAMAS_E_POLÍTICAS_PÚBLICAS (3) - Revisão Prova

Prévia do material em texto

PROGRAMA DE APERFEIÇOAMENTO PARA CARREIRAS 2015 
 
 
 
 
 
 
AVALIAÇÃO DE PROGRAMAS E POLÍTICAS PÚBLICAS 
 
 
 
Professor: Armando A. Simões 
 
 
 
 
 
 
Brasília, 2015 
 
2 
 
TEXTOS DE APOIO 
SUMÁRIO 
 
1. Breve histórico da avaliação de programas e políticas públicas. .................................. 3 
2. Avaliação do que? Programas e políticas como intervenções na realidade. ................ 8 
3. O ciclo da intervenção e as modalidades de avaliação ............................................... 12 
3.1. Classificações da avaliação ...................................................................................... 12 
3.2. As fases dos programas e as modalidades de avaliação ......................................... 15 
4. Tipologias de Avaliação e Técnicas de Análise ............................................................ 18 
4.1. Avaliação Normativa ............................................................................................... 18 
4.2. Pesquisa Avaliativa .................................................................................................. 18 
4.2.1. Avaliação de Diagnóstico (Análise Estratégica e Análise Lógica) ........................ 18 
4.2.2. Avaliação de Processo (Análise da Produção e Análise da Implementação) ...... 18 
4.2.3. Avaliação de Utilidade (Análise dos Efeitos e Análise da Eficiência) ................... 18 
5. Projeto de Avaliação ................................................................................................... 19 
5.1. DESENHO DA AVALIAÇÃO ....................................................................................... 19 
5.2. GESTÂO DA AVALIAÇÃO .......................................................................................... 30 
5.3. DISSEMINAÇÃO DE RESULTADOS ............................................................................ 32 
6. Institucionalização da Avaliação ................................................................................. 35 
6.1. A avaliação na Constituição Federal e no Plano Plurianual .................................... 35 
7. Problemas e desafios da avaliação de programas e políticas ..................................... 45 
7.1. Dificuldades do processo de avaliação de programas ............................................ 45 
7.2. Atores e conflitos de interesse ................................................................................ 45 
7.3. Objetivos implícitos e usos da avaliação ................................................................. 46 
8. A fronteira da avaliação: o desafio da complexidade ................................................. 47 
 
 
3 
 
1. Breve histórico da avaliação de programas e políticas públicas 
 
Há várias tentativas de periodizar a história da avaliação de políticas públicas. Uma perspectiva 
teórica que analisa a evolução do que os autores chamam de “teoria da avaliação” é 
desenvolvida no clássico livro Foundations of Program Evaluation (Shadish,Cook and Leviton, 
1991). Os autores descrevem e analisam sete teorias da avaliação que foram construídas entre 
1965 e 1990 por sete acadêmicos de diferentes campos do conhecimento que se dedicaram ao 
campo teórico e prático da avaliação de políticas. Esses teóricos e suas abordagens são 
organizados em 3 estágios de evolução da teoria da avaliação como mostra a Tabela 1. 
Tabela 1: Estágios de evolução da teoria da avaliação segundo Shadish, Cook and Leviton (1991) 
Estágio Teóricos Perspectiva Teórica Ênfase 
1960s – “Trazer a verdade 
científica para a solução de 
problemas sociais” 
Michael S. Scriven 
 
 
Donald T. 
Campbell 
Avaliação como ciência da 
valoração da ação (com base em 
fatos, não em opiniões) 
 
Metodologista da “Sociedade 
Experimental”. 
Busca da verdade científica a 
respeito da efetividade das 
soluções para os problemas 
sociais. 
1970s – “Gerar alternativas 
enfatizando o uso e o 
pragmatismo” 
Carol H Weiss 
 
 
Joseph S. Wholey 
 
 
Robert E. Stake 
 
Vinculação da avaliação com a 
pesquisa em políticas públicas. 
 
Avaliação para o aperfeiçoamento 
dos programas 
 
Avaliação responsiva e métodos 
qualitativos 
Entender como as organizações 
do setor público e seus 
tomadores de decisão operam 
de modo a oferecer alternativas 
úteis do ponto de vista político 
e social para a apropriação do 
conhecimento avaliativo (uso) 
visando à melhoria do 
desempenho das organizações 
e de suas ações. 
1980-90 – “Tentar integrar o 
passado” 
Lee J. Cronbach 
 
 
 
Peter H. Rossi 
Desenho funcional da avaliação 
para um mundo sujeito à 
acomodação política 
 
Avaliação global (desenho, 
implementação e utilidade), 
customizada e com base na teoria 
do programa. 
 
Integrar diferentes perspectivas 
teóricas anteriores de modo a 
reconhecer a legitimidade de 
diferentes abordagens em 
função das circunstâncias e 
propósitos da avaliação. 
 
O primeiro estágio teve como expoentes teóricos o filósofo Michael S. Scriven e o psicólogo 
Donald T. Campbell, que nos anos 60 vão marcar o campo teórico da avaliação de programas 
de forma definitiva respectivamente com as publicações The methodology of education 
(Scriven, 1967) e Experimental and Quase-Experimental Designs for Research (Campbell & 
Stanley, 1963). Conceitos como avaliação somativa e formativa introduzidos por Scriven e 
validade interna e externa introduzidos por Campbell vão passar a fazer parte do vocabulário 
da avaliação até os dias de hoje. Esta fase teria sido marcada, segundo Shadish, Cook and 
Leviton (1991), pela busca de soluções efetivas para os problemas sociais, o que só poderia ser 
alcançado a partir do uso de métodos científicos rigorosos na avaliação dos programas e 
políticas públicas que fossem capazes de expurgar da análise de resultados toda e qualquer 
possibilidade de viés provocado por falhas metodológicas de desenho das investigações. O 
pressuposto dessa fase era o de uma racionalidade técnica estrita, a partir da qual se entendia 
que os resultados da avaliação, uma vez comprovado seu rigor metodológico, seriam capazes 
de determinar a melhor escolha de política e que os tomadores de decisão adotariam esses 
resultados tão logo fosse possível. Parte da tarefa do avaliador, segundo Scriven, seria atribuir 
4 
 
valor às intervenções sociais, julgando o seu mérito perante os gestores com base em “fatos 
científicos”, livrando a tomada de decisão de opiniões desinformadas sobre o que funciona, o 
que precisa mudar e o que precisa ser descontinuado. Nessa fase se preconiza a 
experimentação como método “padrão ouro” da avaliação de programas, por sua pretensa 
capacidade em isolar os reais efeitos das intervenções de ruídos provocados por falhas no 
desenho das avaliações. Desse modo, a análise comparativa de intervenções a partir da 
estimativa experimental de seus resultados poderia iluminar o processo de decisão sobre qual 
programa adotar. Campbell formula a ideia de uma “sociedade experimental” guiada pela 
razão científica na formulação de políticas, promovendo inovações e avaliações constantes 
para a solução de seus principais problemas (Campbell, 1998). 
A segunda fase descrita por Shadish, Cook and Leviton (1991) representou um período crítico 
de produção de abordagens alternativas de avaliação de políticas que buscaram contornar as 
dificuldades do projeto avaliativo da primeira fase. A questão chave aqui é a utilidade do 
conhecimento produzido pela avaliação e quem irá utilizá-la. O uso dos resultados avaliativos 
do período anterior se demonstrou problemático. Mesmo quando os métodos eram aplicados 
com rigor e geravam resultados robustos, os tomadores de decisão não pareciam usar os 
resultados dos experimentos na tomada de decisão. Carol Weiss foi uma das primeiras autoras 
a chamar atenção para a subutilização da avaliação e seus resultados reconhecendo que os 
resultados da avaliação não vinham exercendo grande influência nas decisõessobre 
programas. Alguns fatores podiam, em parte, explicar o baixo uso das avaliações como 
propostas na primeira fase: (i) as condições concretas em que se propunha avaliar os 
programas, em geral, não permitiam que os cânones do projeto experimental fossem 
aplicados tal e qual se preconizava na utopia experimentalista; (ii) o tempo para geração dos 
resultados das avaliações experimentais era, em geral, incompatível com a necessidade dos 
tomadores de decisão; (iii) os custos associados ao experimento social eram considerados 
elevados; (iii) informações e análises disponíveis aos gestores, ainda que dotadas de baixo grau 
de rigor científico, pareciam mais úteis à tomada de decisão simplesmente por estarem 
disponíveis a tempo. Focar a avaliação na necessidade de informação dos potenciais usuários 
(gestores de políticas, cidadãos, implementadores locais etc.), bem como identificá-los ex-ante 
e trabalhar próximo a eles seria a estratégia para promover um maior uso da avaliação. 
Preocupar-se com o uso da avaliação e com as partes interessadas em seus resultados desde o 
início do processo avaliativo passou a ser considerado fundamental para que qualquer 
empreendimento avaliativo pudesse galgar sucesso. Weiss, Wholey e Stake vão adotar a 
perspectiva pragmática da avaliação, mas enfatizando diferentes escalas de tempo do uso. 
Weiss está mais preocupada em gerar conhecimento novo sobre as políticas públicas, sobre as 
causas dos problemas sociais e a melhor forma de intervir para modificar o curso dos 
fenômenos sociais, lançando um olhar de longo prazo para a utilidade da avaliação. Já Wholey 
vai enfatizar o uso mais instrumental da avaliação no curto prazo para o aperfeiçoamento 
incremental dos programas. Dentre os autores citados na Tabela 1, Wholey é o que mais atuou 
no front line da avaliação de programas, tendo ocupado vários cargos, na administração 
pública norte-americana, vinculados à avaliação de políticas. Ele acredita que os programas 
públicos não são modificados, substituídos ou abandonados de forma radical e com base 
apenas em resultados de avaliações. A maior possibilidade de uso da avaliação estaria 
associada ao uso incremental, melhorando o processo de implementação, aperfeiçoando os 
5 
 
mecanismos da intervenção, preparando melhor os seus implementadores etc. Stake vai levar 
essa perspectiva para o nível mais baixo da escala de implementadores. Fazendo uso de 
métodos qualitativos, vai buscar entender os processos locais de implementação e como 
afetam os resultados almejados pelas políticas nacionais. À semelhança de Wholey, Stake 
adota a perspectiva instrumental e incremental do uso da avaliação, mas com ênfase no que 
ocorre na base do sistema de implementação das políticas e nos atores locais como os 
principais articuladores da solução para os problemas sociais. 
Nesta segunda fase negocia-se o melhor conhecimento possível sobre uma política (“verdade” 
científica) pelo conhecimento suficiente para o uso na orientação da política. A “autoridade” 
científica da avaliação não é vista mais como a pedra de toque para o seu uso pelos tomadores 
de decisão como na primeira fase, embora se reconheça ainda que a maior qualidade científica 
da avaliação possa fazer diferença para o seu uso. Em parte, essa mudança de perspectiva é 
reflexo de uma menor ênfase no conhecimento da causalidade entre intervenção e resultado e 
de uma maior atenção à descrição da implementação e de seus condicionantes que acabariam 
por afetar os resultados pretendidos. Há uma menor ênfase na busca por causalidade e 
generalizações sobre as políticas e maior atenção em como elas funcionam localmente, em 
contextos concretos, e em como melhorá-las. A ampliação do foco da avaliação de resultados 
para a implementação e seu contexto abre o debate metodológico quantitativo-qualitativo 
que vai estar presente até os nossos dias. A pluralidade de conhecimentos necessários à 
tomada de decisão sobre políticas e programas vai engendrar a pluralidade metodológica no 
campo da avaliação e reconhecer a insuficiência do método experimental como preconizado 
pelos teóricos da primeira fase. Reduzir a avaliação de programas à avaliação de seus impactos 
passa a ser vista como uma forma pouco rigorosa de considerar as intervenções. O método 
avaliativo deve estar adequado à pergunta que se quer responder e são os stakeholders que 
devem fazer as perguntas fundamentais e não os avaliadores. Do mesmo modo, o critério de 
mérito da intervenção deve ser construído a partir dos valores e objetivos dos stakeholders e 
avaliado enquanto tal, e não a partir de uma noção ideal de valor teórico estabelecido pelo 
avaliador. Vê-se que na segunda fase a centralidade está colocada não no método, mas nos 
interessados pela avaliação, nas suas perguntas e critérios de julgamento aos quais cabe aos 
avaliadores buscar responder da forma mais rigorosa e suficiente possível. 
A terceira fase descrita por Shadish, Cook and Leviton (1991) inclui principalmente os trabalhos 
de Lee Cronbach e Peter Rossi, cuja perspectiva é “integracionista“, ou seja, representa a 
tentativa de resgatar das teorias de avaliação propostas desde os anos 60 os elementos 
necessários para a constituição de uma teoria completa da avaliação de programas. Essa 
abordagem da avaliação de programas se pretende holística, ou seja, oferecer uma visão 
integral do programa desde o seu desenho até os sues resultados e utilidade social, passando 
por sua implementação, na busca em responder a todas as dimensões avaliativas que possam 
interessar aos stakeholders. As práticas avaliativas se justificam e ganham legitimidade a 
depender das circunstâncias em que são demandadas e dos propósitos aos quais respondem. 
Os problemas sociais são múltiplos, as intervenções são diversas e contextuais e, portanto, a 
avaliação deve ser plural em suas práticas e métodos, sendo legitimada pelo contexto. 
Os autores expoentes desta terceira fase atribuem importância à avaliação com vistas à 
melhoria incremental dos programas, mas entendem que mudanças estruturais também 
6 
 
ocorrem e que a avaliação deve contribuir para futuros e novos programas gerando 
conhecimento sobre os problemas sociais e as políticas públicas. Cronbach entende que a 
avaliação com propósitos incrementais deve estar condicionada à relevância do programa 
quanto aos recursos envolvidos, ao número de pessoas afetadas, à possibilidade de haver 
efeitos colaterais fruto das intervenções e a relevância dos resultados da avaliação para outros 
programas semelhantes. Rossi vai reconhecer a avaliação para a mudança incremental quando 
se trata de programas já em andamento, mas atesta a relevância da avaliação para a geração 
de conhecimento novo, em especial quando aplicada a projetos-piloto, reconhecendo a 
importância de avaliações experimentais nesse caso. A avaliação deve servir a esses dois 
propósitos, instrumentalizar o gestor para a tomada de decisão no curto prazo, mas também 
produzir conhecimento que amplie a compreensão dos problemas sociais e das formas de 
intervenção. 
Os autores nessa terceira fase não atribuem supremacia a um método particular de avaliação. 
Ao contrário, associam a relevância do método ao tipo de conhecimento necessário sobre o 
programa e às necessidades dos stakeholders. Os avaliadores devem estudar os programas a 
partir de múltiplas perspectivas analíticas e reconhecer a pluralidade metodológica na 
construção de conhecimento sobre a realidade e as políticas. Se por um lado, os estudos de 
caso são capazes de descrever em profundidade uma realidade social, um programa e seu 
contexto de implementação, identificando relações, percepções e comportamentos capazes 
de alterar a sua efetividade e levantar hipóteses sobre possíveis efeitos não previstos, de 
outro, são pouco eficazes em gerar conhecimento sobre impactos que sejam generalizáveis. 
Por sua vez, avaliaçõesexperimentais são testes de hipóteses de impacto específicas que, por 
construção, ignoram outras hipóteses de impactos e têm seus resultados limitados também 
por contextos específicos. Contudo, são bons instrumentos para testar relações de causalidade 
entre intervenções e efeitos. Rossi e Cronbach vão concordar que múltiplos métodos são 
necessários na avaliação de intervenções, pois nenhum método isoladamente é capaz de 
prover um quadro completo de respostas não enviesadas sobre um programa ou política. 
Rossi reconhece a relevância dos stakeholders no processo de atribuição de mérito e 
julgamento dos programas com base na avaliação, mas entende que os avaliadores também 
têm o papel de educadores dos stakeholders, de chamar atenção para aspectos não 
considerados sobre os programas, valores não percebidos no processo de atribuição de mérito 
e para atores que possam estar sendo ignorados no processo de avaliação da política. A 
definição de mérito do programa para Rossi e Conbrach é construída a partir de informações 
sobre: (a) o que declaram os usuários, servidores e gestores sobre os efeitos do programa e 
fatores intervenientes para a produção desses efeitos; (b) fatores que alimentam o processo 
decisório de gestores; (c) mecanismos de funcionamento do programa que traduzem inputs 
em resultados; (d) o grau de satisfação das necessidades dos usuários; e (e) efeitos 
intencionais ou não, positivos ou negativos (Shadish,Cook and Leviton, 1991, p.320). O balanço 
do mérito de um programa, segundo Cronbach e Rossi, não deve ser feito por síntese de 
conclusões parciais. O peso de cada aspecto avaliado pode diferir para os stakeholders e 
sínteses necessariamente carregam a importância relativa dada pelos avaliadores sobre 
diferentes aspectos do programa. Os resultados das múltiplas avaliações realizadas devem se 
sustentar de forma independente e serem oferecidos em conjunto aos tomadores de decisão 
para que possam ponderar sobre o valor do programa a partir das várias perspectivas 
7 
 
oferecidas. Essa posição difere dos teóricos da primeira fase, que entendiam ser tarefa dos 
avaliadores oferecer uma síntese conclusiva sobre o mérito do programa a partir da avaliação 
de efetividade e custo do mesmo. Já os teóricos da segunda fase, entendiam que não cabia ao 
avaliador oferecer uma síntese de valor sobre o programa, mas sim aos stakeholders, fazendo 
uso dos elementos de avaliação oferecidos pelos avaliadores. 
As práticas de avaliação para os teóricos da terceira fase devem ser ajustadas à fase em que se 
encontra o programa e a suas circunstâncias. Rossi, por exemplo, trata de programas em fase 
de desenho, em experimentação-demonstração e em implementação plena. Na fase de 
planejamento (desenho) dos programas as técnicas usadas na avaliação devem estar mais 
focadas na análise de necessidades, estudos de caso sobre estratégias de implementação e 
análise quantitativa de indicadores sociais capazes de serem afetados pela intervenção. Em 
fase experimental (projeto-piloto) cabe a análise de causa-efeito com estimação de impacto 
em situações controladas experimentalmente ou quase-experimentais, assim como técnicas 
de modelagem de cadeias causais. Já para os programas de cobertura total em fase plena de 
implementação o mais ajustado seria o monitoramento desenhado para o aperfeiçoamento 
incremental e contínuo do programa. Esses autores desejam, antes de tudo, especificar as 
condições em que determinado tipo de avaliação faz sentido e reconhecer que sua utilidade é 
circunstancial, depende das contingências do presente em que a avaliação tem lugar. 
Os estágios de evolução teórica da avaliação de políticas, a partir dos autores examinados 
acima, não são mutuamente excludentes. Teóricos de fases posteriores absorvem e utilizam 
aspectos conceituais, metodológicos e práticos de trabalhos anteriores, rejeitam outros e 
inventam novos. Segundo Vedung (2014) as diversas fases ou “ondas” da avaliação deixaram 
sedimento no setor público que vemos hoje. São como camadas depositadas de ideias, 
conceitos, práticas, técnicas e valores que se encontram hoje, com diferentes graus de 
intensidade e dominância, nos diversos setores da administração pública dos países ocidentais. 
Uma tendência não substituiu a outra por completo, mas adicionou uma linha de inovação no 
pensamento avaliativo que marcou uma época mais que outra. Podemos vê-las 
simultaneamente sendo praticadas, convivendo juntas, alimentando o debate contemporâneo 
sobre avaliação e suscitando novos desafios teóricos e práticos ao campo da avaliação de 
políticas. 
 
 
 
8 
 
2. Avaliação do que? Programas e políticas como intervenções na 
realidade. 
 
 
A avaliação pressupõe um “quem” avalia e um “quê” avaliado. Aqui tratamos das políticas, 
programas ou projetos como o “quê” da avaliação. Em toda a discussão neste curso políticas, 
programas e projetos serão genericamente entendidos como intervenções. Uma intervenção é 
 “um sistema organizado de ação que visa, em uma determinado ambiente e durante um 
determinado período, a modificar o curso previsível de um fenômeno para corrigir uma 
situação problemática.” (Champagne et al., 2011, p.45). 
Figura 1: Intervenção e seus componentes 
 
 
Um intervenção é composta de uma estrutura, atores, processos, finalidades e um ambiente 
onde ocorrem (Champagne et al., 2011). A estrutura de uma intervenção compreende os 
recursos financeiros (crédito, fundo público, doações), técnicos (tecnologia, conhecimento 
técnico, informação), físicos (pessoal, equipamentos, mobiliários, instalações) e 
organizacionais (normas e regulamentos, poder, valores, cultura de trabalho) com os quais 
contam os atores responsáveis pelo seu desenho e implementação. Os atores operam na 
estrutura, mobilizando recursos na produção de bens e serviços por meio de processos de 
trabalho visando alcançar objetivos de mudança (finalidades). As características, intenções, 
interesses e convicções dos atores moldam as intervenções na interação com o contexto. A 
ação desencadeada pela intervenção modifica situações ou tendências indesejáveis 
produzindo um efeito de mudança de trajetória que transforma a situação problemática em 
situação objetivo. As intervenções ocorrem sempre em contexto, ou seja, em um ambiente 
físico, social, econômico e cultural que possui uma história e um ordenamento institucional 
que condicionam a eficácia da intervenção. Como destaca Guba e Lincoln (1989) a própria 
avaliação é uma intervenção passível de ser tomada como o “quê” de uma pesquisa avaliativa. 
 
Nota: Adaptação da Figura 2, pag.46 do livro Astrid Brousselle, François Champagne, André-Pierre Contandriopoulos, Zulmira Hartz (Orgs) 
(2011), Avaliação: conceitos e métodos, Editora FioCruz. 
9 
 
As intervenções se dão em geral em estruturas hierárquicas ou multinível, nas quais as ações 
são aninhadas em diferentes níveis da organização social ou de suas instituições assumindo 
denominações específicas a depender do nível em que são observadas: política, plano, 
programa, ação, projeto, atividade etc. O exemplo da Figura 2 ilustra a estrutura hierárquica 
de intervenção no contexto do sistema educacional. Uma política nacional, por exemplo, é 
implementada visando modificar o sistema educacional, a partir de um conjunto de programas 
que incidem sobre os sistemas de ensino (municipais e estaduais) a partir dos quais ações são 
desencadeadas cujo foco é a mudança da realidade escolar, de suas práticas e resultados, para 
o que concorrem projetos e atividades desenvolvidos por professores e equipe pedagógica da 
escola afetando o que ocorre na sala de aula na relação de aprendizagem. 
 
Figura 2: Exemplo de estrutura hierárquica de intervenções 
 
 
As intervenções variam em escala e complexidade, a depender se tratam de problemas 
“convergentes” ou “divergentes” (Champagne et al., 2011, capítulo 2). 
Os problemassão ditos convergentes na medida em que sendo analisados de modo mais 
rigoroso, geram respostas que convergem para uma solução única e aceita pela maioria dos 
atores sociais. Nesse caso estamos possivelmente diante de uma intervenção simples. Por 
exemplo, poucos discordariam de um programa de aplicação de flúor nas escolas para se 
combater a cárie ou um programa de vacinação para combater a mortalidade infantil ou, 
ainda, de um programa de saneamento básico para se combater a diarreia infantil e outras 
doenças sociais derivadas da falta de saneamento. Os problemas convergentes são afiançados 
por um conhecimento técnico-científico já consolidado e de reconhecimento social amplo. 
Nesses casos há uma ideia social compartilhada sobre causas e efeitos (falta de saneamento  
diarreia infantil) e a forma de intervir é, em geral, de conhecimento comum e aceita como 
solução eficaz pela grande maioria dos atores sociais. Nesse caso, os atores e suas convicções 
pouco interferem nas estratégias de intervenção. 
Algumas vezes se confunde o caráter múltiplo de uma intervenção (muitos componentes) com 
a ideia de complexidade. A linguagem vulgar e o senso comum ajudam a reforçar essa ideia. 
Ter muitos componentes faz da intervenção uma intervenção complicada, mas não 
necessariamente complexa. Se ela puder ser decomposta em elementos simples e 
relativamente independentes entre si ela pode ser analisada utilizando-se os métodos 
10 
 
analíticos clássicos e se “reduz” a um conjunto de intervenções simples. Mesmo que 
interconectadas temporalmente na lógica de sua execução, são “lineares” no sentido lógico, 
sequenciais, com etapas previsíveis e monitoráveis de forma relativamente independente, pois 
não há interação que transforme os componentes (embora haja conexão), ou seja, não há 
interdependência dinâmica entre as partes. Por exemplo, o projeto de missão tripulada a 
Marte é complicado, a construção de uma solução aqui é única e pioneira, mas as bases 
técnicas e científicas estão dadas e o desafio advém da novidade do empreendimento (nunca 
foi feito). Mas o fato mesmo de existir tal projeto indica que as condições de realização estão 
dadas e o nível de divergência sobre a finalidade e em como atingi-la é pouco significativo. 
Uma imagem metafórica que ilustra as intervenções simples e complicadas é dada na Figura 
3(a e b). Um palito é considerado um mecanismo muito simples (a), é capaz de realizar 
trabalho e intervir na “realidade” de nossos dentes após a refeição. O mesmo palito pode 
servir de elemento em uma estrutura como a escultura de palitos (b). A função é outra, é 
artística e representativa de várias obras arquitetônicas em cidades importantes do mundo. A 
escultura de palitos nessa metáfora representa uma intervenção complicada. Ela pode ser 
analisada e decomposta em seus elementos constitutivos. Os palitos não deixam de ser palitos 
por estarem compondo uma estrutura nova. Os passos dados para erguer a escultura podem 
ser conhecidos, mapeados e repetidos de modo a se repetir a mesma estrutura em outro lugar 
e tempo. A maioria dos projetos de infraestrutura tem essa natureza. 
 
Já os problemas divergentes quanto mais são analisados com 
rigor mais as soluções que se apresentam são divergentes, 
contraditórias ou opostas. Os atores sociais empreendem 
disputas políticas acirradas em torno das estratégias de 
intervenção que entendem ser as mais adequadas e que melhor 
espelhem seu entendimento do problema, seus valores e sua 
visão de mundo. Mesmo quando a disputa se resolve em uma 
determinada direção as próprias estratégias que se apresentam 
moldam intervenções de natureza complexa. Uma metáfora 
ilustrativa das intervenções de natureza complexa é a educação 
de uma criança (Figura 4) 
(a) 
(b) 
Figura 3: Intervenções simples e complicadas (metáfora do palito). 
 
Figura 4: Intervenção complexa (metáfora 
da criança) 
11 
 
As intervenções complexas se caracterizam por (Champagne et al., 2011, pag. 49): 
1) Múltiplas finalidades com possíveis contradições entre si, com baixo grau de acordo 
(divergência) entre os atores. 
2) Caráter difuso das relações de autoridade quando implementadas. 
3) Mobilizam diversos atores interdependentes que agem de forma relativamente 
autônoma e com lógicas diferentes. 
4) Imprecisão do horizonte temporal. 
5) Abertas ao contexto (são afetadas) político, econômico, social, cultural, institucional, 
etc. 
6) Dinâmica de autorreorganização (sua forma depende do contexto). 
7) Complexa relação causal. 
8) Existência de paradoxos (algo não pode ser ao mesmo tempo que é). 
9) Possibilidade de se obter o mesmo resultado a partir de diversos agenciamentos de 
recursos. 
 
As seguintes políticas ilustram intervenções de natureza complexa: política de combate à 
pobreza, política de combate às mudanças climáticas, política de combate à violência. 
O tipo e metodologia avaliativa devem ser adequados ao nível de complexidade da 
intervenção. Trataremos da complexidade no campo da avaliação no último módulo deste 
curso. 
 
 
12 
 
3. O ciclo da intervenção e as modalidades de avaliação 
 
3.1. Classificações da avaliação 
 
A avaliação de programas e políticas encontra diferentes formas de classificação na literatura a 
depender da perspectiva que se adota. 
a) Quanto à pergunta avaliativa (o que se avalia) 
Quando o foco é o tipo de pergunta que se quer responder a avaliação se classifica como 
diagnóstica, de processo ou de utilidade. 
A avaliação diagnóstica tem o propósito de subsidiar o planejamento e desenho dos 
programas/políticas. Avalia-se o escopo e extensão do problema que se quer atacar, que 
aspectos se quer modificar (objetivos de mudança), qual a melhor forma de enfrentá-lo (tipo 
de política), quem deve ser assistido pela intervenção (público-alvo), qual deve ser o modelo 
de intervenção e a estratégia de implementação (lógica de operação). O plano de avaliação, ou 
seja, a forma como se planeja avaliar o programa também deve ocorrer durante a fase de 
desenho do programa e, portanto, faz parte da avaliação de diagnóstico. 
A avaliação de processo é entendida por alguns autores como o monitoramento do programa 
(Rossi, Lipsey e Freeman, 2004) e incide sobre a gestão do programa. Tem o propósito de 
verificar a correspondência entre o desenho do programa e sua implementação, de avaliar a 
eficácia da gestão em executar os recursos previstos e em alcançar o público-alvo. A 
implementação segue a estratégia prevista? Essa estratégia está sendo eficaz em atingir o 
público-alvo? Há problemas de focalização do programa? Os recursos são aplicados como 
previstos? Há eficiência nessa aplicação? As metas estão sendo cumpridas? Há desperdícios? 
Essas são algumas perguntas que em geral norteiam o monitoramento dos programas. 
A avaliação de utilidade busca avaliar qual o valor que o programa agrega para a sociedade, a 
economia, o meio-ambiente etc. Há dois tipos de avaliação: avaliação de impacto e avaliação 
de eficiência. A avaliação de impacto avalia se os objetivos do programa foram alcançados, em 
que medida as mudanças esperadas ocorreram (se são substantivas) e se efeitos não 
esperados (positivos ou negativos) ocorreram como consequência do programa. Já a avaliação 
de eficiência avalia os resultados do programa vis a vis os seus custos. Os custos compensam 
os benefícios gerados? Esses benefícios podem ser alcançados a custos menores? Os 
conhecimentos gerados pela avaliação de impacto e de eficiência permitem o julgamento da 
utilidade real do programa para a sociedade que deseja efetividade e eficiência dos 
investimentos públicos realizados pelo governo. 
b) Quanto à fase da política avaliada (com que finalidade se avalia) 
Neste caso a avaliação é classificada como formativa ou somativa. A avaliação formativa 
busca gerar conhecimento para a estruturação do programa e identificação das melhores 
estratégias para sua implementação.Pode ser realizada durante a implementação do 
13 
 
programa ou em estágio piloto do programa. As informações geradas ajudam os que estão 
diretamente envolvidos com o programa a realizar correções de procedimentos para melhorá-
lo seja em relação ao desenho ou a forma de implementação. A avaliação somativa cuida de 
apurar os resultados do programa, avaliar se está sendo efetivo em alcançar os objetivos para 
os quais foi criado. A pergunta aqui é quanto ao valor que o programa agrega para a 
sociedade, enfim o que ele “soma” ou “adiciona” ao estoque de valor social. 
c) Quanto à metodologia de avaliação (como se avalia) 
As metodologias empregadas na avaliação de programas e políticas derivam das ciências 
sociais e compreendem modelos qualitativos e quantitativos. As análises quantitativas 
adotam métodos estatísticos e econométricos na descrição da situação problema, da evolução 
dos indicadores de metas e resultados do programa e da evolução do quadro social, 
econômico e ambiental no tempo. Esses métodos também são utilizados para se estimar o 
impacto dos programas, realizar simulações, projetar tendências e analisar cadeias causais. 
Também são usados em meta-análises sobre programas ou políticas, que buscam sintetizar os 
resultados de vários estudos de impacto. Os métodos quantitativos possuem forte apelo na 
discussão das políticas públicas e estão muito presentes nas análises feitas por órgãos de 
pesquisa federais (Ipea, Inep, IBGE etc). A maior limitação da abordagem quantitativa é o 
reducionismo da realidade produzido pelos modelos de análise e seus pressupostos, nem 
sempre revelados. 
 Os estudos qualitativos adquirem relevância e são insubstituíveis quando o objetivo é 
conhecer os processos sociais, relações e subjetividades, culturas e comportamentos de 
indivíduos e grupos em contextos específicos, percepções sociais sobre intervenções públicas e 
a forma como diferentes grupos interagem com os programas e seus agentes 
implementadores. Também são chave na análise da gestão dos programas e das instituições 
que os executam. Ainda, são indicados na análise histórica e documental das políticas públicas 
com objetivo de sintetizar o aprendizado organizacional. Os métodos qualitativos embora 
menos visíveis para o público em geral estão muito presentes nas avaliações feitas por alguns 
órgãos federais (TCU, SAGI/MDS, Inep). 
A dicotomia entre métodos quantitativos e qualitativos vem perdendo espaço no mundo 
acadêmico e métodos combinados são cada vez mais presentes na análise social. No contexto 
da avaliação das políticas e programas públicos essa combinação é não só presente mas 
fortemente necessária na maioria dos casos. 
d) Quanto ao tempo de sua realização (quando se avalia) 
Se a avaliação é realizada anteriormente à decisão de implementá-lo ou do programa ganhar 
escala e alcançar o público-alvo para o qual foi planejado (projeto piloto) diz-se que se trata de 
uma avaliação ex-ante. Esta avaliação serve ao diagnóstico do problema e das alternativas de 
política para enfrentá-lo. Permite que os gestores comparem programas alternativos a partir 
de análises de custo-benefício ou de custo-efetividade e possam tomar decisão informada 
sobre a alternativa de desenho que melhor responda aos objetivos ao menor custo possível. A 
avaliação realizada após o programa ter iniciado (durante sua execução) ou ao final do 
programa é chamada de avaliação ex-post. Nesta avaliação julga-se durante a execução do 
14 
 
programa se há evidências que deem suporte a continuidade do programa ou se ele deve ser 
descontinuado, se deve ser mantido no formato original ou sofrer alterações. Se o programa 
tiver sido concluído avalia-se a pertinência de reproduzir a experiência futuramente. 
No contexto da Administração Pública avaliações ex-ante são raras e tendem a ser vistas com 
ceticismo pelos gestores que tendem a resistir à ideia de projetos piloto e implementam 
programas em escala plena. Duas razões podem ajudar a entender tal comportamento: (i) o 
tempo dos governos pressionam para que as ações não fiquem suspensas a espera de 
respostas da avaliação; (ii) os resultados e conclusões das avalições de projetos piloto não 
necessariamente são válidas para o programa implementado em escala plena (os contextos 
podem variar dramaticamente); (iii) o programa a ser implementado já tem efetividade 
testada em vários contextos ou estudos anteriores que mostram sua efetividade (ex. programa 
de vacinação contra a poliomielite, educação infantil, Programas de Transferência 
Condicionada de Renda etc). 
e) Quanto à posição do avaliador (quem avalia) 
Considerando o agente que a realiza a avaliação é classificada como externa ou interna. 
Avaliação externa – é realizada por pessoas que não fazem parte da instituição que executa o 
programa. Há dois graus de “externalidade” do agente: (i) o avaliador pode ser um órgão 
público distinto do que executa o programa e que detém a função avaliadora (ex. TCU (Brasil), 
GAO (EUA), CONEVAL (México)); (ii) o avaliador é um agente contratado pelo órgão executor 
do programa para avalia-lo. Algumas vantagens são associadas à avaliação externa: (i) maior 
isenção do avaliador em relação ao programa (maior “objetividade”); (ii) maior expertise em 
metodologias de avaliação; (iii) maior liberdade para reunir equipes técnicas especializadas ad 
hoc. Algumas desvantagens: (i) maior dificuldade em obter dados do programa; (ii) menor 
conhecimento dos processos de implementação que afetam a avaliação do programa; (iii) 
menor adequação do enfoque da avaliação às necessidades do gestor (abordagem mais 
acadêmica); (iv) maior resistência dos executores do programa em relação à avaliação. 
Avaliação interna – é realizada por pessoas que fazem parte da instituição que executa o 
programa. As vantagens associadas são: (i) menor resistência do que a um avaliador externo1; 
(ii) maior apropriação e aprendizagem do processo de avaliação e de seus resultados; (iii) 
maior conhecimento sobre o processo de implementação e as bases de dados existentes do 
programa; (iv) maior flexibilidade em adaptar o curso da avaliação para ajustar novas 
demandas. Algumas desvantagens associadas são: (i) menor imparcialidade em função do 
envolvimento com o programa; (ii) menor diversidade de especialidades técnicas disponíveis 
na área de avaliação; (iii) risco da demanda da avaliação ser pouco estruturada (inexistência de 
projeto). 
Quanto maior a proximidade e cooperação entre gestores, avaliadores internos e externos no 
empreendimento avaliativo, mais as vantagens de cada tipo de avaliação se somam e mais se 
reduzem as desvantagens de cada modalidade. Nesse sentido fala-se em “avaliação mista” na 
qual as atividades são compartilhadas entre agentes internos e externos no esforço da 
 
1 Embora aqui as relações internas afetem o grau de confiança e cooperação entre setores da administração 
pública. 
15 
 
avaliação. Não se pode ignorar também o papel que a avaliação participativa vem ganhando na 
avaliação das políticas públicas. Nesta vertente os beneficiários participam do planejamento e 
do processo de avaliação. 
 
3.2. As fases dos programas e as modalidades de avaliação 
 
A crescente importância que vem adquirindo a avaliação no espaço das políticas públicas no 
Brasil acompanha a tendência de maior exigência, por parte da sociedade, de qualidade, 
eficiência e equidade nos resultados dos projetos, programas e políticas implementadas pelos 
agentes públicos. Se por um lado o processo de consolidação do regime democrático avança 
para um maior controle social das ações de governo e uma maior exigência sobre os resultados 
dessas ações, por outro, o cenário de escassez de recursos face à demanda cada vez maior por 
prestação de serviços e produção de bens públicos, vem exigindo que as escolhas 
governamentais recaiamsobre políticas e programas que demonstrem eficácia no alcance de 
objetivos e bons graus de focalização sobre a população alvo dessas políticas. O acerto nas 
opções de políticas é cada vez mais exigido e necessário. Nesse sentido, o conhecimento 
acumulado no campo da avaliação de programas e políticas deve ser referência para todo 
agente público envolvido na gestão de programas. 
O desenvolvimento de um programa ou política pública tem, em todas as suas fases, relação 
com diferentes dimensões de avaliação que instruem e contribuem com o processo de sua 
construção e execução. Programas e políticas nascem da identificação e seleção de problemas, 
demandas ou oportunidades de desenvolvimento, se propõem na fase de planejamento e 
desenho, entram em execução e são avaliados quanto aos seus impactos e custos de 
implementação. Em todas essas etapas do ciclo de vida dos programas e políticas a avaliação é 
parte fundamental, devendo ser permanente, e assume diferentes propósitos, tendo sempre a 
finalidade de aperfeiçoar os programas e políticas em todos os seus aspectos potencializando 
os seus resultados. 
Se, por um lado, a identificação e seleção de problemas relevantes socialmente parte das 
condições objetivas, cujos indicadores reclamam ações mitigadoras, por outro depende 
também de um processamento político que seja capaz de elevar à condição de prioridade nas 
ações governamentais os problemas identificados. Sendo a realidade social arena permanente 
de disputa de interesses conflitantes, cabe ao Estado papel mediador que garanta o 
desenvolvimento do bem-estar social de todos para além do campo dos interesses específicos. 
O planejamento e desenho de programas compreendem: o processamento da realidade 
(problema) sobre a qual se quer intervir (descrição, análise causal, simulações, projeções etc); 
análise das opções de intervenção e desenho preliminar de intervenções alternativas com a 
definição das finalidades e objetivos, do público-alvo, dos meios para implementação 
(adotando-se a eficiência como critério de escolha) e do plano de avaliação que presidirá as 
atividades avaliativas em todas as fases do programa; por fim, a definição política de qual 
intervenção adotar. 
16 
 
A implementação tem início com a mobilização dos recursos necessários (insumos) para a 
execução do programa e se orienta para gerar os resultados esperados a partir do desenho do 
programa. 
A avaliação, parte integrante de todo o ciclo de vida do programa tem, após a implementação 
da intervenção, a função de verificar se os resultados sociais pretendidos pelo programa foram 
atingidos. Por meio dos impactos e custos implicados na execução do programa pode-se 
avaliar a utilidade real do programa na solução ou intercâmbio dos problemas selecionados. 
Figura 5: Modelo Linear do Ciclo da Política Pública 
 
Todas as fases descritas acima comportam dimensões específicas da avaliação com questões 
próprias a serem respondidas por meio de instrumentos adequados. Qual a natureza e escopo 
do problema que se quer enfrentar? Onde se localiza e quem é afetado? Como se explica o 
problema no contexto em que ocorre? Que intervenções (projetos, programas, políticas) 
podem contribuir para a redução do problema identificado? Qual a população-alvo para uma 
proposta de intervenção? Que atores precisam ser mobilizados para que a intervenção logre 
êxito? Em que medida a intervenção proposta está atingindo a população-alvo? Até que ponto 
a intervenção proposta está sendo implementada conforme o desenho proposto? Está sendo 
eficaz na mitigação do problema selecionado? Quanto custa? Qual a relação custo-efetividade 
e custo-benefício da intervenção proposta? Estas são questões que os avaliadores e 
stakeholders dos programas em geral procuram e desejam responder. 
As questões acima se desdobram em questões específicas em cada modalidade da avaliação e 
são ajustadas ao escopo do programa que é avaliado. Rossi e Freeman (1993) propõem quatro 
grandes tipos ou modalidades que encerram as principais dimensões relevantes para a 
avaliação de programas conforme descrito na Tabela 2. 
17 
 
Tabela 2: Avaliação de Programas (Quadro Geral) 
 
Um marco de referência para compreendermos a relação da avaliação como as etapas do 
processo de uma política é apresentado na Figura 6. Este modelo recentemente adotado pela 
União Europeia é organizado em três níveis. No nível 1 situam-se os problemas identificados e 
selecionados, bem como é o espaço onde se poderão observar os resultados da intervenção e 
seus impactos mais gerais (é o espaço da sociedade e do meio ambiente). No nível 2 situa-se a 
intervenção sob escrutínio, decomposta em categorias analíticas que permitem estruturar o 
processo de intervenção em objetivos, insumos, atividades, produtos (entregas) e resultados. 
No nível 3 situa-se o espaço da avaliação. O modelo permite identificar as diferentes 
dimensões da avaliação presentes nas interfaces dos elementos do modelo. A produtividade 
das atividades é avaliada na relação entre insumos e produtos (entregas). A eficiência da 
intervenção é avaliada na relação entre insumos e resultados imediatos (resultados diretos), 
em geral com base em análises de custo-efetividade ou custo-benefício. A avaliação de 
efetividade centra-se no cumprimento dos objetivos, situa-se na relação entre objetivos e 
resultados alcançados (imediatos e finais). Por último, o modelo trata ainda da relevância da 
intervenção, ou seja, da relação entre o objetivo e o problema selecionado e da 
relevância/sustentabilidade, ou seja, avalia os resultados realmente alcançados em relação ao 
problema fundamental e a sustentabilidade no sentido da longevidade dos resultados. 
Figura 6: Modelo de Avaliação (União Europeia) 
 
18 
 
4. Tipologias de Avaliação e Técnicas de Análise 
4.1. Avaliação Normativa 
4.2. Pesquisa Avaliativa 
4.2.1. Avaliação de Diagnóstico (Análise Estratégica e Análise Lógica) 
4.2.2. Avaliação de Processo (Análise da Produção e Análise da 
Implementação) 
4.2.3. Avaliação de Utilidade (Análise dos Efeitos e Análise da 
Eficiência) 
 
Obs: O conteúdo desta seção terá por base os slides apresentados durante as aulas e as 
referências indicadas no Plano de Aula. 
 
19 
 
5. Projeto de Avaliação 
 
 
Toda avaliação pode ser concebida como um projeto que, como qualquer projeto, deve ser 
desenhado e possui um ciclo de vida próprio, como mostra a Figura 7. 
Figura 7: Ciclo de vida do projeto de avaliação 
 
Cada uma das etapas apresentadas na Figura 7 devem produzir resultados práticos e objetivos 
que impulsionam e subsidiam as etapas subsequentes. Para garantir tais resultados, alguns 
procedimentos são recomendados: 
 
5.1. DESENHO DA AVALIAÇÃO 
 
a) Levantamento de Informações 
A atividade de levantamento de informações é etapa preliminar fundamental para todo o 
processo avaliativo. Ela tem três objetivos básicos: (i) conhecer o programa/política e seu 
contexto; (2) conhecer a equipe gerencial do programa/política; (3) coletar informações para o 
desenho da avaliação. É nessa etapa que em geral o avaliador entra em contato pela primeira 
vez com a equipe gestora do programa. É o início de uma relação de trabalho que, para ser 
bem sucedida, deve gerar confiança entre as partes e espírito colaborativo. Esta etapa 
orientará os desdobramentos das atividades da equipe de avaliação e as informações obtidas 
servirão como base para a elaboração do Termo de Referência – TOR para contratação dos 
serviços de avaliação2. Um diálogo preliminar dessa etapa pode seguir perguntas prévias 
(preparatórias) que devem ser feitas ao decisor estratégico e à equipe gerencial do programa 
para se conhecer o contexto, os interesses, as finalidades e os meios disponíveis para que uma 
avaliação possa ter lugar. 
 
2 Mesmo no caso em que a avaliação é interna (conduzidapor equipes de avaliação do próprio órgão) o TOR ou 
documento equivalente servirá como base de definição do projeto de avaliação. 
20 
 
1. Qual a situação problema e a intervenção? (O que?) 
2. Qual a finalidade da avaliação? (Para que?) 
3. Quem são os interessados? (Para quem?) 
4. Qual o contexto da intervenção? (Em que ambiente?) 
5. Qual a fase da intervenção? (Em que momento?) 
6. Quais os recursos disponíveis? (Com que meios?) 
 
Quanto mais consistente e abrangente em escopo forem as informações obtidas, maior será a 
chance de se desenvolver um bom projeto de avaliação. Para o levantamento de informações 
é necessário o envolvimento dos principais interessados na avaliação, priorizando sempre a 
coleta feita através de um processo participativo entre executores, avaliadores e interessados. 
As principais fontes de coleta para o Levantamento de Informações incluem: 
 Aspectos legais e normas – legislação existente sobre o programa ou projeto; 
 Documentos do programa ou projeto; 
 Literatura sobre o programa ou projeto 
 Avaliações anteriores; 
 Entrevistas com gestores e implementadores; 
 Banco de dados já existentes do programa; 
O levantamento de informações não se esgota nessa fase, pois o fluxo de informação sobre um 
programa/política é contínuo durante a sua existência. O contato permanente com a equipe 
gerencial do programa permite que fatos novos, como alterações no programa, venham ao 
conhecimento dos avaliadores, mantendo-se assim um alinhamento das informações entre 
gestores e avaliadores. 
b) Planejamento da Avaliação 
Uma vez que as informações sobre o programa/política são consideradas suficientes, inicia-se 
a fase de desenho da avaliação (planejamento3). Essa etapa pode gerar um documento 
específico (projeto básico, documento de referência para avaliação (DRA) etc.), de caráter 
interno, que sirva para que os gestores do programa deem o seu de acordo sobre a avaliação 
proposta. Este projeto básico tem o propósito de “vender” a avaliação como projeto para os 
interessados e os patrocinadores e obter o seu “de acordo”. Aspectos que não 
necessariamente serão incorporados ao Termo de Referência (mas que são relevantes para o 
desenho da avaliação) são registrados neste documento interno. Firma-se o acordo sobre o 
que será avaliado, com que finalidade, com base em quais perguntas, a partir de quais 
métodos e com que recursos. Este registro serve, ainda, como memória institucional e 
 
3 A rigor o planejamento da avaliação se dá no contínuo da ação avaliativa, portanto já está presente desde a etapa 
de levantamento de informações, mas por razões didáticas o tratamos aqui como uma etapa específica. 
21 
 
elemento informativo para novos gestores e membros das equipes técnicas de avaliação que 
venham a fazer parte da unidade de avaliação. 
O modelo de documento de referência para avaliação composto por cinco elementos é 
sugerido a seguir: 
 I – A Descrição do Programa ou Projeto 
 II – O Marco Lógico do programa 
III – As Perguntas Avaliativas 
IV – A Matriz de Avaliação 
V – O Cronograma de Execução 
 
 Na sequência são discutidos os objetivo e conteúdos esperados para cada um desses 
elementos: 
I – A Descrição do Programa ou Projeto 
 
Para realizar uma avaliação é necessário conhecer o programa ou projeto a ser avaliado. O 
primeiro passo é identificar e descrever o programa com base nos seguintes itens: 
 
 Problema – tema ou uma situação que motivou o programa/política. 
 Explicação – identificação das causas que contribuem para geração do 
problema, como também as consequências que o problema produz. 
 Justificativa – O que justifica a intervenção. 
 Objetivos – situação que se deseja obter ao final do programa ou projeto, 
mediante a aplicação dos recursos e da realização das ações previstas. 
 Metas – é o objetivo temporal, espacial e quantitativamente dimensionado. 
 Público alvo – determina o conjunto de beneficiários a que se destina o 
programa ou projeto. 
 Área de atuação (abrangência) – localização geográfica a onde o programa ou 
projeto irá atuar. 
 Fatores de contexto que condicionam a implementação do programa. 
 Estratégia de implementação – opções adotadas para efetivação do programa 
ou projeto. 
 Prazo de execução – período para executar um programa ou projeto. 
 Recurso previsto – valores alocados para a execução do programa ou projeto. 
 
Esses elementos devem ser somados a outros que se façam necessários e suficientes para que 
a equipe avaliadora tenha uma boa compreensão do programa. 
II – O Marco Lógico do programa 
 
Um recurso adicional útil para o planejamento e gestão de programas ou projetos que facilita 
o processo de avaliação é compreendê-los a partir do marco lógico. O marco lógico é uma 
ferramenta para facilitar o processo de concepção, desenho, execução e avaliação de 
programas e projetos. O principal objetivo é oferecer uma estrutura lógica comum e 
possibilitar uma síntese das informações sobre o programa ou projeto. Ele fornece uma síntese 
22 
 
da estrutura do programa e seus componentes principais, com indicação do objetivo geral; 
propósito (objetivo específico do projeto); componentes (produtos esperados); atividades; 
recurso e insumos; indicadores e metas; fontes de verificação e; pressupostos. A matriz do 
Marco Lógico com seus elementos básicos se assemelha ao modelo seguinte: 
Tabela 3: Matriz do Marco Lógico do Programa 
Descrição Indicadores Meios de verificação Pressupostos 
Objetivo Geral 
Os impactos/finalidades do 
programa mostram como 
a intervenção contribuirá 
para a solução de um 
problema. 
Medem o impacto final 
do programa. Devem 
especificar quantidade, 
qualidade e prazos. 
São as fontes de informação 
que podem ser utilizadas 
para verificar se os 
objetivos foram alcançados. 
Podem incluir publicações, 
pesquisas, levantamentos 
etc. 
 
Propósitos (objetivos 
específicos) 
Resultados diretos a serem 
alcançados com a 
implementação dos 
componentes do 
programa. São hipóteses 
sobre os benefícios diretos 
que se espera obter a 
partir dos componentes do 
programa. 
Descrevem os 
resultados alcançados 
pelo programa. Devem 
incluir metas que 
reflitam a situação ao 
final do projeto. 
São as fontes de informação 
que podem ser utilizadas 
para verificar se os 
objetivos estão sendo 
alcançados. Pode indicar a 
existência de problemas 
e/ou a necessidade de 
ajustes ou mudanças nos 
componentes do programa. 
Indicam 
acontecimentos, 
condições ou 
decisões que 
devem ocorrer 
para que o 
programa 
contribua 
significativamente 
para os impactos 
desejados. 
Componentes 
São os serviços e/ou 
produtos desenvolvidos no 
âmbito do programa. Ex.: 
curso de capacitação, 
produção de apostila, 
campanha de vacinação. 
São descrições breves e 
claras sobre 
quantidade, qualidade 
dos componentes do 
programa e seus prazos 
de execução. 
Onde encontrar 
informações sobre os 
componentes produzidos. 
Condições que 
devem ocorrer 
para que os 
componentes do 
programa levem 
aos resultados 
desejados. 
Atividades 
São as tarefas que devem ser executadas para 
completar cada um dos componentes do programa. 
Elas implicam em custos e devem ser organizadas 
cronologicamente para cada componente. 
 
 
Um exemplo de marco lógico de programa é apresentado na Tabela 4 abaixo: 
 
23 
 
 
 
Tabela 4: Exemplo de Marco Lógico de um programa 
Descrição Indicadores Meios de 
verificação 
Pressupostos 
e riscos 
Objetivo Geral: 
 
Aumentar as oportunidades de 
inserção futura no mercado de 
trabalho dos jovens oriundos de 
família de baixa renda. 
 
 
Propósito: 
 
Aumentar o nível de 
aprendizagem das crianças 
oriundas de famílias pobres. 
 
 
 
Crescimento de 10% no 
número de alunos do 9º ano 
com proficiência satisfatória em 
leitura e escrita na ProvaBrasil. 
 
Crescimento de 20% no 
número de alunos que 
ingressam anualmente no 
ensino médio até o censo 
escolar de 2016. 
 
 
Prova Brasil 
 
Censo Escolar 
 
 
 
A economia do 
país cresce e 
oferta 
oportunidades 
de trabalho. 
Componentes 
1. Aumento da participação da 
comunidade local na gestão da 
escola; 
 
2. Fortalecimento da gestão 
escolar nas áreas de 
atendimento do projeto; 
 
3. Capacitação de professores 
em metodologias alternativas de 
ensino-aprendizagem; 
 
4. Escolas equipadas com 
materiais pedagógicos e 
recursos didáticos inovadores; 
 
5. Secretarias de educação 
fortalecidas na sua capacidade 
de apoiar as escolas na 
organização da ação 
pedagógica. 
 
Há um aumento de 50% no 
número de pais de alunos que 
participam das reuniões da 
APM. 
 
Ao final do projeto, 85% dos 
professores estarão 
capacitados em metodologias 
alternativas. 
 
Ao final do projeto, todas as 
escolas dos municípios 
envolvidos no projeto estarão 
equipadas. 
 
Pelo menos 70% dos técnicos 
que trabalham nas Secretarias 
terão participado de processos 
de capacitação. 
 
Relatórios de 
Execução do 
Projeto 
 
Relatórios de 
Auditoria 
 
Pesquisas e 
levantamentos de 
campo. 
 
A demanda por 
educação é 
alta nas 
camadas mais 
pobres da 
população. 
Atividades: 
1.a) Conscientizar a comunidade local para a importância da 
gestão escolar nos resultados de rendimento dos alunos; 
1.b) Mobilizar a comunidade local para participar nos conselhos 
escolares; 
1.c) Capacitar conselhos escolares para atuarem na gestão da 
escola. 
 
 
 
 
24 
 
 
 
III – As Perguntas Avaliativas 
 
As perguntas ou questões avaliativas são a “alma” da avaliação. Não existe boa avaliação sem 
uma boa pergunta, contudo uma boa pergunta não garante uma boa avaliação. As perguntas 
avaliativas são a base para as definições metodológicas que orientarão todo o projeto de 
avaliação. O tipo de avaliação que será conduzido, o desenho adotado, os métodos de análise, 
os indicadores que serão utilizados e mesmo as fontes de informação necessárias para 
produzir as avaliações, todas essas dimensões de um projeto de avaliação são definidas a 
partir das perguntas que se quer responder. Na seção sobre os tipos de avaliação vimos como 
as modalidades de avaliação e as técnicas de análise variam em função da natureza da 
pergunta avaliativa. Por ora é importante registrar que não há avaliação sem pergunta 
avaliativa, assim como não a pesquisa sem questão de pesquisa. Portanto ter claro de partida 
quais as questões avaliativas é fundamental para que a avaliação tenha lugar. 
 
IV – A Matriz de Avaliação 
 
A matriz de avaliação é um instrumento que auxilia a equipe responsável pela gestão de um 
projeto de avaliação a ter, de forma sintética, uma rápida perspectiva dos vários elementos 
que constituem e fundamentam o trabalho que está sendo desenvolvido. Tendo como ponto 
de partida os potenciais usuários e os possíveis usos que esses atores farão do resultado 
gerado pela avaliação, a matriz permite descreve de forma sintética as questões avaliativas 
mais pertinentes para satisfazer as expectativas de uso desses atores interessados. Assim 
como o modelo lógico fornece uma visão sintética do programa, a matriz de avaliação fornece 
uma visão sintética do projeto de avaliação (Tabela 5). 
Tabela 5: Modelo de Matriz de Avaliação 
Usuários da 
Avaliação. 
Usos Previstos 
para a Avaliação 
Perguntas 
Avaliativas 
Tipo da Avaliação Desenho da 
Avaliação 
Indicadores Fonte da 
Informação 
A primeira tarefa a 
ser realizada 
consiste em 
identificar o(s) 
usuário(s) das 
avaliações que 
serão realizadas e 
os seus 
interesses. A partir 
daí que se pode 
começar a 
estruturar uma 
avaliação. 
Cada usuário pode 
ter um ou mais 
usos para a 
avaliação, em 
função de seus 
interesses. Podem 
ser: avaliar 
resultados; julgar 
propostas; 
selecionar entre 
alternativas; 
melhorar 
processos ou 
outros usos que 
contribuam para 
uma melhor 
gestão do projeto. 
São perguntas que 
vão orientar a 
estruturação da 
avaliação. Uma 
vez identificado o 
principal usuário 
da avaliação, as 
questões 
avaliativas devem 
ser construídas 
tendo como 
referência o tipo 
de respostas 
necessárias para 
que o usuário da 
avaliação possa 
utilizá-la em seu 
proveito. 
Cada questão 
avaliativa pode 
ensejar diferentes 
aspectos a avaliar 
e diferentes tipos 
de avaliação a 
considerar. A 
avaliabilidade, a 
pertinência, os 
impactos, a 
eficiência ou a 
eficácia, o 
progresso. A 
definição do tipo 
de avaliação deve 
considerar os 
contextos em que 
os projetos se 
inserem e os 
interesses dos 
atores envolvidos. 
Diz respeito à 
definição das 
diretrizes para a 
realização da 
avaliação, com 
requisitos sobre 
universo a ser 
considerado; 
parâmetros e 
indicadores a 
adotar; aspectos a 
serem tratados 
etc. Devem ser 
pertinentes com as 
questões a serem 
respondidas e com 
o tipo de avaliação 
proposto. 
São os 
referenciais que 
permitem medir o 
alcance de 
resultados e 
demais aspectos 
considerados para 
a avaliação do 
projeto, devendo 
auxiliar o avaliador 
a responder as 
questões 
avaliativas 
propostas. 
 
Origem das 
informações 
necessárias os 
indicadores e/ou 
para subsidiar as 
análises que serão 
realizadas no 
processo 
avaliativo. Indicam 
as entidades e 
organizações que 
produzem dados e 
informações ou as 
pessoas e 
organizações que 
devem ser objeto 
de levantamentos 
e coletas de 
dados. 
25 
 
 
 
 
V – O Cronograma de Execução 
 
Elaboração de um cronograma é ponto crucial em gerenciamento de projetos. Cada projeto de 
avaliação deverá ter um cronograma da execução de suas atividades, descrevendo-as e 
especificando o tempo previsto para executá-las e em que período (dia, mês e ano) será 
executado. 
 
Tabela 6: Modelo de cronograma 
Etapa da 
Avaliação 
Atividades / Produtos 
Ano 1 Ano 2 Ano 3 
I II III IV I II III IV I II III IV 
 
 
 
 
 
 
c) O Termo de Referência 
Uma vez que o projeto básico de avaliação esteja definido e acordado entre as partes 
interessadas, a decisão de realizar a avaliação pode implicar a necessidade de contratação 
externa de pessoa física ou jurídica. Neste caso, o projeto deve ser traduzido em um Termo de 
Referência (TOR) que definirá o objeto a ser contratado. O TOR visa apresentar as diretrizes 
conceituais e operacionais para o estudo avaliativo, além de ser imprescindível para o controle 
contratual das atividades de avaliação a serem executadas por avaliadores externos. O TOR 
deverá ser o instrumento básico e padrão para definição dos produtos da avaliação proposta e 
de controle sobre a qualidade dos produtos apresentados. A participação na elaboração do 
TOR dos interessados na avaliação é condição para uma visão compartilhada do que se 
pretende executar, tornando-se o ponto de partida para o diálogo e a negociação com os 
contratados. Na elaboração do TOR particular atenção deve ser dada aos seguintes aspectos: 
1) Quais são as questões mais importantes que a avaliação proposta no TOR pretende 
responder; 
26 
 
2) Onde se situa a avaliação proposta no escopo do Plano de Avaliação do programa (é 
relevante caso a avaliação contratada seja apenas um componente de um plano de avaliação 
mais abrangente); 
3) Qual o contexto, limites e condições em que será realizada a avaliação proposta; 
4) Quem são os demandantes dessa avaliação; 
5) Quais são os prazos para a execução do projeto; 
6) Quais os critérios para a seleção das agências e/ou agentes avaliadores; 
7) Quais os formatos e padrões para apresentação dos resultados da avaliação. 
Os modelos de TOR variam e não há um formato único. Contudo, um conjunto básico de 
conteúdos para o TOR relativo a um projeto de avaliação é apresentado a seguir (um exemplar 
de TOR está disponível na pasta de trabalho desta unidade): 
Quadro 1: Modelo de Termo de Referência 
A. Resumodescritivo do projeto de avaliação 
 
Descrever brevemente o projeto de avaliação e situá-lo no contexto do programa/política. 
Algumas das perguntas preliminares levantadas no item 1 deste módulo (“Levantamento de 
Informações”) compõem um bom roteiro para o conteúdo da descrição. É importante 
destacar as principais perguntas avaliativas que se quer responder. Deve ficar clara e de 
forma sintética a motivação para o trabalho que será realizado. 
 
B. Objeto da Contratação 
 
Deve-se especificar aqui qual é o objeto do TOR, mencionando de forma precisa e sintética os 
serviços a serem realizados. As questões avaliativas também deverão estar descritas neste 
item em maior detalhe. 
 
C. Justificativa 
 
Esclarecer porque o tema foi escolhido, ressaltar sua importância, os trabalhos realizados na 
área e as contribuições que poderão advir da realização da avaliação. Considerar as razões 
que justificam o TOR apresentado face às demandas de avaliação do programa. Em que 
medida e de que modo a avaliação proposta responde àquelas demandas. Descrevem-se aqui 
os benefícios que a instituição/organização espera conseguir utilizando os produtos gerados 
pela avaliação. 
 
D. Interessados/Usuários 
 
Apontar os principais usuários interessados no desenvolvimento da avaliação proposta. A 
quem os resultados a serem obtidos interessarão e por quais razões. 
 
 
E. Escopo e limites do projeto (Atividades) 
 
Este é o ponto chave de um termo de Referência. Aqui se descreve as atividades a serem 
desenvolvidas para o alcance dos objetivos propostos pelo projeto, e os produtos resultantes 
27 
 
de cada uma das atividades. Deverão ser mencionadas: reuniões a serem realizadas, viagens, 
pesquisas, e outras atividades necessárias ao atendimento do objeto da contratação. 
 
F. Resultados e Produtos Esperados 
 
Os produtos previstos devem ser descritos e/ou quantificados conforme a sua natureza. 
Deve-se deixar bem especificado, de forma bastante precisa, a quantidade, qualidade e 
características de apresentação de todos os produtos e resultados esperados pelo trabalho de 
consultoria durante e ao final do trabalho de avaliação. 
 
 
g. Cronograma 
 
Apresentar previsão de datas limite de conclusão e tempo de duração para todas as 
atividades planejadas para execução da avaliação. Define-se aqui o período de tempo para 
realização das tarefas e apresentação dos resultados e produtos da contratada. Os produtos a 
serem entregues devem ter descrição e prazos destacados no TOR: 
 
Produto Descrição Responsável Data de Entrega 
1 X dias após a 
assinatura do 
contrato 
2 
3 
... 
 
 
G. Orçamento 
 
Apresentar uma estimativa de custos para cada atividade e para o conjunto do Termo de 
Referência – TOR proposto. Indica-se o custo estimado por insumo (serviços da consultoria, 
passagens, diárias, materiais, equipamentos e etc...). Esta estimativa serve de referência para 
a contratação, não é publicada com o TOR. 
 
H. Qualificação 
 
Especificar as qualificações requeridas para as agências e agentes proponentes, indicando o 
perfil da empresa/consultor, a formação técnica ou acadêmica das equipes, a experiência 
anterior, número de pessoas necessárias, funções a serem exercidas na execução da proposta 
etc. 
 
I. Condições Gerais 
 
Aqui serão descritas as normas a serem observadas e as exigências e/ou fatores importantes a 
serem considerados para a apresentação de propostas por parte dos proponentes. 
 
J. Responsáveis 
 
Identificar o responsável técnico pela elaboração do TOR, o responsável pela coordenação e 
supervisão da avaliação durante sua execução, a autoridade solicitante e a autoridade 
contratante. 
28 
 
d) Contratação 
 
Parâmetros gerais para contratação de avaliadores externos 
O perfil dos avaliadores em termos de qualificação técnica deve estar definido no TOR e 
adequado, portanto, à especificidade de cada projeto de avaliação proposto. É recomendado, 
todavia, que sejam observados os seguintes parâmetros gerais para a seleção dos consultores 
ou empresas executoras da avaliação: 
1) Experiência e conhecimento técnico sobre metodologias requeridas para 
desenvolvimento do projeto de avaliação, assim como experiência prática na sua utilização; 
2) Experiência e conhecimento na área específica sobre a qual a avaliação é proposta 
(pobreza e renda, participação social, educação etc); 
3) Experiência na execução de projetos com o setor público; 
4) Reconhecimento de especialização na área e credibilidade institucional pelos principais 
interessados na avaliação; 
5) Imparcialidade, isto é, ausência de conflito de interesses com as partes envolvidas na 
avaliação do programa (beneficiários, gestores, financiadores etc); 
6) Capacidade de comunicação dos resultados de modo a torná-los acessíveis ao conjunto 
dos interessados na avaliação; 
7) Flexibilidade para ajustes no percurso da avaliação, sem perda do rigor requerido para 
a confiabilidade dos resultados e execução dentro dos prazos. 
8) No caso de equipes observar: a multiplicidade de perfis necessária à execução do 
projeto, a necessidade de liderança e coordenação da equipe, a experiência prévia da equipe 
em trabalho conjunto, a dispersão geográfica dos membros da equipe e as possíveis 
dificuldades gerenciais e de comunicação advindas dessa dispersão. 
 
O Projeto Executivo (Proposta Técnica e Financeira) 
O detalhamento da execução do projeto de avaliação deve estar na forma de um Plano de 
Trabalho ou Projeto Executivo apresentado pelas empresas licitantes. Este é constituído de 
duas partes: uma proposta técnica e uma proposta financeira que entram na disputa. O 
conteúdo do Projeto Executivo deve estar previsto no Termo de Referência (TOR). Uma vez 
selecionado o vencedor do certame, o Projeto Executivo deverá orientar a execução da 
avaliação e ser objeto de monitoramento pela coordenação do projeto. Ajustes no Projeto 
Executivo deverão ser feitos seguindo procedimentos acordados por ocasião da sua aprovação 
e estar de acordo com os termos do contrato. 
29 
 
Não existe formato único para o Projeto Executivo. Abaixo é apresentada uma estrutura para o 
seu conteúdo. 
 
Quadro 2: Modelo de Projeto Executivo 
1. Resumo do Projeto 
Apresentação da proposta de trabalho, mencionando os objetivos da avaliação, seu foco e 
alcance, assim como um resumo dos produtos e/ou serviços que serão entregues. 
2. Matriz de Avaliação: 
Apresentar as principais perguntas que o projeto de avaliação pretende responder, os 
pressupostos da investigação, os métodos que serão empregados e as fontes de dados que 
serão utilizadas. 
3. Metodologia 
Descrever a linha metodológica a ser adotada para o desenvolvimento da avaliação, sua 
justificativa, fundamentação e adequação para o tipo de avaliação a ser executado. Indicar os 
instrumentos de tratamento de dados, os métodos para análise de dados quantitativos e 
qualitativos e estratégias de desenvolvimento da avaliação. 
4. Equipe 
Indicar os membros da equipe, suas titulações, funções na pesquisa e responsabilidades. 
Neste item apresentar as qualificações técnicas e nível de experiência da equipe envolvida no 
projeto, sua adequação ao objeto de avaliação proposto e a metodologia a ser utilizada. 
5. Atividades e Produtos: 
Descrever de forma mais detalhada possível as atividades a serem desenvolvidas para o 
alcance dos objetivos propostos pelo projeto, e os produtos resultantes de cada uma das 
atividades. Para as atividades indicar: o responsável pelo resultado, a duração prevista, a data 
de início e término, as pessoas da equipe envolvidas na atividade. Para os produtos previstos: 
descrever e/ou quantificar conforme a sua natureza, definir indicadores de resultado e 
parâmetros de qualidade. 
6. Informes da Pesquisa 
Descrever os meios e periodicidade dos informes da pesquisa. Resultados e relatórios parciais 
devem seguir os padrões e exigências definidos no Termo de Referência. 
7. Prazos / Cronograma: 
Apresentar previsãode datas limite de conclusão e tempo de duração para todas as 
atividades planejadas para execução da avaliação em cronograma onde as datas de entrega 
dos produtos e/ou serviços estejam claramente demarcadas. 
8. Orçamento (Proposta Financeira) 
Detalhar os honorários, despesas com viagens, materiais, equipamentos e demais itens de 
despesa; a forma de pagamento proposta e o custo total da proposta de acordo com o 
contrato. 
9. Identificação do Responsável: 
Identificar o responsável técnico pela proposta do Plano de Trabalho e o responsável 
proponente. O responsável proponente deve estar designado ou nomeado em documento 
oficial da agência. O Plano de Trabalho deve ser assinado e datado pelo responsável 
proponente e indicar prazo de validade da proposta. 
 
 
 
30 
 
5.2. GESTÂO DA AVALIAÇÃO 
Uma vez contratado o estudo avaliativo, em conformidade com as diretrizes previstas nos 
termos de referência, o coordenador da avaliação assume a função de gestor do contrato. A 
gestão do contrato envolve o acompanhamento e registro de sua execução, a interlocução 
com os executores da avaliação, o recebimento e a validação dos produtos da avaliação para 
efeito de aceite e pagamento. O monitoramento do projeto de avaliação durante a execução é 
de fundamental importância para que eventuais dificuldades sejam detectadas e contornadas 
em comum acordo com os executores a tempo de se evitar desvios que causem prejuízo a 
ambas as partes. Relatórios de avanço podem ser utilizados a depender do escopo do projeto 
de avaliação, para manter informado o gestor estratégico e/ou patrocinador da avaliação. Ao 
longo do ciclo de vida do projeto de avaliação, em cada etapa-chave de sua execução, 
relatórios gerenciais podem ser gerados: 
a) Relatório de Avanço – Informações: produzido ao final da etapa de levantamento de 
informações; 
b) Relatório de Avanço – Questões Avaliativas: produzido ao final da atividade de 
planejamento da avaliação; 
c) Relatório de Avanço – Contratação I: produzido durante o processo de contratação do 
estudo avaliativo; 
d) Relatório de Avanço – Contratação II: produzido uma vez que a consultoria para a 
realização do estudo avaliativo já esteja selecionada; 
e) Relatórios de Avanço – Execução: pelo menos 3 relatórios deverão ser produzidos, o 
primeiro quando da aprovação do projeto executivo, informando os produtos e prazos 
pactuados; o segundo quando do início das atividades de levantamento de campo, sempre que 
for o caso; e o terceiro no recebimento dos relatórios de campo. 
f) Relatório de Avanço – Disseminação dos Resultados: produzido quando da entrega, 
pela consultoria contratada, dos resultados do estudo avaliativo. 
Esses relatórios devem ser sucintos (3-5 páginas no máximo) e servem para o registro da 
execução e o acompanhamento dos dirigentes. O conteúdo sintético pode incluir o descrito 
no Quadro 3. 
Quadro 3: Modelo de Relatório de Acompanhamento 
a) O Projeto 
 
Descrição sintética do projeto, em não mais que dois parágrafos, informando o nome 
do projeto que está sendo avaliado; o objetivo da avaliação; o interessado na 
avaliação (para quem está sendo feita a avaliação); e, a data esperada de conclusão 
do projeto. 
 
b) Equipe Responsável pela Gestão do Projeto 
 
Todos os projetos de avaliação envolvem uma equipe multidisciplinar subordinada a 
uma coordenação técnica. Neste item deve ser informado ao gestor quem faz parte 
31 
 
da equipe. 
 
c) Etapa do Projeto (relacionada com o tipo de relatório de avanço que se está 
produzindo) 
 
Levantamento de informações, definição das questões avaliativas, contratação da 
consultoria responsável pela execução dos estudos avaliativos, realização dos estudos 
e produção dos relatórios com os resultados são as etapas do projeto que estarão 
sendo objeto do monitoramento. 
 
Cada relatório de avanço proposto no item anterior está relacionado com uma dessas 
etapas ou com um procedimento relevante de uma etapa. A ideia é dar ao gestor uma 
clara noção sobre qual o momento em que o projeto de avaliação se encontra quando 
da produção do relatório de avanço. 
 
d) Pessoa(s) Responsável(is) pela Etapa 
 
Não necessariamente toda a equipe contratada do projeto está diretamente 
envolvida na execução da etapa que está sendo objeto do relatório. Quando for o 
caso, explicitar que parte da equipe está mais diretamente envolvida no trabalho 
naquele momento. 
 
e) Data Esperada para Conclusão 
 
Aqui o relator deve informar qual a estimativa de conclusão da etapa que está sendo 
monitorada e confrontar essa expectativa com o que havia sido originalmente 
planejado. O gestor deve ter uma clara visão de como está avançando o calendário de 
atividades em relação ao que havia originalmente sido programado. 
 
f) Situação Atual 
 
Em não mais que 3 parágrafos o relator deve informar qual a situação do projeto, em 
termos de seus avanços e dificuldades de execução ao longo do período em questão. 
Deve apontar os problemas que eventualmente venham sendo enfrentados na etapa 
e/ou os encaminhamentos que a equipe de trabalho vem dando para solucionar 
eventuais dificuldades ocorridas. Neste item também cabem análises sobre possíveis 
desdobramentos futuros do projeto e de seu andamento. 
 
g) Recomendações 
 
A parte final do relatório de avanço deve, preferencialmente, se escrita na forma de 
tópicos, por meio dos quais o relator indica para o gestor da unidade um conjunto de 
medidas adotadas e recomendações para que o projeto de avaliação prossiga na sua 
implementação de forma satisfatória. É importante ressaltar que não se trata de 
produzir grandes digressões e análises, mas, de forma pontual e objetiva, apresentar 
as medidas que estão sendo tomadas e oferecer sugestões de encaminhamento que 
estão sob a responsabilidade de superiores. 
 
 
 
32 
 
5.3. DISSEMINAÇÃO DE RESULTADOS 
Sem a disseminação dos resultados da avaliação não se conclui o ciclo de gestão do projeto 
avaliativo. Fazer chegar aos interessados os resultados da avaliação não é uma tarefa trivial. 
Alguns fatores devem ser considerados. Por exemplo, os interessados são potencialmente 
diversos, o que requer que os meios e linguagem de disseminação devem ser adequados às 
características dos usuários do conhecimento gerado pela avaliação. 
Gestores de Nível Estratégico 
Gestores de nível estratégico, por exemplo, tem agendas difíceis e necessitam acessar as 
informações de forma concisa, objetiva e clara. O Sumário Executivo é um instrumento de 
divulgação que deve atender esses requisitos, fornecendo ao gestor um resumo curto e 
qualificado dos resultados da avaliação. Tal síntese dos achados é tarefa complexa e requer 
cuidado, pois é necessariamente seletiva e pode facilmente gerar um viés na visão do gestor. 
Os sumários executivos em geral apresentam estrutura similar à descrita no Quadro 4: 
Quadro 4: Estrutura do Sumário Executivo 
I – Propósito da Avaliação 
 
Deve conter um breve contexto do projeto avaliado, o motivo, a finalidade e o objetivo da 
avaliação, como também a quem interessa a avaliação. 
 
II – Questões Avaliativas 
 
Descreve as perguntas que nortearam a avaliação, mostrando o que foi investigado e sobre 
qual realidade. 
 
III – Principais Achados 
 
Mostra quais os resultados encontrados, o que foi evidenciado e que respostas podem ser 
oferecidas às perguntas avaliativas sobre o programa/política. Estes achados representam os 
elementos que permitem a elaboração das conclusões e recomendações no processo de 
avaliação. 
 
IV – Conclusões 
 
São as consolidações dos achados expressas de forma objetiva, permitindo ao gestor tomar 
ciência de forma rápida do que foi encontrado, do que se aprendeu sobre o programa a partir 
da avaliação. A conclusão agrega uma dimensão reflexiva e veicula a mensagem central da 
avaliação. 
 
V – Recomendações 
 
As recomendações buscam transformar os resultados encontrados em subsídio para a 
tomada de decisão visando: a continuidade