1 Introdução à Avaliação em Saúde

Prévia do material em texto

11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 1/22
Sessão 1 Sessão 2 Sessão 3 Sessão 4 Sessão 5
Referências
Caro Aluno, a primeira unidade de aprendizagem foi
produzida com o propósito de apresentar concepções básicas
de monitoramento e avaliação (M&A). Além disso, buscar-se-á
desenvolver e discutir as tipologias de avaliação e a
importância das chamadas perguntas avaliativas para orientar
e dar sentido aos processos avaliativos.
Esperamos estimulá-los a refletirem sobre as práticas de
monitoramento e avaliação e, também, que possam entendê-
las como potentes dispositivos para a realização de
mudanças positivas no Sistema Único de Saúde (SUS), em
particular na Atenção Primária em Saúde, ampliando o debate
a respeito do acesso e da qualidade dos serviços.
 
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 2/22
 
Fazemos a você um convite para ler e pensar na situação
relatada por uma enfermeira que trabalha em uma Unidade
de Saúde da Família (USF) de um município brasileiro.
 
Amanda é uma dedicada enfermeira que compõe uma das
equipes da unidade de saúde da família na qual trabalha
há cinco anos. Em recente reunião realizada pela
coordenação das Linhas de Cuidado do município, na qual
foram apresentados resultados do último ano de gestão,
Amanda ficou desapontada com a apresentação, que,
segundo ela, não refletia a realidade do serviço que ela
conhecia tão bem. A reunião ganhava certa tensão à
medida que os resultados eram apresentados pela
coordenadora. Amanda, então, pediu a palavra e fez
algumas perguntas na tentativa de melhor compreender o
quadro que se formava para ela:
(1) como vocês podem apresentar resultados tão ruins a
respeito do que estamos fazendo, se temos trabalhado
tanto no atendimento aos usuários da unidade para
atingir as nossas metas?
(2) De onde vocês extraíram essas informações?
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 3/22
(3) Por que vocês escolheram esses indicadores e não
outros?
(4) Por que nós não fomos ouvidos sobre os dados?
(5) Por que tudo que foi realizado fica tão reduzido aos
números?
(6) Que providências devemos tomar, se o atendimento é
tão bem reconhecido pelos usuários desse território?
Num clima que beirava o alvoroço, a coordenadora das
Linhas de Cuidado percebeu que o que estava em xeque
era o sentido e a lógica daquela avaliação. Tudo indicava
que era preciso rever conceitos e práticas avaliativas.
Enquanto tentava justificar os dados, lembrando que eles
haviam sido compilados a partir dos registros de
atendimento realizados pelas unidades de saúde da
família, a coordenadora insistia na importância que as
práticas de monitoramento e avaliação teriam para a
secretaria de saúde a partir daquele ano, sustentando que
havia espaço para ajustes, mas que era preciso avançar
na prática de avaliação dos serviços.
Intrigada com a situação, Amanda foi reler seus materiais
de formação do primeiro ciclo do programa de Melhoria do
Acesso e Qualidade (PMAQ) da Atenção Básica em Saúde a
fim de se preparar melhor para dialogar com o anúncio da
coordenadora. Afinal de contas, o que ela deveria
aprender a respeito de monitoramento e avaliação?
 
Mas, afinal, o que é Monitoramento?
No Brasil, o termo monitoramento é o mais comumente
utilizado para designar o acompanhamento sistemático de
objetivos e metas que foram definidos para um projeto,
programa ou serviço. Também conhecido como monitoria,
monitoração ou monitorização, a depender das opções
regionais e influências teórico-práticas, monitoramento é
habitualmente definido como "o processo de
acompanhamento da implementação de determinadas ações,
tomando-se como base o que um projeto (ou equivalente)
estabelece como metas de sua implementação
(planejamento)" (BRASIL, 2009, p. 11).
Nesse sentido, a prática do monitoramento requer
acompanhar e conhecer em que medida os objetivos e metas
de uma determinada intervenção estão sendo alcançados, por
isso monitora-se sempre aquilo que está planejado,
preestabelecido, pactuado ou esperado. O monitoramento,
portanto, "[...] detecta os desvios quando comparados ao
plano para, oportunamente, definir ações corretivas para se
manter em curso o objetivo da ação ou até mesmo decidir
sobre a revisão do planejamento do programa ou projeto"
(ANTERO, 2008, p. 806). Como importante ferramenta de
gestão, deve ser ágil para identificar obstáculos, retrocessos
e paralisações, a fim de oferecer a gestores e equipes
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 4/22
p ç g q p
informações tempestivas (rápidas), precisas (adequadas) e
confiáveis a respeito do curso das ações, o que amplia as
possibilidades de fazer correção de rumos.
Um processo de monitoramento deve, portanto, observar,
medir e definir as informações prioritárias para o
funcionamento de uma intervenção, seja um programa,
projeto, linha de cuidado ou serviço (BRASIL, 2013). Deve,
também, acompanhar informações relativas aos custos
envolvidos no desenvolvimento de uma intervenção. A Figura
1 ilustra, por exemplo, quantas famílias estão sendo
acompanhadas por um determinado serviço e quantas visitas
estão sendo realizadas. A informação, comparada com os
números esperados, permite saber em que medida as metas
estabelecidas estão sendo alcançadas, o que possibilita que
um serviço observe a cobertura de suas ações e modifique
seu processo de trabalho.
 
Figura 1 – Série histórica do percentual de famílias visitadas
em um território para um caso hipotético.
 
 
Como o termo intervenção está sendo citado com grande
frequência, é importante aprofundá-lo. Uma intervenção é um
conjunto de ações organizadas que visam modificar uma
certa realidade insatisfatória. Em outras palavras, nossos
processos de planejamento, via de regra, partem de
problemas que precisam ser enfrentados, realidades que
precisam ser transformadas, agravos que precisam ser
reduzidos, ou melhor, manejados, etc. Se observamos, por
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 5/22
exemplo, que certa região de um estado ou cidade é foco de
dengue, devemos perguntar: que intervenção fazer ali para
transformar uma situação de saúde tão inadequada e
indesejável?
No contexto deste curso introdutório, as intervenções de
saúde podem ser políticas, programas, projetos ou serviços
que visam enfrentar problemas de saúde pública. Dessa
forma, qualquer intervenção será desenvolvida a partir da
mobilização de recursos capazes de produzir efeitos que
levem à resolução dos problemas para os quais foi
concebida. Para ficar mais claro, observemos a Figura 2, que
ajuda a compreender a conexão entre os componentes que
conformam uma intervenção. É sempre importante lembrar
que nem sempre os desenhos e a realidade são assim tão
lineares.
 
Figura 2 – Os componentes de uma intervenção em saúde.
 
Fonte: Brasil, 2013
 
Tomemos como exemplo a Política Nacional da Atenção
Básica (PNAB), que estabelece as diretrizes para a Atenção
Básica em Saúde, orientada pelos princípios da
universalidade, acessibilidade, vínculo, continuidade do
cuidado, integralidade da atenção, responsabilização,
humanização, equidade e participação social. Apesar de
bastante complexa, é necessário que a rede da Atenção
Básica se organize de forma a enfrentar os problemas, como
hipertensão, hepatites virais, tuberculose, dengue,
hanseníase, e alcançar todos esses princípios com qualidade.
 
Saiba Mais (Clique)
 
Como você deve estar pensando, as ações de monitoramento
dependem muito de bons sistemas de informação (oficiais ou
não) para o acompanhamento de ações tão complexas como
as de saúde. Na Unidade 3 deste curso essa questão será
aprofundada, mas cabe ressaltar aqui que o bom
11/02/2021 Introdução à Avaliaçãoem Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 6/22
funcionamento dos serviços implica superar concepções
tradicionais sobre o caráter burocrático dos sistemas de
informação. Se tantas vezes nos deparamos com uma grande
quantidade de dados produzidos e encaminhados para
outros níveis organizacionais, sem que sejam usados para o
planejamento e avaliação das ações pelo nível local,
precisamos mirar os sistemas de informação como
instrumentos de análise e introdução de mudanças profundas
no interior das práticas assistenciais (MERHY, 2002).
É nesse sentido que compreendemos o monitoramento como
parte integrante da gestão da Atenção Básica. Afinal, práticas
de monitoramento devem contemplar os aspectos centrais da
execução do trabalho previsto para alcançar os objetivos da
intervenção. Segundo Contandriopoulos et al. (2000),
devemos monitorar diferentes componentes para sermos
capazes de acompanhar a concretização das mudanças
esperadas. No Quadro 1, adaptado do trabalho de
Donabedian (2005), estão os componentes importantes dos
processos de monitoramento; logo, dos processos de
planejamento.
 
Quadro 1 – Componentes dos processos de monitoramento
 
A estrutura
– são os recursos previamente disponíveis para a execução
das atividades de uma intervenção (projeto, programa ou
serviço). A estrutura física diz respeito ao volume e
estruturação dos diferentes recursos mobilizados (materiais,
financeiros, humanos, técnicos, informacionais...). A
estrutura organizacional compreende o conjunto de leis,
regulamentos, convenções, regras de gestão, que definem
como os recursos (financeiros, poder, influência e
compromissos) são repartidos e trocados. A estrutura
simbólica refere-se ao conjunto de valores, crenças e
representações que permitem aos diferentes atores
envolvidos nas ações de saúde comunicar-se entre si e dar
sentido às suas ações.
Os processos
– é o conjunto de atividades durante as quais e pelas quais
os recursos são mobilizados e empregados pelos atores para
produzir bens e serviços requeridos para atender as
finalidades do sistema organizado da ação.
Os produtos
– são as consequências imediatas das atividades da
intervenção;
Os resultados
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 7/22
– são os efeitos intermediários da intervenção, observados,
em geral, na população-alvo. Eles podem ser classificados em
de médio e de longo prazo;
Os impactos
- referem-se aos efeitos acumulados do conjunto das
intervenções na população geral, a longo prazo e associado a
efeitos finalísticos.
Fonte: Donabedian, 2005.
 
Para compreender melhor esses componentes, observe o
Quadro 2, que classifica os componentes segundo estrutura,
processo, produto, resultado ou impacto.
 
Quadro 2 – Classificação de componentes segundo estrutura,
processo, produto, resultado ou impacto. São Paulo, 2016
 
Exemplos de
componentes
Estrutura Processo Produto Resultado I
25 profissionais
capacitados para
atuar no controle
e prevenção do
câncer de colo de
útero
X
Aumento de 28%
da captação
precoce da
gestante nas
áreas de
abrangência da
unidade de saúde
X
Disponibilidade
de medicamentos
para
poliquimioterapia
no tratamento da
hanseníase
X
Visita domiciliar
aos usuários que
têm faltado à
consulta para
acompanhamento
da tuberculose
X
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 8/22
 
Vacina do H1N1
disponível para a
campanha a ser
realizada com
vistas a aumentar
a cobertura no
território de
atuação da
equipe de saúde
da família
X
Redução da taxa
de mortalidade
por dengue de 14
para 12 por
100.000 hab. no
município
Melhoria da
adesão da equipe
de saúde bucal
ao uso de
equipamento de
proteção
individual
X
Redução de 5%
da letalidade em
pacientes
diagnosticados
com dengue
grave
Vacina
tetravalente
disponível para
as unidades
básicas de saúde
X
Redução da
prevalência de
sífilis de 15 casos
por 100.000 hab.
no município de
Benguela
Capacitação dos
agentes
comunitários
para o
acompanhamento
dos bebês com
microcefalia de
mães que tiveram
zika
X
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 9/22
A implantação de um processo de monitoramento envolve a
articulação de uma proposta, de natureza técnico-política,
com a prática dos sujeitos que estão executando as ações de
saúde e com o cotidiano dos usuários que delas usufruem.
Compreende-se, portanto, que esse processo envolve o
acompanhamento de uma cadeia de efeitos, pois, quando
não há disponibilidade de recursos (estrutura), não é possível
mobilizar recursos para a realização das ações (processos), o
que, por sua vez, não levará a efeitos imediatos (produtos),
intermediários (resultados) ou finalísticos (impactos de longo
prazo).
Tomemos como exemplo o próprio caso da enfermeira
Amanda. Para as unidades de saúde da família, um dos
aspectos a ser monitorado é o objetivo de Assegurar
ampliação de acesso, cuidado integral e resolutivo, crucial
para a qualidade dos serviços. Nesse caso específico, tal
objetivo deveria ser monitorado pelos indicadores que
aparecem no Quadro 3, já com o desempenho esperado.
 
Quadro 3 – Indicadores para monitoramento de um serviço
de atenção básica
 
100% dos usuários com impossibilidade de
deslocamento contam com serviço de atendimento
farmacêutico domiciliar;
90% de casos acolhidos dentre os usuários que
procuram a unidade diariamente;
100% de casos agudos acolhidos;
75% de casos não agudos acolhidos, com consultas
agendadas para até 10 dias a partir da procura do Serviço;
75% de usuários com quadros agudos acolhidos e
atendidos em até 30 minutos a partir da chegada ao
Serviço.
 
Quando monitoramos algo, em geral respondemos a
perguntas como: (1) os dados encontrados revelam o alcance
de produtos e resultados planejados? (2) As informações que
acompanhamos indicam a possibilidade de mudanças para
superação da situação-problema? Para responder a perguntas
como essas, no caso da enfermeira Amanda, a coordenação
de Linhas de Cuidado viu a necessidade de utilizar
indicadores capazes de refletir o alcance ou não das metas,
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 10/22
que poderiam representar os processos instalados e/ou
produtos obtidos. Mais adiante, voltaremos a falar de
indicadores.
As ações de monitoramento também integram os requisitos
necessários para fazer uma avaliação, tema sobre o qual
falaremos em breve. Sem monitoramento, as avaliações
podem perder força, já que gestores e equipes pouco
conhecem o alcance do que foi planejado e pouco identificam
campos que merecem um olhar avaliativo. O monitoramento
deve ser um processo contínuo e regular, mas isso não é
suficiente para o sucesso da avaliação, que deve ser pontual
e utilizar informações adicionais, de outras fontes, na medida
em que visa ao julgamento de valor ou de mérito da
intervenção e ao aprofundamento da explicação sobre o não
alcance dos resultados esperados, ou mesmo a não mudança
da situação-problema que a intervenção busca enfrentar.
Sendo assim, entende-se que o monitoramento e a avaliação
são complementares, não se sobrepõem (HARTZ, 2000;
ANTERO, 2008). Vejamos por quê.
Importante começar dizendo que não existe consenso na
literatura sobre o que seja avaliação e que essa é uma
terminologia que apresenta muitos sentidos. De qualquer
forma, há um consenso entre diferentes atores de que a
avaliação deve levar a um juízo de valor sobre o objeto
avaliado, nos cabendo dar aqui destaque para esta definição:
Avaliação é a coleta sistemática de dados sobre
atividades, características e efeitos de programas
para uso de interessados, de forma a reduzir
incertezas, melhorar a efetividade e tomar
decisões com respeito ao que aquele programa
está fazendo, quais são seus resultados ecomo
pode ser ajustado (PATTON, 1990).
Ao definir avalição, o autor traz na base de seu conceito
características importantes, que podem responder às
seguintes questões: O que avaliar? Para que avaliar? Para
quem avaliar? Quem avalia? O Quadro 4 mostra como tais
perguntas estão respondidas.
Quadro 4 – O que, para que, para quem e quem avaliar?
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 11/22
 
O que avaliar? remete ao objeto da avaliação, isto é,
intervenção ou parte da intervenção a ser avaliada;
Para que avaliar? diz respeito à finalidade da
avaliação, que pode estar relacionada à prestação de
contas, ao compartilhamento de experiências, ao
desenvolvimento organizacional, ao aprimoramento da
intervenção e da comunicação;
Para quem? define quem demanda a avaliação e
também seus possíveis usos; daí a importância de definir
os potenciais interessados e/ou usuários da avaliação
(gestores, profissionais de saúde, prestadores de serviços,
planejadores, sociedade civil organizada, usuários,
financiadores e outros);
Quem avalia? refere-se a quem julga necessária a
avaliação. Pode estar restrito apenas ao avaliador definir a
pergunta de interesse da avaliação, seus passos e critérios
de julgamento, como pode ser ampliado para diferentes
atores envolvidos com a intervenção e/ou interessados na
avaliação.
 
Desde o reconhecimento da avaliação como conjunto de
conhecimentos e práticas organizados e sistemáticos, a
mensuração sempre foi uma característica marcante dessa
área (Furtado, 2001). No entanto, com o tempo, outras
características foram agregadas à avaliação, que ganharam
destaque, como a descrição dos processos, o julgamento e a
negociação. Entretanto, ainda nos dias atuais, vemos que há
uma predominância da mensuração na avaliação.
 
Saiba Mais (Clique)
 
Nesse momento, apresentamos uma segunda história que
pode enriquecer seu processo de aprendizagem.
 
Rebeca é assistente social do Núcleo de Apoio à Saúde da
Família (NASF) e recentemente foi convidada a participar
de uma reunião na secretaria municipal de saúde de um
município brasileiro, onde os resultados do primeiro ciclo
do Programa de Melhoria do Acesso e da Qualidade
(PMAQ) seriam apresentados à rede.
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 12/22
Os profissionais de saúde da família estavam com grande
expectativa para conhecer a avaliação do trabalho
realizado em cada uma das unidades de saúde da família
e logo cedo encheram a sala. Para grande surpresa, não
foram apresentados os resultados do município, e o estado
aparecia um pouco abaixo da média em termos de
desempenho das equipes PMAQ. Esse resultado implicaria
o não recebimento do incentivo para a Atenção Básica em
Saúde, o que poderia prejudicar as unidades de saúde da
família.
Descontente com o resultado, Rebeca pediu alguns
esclarecimentos ao pessoal da Secretaria de Saúde: por
que não estão explícitos os resultados do município? Como
se dá a mensuração da qualidade das ações realizadas?
Quais os critérios de desempenho utilizados? Se o
desempenho não foi aceitável, quais as recomendações
para melhoria? Disse que, do pouco que sabia sobre
avaliação, não adiantaria só medir sem qualificar.
 
Rebeca traz questões que nos levam a pensar um pouco mais
sobre a necessidade de não reduzir a avaliação a medições e
a refletir em que medida uma avaliação pode fornecer
informações para orientar as mudanças necessárias para as
práticas em saúde. O que mais parece preocupá-la é a
vinculação da ideia de medida com produtividade,
desempenho e incentivo. Essa relação muitas vezes distancia
a avaliação de seu próprio propósito. Vejamos, então, de que
maneira Champagne et al. (2011) definem avaliação:
 
Avaliação consiste fundamentalmente em fazer
um julgamento de valor sobre uma intervenção,
implementando um dispositivo capaz de fornecer
informações cientificamente válidas e
socialmente legítimas sobre uma intervenção ou
qualquer um de seus componentes, com o
objetivo de proceder de modo a que os seus
diferentes atores envolvidos, cujos campos de
julgamento são por vezes diferentes, estejam
aptos a se posicionar sobre a intervenção para
que possam construir individualmente ou
coletivamente um julgamento que possa se
traduzir em ações (CHAMPAGNE et al., 2011).
Em um primeiro momento, você pode até estranhar tal
definição, tanto pela sua abrangência, quanto pela ausência
dos conceitos de estrutura, processo e resultado. Podemos
perceber, contudo, o quanto a definição ajuda a compreender
melhor que as avaliações não apenas buscam informações
mais aprofundadas sobre os porquês do não alcance dos
objetivos da intervenção, mas também procuram orientar as
mudanças necessárias a uma dada intervenção. Nela também
é possível perceber a importância do envolvimento de outros
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 13/22
atores no processo avaliativo e, mais especificamente, na
definição dos critérios de julgamento, além de nos aproximar
das diferentes concepções do que seja qualidade em saúde.
Pensemos, então, nas relações entre tal definição de
avaliação e aquilo que já está estabelecido para o
monitoramento e avaliação na Atenção Básica em Saúde. O
Ministério da Saúde definiu para a Atenção Básica uma
política de avaliação que contém um conjunto de atribuições,
propósitos e recursos. Nessa política está contida a estratégia
de institucionalização da avaliação por meio de sua
incorporação à rotina dos serviços de saúde. Essa decisão
exigia o desenvolvimento de capacidade técnica para adotar
as ações de monitoramento e avaliação como elementos
essenciais da gestão em saúde (BRASIL, 2006), como
evidencia a Figura 3.
 
Figura 3 – As expectativas da avaliação na Atenção Básica no
SUS
 
Fonte: Brasil, 2005.
 
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 14/22
É importante saber que entre os componentes de
monitoramento e avaliação da Atenção Básica promovidos
pela Coordenação de Acompanhamento e Avaliação do
Departamento de Atenção Básica da Secretaria de Atenção à
Saúde do Ministério da Saúde (DAB/SAS/MS) foram inseridas
diferentes estratégias: (a) Avaliação para Melhoria da
Qualidade (AMQ); (b) Avaliação para Melhoria do Acesso e
Qualidade da Atenção Básica (AMAQ-AB); (c) Programa
Nacional de Melhoria do Acesso e da Qualidade da Atenção
Básica (PMAQ) (BRASIL, 2004).
Talvez você já conheça os instrumentos de avaliação da
Atenção Básica. Nosso intuito, neste módulo introdutório, é
recuperar esses dispositivos de avaliação que vêm sendo
habitualmente utilizados pelas equipes para avaliar as
práticas da Atenção Básica. Tais instrumentos estão
centrados nos aspectos de estrutura, processo e resultado. A
AMQ e AMAQ correspondem aos instrumentos de
autoavaliação das equipes de saúde da família, que têm por
finalidade promover a reflexão dos sujeitos e grupos
implicados no processo para a autoanálise, a autogestão, a
identificação dos problemas e a formulação de estratégias de
intervenção para melhoria dos serviços e das relações na
Atenção Básica (FELISBERTO, 2004).
Da maneira como tais instrumentos foram concebidos, eles
implicam a livre adesão das equipes a práticas de
autoavaliação, apostando na reflexão a respeito de suas
condições de trabalho, suas formas de trabalhar e resultados
que alcançam com os usuários (CRUZ et al., 2014). Tais
instrumentos têm base em uma metodologia de autogestão
dos processos de melhoria contínua da qualidade para
gestores municipais, coordenadores e profissionais das
equipes ESF, obedecendo a ciclos de melhoria da qualidade:
momentos avaliativos e etapas de intervenção.
O PMAQ, por sua vez, foi estabelecido como avaliação
externa em todo o território nacional (feita por sujeitos
externos à intervenção) com vistas a avaliar níveis de acesso
equalidade da Atenção Básica (BRASIL, 2012). Essa é uma
iniciativa que envolve diretamente as instituições de ensino e
pesquisa na condução da avaliação cujo olhar é externo e não
interno ao processo.
 
Saiba Mais (Clique)
 
O uso de iniciativas gerenciais, tais como o Pacto de
Indicadores da Atenção Básica, negociado entre as três
esferas de gestão (municipal, estadual e federal), tem
ajudado a incorporar o monitoramento e a avaliação às
práticas da gestão. Vejamos, então, de que maneira os
resultados do PMAQ ajudam a melhorar os processos de
trabalho e, por consequência, o acesso e a qualidade.
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 15/22
Já abordamos os conceitos estrutura, processo e resultado
como componentes estruturais de qualquer intervenção em
saúde (projeto, programa ou serviço). Quando relacionamos
esses componentes ao monitoramento ou à avaliação,
determinamos o foco específico a ser abordado na avaliação.
A Figura 4 nos leva a perceber que avaliamos elementos
distintos nas diferentes etapas de uma intervenção. Antes,
por exemplo, de obter resultados de longo prazo e impacto,
são produzidos efeitos do tipo produto (resultados mais
imediatos), necessários para que os resultados (efeitos mais
intermediários) e impactos (efeitos mais finalísticos) sejam
alcançados.
 
Figura 4 – Encadeamento de ações numa teoria de programa
 
Fonte: Rossi, Lipsey e Freeman, 2003.
 
Uma avaliação de estrutura diz respeito à verificação das
características relativamente mais estáveis dos projetos,
programas e serviços, que são os recursos humanos,
financeiros, físicos, incluindo sua organização e
financiamento. Em geral, são utilizados o checklist ou os
questionários como forma de verificar a conformidade entre
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 16/22
o disponível e o esperado. Também faz parte da estrutura a
qualificação profissional, que confere uma condição
diferenciada e de muito valor ao setor saúde. Podemos, por
exemplo, ter uma unidade de saúde da família muito bem
estruturada, com todos os equipamentos, insumos para
procedimentos básicos, material de consumo, mas esses
recursos não serem devidamente mobilizados por falta de
qualificação profissional para tal. Acreditamos que você já
tenha se deparado com uma situação como essa. Ao
fazermos avaliações com foco na estrutura, buscamos
informações e explicações sobre a conformidade ou não da
estrutura, partindo do pressuposto de que o cumprimento de
determinados requisitos, apesar de não denotar a qualidade
do serviço em si, demonstra a capacidade de gerar um
cuidado de boa qualidade.
Uma avaliação de processo é usualmente equivalente à
avaliação de implantação ou implementação de uma
intervenção. Diz respeito à relação entre a intervenção e seu
contexto de inserção na produção dos efeitos, o que se torna
particularmente importante quando a atividade é complexa,
com múltiplos componentes e contingencial (VIEIRA DA
SILVA, 2005). Uma de suas finalidades é complementar o
monitoramento de insumos e produtos com uma dimensão
explicativa.
A avaliação de implementação tem seu foco direcionado a
insumos, atividades e aos efeitos mais imediatos
(operacionais) da intervenção. Nesse tipo de avaliação, há
maior capacidade explicativa sobre como ocorreu o processo,
o que é fundamental para gerar recomendações de mudanças
visando à melhoria dos processos. Importa, nesses casos,
saber o que aconteceu na interação entre insumos,
procedimentos e contexto, para que se possa identificar por
que foram obtidos aqueles resultados como efeito, por
exemplo, aquela produção de consultas, cobertura vacinal, e
como foi viabilizada a aceitação do protocolo do Tratamento
Diretamente Observado para Tuberculose. Cabe verificar
também se os procedimentos estão de acordo com os
critérios e padrões de boas práticas.
Quando falamos do contexto, referimo-nos aos contextos
físicos, legais, simbólicos, históricos, econômicos e sociais
que estruturam o campo dentro do qual a intervenção está
colocada e interage com múltiplas realidades. Em geral,
tratamos mais o Contexto Político-Organizacional e o Externo
(determinantes sociais) como fatores sinérgicos (facilitadores)
e antagônicos (barreiras) que influenciam as intervenções e
seus resultados.
Uma avaliação de resultados contempla as explicações
sobre as razões pelas quais as atividades de uma
intervenção alcançaram ou não seus resultados,
enfatizando as relações causais entre a intervenção e seu
efeito na população-alvo. Mesmo levando em conta
diferentes terminologias na área da avaliação, em geral os
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 17/22
resultados podem ser de curto, médio e longo prazo; e
podem ser definidos como produto (imediato), resultado
(intermediário) e impacto (finalístico).
A medida do cumprimento dos objetivos dos projetos,
programas, serviços de saúde – curar, restabelecer, aliviar,
promover, proteger a saúde – demonstra sua capacidade de
promover mudança da situação-problema existente. Por
exemplo, nas avaliações de resultado, estamos buscando
verificar mudanças na população diretamente atendida, em
decorrência das ações de Atenção Básica. Por isso, utiliza-se
nesse tipo de avaliação indicadores como aumento da
proporção de adesão ao aleitamento materno exclusivo,
melhoria da qualidade da assistência pré-natal, aumento do
diagnóstico precoce de exame de Papanicolau, redução da
taxa de incidência de hanseníase e redução da taxa de
mortalidade infantil.
Queremos agora abordar um último aspecto nesta unidade
introdutória: as perguntas avaliativas. Tomemos como
exemplo uma situação em que uma equipe de saúde da
família se confronta com o seguinte conjunto de perguntas,
lançado por um grupo de pesquisadores que visita a unidade
de saúde:
a) Quanto do que a USF havia planejado foi atingido no ano
de 2015?
b) As ações da USF estão de acordo com as normas técnicas
estabelecidas?
c) Os recursos necessários para realização das ações estão
disponíveis?
d) Qual a efetividade das ações desenvolvidas na USF?
e) A população usuária dessa unidade está satisfeita com o
serviço ofertado?
f) Que impactos na população os serviços ofertados pela USF
vêm alcançando?
g) Quais os aspectos facilitadores e as barreiras para a
garantia do acesso e da qualidade na USF?
Você pode gostar de tais perguntas e achá-las desafiadoras,
mas em que medida são perguntas avaliativas? É crucial que
as perguntas sejam as principais guias de qualquer processo
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 18/22
avaliativo. As perguntas orientam, direcionam e dão sentido
ao que se deseja avaliar. Qualquer processo avaliativo exige
concentrar esforços para a obtenção de informações
confiáveis e válidas, para a produção de análise e julgamento,
a partir de critérios definidos e explícitos. Daí a necessidade
de ser cauteloso na definição da(s) pergunta(s) a ser(em)
respondida(s). O Quadro 5 apresenta algumas perguntas
classificadas como avaliativas ou não avaliativas.
Quadro 5 – Perguntas classificadas como avaliativas ou não
avaliativas. São Paulo, 2016
 
Perguntas Avaliativa Não
avaliativa
As ações de prevenção e controle de
câncer do colo de útero têm qualidade
técnica?
X
As ações de saúde bucal têm
garantido acesso e resolutividade na
USF?
X
Qual a associação entre ter zika na
gravidez e o bebê desenvolver
microcefalia?
X
A estratégia de visita domiciliar feita
pela equipe de saúde da família é
efetiva?
X
Que fatores estão relacionados ao
aumento dos casos de dengue grave
no território de atuação da USF?
X
As atividades de vacinação da USF
estão em conformidade com o que
está estabelecido no protocolo de
imunização?
X
 
As perguntas avaliativas guardam semelhança com as
perguntas que guiam uma pesquisa,como mostra o Quadro
5. Contudo, é necessário prestar atenção para o que se quer
responder com uma pergunta avaliativa, porque ela busca
estabelecer uma relação entre a intervenção a ser avaliada e o
resultado daquela intervenção. Por exemplo, quando se
pergunta se "as ações de prevenção de câncer de mama têm
qualidade técnica?" e se "essas ações são efetivas?", será
preciso produzir informações sobre como as ações de
prevenção de câncer de mama estão sendo realizadas e,
tomando como base a definição de qualidade técnica dessas
ações, fazer uma comparação para saber se têm ou não
qualidade técnica, procurando evidenciar como e por quê.
Uma dica importante no momento de construir as perguntas
avaliativas é percorrer primeiro uma fase divergente, durante
a qual são produzidas perguntas até se alcançar um
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 19/22
mapeamento de todas as perguntas com potencial avaliativo,
sem preocupação de filtrar as prioridades. Depois, mergulha-
se na fase convergente, que visa à seleção da(s) pergunta(s)
relacionadas na fase anterior com base nos critérios de
prioridade, utilidade, relevância e viabilidade (CAZARIN;
MENDES; ALBUQUERQUE, 2010). Na fase convergente, é
crucial chegar a um consenso sobre quais perguntas
avaliativas são prioritárias a serem respondidas, assim como
o tipo de esforços necessários para isso.
 
Quer ler mais e se aprofundar nos temas da unidade 1?
Seguem algumas sugestões. ANTERO, S. A. Monitoramento
e avaliação do Programa de Erradicação do Trabalho
Escravo. Revista de Administração Pública, v. 42, n. 5, p.
791-828, 2008.
CRUZ, M. M. et al. Usos do planejamento e autoavaliação
nos processos de trabalho das equipes de Saúde da
Família na Atenção Básica. Saúde em Debate, v. 38, n.
especial, p. 124-139, 2014.
HARTZ, Z. M. A. Pesquisa em avaliação da atenção básica:
a necessária complementação do monitoramento.
Divulgação em Saúde para Debate, v. 21, n. especial, p.
29-35, 2000.
As perguntas a seguir foram preparadas para apoiar a
sistematização de saberes e aprendizagens a ser realizada
pelos alunos a respeito da Unidade 1.
1. Como você define monitoramento e avaliação? Quais as
sinergias e as diferenças entre as duas práticas?
2. Por que os conceitos de avaliação de estrutura,
processos e resultados são tão importantes na avaliação
em saúde?
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 20/22
3. O que são perguntas avaliativas, qual sua importância e
como construí-las?
 
ANTERO, S. A. Monitoramento e avaliação do Programa de
Erradicação do Trabalho Escravo. Revista de Administração
Pública, v. 42, n. 5, p. 791-828, 2008.
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde.
Departamento de Atenção Básica. Avaliação na Atenção
Básica em Saúde: caminhos da institucionalização. Brasília,
DF, 2005.
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde.
Departamento de Atenção Básica. Política Nacional de
Atenção Básica. Brasília, DF, 2006.
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde.
Departamento de Atenção Básica. Monitoramento na Atenção
Básica de Saúde: roteiros para reflexão e ação. Brasília, DF,
2004. (Série C. Projetos, Programas e Relatórios).
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde.
Núcleo Técnico da Política Nacional de Humanização.
Monitoramento e Avaliação na Política Nacional de
Humanização na Rede de Atenção e Gestão do SUS: manual
com eixos avaliativos e indicadores de referência. Brasília, DF,
2009. (Série B. Textos Básicos de Saúde).
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde.
Programa Nacional de Melhoria do Acesso e da Qualidade da
Atenção Básica (PMAQ). Brasília, 2012.BRASIL. Ministério da
Saúde. Secretaria Executiva. Departamento de Monitoramento
e Avaliação em Saúde do SUS.Manual da oficina de
capacitação em avaliação com foco na melhoria do
programa. Brasília, DF, 2007.
CAZARIN, G.; MENDES, M. F. M.; ALBUQUERQUE, K. M.
Perguntas Avaliativas. In: SAMICO, I. et al. (Org.). Avaliação
em Saúde: Bases Conceituais e Operacionais. Rio de Janeiro:
MedBook, 2010. p. 79-87.
CHAMPAGNE, F. et al. A avaliação no campo da saúde:
conceitos e métodos. In: BROUSSELLE, A. et al. (Org.).
Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz,
2011. p. 41-60.
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 21/22
CONTANDRIOPOULOS, A. P. et al. L'évaluation dans le
domaine de la santé: concepts et méthodes. Revue
d'épidémiologie et santé publique, v. 48, n. 6, p. 517-539,
2000.
CRUZ, M. M. et al. Usos do planejamento e autoavaliação nos
processos de trabalho das equipes de Saúde da Família na
Atenção Básica. Saúde em Debate, v. 38, n. especial, p. 124-
139, 2014.
DONABEDIAN, A. Evaluating the quality of medical care
(1966). The Milbank Quarterly, v. 83, n. 4, p. 691-729, 2005.
FELISBERTO, E. Monitoramento e avaliação na atenção básica:
novos horizontes. Revista Brasileira de Saúde Materno-
Infantil, Recife, v. 4, n. 3, p. 317-321, 2004.
FURTADO, J. P. Um método construtivista para a avaliação em
saúde. Ciência & Saúde Coletiva, v. 6, n. 1, p. 165-181, 2001.
HARTZ, Z. M. A. Pesquisa em avaliação da atenção básica: a
necessária complementação do monitoramento. Divulgação
em Saúde para Debate, v. 21, n. especial, p. 29-35, 2000.
MERHY, E. E. Em busca de ferramentas analisadoras das
tecnologias em saúde: a informação e o dia a dia de um
serviço, interrogando e gerindo trabalho em saúde. In:
MERHY, E. E.; ONOCKO, R. (Org.). Agir em saúde: um desafio
para o público. 2. ed. São Paulo: Hucitec, 2002.
PATTON, M. Q. Qualitative Research & evaluation Methods.
Newbury Park: Sage Publications, 1990.
SABER Tecnologias Educacionais e Sociais. Política Nacional
de Atenção Básica PNAB: uma revisão. [Filme-vídeo]. 9 jun.
2015. 6:07 min. Disponível em:
https://www.youtube.com/watch?v=hBcX-qx3VAk
(https://www.youtube.com/watch?v=hBcX-qx3VAk). Acesso
em: 10 jun. 2016.
TELESSAUDESC. Webconferência sobre o PMAQ 1. [Filme-
vídeo]. 13 out. 2011. 9:24 min. Disponível em:
https://www.youtube.com/watch?v=uZXV4uPcJCM
(https://www.youtube.com/watch?v=uZXV4uPcJCM). Acesso
em: 10 jun. 2016.
VIEIRA DA SILVA, L.M. Conceitos, abordagens e estratégias
para a Avaliação em Saúde. In: HARTZ, Z.M.A. & VIEIRA DA
SILVA, L.M. (Orgs). Avaliação em Saúde: dos modelos teóricos
à prática na avaliação de programas e sistemas de saúde. Rio
de Janeiro/Salvador: Editora Fiocruz/Edulba. Pp.15-39. 2005.
 
https://www.youtube.com/watch?v=hBcX-qx3VAk
https://www.youtube.com/watch?v=uZXV4uPcJCM
11/02/2021 Introdução à Avaliação em Saúde
https://www.unasus.unifesp.br/biblioteca_virtual/IAS_2020_3/unidade1.html 22/22
(https://moodle.unasus.unifesp.br/course/view.php?
id=38)
(https://moodle.unasus.unifesp.br/mod/resource/view.php?
id=763)
(https://moodle.unasus.unifesp.br/mod/resource/view.php?
id=764)
(https://moodle.unasus.unifesp.br/mod/resource/view.php?
id=765)
(https://moodle.unasus.unifesp.br/mod/resource/view.php?
id=766)
© 2016 Universidade Federal de São Paulo - Unifesp
https://moodle.unasus.unifesp.br/course/view.php?id=38
https://moodle.unasus.unifesp.br/mod/resource/view.php?id=763
https://moodle.unasus.unifesp.br/mod/resource/view.php?id=764
https://moodle.unasus.unifesp.br/mod/resource/view.php?id=765
https://moodle.unasus.unifesp.br/mod/resource/view.php?id=766