Introdução à Avaliação em Saúde - Unidade 4

Prévia do material em texto

22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 1/19
Sessão 1 Sessão 2 Sessão 3 Sessão 4
Referências
A quarta unidade de aprendizagem foi produzida com o
propósito de apresentar discussões e orientações
fundamentais para ampliar a qualidade e o valor
processual das avaliações no cotidiano dos serviços,
bem como seu uso estratégico nas instituições. Tais
aspectos foram escolhidos tendo em vista a demanda
por avaliações mais úteis e relevantes aos serviços de
saúde; em outras palavras, avaliações que favoreçam a
melhoria do acesso e da qualidade do SUS.
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 2/19
Unidade 4 | Introdução à Avaliação em SaúdeUnidade 4 | Introdução à Avaliação em Saúde
 
 
Fazemos a você um convite para ler e pensar na
situação relatada por um enfermeiro que trabalha em
uma Unidade de Saúde da Família (USF) de um
município brasileiro.
 
Cícero é enfermeiro dedicado à Estratégia de Saúde
da Família. Responde como responsável por sua
equipe e é sempre muito comprometido com o
processo de trabalho, a relação com os outros
profissionais e o cuidado aos usuários. Cícero atua
numa equipe composta também por um médico
generalista, um auxiliar de enfermagem e Agentes
Comunitários de Saúde (ACS), e resume seu dia a
dia como uma corrida de obstáculos. Cícero confia
na qualidade de suas práticas e reconhece que o
cuidado é sua prioridade. Contudo, sabe também
como é difícil avançar em certos aspectos e o quanto
a equipe, em alguns momentos, se vê sozinha no
processo de trabalho. Há alguns meses, a
coordenadora da atenção básica foi apresentar o
PMAQ à equipe, o que deixou Cícero convencido da
importância da iniciativa para superar alguns
problemas recorrentes, tanto em termos de
infraestrutura, quanto nas questões do trabalho
interdisciplinar. Os incentivos financeiros e as
avaliações interna e externa poderiam dar suporte
para mudanças: o primeiro para aquisição de
produtos, melhoria da infraestrutura e gratificações
https://www.youtube.com/watch?v=8fAHZYEKim8
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 3/19
para a equipe. O segundo para identificar avanços e
lacunas em seu processo de trabalho. A equipe
aderiu ao programa, mas a experiência não foi
exatamente a desejada. Cícero precisava do apoio
da gestão para assegurar algumas mudanças, mas a
relação com a coordenação não caminhava bem. Não
havia amparo para as discussões sobre o processo,
ao mesmo tempo que a pressão era grande para que
tivessem bons resultados na avaliação. Apesar do
cuidado com as relações, sua equipe também
passava por um momento difícil, sendo muitos os
pontos que mereciam atenção. Em resumo, Cícero
achava impossível avançar o quanto era necessário,
caso ele fosse o único a desejar e sustentar a
avaliação. No dia marcado para a conversa sobre a
etapa da autoavaliação, o médico da equipe não
compareceu, assim como não houve como garantir a
presença do auxiliar de enfermagem, devido a
demandas de atendimento sem agendamento que
bateram à porta da unidade. A data para a avaliação
externa foi então marcada e, ao contrário do que
Cícero pensava, a visita se deu em torno de um
questionário fechado, o que lhe tirou a possibilidade
de partilhar suas ideias e de buscar apoio para as
mudanças. Algum tempo depois, a coordenadora da
atenção básica foi até a unidade falar sobre o
resultado que o programa tinha atribuído à equipe.
Não levou relatórios ou gráficos, nem comparações.
Apenas congratulou Cícero, que ficou sem entender
o porquê dos elogios. Ele queria saber mais: Em que
poderiam melhorar? O que se destacava? No que
precisavam investir mais força? Como poderiam
organizar melhor as informações? Restavam muitas
dúvidas. Cícero sabia que era preciso investir em
uma avaliação que conseguisse considerar toda a
equipe como parte pertencente ao processo.
Entretanto, também seriam necessários o apoio de
seus gestores e a participação efetiva dos usuários
de sua unidade.
 
Na Unidade 1, você foi apresentado a
conceitos fundamentais, tais como os de
avaliação e monitoramento, estrutura,
processo e resultado, perguntas avaliativas,
etc. Na Unidade 2, tratamos das relações
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 4/19
entre planejamento, monitoramento e
avaliação, ao apresentar o conceito de modelo
lógico. Na Unidade 3, apresentamos conceitos
no campo dos indicadores e refletimos sobre a
importância de produzir informações de
qualidade para o monitoramento e avaliação,
enfatizando o conceito de informação em
saúde.
Agora, queremos avançar para o uso das
avaliações, sabendo ser esse um dos
fantasmas mais presentes na vida de
gestores, equipes e avaliadores. Para isso,
vamos articular um conjunto de ideias
presentes nas Unidades 1, 2 e 3 lançando mão
do conceito de Matriz Avaliativa, o que nos
ajudará a mergulhar no fenômeno da
utilização estratégica das práticas de
monitoramento e avaliação nos serviços de
saúde.
As matrizes são ferramentas essenciais para
organizar a lógica de uma avaliação; em
outras palavras, para organizar o plano de
avaliação. Ao encadear os diferentes
componentes de uma avaliação, as matrizes
demonstram as relações e a interdependência
dos elementos de um estudo, permitindo que
aqueles que lideram as avaliações estejam
atentos a tais conexões. As matrizes também
atuam como importantes peças de
comunicação, mostrando o que será avaliado,
de que forma e para produzir que tipo de
informação.
Vejamos uma primeira imagem que
exemplifica os componentes de uma matriz
avaliativa. Reparem que ele articula elementos
advindos das Unidades 1, 2 e 3 e apresenta
também novos aspectos, nos quais iremos nos
deter a seguir. Desde já, saibamos que as
matrizes podem variar em sua forma e
componentes, a depender da abordagem
teórica, linguagem e estilo de quem a
constrói. Observem a Figura 1 enquanto são
descritos cada um de seus componentes.
 
Figura 1 - Modelo de matriz avaliativa
 
Dimensões Perguntas Indicadores Critério
 
 
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 5/19
DIMENSÕES: as dimensões, eixos ou campos
costumam representar os aspectos mais
abrangentes aos quais um processo de
monitoramento ou avaliação deve dar
atenção. Considerando elementos tratados nas
Unidades 1 e 2, por exemplo, poderíamos ter
uma matriz voltada às dimensões de
Estrutura, Processos ou Resultados, ou mesmo
uma matriz que articulasse componentes de
cada um desses elementos. Poderíamos
também ter uma matriz voltada à experiência
do usuário com o serviço, à incorporação de
tecnologias ou à articulação política entre os
atores do território. Nesse sentido, as
dimensões oferecem um primeiro nível de
recorte do objeto de estudo e ajudarão os
atores a compreender em que direção estão e
querem caminhar.
 
PERGUNTAS: se as dimensões fazem um
primeiro e importante recorte do objeto de
avaliação, as perguntas farão um segundo
recorte, também determinante para os
estudos. Como observamos na Unidade 1, as
perguntas norteiam, direcionam, elucidam e
evidenciam os motivos de uma avaliação. Se,
por exemplo, escolhemos realizar uma
avaliação tomando a estrutura como dimensão
de investigação, as perguntas deverão apontar
que aspectos precisamos efetivamente saber
para potencializar os processos de
aprendizagem, gestão e qualidade de um
serviço. Trazendo um exemplo, uma pergunta
possível seria: em que medida os insumos e
medicamentos voltados à detecção,
tratamento e manejo da hipertensão e
diabetes estão efetivamente disponíveis para
os usuários? E assim sucessivamente,
nutrindo sempre a melhor relação possível
entre dimensão e pergunta avaliativa.
 
INDICADORES: sea escolha das dimensões
e das perguntas avaliativas significam recortes
importantes do objeto de avaliação, os
indicadores farão o recorte definitivo,
atribuindo elevada especificidade ao estudo e,
na maioria dos casos, tornando-o viável.
Como pudemos observar na Unidade 3, os
indicadores são aspectos da realidade,
tomados pela sua capacidade de revelar
fluxos, avanços ou retrocessos, conquistas e
obstáculos, luzes e sombras. Dando sequência
ao exemplo em questão, a pergunta avaliativa
apresentada anteriormente poderia ser
respondida ao se observarem quais aspectos
http://www.scielo.br/pdf/rbem/v33s1/a09v33s1.pdf
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 6/19
específicos? Em outras palavras, que
elementos da realidade são capazes de
demonstrar que os insumos e medicamentos
para hipertensão e diabetes estão disponíveis?
Poderíamos, nesse sentido, construir o
seguinte indicador: taxa de acesso a
medicamentos para os usuários que fazem uso
contínuo de medicamentos para hipertensão.
Nesse caso particular, estaríamos criando um
indicador quantitativo com a fórmula retratada
na Figura 2.
 
Figura 2 – Exemplo de fórmula de cálculo
para um indicador
 
Taxa de
acesso a
medicamentos
para os
usuários que
fazem uso
contínuo de
medicamentos
para
hipertensão
=
número de usuários de uso
medicamentos para hipertens
suas prescrições atendida
_________________________
número de usuários de uso
medicamentos para hip
 
Vários outros indicadores poderiam ser
criados, a fim de que a pergunta fosse olhada
com a precisão necessária. Como observamos
na Unidade 3, poderíamos também criar
índices agregando vários indicadores em um
único número. As possibilidades, nesse caso,
são inúmeras. Ressaltamos, inclusive, que,
além do caráter quantitativo, retratado no
exemplo que citamos anteriormente,
poderíamos trabalhar com o caráter
qualitativo.
 
CRITÉRIOS: mesmo com a especificidade
alcançada pelos indicadores, é importante
observar que apenas os números produzidos
por eles não são suficientes para fazermos
juízo de valor a respeito de um determinado
objeto. Em outras palavras, somente o
número obtido mediante a fórmula de cálculo
de um indicador, por exemplo a taxa de
acesso a medicamentos em 78%, não seria
suficiente para determinar a qualidade do
serviço e a adotar medidas de correção. Os
critérios devem permitir a comparação e
julgamento, o que é crucial aos processos de
monitoramento e avaliação. Tomando o
exemplo do indicador Taxa de acesso a
http://www.scielo.br/pdf/rbem/v33s1/a09v33s1.pdf
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 7/19
medicamentos para os usuários que
fazem uso contínuo de medicamentos
para hipertensão, poderíamos fixar as
seguintes expectativas para seu desempenho.
 
Figura 3 – Exemplo de critério de
classificação de desempenho
 
100% Entre 99,9 e85% Abaixo de 85%
 
Nesse caso específico, é desejável (do ponto
de vista dos gestores e dos usuários) que a
taxa de acesso aos medicamentos fosse de
100%, o que significaria que todos os usuários
que necessitam do medicamento teriam
acesso permanente a ele. Poderia também ser
atribuída uma luz amarela para as taxas entre
99,9% e 85%, a representar um sinal de
alerta para que os gestores melhorassem a
programação de oferta de medicamentos; e
um farol vermelho para as taxas inferiores a
85%. Nesses casos, o número alcançado por
um serviço, uma unidade ou um município
passa a ter um padrão de referência para
comparação, o que tende a ser fundamental
para pensar a gestão.
À medida que se avança nesse exercício,
podemos observar que mesmo o uso do
indicador Taxa de acesso a medicamentos
para os usuários que fazem uso contínuo
de medicamentos para hipertensão seria
um avanço mas continuaria a deixar dúvidas
sobre em que ponto da cadeia de
programação de oferta de medicamentos
reside o problema. Isso levaria a outra
pergunta de avaliação, que poderia ser de
caráter qualitativo. Nessa perspectiva,
construir a matriz avaliativa traz a
possibilidade de enxergar o sentido da
avaliação, ajustando o processo, modulando o
estudo e alterando a própria matriz.
 
FONTES: as informações emergem sempre de
algum sujeito ou de algum lugar, como um
sistema de informações já existente
(informações secundárias), ou de informações
que serão coletadas em caráter primário na
avaliação (informações primárias). As fontes
http://www.scielo.br/pdf/rbem/v33s1/a09v33s1.pdf
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 8/19
de informação consistem, portanto, nos
sistemas de informação ou nos sujeitos
(respondentes) que devem ser escolhidos para
que uma informação seja recolhida. No
exemplo em questão, a Taxa de acesso a
medicamentos para os usuários que
fazem uso contínuo de medicamentos
para hipertensão poderia ser obtida das
Fichas de Acompanhamento de Hipertensos,
que são objeto diário de trabalho dos agentes
de saúde. Nesse caso, trata-se de informação
secundária, ou seja, que já está disponível,
como vimos na Unidade 3. A depender da
qualidade de tais fichas, a informação teria
que ser recolhida nova e diretamente
mediante consulta aos usuários, o que iria
requer uma nova abordagem, um novo
instrumento, etc.
 
FORMAS: além das fontes de informação, é
sempre preciso definir as maneiras como tais
informações serão recolhidas. Os dois
conceitos, nesse sentido, são indissociáveis e
muitas vezes tratados de forma conjunta nas
matrizes. No nosso exemplo, como já
afirmamos anteriormente, a coleta pode ser
feita mediante a leitura das Fichas de
Acompanhamento de Hipertensos, ou mesmo
a aplicação de um novo instrumento para os
pacientes hipertensos mapeados pela equipe.
É fundamental que as formas de coleta de
informação sejam as mais adequadas para as
fontes de informação. Imaginemos, por
exemplo, a violência simbólica contida na ideia
de aplicar um questionário escrito para
sujeitos com baixos graus de alfabetização.
Por isso, a construção de um instrumento para
a coleta de informações deve ser um processo
cuidadoso de adaptação à realidade que se
pretende investigar.
 
PRODUTOS: Todo o esforço empregado em
um processo de avaliação deve resultar em
boas peças de comunicação para aqueles que
estão envolvidos com o que está sendo
estudado. Os produtos, nesse sentido, são as
peças produzidas em uma avaliação. Tais
peças podem ser relatórios formais,
apresentações de slides, cartazes ou jornais,
notas em blogs, infográficos, spots de rádio ou
reuniões de apresentação de resultados. É
fundamental, contudo, que os produtos não
sejam relegados ao segundo plano, como se a
força da avaliação residisse apenas nas fases
mais técnicas do processo. Como ainda
http://www.scielo.br/pdf/rbem/v33s1/a09v33s1.pdf
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 9/19
veremos, os produtos são peças-chave da
utilização, elemento fundamental para a
concretização do uso da avaliação.
 
Percorridos os exemplos, retomemos a
imagem da matriz avaliativa apresentada na
Figura 1, agora com os campos preenchidos
de acordo com o exercício que realizamos aqui
ao apresentar cada um dos componentes da
matriz.
 
Figura 4 – Exemplo de matriz avaliativa
 
Dimensões Perguntas Indicadores Cri
Estrutura Em que
medida os
insumos e
medicamentos
voltados à
detecção,
tratamento e
manejo da
hipertensão e
diabetes estão
efetivamente
disponíveis
para os
usuários?
Taxa de
acesso aos
medicamentos
para os
usuários que
fazem uso
contínuo de
medicamentos
para
hipertensão
B
1
Raz
9
8
R
M
qu
 
Na medida em que nas discussões que
fizemos até aqui a ênfase se deu em
indicadores de natureza quantitativa, o que
respeita o fato de que para a maioria dos
autores na área de avaliação os indicadores
devem ser mesmo sempre quantitativos,trazemos para cá um texto de Maria Cecília de
Souza Minayo que discute o sentido, uso e
construção de indicadores qualitativos. Boa
Leitura!
 
Construção de Indicadores
Qualitativos para a Avaliação de
Mudanças 
http://www.scielo.br/pdf/rbem/v33s1
(http://www.scielo.br/pdf/rbem/v33s
http://www.scielo.br/pdf/rbem/v33s1/a09v33s1.pdf
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 10/19
 
Até aqui, a Unidade 4 serviu para um exercício
de integração e organização dos elementos
apresentados nas Unidades 1, 2 e 3. Em certa
medida, queríamos preparar terreno para uma
discussão bastante importante, que pode ser
resumida na seguinte pergunta: quem será o
dono da construção dessa matriz avaliativa?
Avaliar a si mesmo ou ser avaliado por
alguém? Independentemente da escolha,
incômodos atravessam os processos de
avaliação. Não é à toa que muitos
profissionais da área da saúde e de qualquer
outra área sentem-se receosos ou
constrangidos com avaliações. Colocar
cotidianos de trabalho em análise é um
processo intenso e exigente, mas que pode de
fato disparar transformações importantes.
Tais incômodos, contudo, não são exclusivos
às relações dos profissionais ou equipes com
uma avaliação, mas, sobretudo, a como as
avaliações se inserem em estruturas marcadas
por hierarquias, cobranças e disputas. Uma
primeira pergunta deve sempre disparar os
processos de avaliação: Por que e para quê
avaliar? As motivações e propósitos que
sustentam esse processo devem estar
explícitos e bem definidos entre todos os
envolvidos. Silva e Brandão (2013) nos trazem
questionamentos sobre o diálogo entre cultura
organizacional e avaliação e como a qualidade
deste diálogo determina o sentido e o
potencial dos processos de avaliação.
 
De que maneira a organização faz
e usa planejamento? Que
processos de aprendizagem se dão
ali? De que maneira a organização
lida com erros e acertos, fracassos
e sucessos? Há conflitos em torno
do projeto ou programa que será
avaliado? De que maneira a
organização costuma conversar
sobre seus projetos, programas e
estratégias? Outras avaliações ali
realizadas produziram que tipos de
fenômenos? (SILVA; BRANDÃO,
2013, p. 22).
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 11/19
 
A fim de provocar reflexões sobre as
circunstâncias em que as avaliações
acontecem, os questionamentos acima dão
pistas de escolhas e manejos para esse
processo, além de trazerem aspectos da
relação substancial que a avaliação possui
com seus responsáveis. Worthen, Sanders e
Fitzpatrick (2004) também trazem elementos
que enriquecem esse debate:
 
A avaliação serve para identificar
pontos fortes e fracos, destacar o
que é bom e expor defeitos, mas
não pode, sozinha, corrigir
problemas, pois esse é o papel da
administração e de outros
responsáveis, que podem usar as
conclusões da avaliação como
instrumento de ajuda nesse
processo (WORTHEN; SANDERS;
FITZPATRICK, 2004, p. 57).
 
No entanto, apesar das estruturas
institucionais, ora mais abertas à negociação,
ora mais rígidas e inflexíveis, a avaliação pode
ser utilizada como dispositivo que cria diálogos
muitas vezes inexistente entre os diferentes
níveis hierárquicos de gestão e operação das
intervenções. Tais espaços poderão produzir
leituras e decisões mais comprometidas as
necessidades e os atores, mais embasadas em
evidências e mais respeitosas aos sujeitos e à
dinâmica institucional.
Sendo um processo exigente de continuidade,
a avaliação pode assumir caminhos diversos,
porém seu valor enquanto geradora de
movimentos é inquestionável; movimentos
esses que podem ser vitais para dinâmicas já
endurecidas em si mesmas e cruciais para a
provocação de mudanças. Um processo de
avaliação comprometido com seu aspecto de
contínua aprendizagem e movimentação deve
levar em conta que, por exemplo, o
desempenho de um serviço está atrelado a
muitos outros fatores que não só à atuação
em si de uma equipe. Ele está atravessado por
múltiplas variáveis constituintes daquele
contexto.
Serapioni (2009) mostra a importância de
tratar os processos de avaliação com um
enfoque multidimensional, aí reunindo
diferentes grupos que o compõem:
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 12/19
 
A avaliação da qualidade da
atenção à saúde, portanto, deve
fundamentar-se num enfoque
multidimensional, que implica o
envolvimento de diferentes atores
(utentes, representantes dos
usuários, profissionais,
administradores, gerentes, etc.),
todos dotados de perspectivas
próprias de avaliação (SERAPIONI,
2009, p. 75).
.
 
Cabe, ainda, tomar Mendes (2011) para
pensar o processo de construção de
indicadores. Para ele, a avaliação em saúde
deve ser capaz de "'inventar' indicadores
capazes de dimensionar e expressar não
somente mudanças nos quadros de saúde-
doença, mas provocar e buscar outros reflexos
e repercussões, em outros níveis de
representações e realizações dos sujeitos (em
suas dimensões subjetivas, inclusive)"
(SANTOS-FILHO, 2011, p. 1000).
Como, portanto, favorecer o engajamento, a
horizontalidade e o potencial reflexivo das
avaliações? Para Silva (2012), nos processos
de avaliação, podemos reconhecer um
conjunto de variáveis que reafirmam sua
relevância. Antes, contudo, de identificar tais
variáveis, o autor sugere que estejamos
atentos à polissemia do conceito "avaliações
relevantes", que não encontra consenso, mas
tem sido reconhecido como avaliações capazes
de cumprir ao menos três critérios:
 
1. ter impacto na dinâmica do
programa ou projeto que avaliam,
sendo capazes de exercer
influências mais ou menos sutis
em seus destinos;
2. inspirar confiança técnica e
compromisso político nos
principais atores interessados, ou
stakeholders, apoiando diálogos,
descobertas, reflexões e produção
de saberes;
3. respeitar e zelar pela
integridade cultural, ética e moral
dos sujeitos e organizações
envolvidos na avaliação, sem com
isso se furtarem a apontar bons e
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 13/19
maus resultados, acertos e erros,
falhas, acidentes e limites (SILVA,
2012, p. 10).
 
Seguindo os argumentos do autor, a primeira
afirmação diz respeito à definição de quais
atores são proprietários da avaliação, ou
veem-se a ela vinculados, responsáveis ou
curiosos pela sua produção. Silva (2012)
argumenta que existe forte tendência de que
os gestores dos programas ou financiadores
das avaliações considerem-se como seus
únicos donos, supondo que a avaliação deva
responder exclusivamente a suas perguntas.
Para o autor, "na contramão desse
pensamento, que não exageramos ao nomear
como patrimonialista, o que a dinâmica social
nos revela [...] é que sempre há mais de um
interesse em questão nos ecossistemas que
são as organizações, os programas e as
comunidades" (SILVA, 2012, p. 10).
Como nos legou Guba e Lincoln (2011),
sujeitos e grupos exercem diferentes graus de
influência sobre os processos de avaliação e
possuem diferentes desejos e demandas,
muitas vezes contraditórias, relacionados aos
objetos avaliados. Quanto menos escutamos
esse complexo conjunto de reivindicações e
expectativas, mais elevamos o risco de que
uma avaliação não enriqueça os processos
reflexivos e decisórios, ou que seja
desacreditada pelos atores. Retomando Silva
(2012, p. 11), "com extrema velocidade, o
processo político mastiga e elimina toda
avaliação que não o levou em conta em sua
gênese".
Tais reflexões ajudam a analisar o caso do
enfermeiro Cícero, com o qual abrimos a
Unidade 4. Que matriz avaliativa sustentava
os esforços do PMAQ para aquela equipe? Que
compromissos havia dos diferentes atores
locais com aquele processo de avaliação?
Quem zelou para que o processo de avaliação
operasse de maneira orgânica e abrigasse
debates, aprendizagense encaminhamentos
para tantas perguntas e dilemas do cotidiano
de trabalho? A primeira variável determinante
para o uso é, portanto, a forma como se
garante que os atores se apropriem dos
processos avaliativos, reduzindo as lacunas
entre o técnico e o político. Construir matrizes
avaliativas com debate e aprofundamento é
crucial para assegurar utilidade.
http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 14/19
Podemos acrescentar a todas essas reflexões
o fato de estarmos discutindo a avaliação no
contexto de uma política pública, nesse caso
de saúde, o que nos coloca em um
compromisso de oferecer àqueles que
sustentam com seus impostos todos esses
serviços um serviço de qualidade, informações
e resultados transparentes. Com isso,
reafirmamos a importância do que nos trouxe
Serapioni (2009) sobre o caráter
multidimensional que deve assumir uma
avaliação. A participação no processo de
avaliação de todos os atores envolvidos em
uma intervenção é imprescindível para
atingirmos uma visão holística dele.
Voltando às afirmação apresentadas por Silva
(2012), a segunda delas se refere à qualidade
das perguntas avaliativas que servirão de guia
aos processos de monitoramento e avaliação,
aspecto tratado na Unidade 1. Levando em
conta as expectativas dos atores envolvidos
em uma avaliação, os chamados atores
interessados, Silva (2012) afirma que
 
espera-se que as perguntas de
avaliação necessariamente se
ancorem em dois elementos-chave
para criar raiz e frutificar em
descobertas, análises e
aprendizagem. Primeiro, as
indagações devem ser capazes de
traduzir aquilo que os atores
querem e precisam compreender
melhor, vertendo interesses e
desconfianças, em perguntas.
Segundo, devem ser capazes de
apontar para direções que possam
agregar valor ao objeto avaliado,
seja por iluminar suas limitações,
seja por reconhecer seus
resultados. É na associação entre
os interesses dos atores e a
potência da investigação que as
perguntas avaliativas ganham vida
e orientam o trabalho (SILVA,
2012, p. 11).
 
Tocando uma vez mais em um tema
apresentado na Unidade 1, as perguntas
trarão mais sentido às práticas de
monitoramento e avaliação à medida que se
investigarem, de maneira articulada, tanto a
relevância quanto o mérito do objeto avaliado.
Para Silva (2012, p. 11), "relevância está
definida pelo sentido que uma determinada
http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 15/19
p q
intervenção tem no contexto social em que é
realizada" e guarda relação com necessidades
e demandas, oportunidades e limitações.
A relevância passa, ainda, pelo uso inteligente
de recursos, pelo uso de métodos mais
apropriados e eticamente adequados, de
forma que se possa enxergar dimensões
intrínsecas aos objetos, ou seja, suas
propriedades que antecedem seus efeitos na
realidade. Em complemento, o autor nomeia
mérito "os resultados alcançados em um
determinado programa ou projeto, sejam eles
esperados ou não" (SILVA, 2012, p. 12). Os
resultados, os impactos, os efeitos, os
produtos, ou seja, todos os elementos
relacionados ao que uma intervenção produz
na realidade, como estudamos na Unidade 2,
dizem respeito a mérito (SILVA, 2012).
A terceira afirmação diz respeito à utilização
de indicadores, com seus respectivos critérios
de comparação, que foi objeto da Unidade 3.
Na medida em que também são componentes
de uma matriz avaliativa, os indicadores
devem dialogar de maneira explícita com as
demandas e expectativas dos atores e
seguirem critérios que os qualifiquem para
serem utilizados. Além de comparáveis, os
indicadores devem ser pertinentes e
relevantes para aquele contexto e objetivos, e
devem ser consistentes, fáceis de interpretar,
suscetíveis a medidas e acessíveis quanto às
formas de coleta de informação.
Para Silva (2012)
 
muitas vezes, é ao construir
indicadores que um grupo se
depara com suas divergências em
relação a um projeto, prática ou
realidade, abrindo boa
oportunidade para construir
compreensões mais equilibradas a
respeito desses elementos. É
também na construção de
indicadores que os grupos
costumam se deparar com a
singularidade da Teoria da
mudança que sustenta sua
intervenção. Esta troca, tão cheia
de contradições, quanto de
oportunidades de esclarecimento e
pactuação, é um dos maiores
ativos que acompanham os
indicadores (SILVA, 2012, p. 12-
13).
http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 16/19
 
Para cada indicador, haverá sempre o desafio
de definir o que será considerado como bom
resultado, como muito ou pouco, baixo ou
alto, e assim por diante. Em certa medida, a
construção e pactuação de metas pode ser o
critério de comparação necessário, o que
permitirá julgar o alcance ou não de
determinada meta. Como costumamos dizer
em avaliação, quando não há critério de
comparação, qualquer resultado é válido e
qualquer julgamento é cabível.
A quarta variável relacionada ao uso diz
respeito à qualidade dos produtos que um
processo de avaliação pode gerar. Segundo
Silva (2012):
 
Inspiradas pelas melhores
tradições acadêmicas, boa parte
das avaliações conduzidas
atualmente apostam na produção
de um relatório final extenso,
detalhado e que apresente o
conjunto de análises e
recomendações depois de meses
de trabalho avaliativo. O que as
organizações têm nos ensinado é
que, em muitos casos, a espera
por um documento final não
combina com as oportunidades de
aprendizagem e decisão que
costumam emergir da dinâmica de
sua produção (SILVA, 2012, p.
14).
 
Tal aspecto nos leva a reforçar a ideia de que
as avaliações sejam marcadas com produtos
parciais, por isso mais flexíveis, sendo
construídos em linguagens que melhor sentido
tenham para os atores interessados. Há um
apelo para que a produção de informações
seja mais rápida, recortada e sumarizada, e
que peças mais simples, acompanhadas de
diferentes formas de diálogo, favoreçam os
processos de aprendizagem.
 
QUER LER MAIS E SE APROFUNDAR
SOBRE OS TEMAS NA UNIDADE 4?
SERAPIONI, M. Avaliação da qualidade em
saúde. Reflexões teórico-metodológicas
para uma abordagem multidimensional.
http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 17/19
Revista Crítica de Ciências Sociais, n. 85, p.
65-82, 2009.
SILVA, R. R. Para fazer avaliações
relevantes. In: FUNDAÇÃO ITAÚ SOCIAL et
al. (Org.). A relevância da avaliação para o
investimento social privado. São Paulo:
Fundação Santillana, 2012.
FERNANDES, A. M. D et al. Avaliação
Qualitativa e a Construção de Indicadores
Sociais: caminhos de uma
pesquisa/intervenção em um projeto
educacional. Psicologia em Estudo, Maringá,
v. 9, n. 2, p. 243-253, maio-ago. 2004.
Disponível em
http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf
(http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf
Acesso em: 28 jun. 2016.
 
As perguntas a seguir foram preparadas para
apoiar a sistematização de saberes e
aprendizagens a ser realizada pelos alunos a
respeito da Unidade 4.
 
1. Quais aspectos podem potencializar o
uso de uma avaliação?
2. Quais aspectos podem reduzir o uso de
uma avaliação?
3. Quem são os atores essenciais para
construir uma matriz avaliativa?
4. Como a avaliação pode disparar
mudanças na dinâmica de trabalho?
5. Que cuidados devem ser tomados com a
comunicação dos resultados de uma
avaliação?
 
http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 18/19
 
FERNANDES, A. M. D et al. Avaliação
Qualitativa e a Construção de Indicadores
Sociais: caminhos de uma
pesquisa/intervençãoem um projeto
educacional. Psicologia em Estudo, Maringá, v.
9, n. 2, p. 243-253, maio-ago. 2004.
Disponível em
http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf
(http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf)
Acesso em: 28 jun. 2016.
 
GUBA, E.; LINCOLN, Y. Avaliação de quarta
geração. Tradução de Beth Honorato.
Campinas: Editora da Unicamp, 2011.
 
MINAYO, M. C. S. Construção de Indicadores
Qualitativos para a Avaliação de Mudanças.
Revista Brasileira de Educação Médica, v. 33,
n. 1 supl. 1, p. 83-91, 2009. Disponível em:
http://www.scielo.br/pdf/rbem/v33s1/a09v33s1.p
(http://www.scielo.br/pdf/rbem/v33s1/a09v33s1
Acesso em: 28 jun. 2016.
 
SANTOS-FILHO, S. B. S. Perspectivas da
avaliação na Política Nacional de Humanização
em Saúde: aspectos conceituais e
metodológicos. Ciência & Saúde Coletiva, v.
12, n. 4, p. 999-1010, 2011. Disponível em:
http://www.scielo.br/scielo.php?
script=sci_arttext&pid=S1413-
81232007000400021
(http://www.scielo.br/scielo.php?
script=sci_arttext&pid=S1413-
81232007000400021). Acesso em: 26 jun.
2016.
 
SERAPIONI, M. Avaliação da qualidade em
saúde. Reflexões teórico-metodológicas para
uma abordagem multidimensional. Revista
Crítica de Ciências Sociais, n. 85, p. 65-82,
2009.
 
SILVA, R. R. Para fazer avaliações relevantes.
In: FUNDAÇÃO ITAÚ SOCIAL et al. (Org.). A
relevância da avaliação para o investimento
http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf
http://www.scielo.br/pdf/rbem/v33s1/a09v33s1.pdf
http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232007000400021
22/08/2022 12:06 Introdução à Avaliação em Saúde - Unidade 3
https://www.unasus.unifesp.br/biblioteca_virtual/MOOCS/IAS_2021/unidade4.html 19/19
social privado. São Paulo: Fundação
Santillana, 2012.
 
SILVA, R. R.; BRANDÃO, D. A escolha de
métodos para fazer avaliação. In: FUNDAÇÃO
ITAÚ SOCIAL, et al. (Org.). Avaliação para o
investimento social privado: metodologias.
São Paulo: Fundação Santillana, 2013.
 
WORTHEN, R. B.; SANDERS, J. R.;
FITZPATRICK, J. L. Avaliação de programas:
concepções e práticas. Tradução Dinah de
Abreu Azevedo. São Paulo: EDUSP/Gente,
2004.
 
© 2016 Universidade Federal de São Paulo - Unifesp
http://www.scielo.br/pdf/pe/v9n2/v9n2a10.pdf
http://www.scielo.br/pdf/rbem/v33s1/a09v33s1.pdf
http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232007000400021