Avaliação no campo da Saúde - Champagne et al

Prévia do material em texto

Capítulo 2 – AVALIAÇÃO no CAMPO da SAÚDE: conceitos e métodos 
Brousselle, A. (org). Avaliação: conceitos e métodos. Rio de Janeiro: Ed. FIOCRUZ, 2011. 
 
Gestor – Sistema de Saúde 
 acesso equânime 
 aumento da demanda -> envelhecimento da população 
 corte/redução de gastos/recursos/crises financeiras 
 necessidade de implementar novas tecnologias 
 
Assim, a avaliação permite uma melhor tomada de decisão e alocação dos recursos. 
Avaliação consiste em um bom mecanismo para responder às informações necessárias para a tomada 
de decisão pelos decisores --> aumento da institucionalização da avaliação. 
 
 
 
 
 
 
 
 
DEFINIÇÕES DE AVALIAÇÃO 
Le Petit Robert (2007): “emitir um julgamento sobre o valor, o preço”; “determinar 
aproximativamente” 
Suchman (1967): “a determinação (baseada em opiniões, documentos, dados objetivos ou subjetivos) 
dos resultados obtidos por uma atividade que fora estabelecida para realizar um objetivo ou quaisquer 
objetivos”. 
Arnold (1971): “retroação planejada e sistemática de informações necessárias para guiar a ação futura”. 
 apresenta intenção mais ampla, para orientar decisões e novos programas. 
 avaliação deve ser útil à ação futura. 
 
Weiss: “apreciação sistemática do funcionamento ou dos resultados de um programa ou de uma política 
em função de critérios implícitos ou explícitos, de modo a contribuir para a melhoria do programa ou da 
política. 
 Agrega a noção de avaliação do funcionamento. 
Avaliação econômica 
Avaliação baseada na epidemiologia e na prática 
clínica 
Avaliação oriunda das ciências sociais 
Avaliação em Saúde 
 
Beeby (1977): avaliação consiste na coleta e interpretação sistemática de provas (dos dados 
convenientes) que leva, de modo inerente ao processo, a um julgamento sobre o valor de um programa em 
uma perspectiva de ação. 
 Acrescenta a noção de juízo de valor sobre o próprio valor (value) da intervenção (worth). 
Sociedade Canadense de Avaliação (1985): introduz a questão da pertinência. 
Scriven (1991): o valor das coisas é determinado por critérios individuais na ausência de critérios 
explícitos. 
 “goal free valuation” 
 
Patton (1997): “coleta sistemática de informações sobre as atividades, as características e os resultados 
desses programas a fim de emitir julgamentos sobre eles, melhorar sua eficácia e esclarecer as decisões 
relacionadas a novos programas.” 
Rossi, Freeman e Lipsy (2004): “utilizar métodos de pesquisa das ciências sociais para analisar 
sistematicamente a eficácia dos programas de intervenção social de um modo adaptado ao seu ambiente 
político e organizacional, e de maneira a iluminar a ação social tendo em vista a melhoria das condições 
sociais. 
 Definição mais restrita 
 Se aproximação da definição de avaliação de resultados de Suchman 
 Traz a importância do ambiente e contexto da intervenção. 
Mark, Henry e Julnes (2000): “análise que descreve e explica as atividades, os efeitos, as justificativas 
e as consequências sociais dessas políticas e programas. 
 O objetivo da avaliação é a melhoria social/ do bem-estar coletivo. 
Os autores do texto propõem a seguinte definição: 
 
 
 
 
 
 
 
 
 
 
 
 
Avaliar consiste fundamentalmente em emitir um juízo de valor 
sobre uma intervenção implementando um dispositivo capaz de 
fornecer informações cientificas válidas e socialmente legítimas 
sobre essa intervenção ou sobre qualquer um de seus 
componentes, com o objetivo de proceder de modo a que os 
diferentes atores envolvidos, cujos campos de julgamentos são 
por vezes diferentes, estejam aptos a se posicionar sobre a 
intervenção para construir individual ou coletivamente um 
julgamento que possa se traduzir em ações. 
 
 
 
 
A Intervenção 
Uma intervenção pode ser objeto de dois tipos de avaliação: a avaliação normativa ou pesquisa 
avaliativa. 
 
Intervenção Normativa 
✓ Critérios e normas 
✓ Processo de verificação dos componentes em relação à referência. 
“Foi feito o que era necessário de modo desejável respeitando normas definidas?” 
Pesquisa Avaliativa 
✓ Depende de procedimento científico 
✓ Busca analisar e compreender as relações de causalidade entre os componentes da 
intervenção 
✓ “Como?”; “Por quê?” dos resultados 
 
Componentes, tipologia e modelo lógico da intervenção 
Define-se por intervenção um sistema organizado de ação que visa, em determinado ambiente e 
durante um período, a modificar o curso previsível de um fenômeno para corrigir uma situação 
problemática. Possui 5 componentes: 
 
1. Estrutura 
✓ Física – relacionada a volume e estruturação dos diferentes recursos mobilizados 
(financeiros, técnicos, humanos, imobiliários, informacionais) 
✓ Organizacional – refere-se ao conjunto de leis, regulamentos, convenções, regras 
de administração que definem a repartição e o intercâmbio de recursos (dinheiro, 
poder, influência e compromisso). Seriam as “regras do jogo” dos sistemas de ação. 
✓ Simbólica – crenças, valores, representações que permitem aos diferentes atores 
envolvidos pela intervenção se comunicar entre si e dar um sentido a suas ações. 
 
2. Atores 
Representados por seus projetos, visões de mundo, convicções, recursos (os próprios ou 
aqueles que controlam) e disposições para agir. Há interação/ cooperação e concorrência para 
aumentar seus controles sobre o sistema de ação (dinheiro, poder, influência, compromissos 
acerca de normas sociais). As práticas ou condutas são ao mesmo tempo constitutivas da 
intervenção e influenciadas por sua estrutura, e interdependentes. 
 
“São os atores de fato que, em função de suas características, interesses e convicções, 
moldam a intervenção e lhe dão sua forma particular em um determinado momento, em um 
determinado contexto.” 
 
3. Processo de Ação 
Conjunto dos processos durante os quais e pelos quais os recursos são mobilizados e utilizados 
pelos atores para produzir os bens e serviços requeridos para alcançar as finalidades da 
intervenção. 
 
4. Finalidades 
São os objetivos da intervenção. Visam modificar a evolução de um ou mais fenômenos ao atuar 
no tempo sobre um certo número de suas causas ou de seus determinantes (objetivos 
específicos da intervenção) para corrigir uma situação problemática. 
 
5. Ambiente da Intervenção 
São os contextos - jurídico, social, econômico, político, físico, simbólico, histórico - que 
estruturam o campo, bem como todos os outros sistemas de ação organizados com os quais 
ela interage. 
 
Assim, existem vários tipos de intervenções. 
 Técnicas (exame de triagem de malformações fetais ou um software de gestão em 
reanimação...) 
 Medicamentos ou tratamentos (no caso dos tratamentos, um único ato ou um conjunto de 
atos) 
 Protocolos de cuidados (quimioterapia no tratamento de câncer...) 
 Organizações (um hospital; unidade de cuidados...) 
 Programas (prevenção às DSTs...) 
 Políticas (promoção da saúde; setorização das demandas de saúde...) 
 
.Qualquer dispositivo de avaliação é em si uma intervenção, 
suscetível de se tornar objeto de um trabalho avaliativo. 
 
 
 
 
 
 
Intervenções simples x Intervenções Complexas 
 
 
São focalizadas 
Resolvem problemas convergentes 
Abordagem experimental ou quase-experimental 
Exemplos: 
Aplicação tópica de flúor 
Técnica diagnóstica 
 
 
 
 
 
 
 
Modelo Lógico da Intervenção 
A construção do modelo lógico precede a escolha do questionamento avaliativo. 
 
“Teoria do Programa”: “a especificação das ações a serem realizadas para se alcançarem os efeitos 
desejados, dos outros impactos que deviam ser cogitados e dos mecanismos mediante os quais 
esses efeitos e impactos seriam produzidos.” (Chen & Rossi, 1992) 
“O conjunto de postulados sobre o modo pelo qual um programa é relacionado com os benefícios 
que supostamente produz e a estratégia e as táticas que foram adotadas para alcançar suas metas 
eobjetivos.” (Rossi, Freeman & Lipsy, 2004a:154) 
 
NATUREZA E FINALIDADES DA AVALIAÇÃO 
Avaliação... “ferramenta habitual indispensável à formulação da própria ação, de sua 
implementação e melhoria.” (Monnier, Conan & Allen,1992) 
Dimensão cognitiva: a avaliação visa a produzir informações científicas válidas e socialmente 
legítimas. 
Dimensão normativa: quando a avaliação visa a emitir um julgamento. 
Dimensão instrumental ou utilitária: quando visa a melhorar uma situação. 
Dimensão democrática: quando visa a provocar debates. 
Resolvem problemas divergentes 
Abordagem holística 
Métodos de Pesquisa Sintética 
Exemplos: 
Política de combate à pobreza 
Organização de um hospital 
Sistema de Cuidados 
A escolha das abordagens e dos métodos para se avaliar 
uma intervenção depende da complexidade desta. 
 
Entre as finalidades oficiais, distinguem-se as seguintes: 
 Finalidade Estratégica: visa auxiliar o planejamento e a elaboração de uma intervenção (OMS, 
1981) Análise situacional; antes da intervenção 
 Finalidade Formativa: visa fornecer informações para melhorar a intervenção no curso da 
atividade (Scriven, 1967) Durante a intervenção 
 Finalidade Somativa: busca determinar os efeitos de uma intervenção para decidir se deve ser 
mantida, transformada de modo importante ou interrompida (Scriven, 1967; Conseil Scientifique de 
l’Évaluation, 1996) Após a intervenção; para tomada de decisão. 
Finalidade Transformadora: visa utilizar o processo de avaliação como alavanca para 
transformar uma situação injusta ou problemática, pois a avaliação tem por objetivo a melhoria do 
bem-estar coletivo. 
 Finalidade Fundamental: contribuir para o avanço dos conhecimentos empíricos e teóricos 
sobre a intervenção, assim como para a construção e validação de normas. (Weiss, 1977; Conseil 
Scientifique de l’Évaluation, 1996) 
 
Finalidades Oficiosas 
▪ Táticas: utilizar o processo de avaliação para outro fim 
▪ Políticas: utilizar os resultados da avaliação como munição no âmbito de um debate político. 
 
A ABORDAGEM AVALIATIVA 
Pode ser uma apreciação normativa ou pesquisa avaliativa. 
 
A Apreciação Normativa 
Consiste em medir as diferenças entre os componentes da intervenção e critérios e normas de 
referência de mesma natureza. Permite emitir um julgamento sobre a estrutura (os recursos), o 
processo (os serviços ou atividades) e os resultados de uma intervenção. 
 
A Pesquisa Avaliativa 
Visa analisar o grau de “adequação” (a exatidão dos vínculos) entre os diferentes componentes da 
intervenção. 
Objetivo: analisar a pertinência, a lógica, a produtividade, os efeitos e a eficiência de uma 
intervenção, bem como as relações existentes entre a intervenção e o contexto em que se 
desenrola. 
Pode ser decomposta em seis tipos de análises que recorrem a métodos de pesquisa diferentes: 
▪ Análise estratégica: se refere a razão de ser de uma intervenção e a natureza do problema que 
supostamente ela resolve ou lida. Traz a questão central da escolha do problema a ser resolvido. 
 
▪ Análise lógica: consiste em avaliar o mérito da intervenção. É preciso testar ao mesmo tempo, 
a validade teórica da intervenção e a validade operacional. 
▪ Análise da produção: estuda as relações entre os recursos utilizados (meios) e o volume e a 
qualidade dos serviços prestados (atividades). Dois aspectos: Análise da produtividade e análise 
da qualidade. 
▪ Análise dos efeitos: busca medir a eficácia da intervenção – a influência dos serviços (ou das 
atividades) sobre os estados de saúde. “Quais são os efeitos observáveis?” 
▪ Análise da eficiência: tem por objeto a análise dos recursos e os efeitos observados. 
Custos (inputs) relacionados às consequências (outcomes) da intervenção. É cada vez mais exigida 
em função do contexto atual de restrição orçamentária, controle de despesas e de pressões 
importantes. A análise da eficiência é central na avaliação econômica. 
Avaliação econômica possui três análises: 
➔ Custo-benefício (custo-vantagem): todos os custos e todos os benefícios de uma intervenção 
são expressos em termos monetários. Permite comparar programas cujos resultados não 
são necessariamente benefícios à saúde de indivíduos ou coletividades, mas representa 
uma lógica de eficiência de alocação de recursos. 
➔ Custo-eficácia e custo-utilidade: custos são expressos em unidades monetárias e as 
consequências em valor real (anos de vida salvos, doenças evitadas) ou em um valor 
ajustado à “qualidade” de vida 
 
▪ Análise da implantação: tem por objeto as relações entre a intervenção, seus componentes e 
o contexto, em comparação com a produção de efeitos. 
Implantação: transferência de uma intervenção no plano operacional. 
– Integração em um determinado contexto organizacional. Procura determinar a razão das 
diferenças. 
O método de estudo de casos é o que melhor se adequa à análise da implantação.