Introducao em Avaliacao em Saude

Prévia do material em texto

Avaliação em Saúde 
Doutorado em Saúde Coletiva 
Tópicos Avançados em Planejamento e Gestão II: 
Avaliação em Saúde 
Prof. Dr. Edson Theodoro dos Santos Neto 
UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO 
CENTRO DE CIÊNCIAS DA SAÚDE 
PROGRAMA DE PÓS-GRADUAÇÃO EM SAÚDE COLETIVA 
Avaliação em Saúde 
Imaginário Social 
Avaliar/Aviltar 
Intimidar 
Humilhar 
Desonrar 
Rebaixar 
Punir Valorar 
Julgar 
Qualificar 
Decidir 
Mensurar 
(FURTADO, 2009) 
Histórico da Avaliação 
Gerações 
da 
Avaliação 
Períodos Principal 
Característica 
I Reformismo (1800-1900) 
Eficiência e testagem (1900-1930) 
Medida 
II Idade da inocência (1930-1960) Descrição 
III Expansão (1960-1973) 
Profissionalização e 
Institucionalização (1973-1990) 
Julgamento 
IV (1990-...) Negociação 
(BROUSSELLE et al., 2011) 
Avaliação: Campo polissêmico 
 
• Classificações podem variar quanto: 
 
– Objetivos da avaliação 
 
 
 
– Posição do avaliador 
 
 
 
– Período 
Diagnóstico 
Levantamento de demandas 
Monitoramento 
Tomada de decisões 
•Interno/Externo 
•Negociador/ “Técnico” 
•Compactua critérios/ 
determina critérios 
Implantação 
Implementação 
Resultados 
(BROUSSELLE et al., 2011) 
Avaliação 
Introdução 
• Avaliar consiste fundamentalmente em emitir um juízo 
de valor sobre uma intervenção, implementando um 
dispositivo capaz de fornecer informações 
cientificamente válidas e socialmente legítimas sobre 
essa intervenção ou sobre qualquer um de seus 
componentes, com o objetivo de proceder de modo a 
que os diferentes atores envolvidos cujos campos de 
julgamento são por vezes diferentes, estejam aptos a 
se posicionar sobre a intervenção para que possam 
construir individual ou coletivamente um julgamento 
que possa se traduzir em ações. 
(BROUSSELLE et al., 2011) 
 
Objetos da Avaliação 
• Políticas 
• Sistemas 
• Projetos 
• Programas 
• Serviços 
• Estabelecimentos 
• Ações 
• Tecnologias 
Objetos da Avaliação 
• Políticas 
– Conjunto de atividades que tem como termo de 
referência o Estado, a qual as pessoas fazem 
preservam e corrigem as regras sob as quais 
vivem, mediados por valores e opiniões 
diferentes. (BOBBIO apud VIANA E BAPTISTA, 2008) 
• Sistemas 
– Nível mais complexo de organização das práticas 
que envolve todos os outros e sua coordenação, 
correspondendo a um sistema municipal, estadual 
ou nacional. (VIEIRA-DA-SILVA, 2008) 
 
Métodos de Avaliação de Políticas de Sistemas 
• Método Comparativo 
– Consiste em identificar o que é comum entre 
diferentes estados nacionais e como o contexto 
social, econômico e político produz diferenças. 
• Modelos e Tipos 
– Possibilita a comparação de diferentes sistemas de 
saúde em períodos históricos em um país. 
• Métodos Quantitativos 
– Consiste no uso de análises estatísticas para medir 
o alcance de determinada política em momentos 
históricos. (VIANA; BAPTISTA, 2008) 
Métodos de Avaliação de Políticas de Sistemas 
• Microscópio Social 
– Pretende a apreensão da realidade para identificação das 
tendências gerais. Pressupõe que a partir de um estudo 
de caso típico seja possível inferir o comportamento, a 
situação ou as características de uma dada realidade. 
• Método Econômico 
– Busca traduzir a saúde em termos de oferta e demanda 
(por saúde), produção (de saúde) e distribuição e consumo 
de bens e serviços de saúde, em função de uma utilidade 
para quem consome e de um benefício ou lucro para quem 
oferta. 
(VIANA; BAPTISTA, 2008) 
Objetos da Avaliação 
• Programas 
– Conjunto articulado de insumos, recursos, 
atividades, intervenções, serviços e produtos 
compostos a partir da identificação de um 
problema, do desejo de mudança da realidade 
para a produção de resultados e impactos que 
intervenham sobre o problema identificado. 
(BRASIL, 2007) 
• Projetos 
– Desdobramento mais específico de um plano ou 
programa, até mesmo para tornar exequível ou 
viável alguns dos seus componentes. (PAIM, 2008) 
 
Objetos da Avaliação 
• Serviços 
– Corresponde a um grau de maior de complexidade 
de organização das ações onde diversos agentes 
se articulam para desenvolver atividades, 
coordenadas ou não, voltadas para um grupo 
etário ou problema de saúde. (VIEIRA-DA-SILVA, 
2008) 
• Estabelecimentos 
– Correspondem a unidades sanitárias de diferentes 
níveis de complexidade tais como: centros de 
saúde, hospitais e policlínicas. (VIEIRA-DA-SILVA, 
2008) 
Objetos da Avaliação 
• Ações 
– Refere-se às ações de promoção de saúde, 
prevenção e cura de doenças desenvolvidas por 
agentes individualmente. (VIEIRA-DA-SILVA, 2008) 
• Tecnologias 
– Refere-se aos recursos materiais e imateriais dos 
atos técnicos e dos processos de trabalho. 
(SCHRAIBER et al.,1999) 
Teorias da Avaliação 
Teorias da Avaliação 
• Métodos 
– A ênfase está no desenho metodológico bem realizado de 
estudos experimentais e quase-experimentais. 
• Valor 
– A ênfase está no papel do avaliador quanto ao julgamento 
de valor, inicialmente a partir de uma contribuição sua e 
depois como uma responsabilidade compartilhada com 
interessados no objeto da avaliação. 
• Uso 
– A ênfase dos estudos avaliativos está na capacidade de 
atender às necessidades dos interessados do objeto de 
avaliação, para orientar a tomada de decisão. 
(FIGUEIRÓ; FRIAS; NAVARRO, 2010) 
Tipos de Desenhos/Estratégias 
• Estruturados 
– Experimentais 
• Pré-teste/pós-teste com controle 
• Intervenção 
• Estudos de caso com análise histórica 
– Quase-experimentais 
• Séries temporais 
• Caso-controle 
• Coortes 
• Observacionais agregados/individual longitudinal 
• Estudos comparados de casos múltiplos 
 
(HARTZ; SILVA, 2005) 
Tipos de Desenhos/Estratégias 
• Estruturados 
– Não-experimentais 
• Um grupo pós-teste 
• Pré-teste/pós-teste 
• Estudos transversais 
• Estudos de caso 
• Estruturados 
• Semi-estruturados 
– Quase-experimental 
• Estudos centrados na teoria e desenhos sintéticos 
– Não-experimental 
• Pesquisa de desenvolvimento 
(HARTZ; SILVA, 2005) 
Elementos da Avaliação de Programas 
INSUMOS 
• São recursos previamente disponíveis para a execução 
das atividades de um programa. Incluem recursos 
financeiros, humanos ou materiais. 
– Ex: Profissionais de saúde, Kits de testagem HIV 
ATIVIDADES 
• São procedimentos pelos quais os insumos são 
mobilizados visando a obtenção dos efeitos desejados. 
– Ex: Treinamento de recursos humanos, referenciamento de 
pessoas soropositivas. 
(BRASIL, 2007) 
Elementos da Avaliação de Programas 
PRODUTOS 
• São as consequências imediatas das atividades 
de um programa. 
– Ex: Número de consultas prestadas, número de 
aconselhamento. 
RESULTADOS 
• São efeitos nas populações-alvo. Os resultados 
incluem vários tipos de efeitos, podendo focar o 
conhecimento, as atitudes, entre outros. 
– Ex: uso do preservativo 
(BRASIL, 2007) 
Elementos da Avaliação de Programas 
IMPACTOS 
• Referem-se aos efeitos acumulados do 
conjunto dos programas em grandes 
populações, a longo prazo, associados a 
efeitos finalísticos. 
– Ex: Incidência de AIDS, Prevalência do HIV, 
Mortalidade por AIDS 
(BRASIL, 2007) 
Dimensões da Avaliação 
CONCEITO 
• É uma categoria abstrata que expressa um valor; 
critério de valor aplicado ao componente de um 
objeto de avaliação que se deseja avaliar. 
•Qualidade 
•Acesso 
•Integralidade 
•Sustentabilidade 
•Satisfação do Usuário 
•Responsividade 
•Eficácia 
•Efetividade 
 
 
•Eficiência 
•Otimização 
•Legitimidade 
•Aceitabilidade 
•Equidade 
•Relevância 
•Idoneidade 
•Progresso 
•Impacto 
 
Dimensões da Avaliação 
Pergunta avaliativa 
As ações estão ocorrendo? Em que magnitude? 
Dimensão da avaliação 
Acesso 
Subdimensão 
Disponibilidade 
Dimensões da Avaliação 
Pergunta avaliativa: 
As ações estão sendo realizadas conforme preconizado? 
As ações estão ocorrendo no momento e de acordo com 
as necessidades dos usuários (conveniência, adequação)? 
Elas ocorrem no momento tecnicamente oportuno(oportunidade) ? 
Dimensão da avaliação: 
Qualidade 
Subdimensão: 
Conformidade 
Dimensões da Avaliação 
Pergunta avaliativa: 
A implementação das ações ocorre discriminando o 
usuário por questões de cor, gênero, deficiência ou 
opção sexual? 
Os usuários têm direito à acompanhantes, 
familiares? 
Dimensão da avaliação: 
Responsividade 
Subdimensão: 
Dignidade 
Redes de Apoio Social 
 
Abordagens Avaliativas 
• Somativa 
– Destinada à tomada de decisões sobre 
determinado objeto de avaliação com base numa 
visão global do mesmo, com a valorização dos 
custos e dos resultados. 
• Formativa 
– Objetiva o aperfeiçoamento do objeto de 
avaliação, diagnosticando suas fragilidades, 
vulnerabilidades e potencialidades. 
(Furtado, 2009) 
Abordagens Avaliativas 
AVALIAÇÃO NORMATIVA 
• Baseia-se na comparação de todos os 
componentes da intervenção no que diz 
respeito aos critérios e normas. 
• Emite um julgamento sobre uma intervenção 
comparando os recursos empenhados e sua 
organização (estrutura), os serviços e os bens 
produzidos. 
(BROUSSELLE et al., 2011) 
Abordagens Avaliativas 
AVALIAÇÃO NORMATIVA 
• ESTRUTURA - recursos físicos, humanos, materiais e 
financeiros necessários para a assistência à saúde, 
incluindo o financiamento e disponibilidade de mão-de-
obra qualificada. 
• PROCESSO - atividades envolvendo profissionais de saúde e 
pacientes, com base em padrões aceitos. A análise pode ser 
sob o ponto de vista técnico e/ou administrativo. 
• RESULTADO - efeito final da assistência prestada, 
considerando saúde, satisfação de padrões e de 
expectativas. 
 
(Tríade de Donabedian) 
Abordagens Avaliativas 
AVALIAÇÃO ESTRATÉGICA 
• Corresponde a análise decisional e consiste 
em determinar e comparar as várias 
estratégias possíveis para se resolver um 
problema considerado prioritário. 
– Objetivo: 
• Determinar a pertinência da intervenção ou sua razão 
de ser, isto é, a exatidão do vínculo entre os objetivos 
explícitos da intervenção e a natureza do problema que 
supostamente ela resolve. 
(BROUSSELLE et al., 2011) 
Perguntas Avaliativas 
• É pertinente intervir sobre esse problema, 
especialmente se comparado à importância dos 
outros problemas e do impacto potencial da 
intervenção? 
• É pertinente intervir dessa forma? 
• É pertinente focalizar essa população? 
• Os objetivos são adequados para responder a 
situação problemática e às necessidades? 
• É pertinente que os responsáveis pela intervenção 
ajam como estão agindo, levando-se em conta seu 
lugar e seu papel? 
(BROUSSELLE et al., 2011) 
Abordagens Avaliativas 
AVALIAÇÃO LÓGICA 
• Consiste em avaliar o mérito da intervenção e 
determinar a adequação entre os diferentes 
objetivos da intervenção e os meios (recursos, 
serviços ou atividades) implementados para 
atingí-los. 
– Objetivo: 
• Visa saber se o algoritmo da intervenção é apropriado e 
válido e se os meios para alcançar os objetivos são 
adequados e suficientes. 
(BROUSSELLE et al., 2011) 
Perguntas Avaliativas 
• A intervenção é baseada em teoria adequada? 
• Qual a plausibilidade do caminho causal do 
modelo teórico da intervenção? 
• A qualidade e quantidade dos recursos e 
atividades são suficientes? 
• Esses recursos e essas atividades estão bem 
organizados? 
• Existe alocação ótima dos recursos de acordo 
com o que se conhece? 
(BROUSSELLE et al., 2011) 
Modelo Lógico 
CONTEXTO 
INTERVENÇÃO 
EFEITOS 
Fator A 
Fator C 
Fator B 
Fator D 
Fator E 
Modelo Lógico 
• Um modelo lógico é uma maneira visual e 
sistemática de apresentar as relações entre 
intervenção e efeito. Ele deve incluir as relações 
entre os recursos necessários para operacionalizar 
um programa, as atividades planejadas e os efeitos 
que se pretende alcançar. 
• É uma representação da racionalidade de um 
programa e é frequentemente apresentado como um 
fluxograma ou uma tabela, que explicita a sequência 
de passos que conduzem aos efeitos do programa. 
(BRASIL, 2007) 
Construção do Modelo Lógico 
1. Identificar atores de interesse 
2. Definir perguntas avaliativas 
3. Definir atividades estratégicas a serem avaliadas 
4. Definir pressupostos da avaliação 
5. Descrever possíveis fatores de interferência 
6. Descrever o que será analisado/ evidências a serem coletadas 
7. Instrumentos de coleta de dados 
8. Fonte de coleta de dados 
9. Indicadores 
10. Dimensões de análise 
11. Definir padrões de julgamento 
12. Definir critérios de mérito 
13. Definir critérios de valor 
Modelo Lógico de Avaliação 
Vantagens do Modelo Lógico 
•Comunica o propósito fundamental do objeto de avaliação, 
evidenciando os produtos e efeitos esperados. 
•Ilustra a consistência lógica interna do objeto de avaliação 
contribuindo para identificar lacunas e efeitos não realísticos. 
•Envolve os atores e promove a comunicação sobre o objeto de 
avaliação entre financiadores, executores, membros da comunidade e 
outros atores, entre eles os avaliadores. 
•Contribui para o monitoramento do progresso ao fornecer um plano 
claro de acompanhamento, de forma que os sucesso possam ser 
reproduzidos e os problemas evitados. 
•Direciona as atividades de avaliação ao identificar a questões 
avaliativas apropriadas e os dados relevantes necessários. 
Limitações do Modelo Lógico 
•Trata-se de uma representação da realidade, não a 
realidade. 
•Normalmente, não inclui efeitos além daqueles 
inicialmente esperados. 
•Há dificuldade do estabelecimento de causalidade, visto 
que muito fatores influenciam em muitos efeitos. 
•Parte do pressuposto que a escolha da intervenção é a 
mais correta, não levando em conta seu o que está sendo 
feito é o mais correto. 
Abordagens Avaliativas 
AVALIAÇÃO DE PRODUÇÃO 
• Consiste em estudar as relações entre os 
recursos utilizados (meios) e o volume e a 
qualidade dos serviços prestados (atividades). 
– Objetivo: 
• Produzir serviços profissionais ou atividades de apoio 
ou finais. Por exemplo: produção de material 
pedagógico, serviços clínicos, tratamento. 
(BROUSSELLE et al., 2011) 
Perguntas Avaliativas 
• Os recursos são utilizados de modo a 
aperfeiçoar a quantidade e a qualidade dos 
serviços produzidos? 
• É possível, com os mesmos recursos, produzir 
mais serviços ou serviços de qualidade 
superior? 
• É possível produzir, com menos recursos, uma 
mesma quantidade de serviços de qualidade 
idêntica? 
(BROUSSELLE et al., 2011) 
Abordagens Avaliativas 
AVALIAÇÃO DOS EFEITOS 
• A análise dos efeitos procura medir a eficácia 
da intervenção, ou seja, a influência dos 
serviços ( ou das atividades) sobre os estados 
de saúde. 
– Objetivo: 
• Estabelecer uma distinção entre os efeitos desejados 
(entre os quais os resultados da intervenção) e os 
efeitos não esperados (externalidades positivas e 
negativas). 
(BROUSSELLE et al., 2011) 
Perguntas Avaliativas 
• Quais são os efeitos observáveis? 
• Os efeitos observados são imputáveis à 
intervenção, ou a outros fatores? 
Métodos 
• Ensaios randomizados 
• Estudos quase-experimentais 
• Estudos de tendência, correlacionais, 
comparativos 
(BROUSSELLE et al., 2011) 
Abordagens Avaliativas 
AVALIAÇÃO DA EFICIÊNCIA 
• Consiste em mensurar as relações entre os 
recursos e os efeitos observados expressando 
os custos relacionados às consequências das 
intervenções. 
– Objetivos: 
• São diversificados de acordo com o tipo de avaliação 
econômica. 
 
 
(BROUSSELLE et al., 2011) 
Pergunta Avaliativa 
• É possível obter melhores efeitos por um 
custo equivalente ou inferior, ou ainda obter 
os mesmos efeitos a um custo menor? 
Tipos de Avaliação Econômica 
• Avaliação de Custo-benefício 
• Avaliação de Custo-eficácia 
• Avaliação de Custo-utilidade 
(BROUSSELLE et al., 2011) 
Tipos de Avaliação Econômica 
AVALIAÇÃO DE CUSTO-BENEFÍCIO 
• Todos os custos e benefícios são expressos em 
termos monetários, atribuindo-se valores 
financeiros à vida humana ou a capacidade de 
pagar do indivíduo ouda coletividade. 
– Objetivo: 
• Comparar programas cujos resultados não são 
necessariamente benefícios de saúde, mas traduzem 
uma lógica de eficiência na alocação de recursos. 
 
(BROUSSELLE et al., 2011) 
Tipos de Avaliação Econômica 
AVALIAÇÃO DE CUSTO- EFICÁCIA 
– Custos são expressos em termos monetários e as 
consequências em valores reais (anos de vida 
salvos, doenças evitadas). 
AVALIAÇÃO DE CUSTO-UTILIDADE 
– Agrega, além do custo-eficácia, os diferentes 
efeitos possíveis de uma intervenção em um único 
indicador expresso em anos de vida ajustados pela 
qualidade (QALY) 
 
(BROUSSELLE et al., 2011) 
Abordagens Avaliativas 
AVALIAÇÃO DA IMPLANTAÇÃO 
• Consiste em analisar as relações entre a 
intervenção, seus componentes e o contexto, 
em comparação à produção de efeitos. 
– Objetivo: 
• Busca não apenas detectar a diferença entre a 
transferência de uma intervenção para o plano 
operacional, mas procura determinar as razões de tal 
diferença. 
(BROUSSELLE et al., 2011) 
Perguntas Avaliativas 
• Como explicar a transformação da intervenção no 
tempo? 
• Qual é a influencia do meio de implantação sobre o 
grau de implementação de uma intervenção? 
• De que maneira as variações na implementação da 
intervenção influenciam os efeitos observados? 
• Qual é a contribuição de cada um dos componentes do 
programa na produção dos efeitos? 
• Qual é a influência da interação entre o meio de 
implantação e a intervenção sobre os efeitos 
observados? 
(BROUSSELLE et al., 2011) 
Passos da avaliação 
1. Identificar os grupos de interesse 
Pessoas ou grupos que de alguma forma são afetados por um 
processo avaliativo. 
2. Definir os propósitos da avaliação 
Principais motivações que impulsionam a avaliação. 
3. Descrever o objeto da avaliação 
Compreensão clara dos grupos de interesse e avaliadores da 
estrutura e dos aspectos centrais. 
4. Definir as questões da avaliação 
 Formulação da pergunta avaliativa de modo que sua 
resposta reduza o nível de incertezas. 
 
(Furtado, 2009) 
Passos da avaliação 
5. Coletar e analisar os dados 
 Definir quais informações são necessárias e quais os seus 
métodos de obtenção. 
6. Comunicar os resultados 
 Produção de resultados compreensíveis aos diferentes 
atores envolvidos na avaliação. 
7. Utilizar os resultados 
 Envolvimento e comprometimento dos atores de interesse 
em todas as etapas da avaliação. 
 
(Furtado, 2009) 
Conclusão 
 Os estudos avaliativos consideram diferentes 
teorias, elementos, dimensões, abordagens e 
métodos. Entretanto, o primeiro passo para se 
realizar uma pesquisa avaliativa é a 
compreensão precisa do objeto da 
intervenção e de suas relações com o 
contexto e de sua lógica interna. 
Referências 
• BROUSSELLE et al., Avaliação: conceitos e métodos. Rio de janeiro: Editora Fiocruz, 
2011, 292 p. 
• BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Programa 
Nacional de DST e Aids. Manual da Oficina de capacitação em avaliação com o 
foco na melhoria do programa. Brasília: Ministério da Saúde, 2007, 112 p. 
• FIGUEIRÓ, A.C.; FRIAS, P.G.; NAVARRO, L.M. Avaliação em saúde: conceitos básicos 
para prática nas instituições. In: SAMICO, I. et al (Orgs). Avaliação em saúde 
Bases conceituais e operacionais. 1. ed. Rio de Janeiro: MedBook, 2010. p .1-14. 
• FURTADO, J.P. Avaliação de programas e serviços. In: CAMPOS, G.W.S et al (Orgs). 
Tratado de saúde coletiva. 1. ed. São Paulo – Rio de Janeiro: Hucitec – Ed. Fiocruz, 
2006. p. 715- 740. 
• HARTZ, Z.M.A.; SILVA, L.M.V. Avaliação em saúde: dos modelos teóricos à prática 
na avaliação de programas e sistemas de saúde. Rio de Janeiro/Salvador: Editora 
Fiocruz/ Edufba, 2005. 
• PAIM, J.S. Planejamento em saúde para não especialistas. In: CAMPOS, G.W.S et al 
(Orgs). Tratado de saúde coletiva. 1. ed. São Paulo – Rio de Janeiro: Hucitec – Ed. 
Fiocruz, 2006. p. 767- 782. 
• SCHRAIBER, L. B. et al. Planejamento, gestão e avaliação em saúde: identificando 
problemas. Ciência e Saúde Coletiva, v. 4, n. 2, p. 221-242, 1999. 
• VIANA, A.L.D.; BAPTISTA, T.W.F. Análise de Políticas de Saúde. In: GIOVANELLA, L. et 
al. (Orgs). Políticas e Sistema de Saúde no Brasil. 1. ed. Rio de Janeiro: Editora 
Fiocruz, 2008. p. 65-106.