Questionario JPG

Prévia do material em texto

Disciplina: Avaliação em Saúde. 
Professores coordenadores: Marly Cruz e Gisela Cardoso. 
Professores Colaboradores: Ana Claudia Figueiró, Elizabeth Moreira dos Santos, 
Egléubia Oliveira, Vera Lucia Luiza, Lenice Reis, Luiz Antônio Camacho, Paulo Frias, 
Claudia Pereira. 
Aluno: Joyker Peçanha Gomes (joyker@ensp.fiocruz.br). 
Data: 29/11/2016 
Atividade: Questionário com cinco questões discursivas sobre o conteúdo da disciplina. 
 
 
Questão 1- Diferencie as quatro gerações da avaliação e procure apontar os 
desafios e as vantagens na construção de uma avaliação de quarta geração para 
um programa social. 
Entendendo que a forma de representar a evolução da avaliação em seis períodos 
e quatro gerações (Madaus, Stufflebeam & Scriven, 1989; Guba e Lincoln, 1989 apud 
DUBOIS; CHAMPAGNE; BILODEAU, 2011) possibilita historiar as configurações de 
se enxergar a realidade, por meio da medição, descrição, julgamento e negociação das 
necessidades/demandas sociais que pressionam às políticas públicas, de acordo com o 
papel (pacto social) associado à capacidade de resposta dos Estados de Bem-Estar 
Social (Welfare State); correlaciono que os seis períodos são demarcados pelos meios 
de produção social e o processo de amadurecimento da avaliação na conquista de 
espaço como um campo do conhecimento. 
Já a caracterização das quatro gerações, associo ao aperfeiçoamento e a 
incorporação de atributos aos processos avaliativos e a caracterização do papel principal 
do julgador para, além de se consolidar o campo de conhecimento, direcionar sua 
atenção ao que considerou-se mais importante em cada momento histórico, aumentando 
o escopo da avaliação e sua capacidade de resposta às necessidades de conhecimento. 
A partir desse entendimento, pode-se diferenciar as gerações da avaliação por 
suas limitações, funções e capacidade desejada para o avaliador, reconhecendo uma 
transição paulatina do domínio exclusivo dos especialistas (1ª Geração) até a 
apropriação pelos interessados e envolvidos nas políticas públicas (4ª Geração). 
A primeira geração limita-se a capacidade de medir, com foco na eficiência e 
testagem, acompanhando a evolução científica e racionalidade das abordagens 
quantitativas, baseada na epidemiologia e estatística, representando em números o 
fracasso e sucesso do objeto avaliado, afastando-se do domínio comum, portanto, 
2 
 
exigindo do avaliador uma capacidade técnica, dominada por especialistas, para cumprir 
uma função diagnóstica. 
Em um momento entre guerras mundiais, período que ocorreu a grande crise 
mundial da década de 1930, os avaliadores identificaram uma limitação dos números 
para explicar a realidade/problemas e as intervenções, incorporando uma capacidade 
descritiva às avaliações, direcionando esforços às abordagens qualitativas, buscando 
compreender melhor o processo, suas forças e fraquezas. Assim, caracteriza-se a 
segunda geração, colocando a medida a serviço da avaliação que deve assumir um papel 
de descrever a intervenção e analisar suas condições de agir sobre o problema, 
incorporando uma função formativa que também depende da capacidade técnico-
diagnóstica, mas incorporando uma capacidade técnico-descritora. 
Na terceira geração, apesar de utiliza-se das abordagens quantitativas (medir) e 
qualitativas (descrever), identificou-se uma limitação quanto à capacidade da avaliação 
valorar os objetivos e resultados, bem como, compreender e comprovar a relação entre 
necessidades sociais e intervenções. Então, potencializou-se a avaliação para subsidiar o 
processo de planejamento e tomada de decisão, enfatizando o papel do avaliador como 
juiz que deve fazer seu julgamento fundamentado de informações descritivas e de 
medida, assumindo as funções diagnóstica, formativa e somativa. Período de forte 
investimento público, levando a expansão e profissionalização da avaliação, facilitada 
pela evolução da tecnologia da informação e informática. 
Verificando-se uma insatisfação com os processos avaliativos e seus resultados 
limitados aos interesses dos avaliadores e a dependência dos métodos científicos 
fortalecidos pelo modelo positivista, o campo da avaliação avançou para expandir sua 
capacidade participativa. Reconhecendo que as avaliações de programas sociais 
extrapolavam os conhecimentos dos avaliadores técnicos, direcionou-se esforços para 
incorporação da diversidade de conhecimentos, valores e interesses inerentes à 
pluralidade dos envolvidos e beneficiados, permeando os métodos, julgamentos e 
resultados da avaliação. Assim, caracterizou-se a quarta geração como sendo da 
negociação, abrindo o campo da avaliação para além dos especialistas. O avaliador 
precisa assumir um papel também de mediador para fortalecimento de uma prática 
emancipatória. 
Diante do exposto, consolido como principais desafios e vantagens trazidos por 
essa abordagem de avaliação: 
- equilibrar o modelo positivista da ciência (interesse técnico) e a abordagem 
construtivista (interesse prático e libertador), reconhecendo a complexidade da realidade 
problema e diversidade de interesses dos envolvidos e beneficiados, sem perder a 
3 
 
capacidade explicativa e de compreensão trazida e reconhecida pela ciência, 
possibilitando cada vez mais um entendimento da realidade apreendida pelo senso 
comum e transformada em uma intervenção em determinado território; 
- garantir as condições e atividades necessárias para participação dos interessados e 
beneficiados na construção de desenvolvimento da avaliação participativa, 
proporcionando maior legitimidade ao processo avaliativo e seus resultados; 
- Alcançar o comprometimento dos envolvidos e beneficiados ao ponto de gerar 
sustentabilidade e institucionalização dos processos avaliativos, transformando-os em 
ação concreta para melhoria das condições sociais. 
 
Questão 2- Descreva estratégias para a escolha de uma pergunta avaliativa e 
explique qual a relação da pergunta avaliativa com o foco e os possíveis usos da 
avaliação. Dê três exemplos de perguntas avaliativas (uma de estrutura, processo e 
de resultado). 
Considerando que a pergunta avaliativa tem relação com a base e 
direcionamento do processo avaliativo, delimitando o escopo da avaliação e 
direcionando seu foco a determinados aspectos priorizados para aprofundamento 
(CAZARIN; MENDES; ALBUQUERQUE, 2010); esta deve garantir o atendimento aos 
interesses de seu público e possibilitar as justificativas necessárias para fundamentar as 
conclusões. Deste modo, deve ser formulada e selecionada com todo rigor e de forma 
participativa (Worthen, Sanders & Fitzpatrick, 2004 apud CAZARIN; MENDES & 
ALBUQUERQUE, 2010), desde o entendimento do contexto, passando pela 
modelização lógica da intervenção até as bases para delimitação do modelo teórico da 
avaliação. 
Na expectativa de objetivar as estratégias para formulação e seleção da pergunta 
ou perguntas avaliativas, alguns autores recomendam responder algumas questões 
prévias (BEZERRA; CAZARIN; ALVES, 2010; CHAMPAGNE et al., 2011a): 
- Qual o problema que gerou necessidade do Programa? 
- Qual o Programa? 
- Qual o objetivo geral do programa? 
- Quais objetivos específicos do programa? 
- Que metas o programa pretende alcançar? 
- Qual o público-alvo? 
- Quais os componentes do programa? 
- Que atividades são realizadas no programa? 
- De que estrutura precisa para funcionar? (física, organizacional e simbólica) 
4 
 
- Quais produtos espera-se obter com a realização das atividades? 
- Que resultados o programa pretende alcançar? 
- Que fatores podem influenciar o alcance destes resultados, que não apenas os 
relacionados ao programa? 
- Quais são as finalidades da avaliação,seus desafios e utilização em função das 
expectativas dos principais atores? Por que se está avaliando essa intervenção e para 
fazer o quê? 
- Quem são os decisores e destinatários da Avaliação? 
- O que será avaliado? Conjunto todo, um os vários componentes? 
- Qual contexto – político, histórico, legislativo, econômico, cultural, social, 
institucional, organizacional, técnico da intervenção? 
- Em que etapa da intervenção a avaliação está ocorrendo? Concomitante, intermediária 
ou final? 
- Qual a viabilidade operacional da intervenção? (principalmente humanos e 
financeiros) 
- O avaliador dispõe dos meios para desenvolver a contento seu trabalho? 
Como forma de construção coletiva para formulação e seleção da pergunta 
avaliativa Cronbach (1982; apud CAZARIN; MENDES; ALBUQUERQUE, 2010) 
orienta a realização em duas fases. A primeira denominada divergente, onde fica aberta 
a todos os interessados e envolvidos para sugerirem potenciais perguntas investigativas, 
buscando compreender e abranger a diversidade dos pontos de vista. A segunda, 
chamada de convergente, visa chegar ao consenso para direcionamento da avaliação e 
definição da pergunta ou perguntas avaliativas, por meio de critérios de prioridade, 
utilidade, relevância e viabilidade. 
De acordo com a fase do programa, objetivo da avaliação e tipo de avaliação 
(CAZARIN; MENDES; ALBUQUERQUE, 2010), pode-se exemplificar algumas 
perguntas avaliativas: 
- para fase do programa implantação, com o objetivo formativo e tipo de avaliação 
normativa de estrutura – Os recursos públicos disponibilizados na subfunção Atenção 
Básica de Saúde são suficientes para os municípios cumprirem as metas do Pacto da 
Atenção Básica de Saúde no Brasil? 
- para fase do programa desenvolvimento, com o objetivo formativo e tipo de avaliação 
normativa de processo – Como funciona a política de atenção básica de saúde nos 
municípios brasileiros? 
5 
 
- para fase do programa conclusão, com o objetivo somativo e tipo de pesquisa 
avaliativa para análise de rendimento – Quais os impactos da Política Nacional de 
Atenção Básica na eficiência dos sistemas de saúde pública nos municípios? 
 
Questão 3- Qual a importância sobre o conhecimento da lógica, da racionalidade 
da intervenção para sua avaliação? O que diferencia a análise lógica da análise 
estratégica? E qual a importância do conhecimento sobre o contexto (“Lugar” do 
programa) para a avaliação? 
Para um processo avaliativo de uma intervenção, recomenda-se, inicialmente, 
compreender a lógica e racionalidade da própria intervenção, ou seja, sistematizar seus 
componentes estrutura, atores e práticas, processos de ação, finalidades e contexto onde 
a intervenção será aplicada. Considera-se ideal transformar o constructo mental em 
conhecimento explícito, representado por um modelo lógico visual da intervenção 
(modelização), tornando-a inteligível entre os interessados e possibilitando a verificação 
de sua avaliabilidade (BEZERRA; CAZARIN; ALVES, 2010; CHAMPAGNE et al., 
2011b). Estes autores também consideram que a modelização torna-se indispensável 
para o avaliador construir seu julgamento, em especial à análise lógica. 
A análise lógica diferencia-se da análise estratégica desde seu objetivo 
(CHAMPAGNE et al., 2011c, 2011d). Enquanto na estratégica o avaliador precisa ter 
uma visão mais abrangente para julgar sobre a pertinência dos objetivos de uma 
intervenção em relação ao problema a ser resolvido; na lógica, a análise está no 
contexto interno, visando julgar a adequação dos meios de operacionalização da 
intervenção em relação aos seus objetivos. Esse entendimento não é consenso entre os 
autores, uma vez que Cazarin, Mendes e Albuquerque (2010, p. 84) correlacionaram a 
análise estratégica ao tipo de pergunta: “A intervenção proposta contempla todos os 
componentes necessários para alcançar os objetivos?”. 
Observa-se também uma divergência entre esses autores quanto ao objetivo 
sintético da avaliação na análise lógica. Champagne, Brousselle, Contandriopoulos e 
Hartz (2011c) caracterizam a análise lógica como tendo objetivo essencialmente 
somativo, apesar de reconhecerem sua utilização para concepção de uma intervenção. 
Cazarin, Mendes e Albuquerque (2010) vinculam essa análise ao objetivo formativo e à 
fase do programa que denominam como implantação. 
Para Cazarin, Mendes e Albuquerque (2010), a fase de implantação do programa 
tem forte relação com o contexto, seja para analisar as influências deste na implantação 
da intervenção ou desta na mudança do contexto local. Por conseguinte, a compreensão 
do contexto torna-se fundamental para identificação dos fatores externos e internos a 
6 
 
governabilidade da gestão da intervenção que realmente impactam na implantação da 
intervenção e nos seus resultados, buscando identificar com clareza as causas atribuídas 
ao contexto externo e àquelas concernentes à intervenção. 
A compreensão do contexto também contribui para o reconhecimento da 
complexidade de se avaliar a implantação e impacto de intervenções sociais, em face 
das especificidades inerentes a cada território e a diversidade de contextos sociais, 
econômicos, legais, culturais e históricos. 
 
Questão 4- Se é consenso na literatura que toda avaliação requer um julgamento, 
com base em que esse julgamento pode ser feito em uma avaliação? Quais as 
implicações éticas na produção desse julgamento? 
Como o julgamento caracteriza-se pela declaração do avaliador sobre o mérito 
da intervenção (ALVES et al., 2010), este deve estar embasado por critérios, 
indicadores e parâmetros definidos pelos interessados, incluindo se possível o público-
alvo da intervenção (negociação), respaldado pelo conhecimento científico acumulado 
ou histórico e especificidades do local da intervenção. 
Quando o julgamento é construído apenas pelo próprio avaliador, este pode se 
afastar da realidade e necessidades do público-alvo, atendendo interesses restritos e 
privados. A construção dos critérios, indicadores e parâmetros pelo avaliador 
especialista pode garantir a validade interna, como se a intervenção fosse uma ação 
isolada da realidade, semelhante a testes e estudos controlados em laboratório. Deste 
modo, podendo gerar fragilidades quanto à validade externa, à legitimidade social e à 
eticidade da avaliação. 
Em relação às boas práticas do processo avaliativo, consequentemente, do 
julgamento, Hartz (2006) pontua os quatro grandes princípios: da utilidade que deve 
garantir às necessidades de informação dos usuários; da exequibilidade, sendo realista e 
tendo custo-benefício que justifique sua realização; da propriedade, respeitando o bem-
estar dos envolvidos; da acurácia, direcionando a transmissão de informações sobre 
mérito das intervenções avaliadas de forma responsável com a devida validade. 
Complementando, a autora cita as diretrizes sobre ética elaboradas pela Sociedade 
Canadense de Avaliação com foco na competência, na integridade e na imputabilidade 
dos avaliadores. 
Evidenciando a importância da subjetividade nas avaliações de intervenções de 
saúde, Uchimura e Bosi (2002) enfatizam a exigência ética da alteridade na reflexão 
sobre as ações governamentais, devendo ser verificado o nível das relações 
estabelecidas entre os atores sociais e suas vivências. 
7 
 
 
Questão 5- O que diferencia a avaliação normativa da pesquisa avaliativa? Quais 
são os possíveis critérios de sucesso de uma avaliação de implementação e de 
resultado? Como se justifica a escolha desses critérios? 
A característica que diferencia a avaliação normativa e a pesquisa avaliativa está 
no seu julgamento. Esta realiza o julgamento usando métodos científicos, avançandona 
capacidade analítica correlacionando problema, intervenção, objetivos, recursos, 
atividades, efeitos e contexto. Aquela compara a estrutura, o processo e os resultados 
com critérios e normas existentes (FIGUEIRÓ; FRIAS; NAVARRO, 2010; SAMICO; 
FIGUEIRÓ; FRIAS, 2010). 
Diferenciando apreciação normativa e pesquisa avaliativa, Champagne, 
Contandriopoulos, Brousselle, Hartz e Denis (2011a) vinculam: a primeira à medição e 
julgamento do grau de conformidade da intervenção (estrutura, processo e resultado) em 
relação a critérios normativos e de boas práticas; e a segunda aos métodos 
cientificamente reconhecidos, com o objetivo de analisar a pertinência da intervenção 
em relação ao problema, a adequação lógica entre objetivos e modelo operacional, a 
produtividade de serviços na utilização dos insumos, os efeitos e sua eficiência, além da 
relação entre contexto e implantação da intervenção. 
Furtado e Silva (2014), com base nos resultados de entrevistas de 28 agentes 
selecionados entre pesquisadores e gestores, relatam que emergiu uma diferenciação 
entre pesquisa avaliativa e avaliação para a gestão. A primeira, realizada por 
pesquisadores e docentes, enfatiza a geração de novos conhecimentos no campo da 
avaliação, baseado em métodos científicos. A segunda, por agentes da gestão e de 
serviços de assessoria, destaca a fluidez entre gestão e avaliação. 
Apesar das diversas denominações atribuídas à avaliação normativa, observa-se 
uma convergência na diferenciação da pesquisa avaliativa, uma vez que esta, por ser 
baseada em métodos científicos, proporciona maior capacidade explicativa e abrange a 
complexidade das intervenções sociais. A avaliação normativa também pode ser 
caracterizada como parte da pesquisa avaliativa, em especial na análise de implantação 
(SAMICO; FIGUEIRÓ; FRIAS, 2010) 
Espera-se que a avaliação de implementação ou análise de implantação tenha 
seus critérios forjados para analisar o nível de implementação e qualidade da 
intervenção, a influência do contexto na implantação e resultados, além da capacidade 
do processo avaliativo em curso alterar a intervenção. 
Observa-se não haver consenso para seleção e formulação de critérios, nem sua 
distinção em relação a indicadores, portanto, entendo ser inviável a sistematização dos 
8 
 
critérios de sucesso possíveis de uma avaliação de implementação e de resultado de 
forma generalizada. Acredita-se aos avaliadores este papel de acordo com cada 
intervenção e seu contexto, recomendando-se uma revisão da literatura e construção 
participativa com especialistas e interessados, incluindo, sempre que possível, o 
público-alvo, tendo como referência, para justificar a escolha/decisão, os requisitos de 
validade, sensibilidade, especificidade, relevância, simplicidade, custo-efetividade e 
oportunidade (ALVES et al., 2010). 
Em um exercício de generalização podem ser citados como critérios de 
implementação: a disponibilidade de insumos necessários, o atendimento a padrão de 
boas práticas, a acomodação às necessidades dos usuários, o registro de beneficiados do 
público-alvo e o alcance de metas planejadas (CHAMPAGNE et al., 2011e). A análise 
de implantação deve contribuir para explicar os resultados da intervenção. 
Complementando exercício do parágrafo anterior, para a avaliação de resultado, 
seja do mais próximo da intervenção (intrínseco a análise de implantação) e dentro de 
sua governabilidade (produto) ou do mais próximo da realidade territorial (efeitos e 
impactos) com potenciais influências externas. Para produto podemos citar critérios de 
eficácia e para efeitos e impactos critérios de efetividade. 
Como critérios de efetividade na área da saúde podemos citar a mortalidade e 
morbidade por uma doença específica. Para Donabedian (2005), a linha que demarca o 
término do processo e o início do resultado é tênue e elástica, dependendo da 
perspectiva da avaliação e da combinação de um sistema dentro de outro sistema. Na 
perspectiva da atenção básica no brasil, um critério de efetividade utilizado são as 
internações por causas sensíveis a atenção básica, sendo critério de sucesso a redução da 
taxa destas internações específicas. 
Quanto ao julgamento de sucesso ou fracasso, além dos critérios e indicadores, 
precisa ter claro o parâmetro/padrão para servir de referência e fundamentar o 
julgamento por comparação. 
Por fim, na lógica da avaliação normativa estar contida na análise de 
implantação, os resultados produtos são abrangidos nas avaliações de implementação, 
ou seja, o conjunto de critérios atenderiam o processo e resultado. Entretanto, quando 
trata-se de efeitos e impactos, a avaliação de implementação contribui em parte, 
precisando valer-se de uma análise dos efeitos para melhor julgar e explicar as 
alterações ocorridas na situação problema que motivou e fundamentou a intervenção. 
 
 
 
9 
 
REFERÊNCIAS BIBLIOGRÁFICAS 
 
ALVES, C. K. DE A. et al. Interpretação e Análise das Informações: O Uso de 
Matrizes, Critérios, Indicadores e Padrões. In: Avaliação em Saúde: Bases 
Conceituais e Operacionais. 1. ed. Rio de Janeiro: MedBook, 2010. p. 89–107. 
BEZERRA, L. C. DE A.; CAZARIN, G.; ALVES, C. K. DE A. Modelagem de 
Programas: Da Teoria à Operacionalização. In: Avaliação em Saúde: Bases 
Conceituais e Operacionais. 1. ed. Rio de Janeiro: MedBook, 2010. p. 65–78. 
CAZARIN, G.; MENDES, M. F. DE M.; ALBUQUERQUE, K. M. DE. Perguntas 
Avaliativas. In: Avaliação em Saúde: Bases conceituais e Operacionais. 1. ed. Rio de 
Janeiro: MedBook, 2010. p. 79–87. 
CHAMPAGNE, F. et al. A Avaliação no Campo da Saúde: conceitos e métodos. In: 
Avaliação: conceitos e métodos. 1. ed. Rio de Janeiro: Editora Fiocruz, 2011a. p. 41–
60. 
CHAMPAGNE, F. et al. Modelizar as intervenções. In: Avaliação: conceitos e 
métodos. 1. ed. Rio de Janeiro: Editora Fiocruz, 2011b. p. 61–74. 
CHAMPAGNE, F. et al. A Análise Lógica. In: Avaliação: conceitos e métodos. 1. ed. 
Rio de Janeiro: Editora Fiocruz, 2011c. p. 105–113. 
CHAMPAGNE, F. et al. A Análise Estratégica. In: Avaliação: conceitos e métodos. 1. 
ed. Rio de Janeiro: Editora Fiocruz, 2011d. p. 95–103. 
CHAMPAGNE, F. et al. A Análise da Implantação. In: Avaliação: conceitos e 
métodos. 1. ed. Rio de Janeiro: Editora Fiocruz, 2011e. p. 217–238. 
DONABEDIAN, A. Evaluating the Quality of Medical Care. Milbank Quarterly, v. 
83, n. 4, p. 691–729, 2005. 
DUBOIS, C.-A.; CHAMPAGNE, F.; BILODEAU, H. Histórico da Avaliação. In: 
Avaliação: conceitos e métodos. 1. ed. Rio de Janeiro: Editora Fiocruz, 2011. p. 19–
39. 
FIGUEIRÓ, A. C.; FRIAS, P. G. DE; NAVARRO, L. M. Avaliação em Saúde: 
Conceitos Básicos para a Prática nas Instituições. In: Avaliação em Saúde: Bases 
conceituais e Operacionais. 1. ed. Rio de Janeiro: MedBook, 2010. p. 1–13. 
FURTADO, J. P.; VIEIRA-DA-SILVA, L. M. A avaliação de programas e serviços de 
saúde no Brasil enquanto espaço de saberes e práticas. Cadernos de Saúde Pública, v. 
30, n. 12, p. 2643–2655, dez. 2014. 
HARTZ, Z. M. DE A. Princípios e padrões em metaavaliação: diretrizes para os 
programas de saúde. Ciência & Saúde Coletiva, v. 11, n. 3, p. 733–738, set. 2006. 
SAMICO, I.; FIGUEIRÓ, A. C.; FRIAS, P. G. DE. Abordagens Metodológicas na 
Avaliação em Saúde. In: Avaliação em Saúde: Bases conceituais e Operacionais. 1. 
ed. Rio de Janeiro: MedBook, 2010. p. 15–28. 
UCHIMURA, K. Y.; BOSI, M. L. M. Qualidade e subjetividade na avaliação de 
programas e serviços em saúde. Cadernos de Saúde Pública, v. 18, n. 6, p. 1561–1569, 
dez. 2002.