Curso Introdução à Avaliação em Saúde Apostilas

Prévia do material em texto

UNIDADE 1 AVALIAÇÃO DE PROJETOS, PROGRAMAS E SERVIÇOS DE SAÚDE: UMA INTRODUÇÃO
INTRODUÇÃO
Caro Aluno, a primeira unidade de aprendizagem foi produzida com o propósito de apresentar concepções básicas de monitoramento e avaliação (M&A). Além disso, buscar-se-á desenvolver e discutir as tipologias de avaliação e a importância das chamadas perguntas avaliativas para orientar e dar sentido aos processos avaliativos.
Esperamos estimulá-los a refletirem sobre as práticas de monitoramento e avaliação e, também, que possam entendê-las como potentes dispositivos para a realização de mudanças positivas no Sistema Único de Saúde (SUS), em particular na Atenção Primária em Saúde, ampliando o debate a respeito do acesso e da qualidade dos serviços.
Sessão1Monitoramento ou Avaliação?
Fazemos a você um convite para ler e pensar na situação relatada por uma enfermeira que trabalha em uma Unidade de Saúde da Família (USF) de um município brasileiro.
 
Amanda é uma dedicada enfermeira que compõe uma das equipes da unidade de saúde da família na qual trabalha há cinco anos. Em recente reunião realizada pela coordenação das Linhas de Cuidado do município, na qual foram apresentados resultados do último ano de gestão, Amanda ficou desapontada com a apresentação, que, segundo ela, não refletia a realidade do serviço que ela conhecia tão bem. A reunião ganhava certa tensão à medida que os resultados eram apresentados pela coordenadora. Amanda, então, pediu a palavra e fez algumas perguntas na tentativa de melhor compreender o quadro que se formava para ela:
(1) como vocês podem apresentar resultados tão ruins a respeito do que estamos fazendo, se temos trabalhado tanto no atendimento aos usuários da unidade para atingir as nossas metas?
(2) De onde vocês extraíram essas informações?
(3) Por que vocês escolheram esses indicadores e não outros?
(4) Por que nós não fomos ouvidos sobre os dados?
(5) Por que tudo que foi realizado fica tão reduzido aos números?
(6) Que providências devemos tomar, se o atendimento é tão bem reconhecido pelos usuários desse território?
Num clima que beirava o alvoroço, a coordenadora das Linhas de Cuidado percebeu que o que estava em xeque era o sentido e a lógica daquela avaliação. Tudo indicava que era preciso rever conceitos e práticas avaliativas. Enquanto tentava justificar os dados, lembrando que eles haviam sido compilados a partir dos registros de atendimento realizados pelas unidades de saúde da família, a coordenadora insistia na importância que as práticas de monitoramento e avaliação teriam para a secretaria de saúde a partir daquele ano, sustentando que havia espaço para ajustes, mas que era preciso avançar na prática de avaliação dos serviços.
Intrigada com a situação, Amanda foi reler seus materiais de formação do primeiro ciclo do programa de Melhoria do Acesso e Qualidade (PMAQ) da Atenção Básica em Saúde a fim de se preparar melhor para dialogar com o anúncio da coordenadora. Afinal de contas, o que ela deveria aprender a respeito de monitoramento e avaliação?
 
Mas, afinal, o que é Monitoramento?
No Brasil, o termo monitoramento é o mais comumente utilizado para designar o acompanhamento sistemático de objetivos e metas que foram definidos para um projeto, programa ou serviço. Também conhecido como monitoria, monitoração ou monitorização, a depender das opções regionais e influências teórico-práticas, monitoramento é habitualmente definido como "o processo de acompanhamento da implementação de determinadas ações, tomando-se como base o que um projeto (ou equivalente) estabelece como metas de sua implementação (planejamento)" (BRASIL, 2009, p. 11).
Nesse sentido, a prática do monitoramento requer acompanhar e conhecer em que medida os objetivos e metas de uma determinada intervenção estão sendo alcançados, por isso monitora-se sempre aquilo que está planejado, preestabelecido, pactuado ou esperado. O monitoramento, portanto, "[...] detecta os desvios quando comparados ao plano para, oportunamente, definir ações corretivas para se manter em curso o objetivo da ação ou até mesmo decidir sobre a revisão do planejamento do programa ou projeto" (ANTERO, 2008, p. 806). Como importante ferramenta de gestão, deve ser ágil para identificar obstáculos, retrocessos e paralisações, a fim de oferecer a gestores e equipes informações tempestivas (rápidas), precisas (adequadas) e confiáveis a respeito do curso das ações, o que amplia as possibilidades de fazer correção de rumos.
Um processo de monitoramento deve, portanto, observar, medir e definir as informações prioritárias para o funcionamento de uma intervenção, seja um programa, projeto, linha de cuidado ou serviço (BRASIL, 2013). Deve, também, acompanhar informações relativas aos custos envolvidos no desenvolvimento de uma intervenção. A Figura 1 ilustra, por exemplo, quantas famílias estão sendo acompanhadas por um determinado serviço e quantas visitas estão sendo realizadas. A informação, comparada com os números esperados, permite saber em que medida as metas estabelecidas estão sendo alcançadas, o que possibilita que um serviço observe a cobertura de suas ações e modifique seu processo de trabalho.
 
Figura 1 – Série histórica do percentual de famílias visitadas em um território para um caso hipotético.
 
 
Como o termo intervenção está sendo citado com grande frequência, é importante aprofundá-lo. Uma intervenção é um conjunto de ações organizadas que visam modificar uma certa realidade insatisfatória. Em outras palavras, nossos processos de planejamento, via de regra, partem de problemas que precisam ser enfrentados, realidades que precisam ser transformadas, agravos que precisam ser reduzidos, ou melhor, manejados, etc. Se observamos, por exemplo, que certa região de um estado ou cidade é foco de dengue, devemos perguntar: que intervenção fazer ali para transformar uma situação de saúde tão inadequada e indesejável?
No contexto deste curso introdutório, as intervenções de saúde podem ser políticas, programas, projetos ou serviços que visam enfrentar problemas de saúde pública. Dessa forma, qualquer intervenção será desenvolvida a partir da mobilização de recursos capazes de produzir efeitos que levem à resolução dos problemas para os quais foi concebida. Para ficar mais claro, observemos a Figura 2, que ajuda a compreender a conexão entre os componentes que conformam uma intervenção. É sempre importante lembrar que nem sempre os desenhos e a realidade são assim tão lineares.
 
Figura 2 – Os componentes de uma intervenção em saúde.
 
Fonte: Brasil, 2013
 
Tomemos como exemplo a Política Nacional da Atenção Básica (PNAB), que estabelece as diretrizes para a Atenção Básica em Saúde, orientada pelos princípios da universalidade, acessibilidade, vínculo, continuidade do cuidado, integralidade da atenção, responsabilização, humanização, equidade e participação social. Apesar de bastante complexa, é necessário que a rede da Atenção Básica se organize de forma a enfrentar os problemas, como hipertensão, hepatites virais, tuberculose, dengue, hanseníase, e alcançar todos esses princípios com qualidade.
  
Como você deve estar pensando, as ações de monitoramento dependem muito de bons sistemas de informação (oficiais ou não) para o acompanhamento de ações tão complexas como as de saúde. Na Unidade 3 deste curso essa questão será aprofundada, mas cabe ressaltar aqui que o bom funcionamento dos serviços implica superar concepções tradicionais sobre o caráter burocrático dos sistemas de informação. Se tantas vezes nos deparamos com uma grande quantidade de dados produzidos e encaminhados para outros níveis organizacionais, sem que sejam usados para o planejamento e avaliação das ações pelo nível local, precisamos mirar os sistemas de informação como instrumentos de análise e introdução de mudanças profundas no interior das práticas assistenciais (MERHY, 2002).
É nesse sentido que compreendemos o monitoramento como parte integrante da gestão da Atenção Básica. Afinal, práticas de monitoramento devem contemplar os aspectos centrais da execuçãodo trabalho previsto para alcançar os objetivos da intervenção. Segundo Contandriopoulos et al. (2000), devemos monitorar diferentes componentes para sermos capazes de acompanhar a concretização das mudanças esperadas. No Quadro 1, adaptado do trabalho de Donabedian (2005), estão os componentes importantes dos processos de monitoramento; logo, dos processos de planejamento.
 
Quadro 1 – Componentes dos processos de monitoramento
 
	A estrutura
	– são os recursos previamente disponíveis para a execução das atividades de uma intervenção (projeto, programa ou serviço). A estrutura física diz respeito ao volume e estruturação dos diferentes recursos mobilizados (materiais, financeiros, humanos, técnicos, informacionais...). A estrutura organizacional compreende o conjunto de leis, regulamentos, convenções, regras de gestão, que definem como os recursos (financeiros, poder, influência e compromissos) são repartidos e trocados. A estrutura simbólica refere-se ao conjunto de valores, crenças e representações que permitem aos diferentes atores envolvidos nas ações de saúde comunicar-se entre si e dar sentido às suas ações.
	
	Os processos
	– é o conjunto de atividades durante as quais e pelas quais os recursos são mobilizados e empregados pelos atores para produzir bens e serviços requeridos para atender as finalidades do sistema organizado da ação.
	Os produtos
	– são as consequências imediatas das atividades da intervenção;
	Os resultados
	– são os efeitos intermediários da intervenção, observados, em geral, na população-alvo. Eles podem ser classificados em de médio e de longo prazo;
	Os impactos
	- referem-se aos efeitos acumulados do conjunto das intervenções na população geral, a longo prazo e associado a efeitos finalísticos.
Fonte: Donabedian, 2005.
 
Para compreender melhor esses componentes, observe o Quadro 2, que classifica os componentes segundo estrutura, processo, produto, resultado ou impacto.
 
Quadro 2 – Classificação de componentes segundo estrutura, processo, produto, resultado ou impacto. São Paulo, 2016
 
	Exemplos de componentes
	Estrutura
	Processo
	Produto
	Resultado
	Impactos
	25 profissionais capacitados para atuar no controle e prevenção do câncer de colo de útero
	
	
	X
	
	
	Aumento de 28% da captação precoce da gestante nas áreas de abrangência da unidade de saúde
	
	
	
	X
	
	Disponibilidade de medicamentos para poliquimioterapia no tratamento da hanseníase
	X
	
	
	
	
	Visita domiciliar aos usuários que têm faltado à consulta para acompanhamento da tuberculose
	
	X
	
	
	
	Vacina do H1N1 disponível para a campanha a ser realizada com vistas a aumentar a cobertura no território de atuação da equipe de saúde da família
	X
	
	
	
	
	Redução da taxa de mortalidade por dengue de 14 para 12 por 100.000 hab. no município
	
	
	
	
	X
	Melhoria da adesão da equipe de saúde bucal ao uso de equipamento de proteção individual
	
	
	
	X
	
	Redução de 5% da letalidade em pacientes diagnosticados com dengue grave
	
	
	
	
	X
	Vacina tetravalente disponível para as unidades básicas de saúde
	X
	
	
	
	
	Redução da prevalência de sífilis de 15 casos por 100.000 hab. no município de Benguela
	
	
	
	
	X
	Capacitação dos agentes comunitários para o acompanhamento dos bebês com microcefalia de mães que tiveram zika
	
	X
	
	
	
 
A implantação de um processo de monitoramento envolve a articulação de uma proposta, de natureza técnico-política, com a prática dos sujeitos que estão executando as ações de saúde e com o cotidiano dos usuários que delas usufruem. Compreende-se, portanto, que esse processo envolve o acompanhamento de uma cadeia de efeitos, pois, quando não há disponibilidade de recursos (estrutura), não é possível mobilizar recursos para a realização das ações (processos), o que, por sua vez, não levará a efeitos imediatos (produtos), intermediários (resultados) ou finalísticos (impactos de longo prazo).
Tomemos como exemplo o próprio caso da enfermeira Amanda. Para as unidades de saúde da família, um dos aspectos a ser monitorado é o objetivo de Assegurar ampliação de acesso, cuidado integral e resolutivo, crucial para a qualidade dos serviços. Nesse caso específico, tal objetivo deveria ser monitorado pelos indicadores que aparecem no Quadro 3, já com o desempenho esperado.
 
Quadro 3 – Indicadores para monitoramento de um serviço de atenção básica
 
· 100% dos usuários com impossibilidade de deslocamento contam com serviço de atendimento farmacêutico domiciliar;
· 90% de casos acolhidos dentre os usuários que procuram a unidade diariamente;
· 100% de casos agudos acolhidos;
· 75% de casos não agudos acolhidos, com consultas agendadas para até 10 dias a partir da procura do Serviço;
· 75% de usuários com quadros agudos acolhidos e atendidos em até 30 minutos a partir da chegada ao Serviço.
 
Quando monitoramos algo, em geral respondemos a perguntas como: (1) os dados encontrados revelam o alcance de produtos e resultados planejados? (2) As informações que acompanhamos indicam a possibilidade de mudanças para superação da situação-problema? Para responder a perguntas como essas, no caso da enfermeira Amanda, a coordenação de Linhas de Cuidado viu a necessidade de utilizar indicadores capazes de refletir o alcance ou não das metas, que poderiam representar os processos instalados e/ou produtos obtidos. Mais adiante, voltaremos a falar de indicadores.
As ações de monitoramento também integram os requisitos necessários para fazer uma avaliação, tema sobre o qual falaremos em breve. Sem monitoramento, as avaliações podem perder força, já que gestores e equipes pouco conhecem o alcance do que foi planejado e pouco identificam campos que merecem um olhar avaliativo. O monitoramento deve ser um processo contínuo e regular, mas isso não é suficiente para o sucesso da avaliação, que deve ser pontual e utilizar informações adicionais, de outras fontes, na medida em que visa ao julgamento de valor ou de mérito da intervenção e ao aprofundamento da explicação sobre o não alcance dos resultados esperados, ou mesmo a não mudança da situação-problema que a intervenção busca enfrentar. Sendo assim, entende-se que o monitoramento e a avaliação são complementares, não se sobrepõem (HARTZ, 2000; ANTERO, 2008). Vejamos por quê.
Importante começar dizendo que não existe consenso na literatura sobre o que seja avaliação e que essa é uma terminologia que apresenta muitos sentidos. De qualquer forma, há um consenso entre diferentes atores de que a avaliação deve levar a um juízo de valor sobre o objeto avaliado, nos cabendo dar aqui destaque para esta definição:
Avaliação é a coleta sistemática de dados sobre atividades, características e efeitos de programas para uso de interessados, de forma a reduzir incertezas, melhorar a efetividade e tomar decisões com respeito ao que aquele programa está fazendo, quais são seus resultados e como pode ser ajustado (PATTON, 1990).
Ao definir avalição, o autor traz na base de seu conceito características importantes, que podem responder às seguintes questões: O que avaliar? Para que avaliar? Para quem avaliar? Quem avalia? O Quadro 4 mostra como tais perguntas estão respondidas.
Quadro 4 – O que, para que, para quem e quem avaliar?
 
· O que avaliar? remete ao objeto da avaliação, isto é, intervenção ou parte da intervenção a ser avaliada;
· Para que avaliar? diz respeito à finalidade da avaliação, que pode estar relacionada à prestação de contas, ao compartilhamento de experiências, ao desenvolvimento organizacional, ao aprimoramento da intervenção e da comunicação;
· Para quem? define quem demanda a avaliação e também seus possíveis usos; daí a importância de definir os potenciais interessados e/ou usuários da avaliação (gestores, profissionais de saúde, prestadores de serviços, planejadores, sociedade civil organizada, usuários, financiadores e outros);
· Quem avalia? refere-se a quem julga necessária a avaliação. Pode estar restrito apenas ao avaliador definir a pergunta de interesse da avaliação, seus passos e critérios de julgamento, como podeser ampliado para diferentes atores envolvidos com a intervenção e/ou interessados na avaliação.
 
Desde o reconhecimento da avaliação como conjunto de conhecimentos e práticas organizados e sistemáticos, a mensuração sempre foi uma característica marcante dessa área (Furtado, 2001). No entanto, com o tempo, outras características foram agregadas à avaliação, que ganharam destaque, como a descrição dos processos, o julgamento e a negociação. Entretanto, ainda nos dias atuais, vemos que há uma predominância da mensuração na avaliação.
 
Saiba Mais (Clique)
 
Nesse momento, apresentamos uma segunda história que pode enriquecer seu processo de aprendizagem.
 
Rebeca é assistente social do Núcleo de Apoio à Saúde da Família (NASF) e recentemente foi convidada a participar de uma reunião na secretaria municipal de saúde de um município brasileiro, onde os resultados do primeiro ciclo do Programa de Melhoria do Acesso e da Qualidade (PMAQ) seriam apresentados à rede.
Os profissionais de saúde da família estavam com grande expectativa para conhecer a avaliação do trabalho realizado em cada uma das unidades de saúde da família e logo cedo encheram a sala. Para grande surpresa, não foram apresentados os resultados do município, e o estado aparecia um pouco abaixo da média em termos de desempenho das equipes PMAQ. Esse resultado implicaria o não recebimento do incentivo para a Atenção Básica em Saúde, o que poderia prejudicar as unidades de saúde da família.
Descontente com o resultado, Rebeca pediu alguns esclarecimentos ao pessoal da Secretaria de Saúde: por que não estão explícitos os resultados do município? Como se dá a mensuração da qualidade das ações realizadas? Quais os critérios de desempenho utilizados? Se o desempenho não foi aceitável, quais as recomendações para melhoria? Disse que, do pouco que sabia sobre avaliação, não adiantaria só medir sem qualificar.
 
Rebeca traz questões que nos levam a pensar um pouco mais sobre a necessidade de não reduzir a avaliação a medições e a refletir em que medida uma avaliação pode fornecer informações para orientar as mudanças necessárias para as práticas em saúde. O que mais parece preocupá-la é a vinculação da ideia de medida com produtividade, desempenho e incentivo. Essa relação muitas vezes distancia a avaliação de seu próprio propósito. Vejamos, então, de que maneira Champagne et al. (2011) definem avaliação:
 
Avaliação consiste fundamentalmente em fazer um julgamento de valor sobre uma intervenção, implementando um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre uma intervenção ou qualquer um de seus componentes, com o objetivo de proceder de modo a que os seus diferentes atores envolvidos, cujos campos de julgamento são por vezes diferentes, estejam aptos a se posicionar sobre a intervenção para que possam construir individualmente ou coletivamente um julgamento que possa se traduzir em ações (CHAMPAGNE et al., 2011).
Em um primeiro momento, você pode até estranhar tal definição, tanto pela sua abrangência, quanto pela ausência dos conceitos de estrutura, processo e resultado. Podemos perceber, contudo, o quanto a definição ajuda a compreender melhor que as avaliações não apenas buscam informações mais aprofundadas sobre os porquês do não alcance dos objetivos da intervenção, mas também procuram orientar as mudanças necessárias a uma dada intervenção. Nela também é possível perceber a importância do envolvimento de outros atores no processo avaliativo e, mais especificamente, na definição dos critérios de julgamento, além de nos aproximar das diferentes concepções do que seja qualidade em saúde.
Pensemos, então, nas relações entre tal definição de avaliação e aquilo que já está estabelecido para o monitoramento e avaliação na Atenção Básica em Saúde. O Ministério da Saúde definiu para a Atenção Básica uma política de avaliação que contém um conjunto de atribuições, propósitos e recursos. Nessa política está contida a estratégia de institucionalização da avaliação por meio de sua incorporação à rotina dos serviços de saúde. Essa decisão exigia o desenvolvimento de capacidade técnica para adotar as ações de monitoramento e avaliação como elementos essenciais da gestão em saúde (BRASIL, 2006), como evidencia a Figura 3.
 
Figura 3 – As expectativas da avaliação na Atenção Básica no SUS
 
Fonte: Brasil, 2005.
 
É importante saber que entre os componentes de monitoramento e avaliação da Atenção Básica promovidos pela Coordenação de Acompanhamento e Avaliação do Departamento de Atenção Básica da Secretaria de Atenção à Saúde do Ministério da Saúde (DAB/SAS/MS) foram inseridas diferentes estratégias: (a) Avaliação para Melhoria da Qualidade (AMQ); (b) Avaliação para Melhoria do Acesso e Qualidade da Atenção Básica (AMAQ-AB); (c) Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ) (BRASIL, 2004).
Talvez você já conheça os instrumentos de avaliação da Atenção Básica. Nosso intuito, neste módulo introdutório, é recuperar esses dispositivos de avaliação que vêm sendo habitualmente utilizados pelas equipes para avaliar as práticas da Atenção Básica. Tais instrumentos estão centrados nos aspectos de estrutura, processo e resultado. A AMQ e AMAQ correspondem aos instrumentos de autoavaliação das equipes de saúde da família, que têm por finalidade promover a reflexão dos sujeitos e grupos implicados no processo para a autoanálise, a autogestão, a identificação dos problemas e a formulação de estratégias de intervenção para melhoria dos serviços e das relações na Atenção Básica (FELISBERTO, 2004).
Da maneira como tais instrumentos foram concebidos, eles implicam a livre adesão das equipes a práticas de autoavaliação, apostando na reflexão a respeito de suas condições de trabalho, suas formas de trabalhar e resultados que alcançam com os usuários (CRUZ et al., 2014). Tais instrumentos têm base em uma metodologia de autogestão dos processos de melhoria contínua da qualidade para gestores municipais, coordenadores e profissionais das equipes ESF, obedecendo a ciclos de melhoria da qualidade: momentos avaliativos e etapas de intervenção.
O PMAQ, por sua vez, foi estabelecido como avaliação externa em todo o território nacional (feita por sujeitos externos à intervenção) com vistas a avaliar níveis de acesso e qualidade da Atenção Básica (BRASIL, 2012). Essa é uma iniciativa que envolve diretamente as instituições de ensino e pesquisa na condução da avaliação cujo olhar é externo e não interno ao processo.
 
Saiba Mais (Clique)
 
O uso de iniciativas gerenciais, tais como o Pacto de Indicadores da Atenção Básica, negociado entre as três esferas de gestão (municipal, estadual e federal), tem ajudado a incorporar o monitoramento e a avaliação às práticas da gestão. Vejamos, então, de que maneira os resultados do PMAQ ajudam a melhorar os processos de trabalho e, por consequência, o acesso e a qualidade.
Já abordamos os conceitos estrutura, processo e resultado como componentes estruturais de qualquer intervenção em saúde (projeto, programa ou serviço). Quando relacionamos esses componentes ao monitoramento ou à avaliação, determinamos o foco específico a ser abordado na avaliação. A Figura 4 nos leva a perceber que avaliamos elementos distintos nas diferentes etapas de uma intervenção. Antes, por exemplo, de obter resultados de longo prazo e impacto, são produzidos efeitos do tipo produto (resultados mais imediatos), necessários para que os resultados (efeitos mais intermediários) e impactos (efeitos mais finalísticos) sejam alcançados.
 
Figura 4 – Encadeamento de ações numa teoria de programa
 
Fonte: Rossi, Lipsey e Freeman, 2003.
 
Uma avaliação de estrutura diz respeito à verificação das características relativamente mais estáveis dos projetos, programas e serviços, que são os recursos humanos, financeiros, físicos, incluindo sua organização e financiamento. Em geral, são utilizados o checklist ou os questionários como forma de verificar a conformidade entre o disponível e o esperado.Também faz parte da estrutura a qualificação profissional, que confere uma condição diferenciada e de muito valor ao setor saúde. Podemos, por exemplo, ter uma unidade de saúde da família muito bem estruturada, com todos os equipamentos, insumos para procedimentos básicos, material de consumo, mas esses recursos não serem devidamente mobilizados por falta de qualificação profissional para tal. Acreditamos que você já tenha se deparado com uma situação como essa. Ao fazermos avaliações com foco na estrutura, buscamos informações e explicações sobre a conformidade ou não da estrutura, partindo do pressuposto de que o cumprimento de determinados requisitos, apesar de não denotar a qualidade do serviço em si, demonstra a capacidade de gerar um cuidado de boa qualidade.
Uma avaliação de processo é usualmente equivalente à avaliação de implantação ou implementação de uma intervenção. Diz respeito à relação entre a intervenção e seu contexto de inserção na produção dos efeitos, o que se torna particularmente importante quando a atividade é complexa, com múltiplos componentes e contingencial (VIEIRA DA SILVA, 2005). Uma de suas finalidades é complementar o monitoramento de insumos e produtos com uma dimensão explicativa.
A avaliação de implementação tem seu foco direcionado a insumos, atividades e aos efeitos mais imediatos (operacionais) da intervenção. Nesse tipo de avaliação, há maior capacidade explicativa sobre como ocorreu o processo, o que é fundamental para gerar recomendações de mudanças visando à melhoria dos processos. Importa, nesses casos, saber o que aconteceu na interação entre insumos, procedimentos e contexto, para que se possa identificar por que foram obtidos aqueles resultados como efeito, por exemplo, aquela produção de consultas, cobertura vacinal, e como foi viabilizada a aceitação do protocolo do Tratamento Diretamente Observado para Tuberculose. Cabe verificar também se os procedimentos estão de acordo com os critérios e padrões de boas práticas.
Quando falamos do contexto, referimo-nos aos contextos físicos, legais, simbólicos, históricos, econômicos e sociais que estruturam o campo dentro do qual a intervenção está colocada e interage com múltiplas realidades. Em geral, tratamos mais o Contexto Político-Organizacional e o Externo (determinantes sociais) como fatores sinérgicos (facilitadores) e antagônicos (barreiras) que influenciam as intervenções e seus resultados.
Uma avaliação de resultados contempla as explicações sobre as razões pelas quais as atividades de uma intervenção alcançaram ou não seus resultados, enfatizando as relações causais entre a intervenção e seu efeito na população-alvo. Mesmo levando em conta diferentes terminologias na área da avaliação, em geral os resultados podem ser de curto, médio e longo prazo; e podem ser definidos como produto (imediato), resultado (intermediário) e impacto (finalístico).
A medida do cumprimento dos objetivos dos projetos, programas, serviços de saúde – curar, restabelecer, aliviar, promover, proteger a saúde – demonstra sua capacidade de promover mudança da situação-problema existente. Por exemplo, nas avaliações de resultado, estamos buscando verificar mudanças na população diretamente atendida, em decorrência das ações de Atenção Básica. Por isso, utiliza-se nesse tipo de avaliação indicadores como aumento da proporção de adesão ao aleitamento materno exclusivo, melhoria da qualidade da assistência pré-natal, aumento do diagnóstico precoce de exame de Papanicolau, redução da taxa de incidência de hanseníase e redução da taxa de mortalidade infantil.
Queremos agora abordar um último aspecto nesta unidade introdutória: as perguntas avaliativas. Tomemos como exemplo uma situação em que uma equipe de saúde da família se confronta com o seguinte conjunto de perguntas, lançado por um grupo de pesquisadores que visita a unidade de saúde:
· a) Quanto do que a USF havia planejado foi atingido no ano de 2015?
· b) As ações da USF estão de acordo com as normas técnicas estabelecidas?
· c) Os recursos necessários para realização das ações estão disponíveis?
· d) Qual a efetividade das ações desenvolvidas na USF?
· e) A população usuária dessa unidade está satisfeita com o serviço ofertado?
· f) Que impactos na população os serviços ofertados pela USF vêm alcançando?
· g) Quais os aspectos facilitadores e as barreiras para a garantia do acesso e da qualidade na USF?
Você pode gostar de tais perguntas e achá-las desafiadoras, mas em que medida são perguntas avaliativas? É crucial que as perguntas sejam as principais guias de qualquer processo avaliativo. As perguntas orientam, direcionam e dão sentido ao que se deseja avaliar. Qualquer processo avaliativo exige concentrar esforços para a obtenção de informações confiáveis e válidas, para a produção de análise e julgamento, a partir de critérios definidos e explícitos. Daí a necessidade de ser cauteloso na definição da(s) pergunta(s) a ser(em) respondida(s). O Quadro 5 apresenta algumas perguntas classificadas como avaliativas ou não avaliativas.
Quadro 5 – Perguntas classificadas como avaliativas ou não avaliativas. São Paulo, 2016
 
	Perguntas
	Avaliativa
	Não avaliativa
	As ações de prevenção e controle de câncer do colo de útero têm qualidade técnica?
	X
	
	As ações de saúde bucal têm garantido acesso e resolutividade na USF?
	X
	
	Qual a associação entre ter zika na gravidez e o bebê desenvolver microcefalia?
	
	X
	A estratégia de visita domiciliar feita pela equipe de saúde da família é efetiva?
	X
	
	Que fatores estão relacionados ao aumento dos casos de dengue grave no território de atuação da USF?
	
	X
	As atividades de vacinação da USF estão em conformidade com o que está estabelecido no protocolo de imunização?
	X
	
 
As perguntas avaliativas guardam semelhança com as perguntas que guiam uma pesquisa, como mostra o Quadro 5. Contudo, é necessário prestar atenção para o que se quer responder com uma pergunta avaliativa, porque ela busca estabelecer uma relação entre a intervenção a ser avaliada e o resultado daquela intervenção. Por exemplo, quando se pergunta se "as ações de prevenção de câncer de mama têm qualidade técnica?" e se "essas ações são efetivas?", será preciso produzir informações sobre como as ações de prevenção de câncer de mama estão sendo realizadas e, tomando como base a definição de qualidade técnica dessas ações, fazer uma comparação para saber se têm ou não qualidade técnica, procurando evidenciar como e por quê.
Uma dica importante no momento de construir as perguntas avaliativas é percorrer primeiro uma fase divergente, durante a qual são produzidas perguntas até se alcançar um mapeamento de todas as perguntas com potencial avaliativo, sem preocupação de filtrar as prioridades. Depois, mergulha-se na fase convergente, que visa à seleção da(s) pergunta(s) relacionadas na fase anterior com base nos critérios de prioridade, utilidade, relevância e viabilidade (CAZARIN; MENDES; ALBUQUERQUE, 2010). Na fase convergente, é crucial chegar a um consenso sobre quais perguntas avaliativas são prioritárias a serem respondidas, assim como o tipo de esforços necessários para isso.
 
Quer ler mais e se aprofundar nos temas da unidade 1? Seguem algumas sugestões. ANTERO, S. A. Monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo. Revista de Administração Pública, v. 42, n. 5, p. 791-828, 2008.
CRUZ, M. M. et al. Usos do planejamento e autoavaliação nos processos de trabalho das equipes de Saúde da Família na Atenção Básica. Saúde em Debate, v. 38, n. especial, p. 124-139, 2014.
HARTZ, Z. M. A. Pesquisa em avaliação da atenção básica: a necessária complementação do monitoramento. Divulgação em Saúde para Debate, v. 21, n. especial, p. 29-35, 2000.
As perguntas a seguir foram preparadas para apoiar a sistematização de saberes e aprendizagens a ser realizada pelos alunos a respeito da Unidade 1.
1. Como você define monitoramento e avaliação? Quais as sinergias e as diferenças entre as duas práticas?
2. Por que os conceitos de avaliação deestrutura, processos e resultados são tão importantes na avaliação em saúde?
3. O que são perguntas avaliativas, qual sua importância e como construí-las?
 
ANTERO, S. A. Monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo. Revista de Administração Pública, v. 42, n. 5, p. 791-828, 2008.
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Avaliação na Atenção Básica em Saúde: caminhos da institucionalização. Brasília, DF, 2005.
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Política Nacional de Atenção Básica. Brasília, DF, 2006.
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Monitoramento na Atenção Básica de Saúde: roteiros para reflexão e ação. Brasília, DF, 2004. (Série C. Projetos, Programas e Relatórios).
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Núcleo Técnico da Política Nacional de Humanização. Monitoramento e Avaliação na Política Nacional de Humanização na Rede de Atenção e Gestão do SUS: manual com eixos avaliativos e indicadores de referência. Brasília, DF, 2009. (Série B. Textos Básicos de Saúde).
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ). Brasília, 2012.BRASIL. Ministério da Saúde. Secretaria Executiva. Departamento de Monitoramento e Avaliação em Saúde do SUS.Manual da oficina de capacitação em avaliação com foco na melhoria do programa. Brasília, DF, 2007.
CAZARIN, G.; MENDES, M. F. M.; ALBUQUERQUE, K. M. Perguntas Avaliativas. In: SAMICO, I. et al. (Org.). Avaliação em Saúde: Bases Conceituais e Operacionais. Rio de Janeiro: MedBook, 2010. p. 79-87.
CHAMPAGNE, F. et al. A avaliação no campo da saúde: conceitos e métodos. In: BROUSSELLE, A. et al. (Org.). Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz, 2011. p. 41-60.
CONTANDRIOPOULOS, A. P. et al. L'évaluation dans le domaine de la santé: concepts et méthodes. Revue d'épidémiologie et santé publique, v. 48, n. 6, p. 517-539, 2000.
CRUZ, M. M. et al. Usos do planejamento e autoavaliação nos processos de trabalho das equipes de Saúde da Família na Atenção Básica. Saúde em Debate, v. 38, n. especial, p. 124-139, 2014.
DONABEDIAN, A. Evaluating the quality of medical care (1966). The Milbank Quarterly, v. 83, n. 4, p. 691-729, 2005.
FELISBERTO, E. Monitoramento e avaliação na atenção básica: novos horizontes. Revista Brasileira de Saúde Materno-Infantil, Recife, v. 4, n. 3, p. 317-321, 2004.
FURTADO, J. P. Um método construtivista para a avaliação em saúde. Ciência & Saúde Coletiva, v. 6, n. 1, p. 165-181, 2001.
HARTZ, Z. M. A. Pesquisa em avaliação da atenção básica: a necessária complementação do monitoramento. Divulgação em Saúde para Debate, v. 21, n. especial, p. 29-35, 2000.
MERHY, E. E. Em busca de ferramentas analisadoras das tecnologias em saúde: a informação e o dia a dia de um serviço, interrogando e gerindo trabalho em saúde. In: MERHY, E. E.; ONOCKO, R. (Org.). Agir em saúde: um desafio para o público. 2. ed. São Paulo: Hucitec, 2002.
PATTON, M. Q. Qualitative Research & evaluation Methods. Newbury Park: Sage Publications, 1990.
SABER Tecnologias Educacionais e Sociais. Política Nacional de Atenção Básica PNAB: uma revisão. [Filme-vídeo]. 9 jun. 2015. 6:07 min. Disponível em: https://www.youtube.com/watch?v=hBcX-qx3VAk. Acesso em: 10 jun. 2016.
TELESSAUDESC. Webconferência sobre o PMAQ 1. [Filme-vídeo]. 13 out. 2011. 9:24 min. Disponível em: https://www.youtube.com/watch?v=uZXV4uPcJCM. Acesso em: 10 jun. 2016.
VIEIRA DA SILVA, L.M. Conceitos, abordagens e estratégias para a Avaliação em Saúde. In: HARTZ, Z.M.A. & VIEIRA DA SILVA, L.M. (Orgs). Avaliação em Saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro/Salvador: Editora Fiocruz/Edulba. Pp.15-39. 2005.
UNIDADE 2 APROXIMAÇÕES DA REALIDADE: COMO COMPREENDER OS OBJETOS?
Caro Aluno, a segunda unidade de aprendizagem foi produzida com o propósito de apresentar concepções básicas da relação entre modelos teóricos e avaliação. Tais elementos foram escolhidos em virtude de sua potência para apoiá-lo no desenvolvimento de relações mais consistentes entre planejamento e avaliação, ampliando sua compreensão e suas possibilidades de desenhar ações de monitoramento e de eleger enfoques avaliativos nas intervenções de seu interesse.
Fazemos a você um convite para ler e pensar na situação relatada por uma enfermeira que trabalha em uma Unidade de Saúde da Família (USF).
 
Desde que a estratégia de saúde da família havia sido implantada no município, aquela seria a primeira vez que a equipe de Marcos passaria por uma avaliação externa. Enfermeiro compromissado com a qualidade dos serviços e tendo um papel importante no manejo de sua equipe, Marcos estranhara o fato de a avaliação externa acontecer de surpresa, sem que ele tivesse clareza dos critérios e instrumentos de avaliação propostos pelo Ministério da Saúde. Entre outros temas, os integrantes de sua equipe queriam compreender melhor como equilibrar ações coletivas, como os atendimentos em grupo para gestantes e hipertensos, e ações individuais, pois suspeitavam que a forma como organizavam o trabalho lhes era muito cansativa, mas pouco eficaz. No entanto, o processo de avaliação não lhe trouxe tal resposta. Ao mesmo tempo, o termo de adesão à avaliação, que haviam firmado meses antes, os comprometia a atingir certos níveis de qualidade no atendimento, o que requeria deles estabelecer metas, definir estratégias, destacar os resultados a serem alcançados e projetar os impactos esperados. Em uma reunião de equipe em que analisaram os resultados da avaliação e se depararam com o exercício das metas, Marcos teve uma ideia que foi logo aceita pela equipe: "e se refletirmos sobre todas as ações que estamos realizando, comparando-as com os principais problemas de saúde das nossas famílias e da nossa comunidade, e a partir daí reconhecermos se o que estamos fazendo parece mesmo adequado? E se colocarmos em cheque as nossas próprias escolhas, a fim de reunirmos mais elementos para planejar o serviço necessário?".
Na Unidade 1, observamos que uma avaliação consiste essencialmente em observar e refletir criticamente acerca das atividades que desempenhamos. Enquanto dimensão prática e cotidiana, a avaliação encontra-se presente em todas as instâncias e momentos de nossas vidas (FURTADO, 2006). O exercício de avaliar e ser avaliado nos é comum desde muito cedo. Avaliamos a qualidade daquilo que nos cerca de forma geral, como alimentos, pessoas, objetos e condutas. Somos avaliados na escola, no trabalho, por nossos amigos e familiares, e, de forma não sistemática, emitimos juízos de valor acerca dos elementos que compõem nossa realidade.
Essa dimensão da avaliação com base no senso comum apenas serve para ilustrar o sentido da palavra, como algo que, em certa medida e muito variavelmente, todos já experimentaram, seja de forma mais negativa seja de forma mais positiva. Por outro lado, ao pensarmos a avaliação de programas e serviços de saúde, lidamos com uma dimensão que deve estar sustentada em alguns pressupostos teóricos, metodológicos, éticos e políticos. Avaliar consiste, essencialmente, em formar juízos de valor a respeito da relevância e mérito do que está sendo avaliado, ou do que correntemente chamamos objeto de avaliação. Entretanto, não se julga a partir de qualquer opinião ou impressão. Julga-se com base em critérios explícitos e definidos se aquilo que fazemos no cotidiano dos serviços de saúde está bom ou ruim, se estamos alcançando ou não os objetivos e, ainda, se a estratégia que adotamos é a mais eficaz. Tal empreendimento requer boas doses de organização, o que nos coloca diante de uma questão crucial: como compreender a complexa realidade de um serviço de saúde ou de um programa?
No cotidiano dos serviços de saúde, recebemos pressões de todos os lados: do paciente que se queixada demora para ser atendido, dos formulários a serem preenchidos, dos muitos protocolos a consultar, dos relatórios de visitas domiciliares, entre tantos outros. Tamanha demanda pode nos levar a certa desconexão da lógica ou do modelo de trabalho, colocando a prática, como se costuma dizer, no automático.
A realidade complexa e em certa medida caótica do dia a dia dos serviços de saúde muitas vezes colapsa nossa capacidade reflexiva e impede que processos de avaliação de nossas ações sejam realizados com o cuidado necessário, o que nos remete à pergunta: como compreender nosso processo de trabalho de modo que possamos avaliar nossas ações?
É importante lembrar que toda intervenção programática em saúde carrega uma teoria subjacente as suas práticas. Sendo essas intervenções planejadas, supõe-se que as ações a serem adotadas para alcançar os objetivos estabelecidos foram pensadas e estruturadas na fase de organização da intervenção. O que ocorre é que tal teoria da intervenção nem sempre é explicitada, ou pode ter sua imagem enfraquecida ao longo do tempo e no cotidiano do trabalho. É exatamente a ausência ou não explicitação da teoria do programa que fundamenta a importância de construir (ou reconstruir, em muitos casos) os modelos teóricos ou lógicos das intervenções que pretendemos avaliar.
Para compreender a realidade que se pretende avaliar é necessário reconhecer o objeto de avaliação, ou seja, reconhecê-lo e representá-lo em seus componentes, fluxos, relações causais, pressupostos e expectativas. Para certos autores, esse exercício é denominado de construção da teoria do objeto-modelo (MEDINA et al., 2005), processo que nos permite melhor enxergar o serviço ou programa que desejamos avaliar e fazer importantes escolhas técnicas e políticas para desenvolver uma avaliação.
Ainda que pareça contraditório, uma boa avaliação começa por reconhecer o objeto idealizado (MEDINA et al., 2005), ou seja, carregado de nossas leituras e desejos no plano das ideias. Se o modelo teórico que construímos explicita certa aposta em um modelo de atenção ou um programa, a avaliação poderá se construir como processo de compreender em que medida tal modelo se sustenta na realidade, o que ele produz e não produz, alcança e não alcança. Em outras palavras, uma avaliação irá lidar o tempo todo com diferenças, discrepâncias, tensões e lacunas entre o que se projetou e o que se realizou, entre o que se desejava e o que se alcançou, entre o que era necessário e o que foi possível.
Um modelo teórico pode ser entendido como uma proposta de ordenar os componentes de um serviço, projeto ou programa de forma articulada, dando grande ênfase aos resultados que se pretende alcançar. Mais do que reconhecer componentes, o uso de modelos teóricos possibilita que se apresentem, com a maior clareza possível, as ideias (problemas, pressupostos) e as hipóteses (estratégias, encadeamento, resultados esperados) capazes de conferir e demonstrar o sentido e racionalidade de uma intervenção (CASSIOLATO; GUERESE, 2010).
Um modelo lógico poderá deixar claras as relações causais entre ações e resultados – uma de suas características mais importantes –, demonstrando que o uso de certos recursos e profissionais, articulados da maneira adequada e chegando aos usuários com certa qualidade, significarão a solução dos problemas que desencadearam as ações, os programas ou os próprios serviços (BRASIL, 2014), ou seja, terão impacto positivo na realidade.
Ao mesmo tempo que apontamos a importância dos modelos lógicos para desenhar os objetos de avaliação, há uma dimensão processual de suma importância nesses modelos, valorizada por diversos autores e escolas, que pode ser resumida na possibilidade de produzir diálogos e acordos entre os atores envolvidos em uma avaliação (CRUZ, 2006).
Para diversos autores e em diversas oportunidades que trabalhamos com modelos teóricos, construir mapas (KELLOGG FOUNDATION, 2004), roteiros, desenhos e fotografias de um serviço ou programa é bastante comum. Tais imagens significam que buscamos compreender concepções e caminhos da intervenção e que relacionamos de forma mais equilibrada os diversos componentes da realidade, que, de outras formas, podem se tornar opacos ou invisíveis ao olhar.
Se há muitas formas de elaborar um modelo teórico, o uso de esquemas visuais e fluxogramas, capazes de conferir inteireza e movimento aos componentes, tem sido uma unanimidade no campo da avaliação. Na construção do modelo lógico de uma intervenção, é importante explicitar a situação-problema em que se pretende agir. Por exemplo, o alto índice de pessoas com hipertensão arterial pode ser entendido como uma situação problemática a ser equacionada. Uma vez explícita a situação-problema, é necessário ter clareza das causas que serão visadas na intervenção e quais seus determinantes. Ficando no exemplo, podemos focar nossa intervenção nos hábitos de vida que contribuem para os quadros de hipertensão, tais como o fumo, o sedentarismo e o consumo de sal de cozinha. Essa fase de construção do modelo lógico poderia ser chamada modelo causal da intervenção (Figura 1).
 
Figura 1 – Modelo Causal
 
Fonte: o Autor.
 
Na Figura 2, vejamos uma primeira imagem que articula diferentes componentes básicos para a reconstrução teórica de um serviço ou programa, já tendo explicitado o modelo causal que originou ou justifica a intervenção.
 
Figura 2 – Estrutura de Modelo Lógico
 
Fonte: o Autor
 
O esquema exemplifica bem os componentes mais frequentes de um modelo lógico. Eles demonstram os elementos causais de uma intervenção, desde os recursos necessários até os impactos esperados, e favorecem que enxerguemos conexões entre as partes. É exatamente em virtude da busca de relações entre os vários elementos de um serviço ou programa que os modelos lógicos emergiram, ou seja, da necessidade de superar isolamento e fragmentação, contradições e incoerências. Em última instância, o modelo teórico estabelecido deverá atuar na situação ou ao problema no qual foi planejado para agir, num movimento circular (Figura 3).
Figura 3 – Inserção do modelo lógico no pensamento sobre a realidade
Fonte: o Autor
Ao realizar uma leitura sistêmica do objeto avaliado, aposta-se em enxergar: (a) os problemas que requerem intervenções; (b) as estratégias escolhidas para intervir; (c) as atividades necessárias para colocar em prática as estratégias; (d) os produtos imediatos dessas atividades; (e) os resultados intermediários das atividades e de seus projetos; (f) os resultados finais esperados pela intervenção; (g) os impactos da intervenção. No contexto da avaliação de programas e serviços em saúde, impactos podem ser compreendidos como os efeitos mais transformadores provocados pelas intervenções em populações ou grupos durante longos períodos de tempo (VIEIRA-DA-SILVA, 2014).
 
Diferentemente de outras teorias sociais, a teoria da avaliação de programas tem como elemento fundamental sua característica prescritiva, ou seja, além de descrever determinada intervenção, deve também apontar sugestões do que deve ser feito para tornar algo melhor ou atingir determinados objetivos (CHEN, 1990). Huey-tsyh Chen , tido como o autor que provavelmente mais desenvolveu a técnica de modelização (CHAMPAGNE et al., 2011), nos ensina que a construção da teoria do programa deve agregar todo o conhecimento disponível sobre o programa a ser avaliado, envolvendo perspectivas, hipóteses, expectativas dos principais interessados na avaliação, inclusive o adquirido mediante a observação de seu funcionamento.
Essa proposta de construção da teoria do programa que busca incorporar tanto os saberes científicos quanto os saberes dos grupos envolvidos na avaliação (MEDINA et al., 2005) constitui uma abordagem integrativa, no sentido do termo atribuído por Chen(1990).
Dessa forma, podemos prosseguir propondo a elaboração de modelos lógicos baseados nas seguintes etapas: (a) produção de um ambiente de diálogo que facilite a compreensão e organização das reflexões do grupo; (b) correta elaboraçãode perguntas norteadoras de cada passo; (c) revisão de documentos organizacionais relacionados à intervenção; (d) produção de imagens significativas (BRANDÃO; RIBEIRO, 2014).
 
Saiba Mais (Clique)
 
 
Um dos maiores desafios encontrados hoje nas organizações e nos serviços em geral, independentemente do campo de atuação, consiste na criação de espaços de diálogo, reflexão e construção coletiva das questões ligadas ao cotidiano do trabalho. Na gênese de processos dialógicos está a necessidade premente de fazer circular a palavra e de produzir trocas em ambientes que valorizam a escuta.
Se "palavra que circula é saber que circula, poder que opera e se movimenta" (SILVA, 2012), a construção de um modelo lógico para uma determinada intervenção que realmente faça sentido e se apoie na experiência de todos os envolvidos não pode abrir mão de espaços onde a palavra possa circular sem constrangimentos ou coerções.
 
O uso de perguntas norteadoras tende a auxiliar a produção do modelo lógico das intervenções. Tais perguntas buscam objetivar os sentidos da intervenção a ser modelizada, clarificando com maior precisão os componentes que deverão constar do modelo lógico. Um exemplo de sequência de perguntas a guiar um processo de modelização está a seguir. Nesse caso, procuramos usar as perguntas conjugando os verbos no presente, para marcar o papel de análise e compreensão que queremos destacar para os processos de modelagem.
· 1. Quais os principais problemas, agravos ou demandas de saúde que o serviço ou programa se propõe a combater?
· 2. Tomando como base tais problemas, agravos ou demandas, que transformações de longo prazo ou que impactos o programa pode alcançar?
· 3. Com quais atores o serviço ou programa trabalha? Que estratégias são utilizadas para cada público? Como cada ator está sendo impactado por determinada estratégia?
· 4. Há resultados de curto e de longo prazo encadeados? Quais são eles?
· 5. Que indicadores são capazes de mostrar o alcance de tais resultados de curto e médio prazo, bem como o impacto do serviço ou programa?
· 6. O caminho de transformação que o serviço ou programa percorre está claro? Há lacunas? Há pontos de maior potencial? Há condições necessárias que estão ou não estão acontecendo?
· 7. Em que medida a relação entre as estratégias e os resultados é consistente?
· 8. Que esquema visual melhor expressa o Modelo de Serviço/Programa?
 
Revisão de documentos
Se, em muitos processos de avaliação, é crucial produzir informações novas, entrevistando pessoas ou observando atividades, é também muito importante saber usar documentos nesses processos. Termos de Referência, Relatórios, Protocolos, Prontuários e Registros de Reunião estão entre os documentos que podem ser de grande utilidade quando se deseja enxergar a estrutura de um serviço ou programa.
 
Imagens significativas
Um dos diferenciais das modelagens é a crença na capacidade das imagens em demonstrar o conjunto de componentes de um serviço ou programa, seu ordenamento, seu fluxo e seu encadeamento lógico. Ante a complexidade dos serviços de saúde, as imagens são muitas vezes potentes dispositivos para produzir reflexão crítica e diálogo, ajudando grupos a se surpreender com a realidade em curso, com os pressupostos, com as expectativas, num movimento que tantas vezes é nomeado como "cair a ficha".
 
Quer ler mais e se aprofundar nos temas da unidade 2? Seguem algumas sugestões.
BRANDÃO, D.; RIBEIRO, A. Teorias de Mudança. In: MOVE. Impacto Social. São Paulo, 2014. p. 7-10. Disponível em: http://conteudo.movesocial.com.br/uploads/9a7b8df5081085a8.pdf. Acesso em: 28 jun. 2016.
KELLOGG FOUNDATION, W. K. Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evaluation, and Action. Battle Creek, 2004.
 
As perguntas a seguir foram preparadas para apoiar a sistematização de saberes e aprendizagens a ser realizada pelos alunos a respeito da Unidade 2.
· 1. Que vantagens podemos encontrar ao modelizar ou elaborar uma teoria causal de um programa, política ou serviço de saúde, a fim de avaliá-lo?
· 2. Quais aspectos da modelização/teoria causal parecem mais relevantes?
· 3. Quais são os principais riscos de recorrer a uma modelização ou teoria causal de um programa, política ou serviço de saúde?
 
BRANDÃO, D.; RIBEIRO, A. Teorias de Mudança. In: MOVE. Impacto Social. São Paulo, 2014. p. 7-10.
BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Caderno de Estudos do Curso em Conceitos e Instrumentos para o Monitoramento de Programas. Brasília, DF: MDS, Secretaria de Avaliação e Gestão da Informação, Secretaria Nacional de Assistência Social, 2014. 91 p.
CASSIOLATO, M.; GUERESI, S. Como elaborar modelo lógico: roteiro para formular programas e organizar avaliação. Brasília: Ipea, 2010. (Nota Técnica).
CHAMPAGNE, F. et al. Modelizar as intervenções. In: BROUSELLE, A. et al. (Org.). Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz, 2011. p. 61-76.
CHEN, H. T. Issues in constructing program theory. New Directions for Program evaluation, v. 1990, n. 47, p. 7-18, 1990. (Edição especial Advances in Program Theory, editada por Leonard Bickman).
CRUZ, M. M. Avaliação de programas de prevenção de DST/AIDS para jovens: estudo de caso numa organização governamental e numa organização não governamental do município do Rio de Janeiro. 2006. 234 f. Tese (Doutorado em Saúde Pública) – Escola Nacional de Saúde Pública Sérgio Arouca (ENSP), Fundação Oswaldo Cruz (Fiocruz), 2006.
FURTADO, J. P. Avaliação de programas e serviços, introduzindo alguns conceitos. In: CAMPOS, G. W. S. et al. (Org.). Tratado de Saúde Coletiva. São Paulo: Hucitec; Rio de Janeiro: Fiocruz, 2006. p. 715-739.
KELLOGG FOUNDATION, W. K. Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evaluation, and Action. Battle Creek, 2004.
MEDINA, M. G. et al. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. In: HARTZ, Z. M. A; VIEIRA-DA-SILVA, L. M. (Org.). Avaliação em Saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: EDUFBA; Rio de Janeiro: Fiocruz, 2005.
SILVA, R. Sobre avaliação e desenvolvimento organizacional. In: OTERO, M. R. (Org.). Contexto e prática da avaliação de iniciativas sociais no Brasil: temas atuais. São Paulo: Instituto Fonte; Peirópolis, 2012. p. 43-60.VIEIRA-DA-SILVA, L. M. Avaliação de políticas e programas de saúde. Rio de Janeiro: Fiocruz, 2014.
UNIDADE 3 SISTEMATIZAÇÃO DA INFORMAÇÃO: NÚMEROS E SIGNIFICADOS 
A terceira unidade de aprendizagem foi produzida com o propósito de apresentar discussões e orientações a respeito dos indicadores e da produção e uso de informações em saúde, temas cruciais para as práticas de monitoramento e avaliação. A unidade também aborda o uso de métodos mistos em avaliação, buscando a melhor articulação possível entre os métodos quantitativos e qualitativos, de forma a apresentar aos alunos uma série de aspectos cruciais à formação de quem quer compreender melhor e fazer avaliação.
Fazemos a você um convite para ler e pensar na situação relatada por uma enfermeira que trabalha em uma Unidade de Saúde da Família (USF) de um município brasileiro.
 
A enfermeira Regina, incansável em perseguir a qualidade das ações implementadas pela estratégia de saúde da família, estava um tanto inquieta porque ainda não havia discutido com a equipe os resultados do primeiro ciclo do PMAQ (Programa Nacional de Melhoria do Acesso e Qualidade da Atenção Básica). Sua inquietude tinha a ver com a última experiência de discussão sobre indicadores, quando surgiram muitos questionamentos e dúvidas. Por um lado, a equipe considerava que contribuía com o levantamento dos dados, mas não participava da construção dos indicadores. Por outro lado, Regina buscava compreender e utilizar os indicadores para repensar e melhorar o processo de trabalho em saúde. Em busca de respostas, Regina propôs que a equipe analisasse detalhadamente os dados e parasse quantas vezes fossem necessárias para discutir ecompreender os indicadores de avaliação. Uma auxiliar de enfermagem interrompeu e perguntou se seria possível começar do início, explicando o que são indicadores e por que são tão cruciais para o monitoramento e a avaliação. Regina não pensou duas vezes e disse: claro que sim! Vamos começar por esse ponto.
 
Para início de conversa, precisamos entender a relevância dos indicadores para as práticas de monitoramento e para a avaliação. O interesse por indicadores guarda relação com a necessidade de explicitarmos os meios pelos quais construímos juízos de valor a respeito daquilo que avaliamos ou, como visto antes, do objeto de avaliação (intervenção, programa ou serviço a ser avaliado).
Como vocês puderam observar nas Unidades 1 e 2, não deveríamos construir juízos de valor a partir de uma opinião ou impressão qualquer, mas com base em critérios explícitos e bem definidos de análise, o que permitirá constatarmos se uma dada intervenção está fazendo ou não diferença, se o trabalho é ou não bem recebido pela comunidade, etc. Mas, afinal, o que são indicadores de saúde? E o que esse assunto tem a ver com o que fazemos na atenção à saúde no SUS?
 
Os indicadores de saúde são atributos da realidade dos quais lançamos mão para enxergar, descrever e compreender um dado fenômeno de nosso interesse que não pode ser observado diretamente. Eles devem ser capazes de demostrar o efeito de determinantes sociais, econômicos, ambientais ou biológicos sobre uma determinada população.
 
Qualquer indicador expressa uma particularidade ou uma dimensão do fenômeno ao qual ele se relaciona. Antes de aprofundar nosso olhar sobre os indicadores de saúde, vejamos alguns exemplos de outros campos de conhecimento. Sabemos, por exemplo, que o volume de chuvas é medido em milímetros cúbicos pelo índice pluviométrico. Nesse caso, ao analisarmos os milímetros cúbicos de chuva que chegaram ao solo, somos capazes de determinar quão favorável a terra estará para o plantio ou para a colheita, por exemplo. Nós podemos também usar estes números para definir quão rígida é a seca em uma determinada região, ou quão chuvosa é a estação. Reparemos que, neste caso, um único aspecto da realidade, ou seja, o volume de água depositado no solo, é capaz de permitir muitas análises.
O segundo exemplo vem da área da Educação e é bem conhecido da população brasileira. Naquele campo, há um importante debate sobre o potencial de se utilizar o Índice de Desenvolvimento da Educação Básica (IDEB). O índice, que agrega num cálculo complexo as variáveis frequência escolar, progressão escolar e desempenho em português e matemática medido pela Prova Brasil, nos ajuda a observar o avanço ou não de escolas e redes escolares inteiras, distribuídas numa escala que vai de 0 a 10. Neste caso, reparemos que o indicador é complexo, agrega diferentes variáveis e tem sido utilizado para ampliar o debate público sobre a qualidade da educação básica, além de orientar gestores, diretores escolares, professores e familiares a construir estratégias que melhorem o desempenho dos alunos na Prova Brasil, bem como a permanecer na escola e nela progredir.
Já na clínica é atividade comum monitorar a glicemia ou a pressão arterial de alguns grupos de pacientes, bem como a temperatura ou a saturação de oxigênio. Em muitos casos, é até mesmo padrão que tais medidas sejam feitas tão logo o paciente chegue ao serviço. Nesses casos, utilizamos tais variáveis para analisar o estado clínico de um paciente e eleger uma ação terapêutica específica, ou a definir os pacientes prioritários para atendimento. Como percebemos, os indicadores estão presentes em muitos campos, possuem naturezas distintas e são usados por profissionais diferentes; de modo geral, são utilizados sempre na perspectiva de nos fazer enxergar e compreender melhor a realidade, melhor agindo sobre ela.
Quando tratamos de gestão em saúde, os indicadores também são utilizados com esse fim. É comum que os indicadores em saúde expressem tanto as condições de vida da população (ou de grupos de usuários) quanto o desempenho do próprio serviço ou sistema. Em seu conjunto, espera-se que os indicadores reflitam a situação de saúde de um dado território, sirvam para a vigilância das condições de saúde e como instrumentos de gestão e avaliação do SUS, em todos os níveis (BRASIL, 2008).
Compreendemos, ainda, que o uso de indicadores tende a facilitar o monitoramento de objetivos e metas de um determinado serviço, estimular a capacidade analítica das equipes e promover o desenvolvimento de sistemas de informação em saúde. Por isso, ao falar de indicadores, falamos também da importância do registro de informações em saúde.
A disponibilidade de informações válidas e confiáveis é crucial para a análise objetiva da situação de saúde, assim como para a tomada de decisões e programação de ações (BRASIL, 2008). Sem dados bem coletados, documentos preenchidos com precisão e no tempo adequado, fica difícil construir bons indicadores e mais difícil ainda fazer gestão inteligente. A má qualidade da informação pode comprometer decisivamente a qualidade dos processos de monitoramento e avaliação.
 
 
Apesar de sabermos que a noção de qualidade varia muito, existe consenso de que a qualidade de um indicador depende das propriedades dos componentes utilizados em sua formulação (ocorrência de casos de algum evento de saúde, tamanho da população em risco, etc.) e da precisão dos sistemas de informação empregados (registro, coleta, transmissão dos dados).
Para garantir que possamos confiar na informação produzida por um indicador é necessário monitorar sua qualidade, revisar periodicamente a consistência de sua série histórica e disseminar a informação com oportunidade e regularidade.
São atributos de qualidade de um bom indicador:
VALIDADE – capacidade de medir o que ele pretende medir.
Se você quer medir a qualidade da relação entre gestantes e os médicos que fizeram seu pré-natal, você não deve, por exemplo, utilizar um indicador tal como mortalidade materna.
CONFIABILIDADE – capacidade de reproduzir os mesmos resultados quando aplicado em condições similares.
Se o mesmo indicador produz resultados muito díspares em situações similares, isso pode ser um sinal de que ele não sirva para medir a variável que se pretende medir.
SENSIBILIDADE – capacidade de detectar, localizar e perceber o fenômeno analisado.
A frequência de um usuário no grupo de terapia ocupacional não é um indicador direto da qualidade do trabalho do profissional que dirige o grupo. Isso pode demostrar aspectos mais ligados ao usuário do que ao grupo, por exemplo.
ESPECIFICIDADE – capacidade de detectar somente o fenômeno analisado.
Mortalidade e morbidade não podem ser medidas em um mesmo indicador, ou, por exemplo, não podemos ter como indicador algo como "adesão dos pacientes e disponibilidade de medicamentos para tratamento da diabetes". Trata-se de duas variáveis, duas dimensões, dois possíveis indicadores ligados a um mesmo objeto, mas independentes.
MENSURABILIDADE – basear-se em dados disponíveis ou viáveis.
É muito importante utilizar dados disponíveis, já registrados, uma vez que o uso das informações potencializa a qualidade do registro. É também importante estar atento para produzir ou eleger indicadores viáveis, possíveis de serem construídos, coletados e analisados.
RELEVÂNCIA – capacidade de responder a prioridades da agenda estratégica de uma iniciativa.
Um indicador precisa ter relação clara com aspectos fundamentais da realidade, ou seja, aspectos críticos ou prioritários, para que o objeto possa ser avaliado. Não precisamos de muitos indicadores, mas de bons indicadores.
CUSTO-EFETIVIDADE – capacidade de produzir resultados que justifiquem o consumo de tempo e recursos.
Se haverá custos envolvidos na produção de indicadores, sejam diretos (criação de indicadores e coleta primária de dados), sejam indiretos (uso de bases já existentes), eles precisam ser baixos e viáveis.
 
Como abordado na Unidade 1, em cada avaliação podem haver diferentes campos ou eixos organizadoresde investigação, o que também implica separar indicadores da mesma maneira. Tomemos o PMAQ como exemplo, observando dois conjuntos de indicadores com funções distintas.
 
Indicadores de desempenho
São aqueles vinculados à certificação externa e cálculo do incentivo financeiro do componente de validade do PAB variável.
Produção Geral
Proporção de consultas médicas para cuidado continuado/ programado
Saúde Bucal
Média da ação coletiva de escovação dental supervisionada
Diabetes
Proporção de diabéticos cadastrados
 
Indicadores de monitoramento
São aqueles acompanhados de forma regular para complementação de informações sobre a oferta de serviços e resultados alcançados por cada equipe.
Produção Geral
Proporção de encaminhamentos para atendimento de urgência e emergência
Saúde da Mulher
Proporção de gestantes acompanhadas por meio de visitas domiciliares
Saúde da Criança
Cobertura de crianças menores de 5 anos de idade no Sistema de Vigilância Alimentar e Nutricional (SISVAN)
 
Para aprofundar o entendimento sobre indicadores e como calculá-los, indicamos o livro Indicadores básicos para a saúde no Brasil: conceitos e aplicações, da Rede Interagencial de Informações para a Saúde (RIPSA) e disponível no link a seguir: http://www.ripsa.org.br/2014/10/30/indicadores-basicos-para-a-saude-no-brasil-conceitos-e-aplicacoes-livro-2a-edicao-2008-2/
 
 
 
As Fichas Técnicas dos Indicadores
A construção de indicadores pode se beneficiar bastante das chamadas Fichas de Indicadores (Figura 1). Elas possuem os elementos básicos para a construção e uso dos Indicadores de Saúde, tais como o Conceito do Indicador, Método de Cálculo, Fontes de Dados, Periodicidade, Função do Indicador, Interpretação e uso, Limitações.
 
Figura 1 – Exemplo de Ficha de Indicador
 
Proporção de Gestantes que iniciaram o pré-natal no 1º trimestre
Conceito:percentual de gestantes cadastradas que iniciaram o pré-natal no 1º trimestre, em determinado local e período.
Método de cálculo:
	Nº gestantes cadastradas que iniciaram o pré-natal no 1º trimestre
	X 100
	Nº total de gestantes cadastradas
	
Fontes de dados
Numerador: Relatório SSA2 do SIAB
Denominador: Relatório SSA2 do SIAB.
Periodicidade:Mensal
Função do Indicador: Avaliação de Desempenho
Interpretação e uso
Esse indicador avalia a precocidade do acesso ao acompanhamento pré-natal. A captação de gestantes para início oportuno do pré-natal é essencial para o diagnóstico precoce de alterações e intervenção adequada sobre condições que vulnerabilizam a saúde da gestante e da criança. Segundo dados extraídos de uma base limpa do SIAB (2010), em média, 79% das gestantes acompanhadas pelos ACS teriam começado o pré-natal no 1º trimestre, com uma variação entre 56% (AC) a 89% (SP).
Limitações
O desconhecimento da data da última menstruação e inconsistências no registro da idade gestacional
Analisando as Fichas de Indicadores é possível elencar aqueles que serão necessários para um plano de monitoramento ou matriz avaliativa, conforme será visto na Unidade 4. De toda forma, mesmo as fichas sendo uma ferramenta de elevado valor técnico, não podemos negligenciar um aspecto político importante quando falamos de indicadores. A construção de um indicador precisa ser compreendida e validada pelos atores interessados no monitoramento e na avaliação. Por mais bem elaborado que ele seja, é preciso verificar se o indicador criado atende aos atributos de qualidade também na perspectiva dos atores interessados numa avaliação.
Conforme apresentado na Unidade 2, a escolha dos indicadores a serem usados no monitoramento e avaliação não deve ser feita antes da definição do conjunto de ações que pretendemos monitorar e/ou avaliar. O conhecimento da lógica de organização das ações nos ajuda a identificar que indicadores devem ser adotados para verificar se a mudança esperada com a intervenção se deu ou não.
 
Um indicador não é um número qualquer, escolhido de forma aleatória, mas uma construção com sentido particular no contexto de um determinado objeto de avaliação. Nesse sentido, mesmo sabendo que muitas vezes um indicador poderá assumir a fórmula de um número inteiro (número de consultas de pré-natais realizadas ao longo da gestão) ou de um valor relativo (número de pacientes hipertensos que realizam atividades físicas sobre o número total de pacientes hipertensos), eles só poderão se tornar indicadores se tiverem sentido para responder a perguntas avaliativas (Unidade 1).
Em boa medida, há muitos indicadores de saúde disponíveis para quem os quiser utilizar. A questão é que nem sempre tais indicadores são aqueles de que necessitamos para mensurar um determinado fenômeno social, sobretudo quando se trata dos serviços de saúde. Em algumas situações, precisamos adaptar ou criar novos indicadores, o que é mais apropriado que usar um indicador que não mensura o que precisamos ou que não pode ser obtido. A pergunta avaliativa precede o indicador, nunca o contrário.
O processo de construção de um indicador pode variar de complexidade, em função do objeto de avaliação e das preferências dos atores interessados no estudo. A simples contagem direta de casos de determinada doença pode ser um indicador importante, bem como o cálculo de proporções, razões, taxas ou índices mais sofisticados.
Vejamos a seguir alguns exemplos de indicadores.
 
Média de atendimentos de puericultura pela equipe
 
	Indicador =
	Soma do número de atendimentos de puericultura no último mês
	
	Número de dias úteis no último mês
 
Proporção de gestantes cadastradas pela equipe
 
	Indicador =
	Número de gestantes cadastradas pela equipe
	
	Número total de gestantes
 
Índice de Dentes Cariados, Perdidos e Obturados (CPO-D)
 
	Indicador =
	Número total de dentes permanentes cariados, perdidos, obturados
	
	Número total do grupo populacional atendido
 
Há alguns requisitos básicos para a construção de indicadores, tais como o registro adequado e sistemático das atividades desenvolvidas, as fontes de dados identificadas, os sistemas de informação disponíveis e o foco e clareza sobre o objeto a ser mensurado. A informação produzida pelos indicadores depende muito do preenchimento correto dos instrumentos de coleta (fichas, questionários, prontuários), bem como da organização dos dados (arquivo, armazenamento em pastas, digitação dos dados), que devem ser feitos de forma a permitir a análise.
 
Figura 2 – Exemplo de questionário autorreferido de condições de saúde
 
 
Atenção!
Não é possível ter um indicador para acompanhar os processos ou resultados de um programa ou serviço se não temos dados de qualidade disponíveis.
 
 
Em geral, no contexto do serviço, da prática em saúde, tratamos pouco das informações de natureza qualitativa, por ainda partilharmos de um sistema de saúde muito centrado na lógica da produtividade. Essa lógica acaba colocando o quantitativo na frente do qualitativo, ou seja, a qualidade medida pela quantidade acaba assumindo mais peso.
No entanto, cada vez mais tem se constatado que nem sempre o que se expressa como de qualidade do ponto de vista quantitativo representa ou tem o mesmo sentido do ponto de vista qualitativo. Por exemplo, dizer que 78% das gestantes de um determinado município realizam mais que 7 consultas de pré-natal não quer dizer que todas as consultas de pré-natal foram de qualidade, partindo-se de uma concepção mais ampla de qualidade.
Visto que ações de saúde são fenômenos complexos, compostos de diferentes facetas, fica difícil a apreensão desse fenômeno em apenas um único indicador quantitativo. Para aprofundar o conhecimento sobre os processos de trabalho e seus efeitos na realidade, muitas vezes faz-se necessário ter mais de um indicador, bem como trabalhar com a dimensão qualitativa.
A discussão a respeito de como integrar as abordagens quantitativas e qualitativas, apesar de certas resistências, extrapola a dicotomia por tanto tempo sustentada em torno de se escolher uma abordagem em detrimento de outra. "Compreender essa distância pode representar um primeiro passo para a construçãode alternativas e propostas avaliativas que rompam com perspectivas tradicionais e excludentes e as superem dialeticamente" (BOSI; UCHIMURA, 2007, p. 152).
É comum que as informações de natureza qualitativa estejam mais presentes quando temos interesse em avaliar, pelo fato de se buscar informações mais completas e confiáveis ou explicações mais plausíveis. Os pontos trazidos anteriormente explicitam o potencial dos indicadores quantitativos, mas também seus limites por não ampliarem as possibilidades de explicação para um mesmo fenômeno social.
Dessa forma, no contexto de saúde, onde o cuidado oferecido aos cidadãos é o que rege as práticas, a natureza qualitativa das categorias de análise é elemento fundamental para avaliarmos a qualidade das ações.
 
Falar em humanização e integralidade no cuidado em saúde, e refletir sobre a incorporação destes princípios ao campo da avaliação implica incluir a qualidade a partir de uma acepção polissêmica. Portanto, a avaliação qualitativa de programas é aquela que, sem prejuízo da inserção de outras dimensões, necessariamente inclui os atores envolvidos na produção das práticas, suas demandas subjetivas, valores, sentimentos e desejos (BOSI; UCHIMURA, 2007, p. 152-153, grifo do autor).
 
No entanto, selecionar um grande número de indicadores para apreender um fenômeno complexo, como a garantia de acesso de usuários à atenção básica, também não significa a solução, mas uma dificuldade operacional. A questão não está em quantos são os indicadores ou quantas categorias se necessita construir para ajudar na explicação de um fenômeno complexo, mas qual ou quais conseguem auxiliar melhor nessa explicação. Para tornar a avaliação factível, recomenda-se a escolha de indicadores e categorias pela sua importância, capacidade de síntese da situação e facilidade de obtenção.
 
 
Ao definirmos a informação que será necessária, precisamos saber com clareza de que dados vamos necessitar e como vamos acessá-los. É sempre importante pensar se já não existem dados disponíveis. Nesse caso, são muito comuns como fontes de informação secundária:
 
· A revisão, extração e/ou análise de dados de prontuários;
· Os dados do livro de registro de acompanhamento dos usuários (Livro verde Tuberculose, Livro de ocorrências de reações medicamentosas, etc.);
· Os sistemas de informação em saúde (SIM, SINASC, SINAN, e-SUS, IBGE, SISPRENATAL, SIA-SUS, SIH-SUS, entre outros);
· Bancos de dados estruturados pelo serviço.
 
Se vamos usar dados já existentes para construir nossas informações, estamos lidando com dados secundários, ou seja, estamos utilizando fontes conhecidas para produzir informações. Se vamos levantar nossos dados para produzir informações, estamos lidando com fonte primária. Para levantar os dados, podemos utilizar técnicas de coleta como:
 
· Checagem de instalações, equipamentos e regularidade de insumos por meio de roteiro estruturado (check-list);
· Observação direta de procedimentos de rotina (técnicos e administrativos), como consultas de enfermagem, grupo educativo, consultas médicas, etc.;
· Aplicação de questionário estruturado (fechado);
· Entrevistas com informantes-chave (no serviço e/ou domicílios), com base em roteiro estruturado, semiestruturado ou aberto;
· Grupo focal.
É importante considerar que toda essa etapa de coleta de dados, seja nas fontes secundárias, seja por meio das fontes primárias, precisa ser feita com o merecido rigor, de acordo com um certo procedimento ou sistemática. Essa observação nos remete à necessidade de obter informações válidas e confiáveis sobre as dimensões da avaliação.
Mesmo tendo maior possibilidade de abrangência na construção do juízo de valor e das explicações dos porquês, tão necessárias em qualquer avaliação, ainda assim a abordagem qualitativa tem algumas limitações. Uma delas é que, ao utilizá-la, não lidamos com grandes números, com amostras representativas, pois o interesse maior está no conhecimento mais profundo do fenômeno e não na sua amplitude.
Nesse caso, dependendo do tipo da informação necessária para a avaliação a ser feita, pode ser essencial usar tanto a abordagem quantitativa, quanto a qualitativa, partindo do princípio que as duas são complementares.
 
 
Até este momento, a Unidade 3 abordou a criação e utilização de indicadores, os atributos de qualidade de um bom indicador, fichas técnicas para indicadores, natureza quantitativa e qualitativa, fontes de dados primários e secundários. Apesar da importância de cada um desses aspectos apresentados, será pensando a integração de todos eles que conseguiremos ter uma análise ampla e profunda do que nos dispusermos a avaliar.
Uma dúvida comum que pode surgir disso é: a complementaridade dos métodos não acaba, de alguma forma, confundindo a análise dos resultados no decorrer e finalização do processo? Podemos garantir que não. Os programas, intervenções e serviços de saúde exigem a combinação de métodos para lidar com fenômenos complexos e de múltiplas facetas (GREENE; BENJAMIN; GOODYEAR, 2001). Ou seja, os métodos mistos correspondem à combinação inteligente de métodos qualitativos e quantitativos na busca de informações de alta qualidade.
Assim como a integração dos métodos quantitativo e qualitativo enriquece o processo de avaliação, também não podemos deixar de ressaltar a importância de zelar pela construção dos indicadores.
 
É nesse sentido que se tornou uma recomendação clássica dizer que os indicadores precisam ser específicos, mensuráveis, atingíveis (alcançáveis), relevantes e rastreáveis. Ou seja, precisos na sua definição daquilo que medem, passíveis de mensuração para que produzam conhecimento, possíveis de serem alcançados para que as mudanças sejam percebidas, sensíveis para atestar as transformações desejadas e passíveis de comparação ao longo do tempo (JOPPERT; SILVA, 2012, p. 48).
 
Uma avaliação deve ser suficiente para compreender, analisar, julgar e explicar a qualidade de uma intervenção. Quando nos referimos ao uso de dois ou mais tipos de métodos para caracterizar diferentes faces de um mesmo fenômeno, é preciso encará-los como peças articuláveis e ajustáveis à realidade. Ambos os métodos têm suas potencialidades e limitações, irão operar melhor em diferentes realidades, dialogar melhor com diferentes atores, e por isso preparamos uma breve síntese de cada um (MINAYO; SANCHES, 1993; SERAPIONI, 2000):
 
Métodos qualitativos
 
· Permitem descrições detalhadas de como os atores sociais da intervenção se relacionam entre si;
· Capturam as diferentes experiências e representações dos atores sociais (gestores, profissionais de saúde, pacientes, familiares) envolvidos com a intervenção;
· Permitem, de maneira mais flexível, captar os processos dinâmicos da intervenção.
 
Métodos quantitativos
 
· Permitem mensurar as oportunidades perdidas ao longo dos diferentes processos da intervenção;
· Possibilitam a mensuração de efeitos da intervenção (imediato, intermediários ou finalísticos);
· Permitem testar hipóteses explicativas para definir a efetividade/eficácia de uma intervenção.
 
Ter noção das diferenças existentes naquilo que produzimos com métodos distintos é fundamental. O que devemos buscar é que as informações produzidas, quantitativas ou qualitativas, possam ser analisadas e interpretadas, possibilitem o juízo de valor com facilidade e sejam passíveis de compreensão por parte dos usuários da informação, especialmente gestores, coordenadores, profissionais de saúde e os que atuam no controle social do sistema de saúde.
 
Cabe assinalar que ambos os planos – objetivo e subjetivo – correspondem a dimensões inerentes a fenômenos complexos como a saúde. Portanto não se quer excluir uma das polaridades, tampouco defender o predomínio de uma sobre outra, mas contribuir para uma concepção ampliada de avaliação, para o necessário rigor no emprego dos conceitos e na seleção de abordagens adequadas ao que se pretende avaliar (BOSI; UCHIMURA, 2007, p. 151-152).
Vamos mais adiante falar melhor sobre os usos dessas informações, o valor processual