AVALIACAO DE POLITICAS, PROGRAMAS E PROJETOS

Prévia do material em texto

Avaliação de políticas, programas e projetos sociais
Tanany Reis Março/2020
· A avaliação é um dos processos indispensáveis na melhoria das decisões e ações no campo social. Nesse sentido, a avaliação está presente em uma determinada(o) política/plano/programa/projeto social desde a decisão até a sua implementação, execução e resultados.
Uma definição de avaliação (entre tantas outras possíveis)
· Como processo formal (Tem uma racionalidade e uma técnica envolvida), o ato de avaliar pressupõe os objetivos para os quais uma avaliação é proposta; a definição de uma orientação teórico-metodológica (não neutralidade); o estabelecimento de critérios e de instrumentais, constituindo-se “não [como] um fim em si [mesmo], mas um expediente processual e metodológico, que recebe sua razão de ser nos fins a que se destina. Não implica em neutralidade e nem esta existe no seu sentido mais puro. É intrinsecamente política [...]” (DEMO apud MAGALHÃES, 2005, p. 39) (grifos nossos)
· A avaliação de políticas e programas sociais:
· combina	e	compara	dados	de	desempenho	com	um conjunto de metas escalonadas;
· responde a questões de eficácia / efetividade das políticas
e programas; neste sentido, sua tarefa é julgar e informar; (não é meramente comparativa)
· detecta eventuais falhas e afere os méritos das políticas e programas durante sua elaboração;
· é ancorada em um conjunto de valores e noções sobre a realidade social;
· contribui para dar transparência às ações governamentais.
	 Avaliação e Serviço Social
· Boschetti (2009) destaca que não raro, os estudos de natureza mais operacional e tecnicista se limitam a classificar a avaliação de políticas e programas sociais em diferentes tipos:
· de acordo com seu objetivo (efetividade, eficácia, eficiência);
· em função do momento em que se realizam (avaliação ex-ante e ex- post, que se desdobra em avaliação de impacto ou de processo) (COHEN; FRANCO);
· conforme a posição de quem realiza a pesquisa (interna ou externa) (COHEN; FRANCO também mencionam mista e participativa);
· segundo a escala de projetos (grandes e pequenos projetos) (COHEN; FRANCO);
· em razão dos seus destinatários (COHEN; FRANCO – no que se refere estritamente à organização-agente, podem ser diferenciados três tipos de destinatários: 1. os dirigentes superiores; 2. os administradores; 3. os técnicos).
· são medidas usadas para permitir a operacionalização de um conceito abstrato ou de uma demanda de interesse programático;
· apontam, indicam, aproximam, traduzem em termos operacionais as dimensões sociais de interesse definidas a partir de escolhas teóricas ou políticas realizadas anteriormente;
· prestam-se a subsidiar as atividades de planejamento público e a formulação de políticas sociais nas diferentes esferas de governo;
· possibilitam o monitoramento das condições de vida e bem- estar da população por parte do poder público e da sociedade civil;
· permitem o aprofundamento da investigação acadêmica sobre a mudança social e sobre os determinantes dos diferentes fenômenos sociais;
(JANUZZI, 2005)
 (
Indicadores
)
· Exemplos de indicadores sociais: taxas de analfabetismo, rendimento médio do trabalho, taxas de mortalidade infantil, taxas de desemprego e proporção de crianças matriculadas em escolas.
· Os indicadores sociais traduzem em cifras tangíveis e operacionais várias das dimensões relevantes, específicas e dinâmicas da realidade social.
· Os indicadores têm o objetivo de transformar os conceitos usados no objetivo geral, objetivos específicos, resultados (sentido amplo) e atividades em parâmetros concretos e mensuráveis.	(JANUZZI, 2005)
 (
Indicadores
)
· No	processo	de	transformar	conceitos	em	indicadores,	é necessário:
· 1) identificar quais são as dimensões mais fundamentais do fenômeno em questão (variáveis);
· 2)	criar	as	formas	mais	apropriadas	de	medir	suas variações (indicadores).
Conceitos	Variáveis	Indicadores
	Conceito
	Variável
	Indicadores
	
Participação juvenil
	
Nível de inserção em espaços públicos de controle social
	-Número de participantes que se integraram a espaços de discussão e de controle social (conferências, conselhos, fóruns e redes)
-Número de participantes que atuam na comunidade multiplicando conhecimentos apreendidos através do projeto
-Qualidade das intervenções dos participantes
	Eficiência
	Eficácia
	Efetividade
	
Incide diretamente sobre
a ação desenvolvida.
Tem por objetivo reestruturar a ação para obter, ao menor custo e ao menor esforço, melhores resultados.
(relação custo benefício; Consegue fazer mais do que estava estabelecido inicialmente, fazer mais com menos )
	
É analisada a partir do estudo da adequação da ação para o alcance dos objetivos e das metas previstos no planejamento e do grau em que foram alcançados. (Tem a ver com o cumprimento daquilo que foi estabelecido)
	Diz respeito ao estudo do impacto do planejado sobre a situação, à adequação dos objetivos definidos para o atendimento da problemática objeto da intervenção, ou melhor, ao estudo dos efeitos da ação sobre a questão objeto do planejamento. (o que fica para os sujeitos após o encerramento de uma política de um programa..
 (
Avaliações: eficiência, eficácia e efetividade (Baptista)
)
	Eficiência
	Eficácia
	Efetividade
	
Deve ser necessariamente crítica, estabelecendo juízos de valor sobre o desempenho e os resultados.
	Incide sobre a proposta e, basicamente, sobre os objetivos (gerais e específicos), estabelecendo em que medida os objetivos propostos foram alcançados e quais as razões dos êxitos e dos fracassos.
( vai se preocupar com os porques )
	
O ponto de vista da avaliação de efetividade é o da totalidade e a questão é vista como uma totalidade parcial integrada em totalidades mais amplas.
	Eficiência
	Eficácia
	Efetividade
	
São critérios de eficiência aqueles relacionados com o rendimento técnico- administrativo: a otimização dos recursos disponibilizados, os padrões de qualidade dos resultados, a capacidade de atender à demanda.
(Ter em vista a qualidade daquilo que foi realizado)
	São estudados não apenas os efeitos diretos, resultantes da intervenção, mas também seus efeitos indiretos, sejam eles relacionados à intencionalidade da ação, sejam eles efeitos perversos, isto é, efeitos que, imediata ou mediatamente, são contraditórios em relação ao intento da ação.
	A avaliação de efetividade questiona a proposta, os objetivos e a ação desenvolvida, não em termos de sua capacidade de execução, mas em termos de sua capacidade de dar respostas adequadas ao desafio posto pela realidade por inteiro (cobertura), no limite do âmbito da intervenção da ação planejada.
 (
Avaliações: eficiência, eficácia e efetividade (Baptista)
)
	Eficiência
	Eficácia
	Efetividade
	
Além das análises de dados quantitativos, avalia-se a qualidade dos serviços e verifica- se o efeito dinâmico de cada ação sobre o conjunto de ações do projeto.
	Nesta modalidade de avaliação, mais importante do que contar com as melhores técnicas de medida é o aperfeiçoamento dos procedimentos para análise dos efeitos da ação sobre o processo no qual intervém, ou seja, a conexão entre ação e produto.
	
-
	Eficiência
	Eficácia
	Efetividade
	É a avaliação da relação entre o esforço empregado na implementação de uma dada política e os resultados alcançados (FIGUEIREDO & FIGUEIREDO, 1986);
A autora defende que hoje é a mais necessária e urgente de ser desenvolvida;
Tem existido grande esforço de sofisticação dos métodos de avaliação de eficiência;
	É a avaliação da relação entre os objetivos e instrumentos explícitos de um dado programa e seus resultados efetivos (FIGUEIREDO & FIGUEIREDO, 1986); (de novo a questão do instrumental, do instrumento que é utilizado para operacionalizar
Pode ser feita entre as metas propostas e as metas alcançadas ou entre os instrumentos previstos e os efetivamente empregados;
	Exame da relação entre a implementação de um determinado programa e seus impactos e/ou resultados;
Verificação do sucessoou fracasso do programa em termos de uma efetiva mudança nas condições sociais prévias da vida das populações atingidas.
 (
Avaliações: eficiência, eficácia e efetividade (Arrechte)
)
	Eficiência
	Eficácia
	Efetividade
	
Motivos do investimento nos métodos de avaliação de eficiência: 1. a escassez de recursos exige maior racionalização dos gastos (crise fiscal do Estado); 2. universos populacionais a serem cobertos	são de enormes proporções; a eficiência é um objetivo democrático;
	
É seguramente a mais usualmente aplicada nas avaliações correntes de políticas públicas, porque certamente é aquela mais factível e menos custosa de ser realizada; (saber se alcançou ou não)
A maior dificuldade da avaliação de eficácia é a obtenção e a confiabilidade das informações obtidas;
	A maior dificuldade metodológica não é fazer a distinção entre produtos e resultados;
A maior dificuldade metodológica consiste precisamente em demonstrar que os resultados encontrados (de sucesso ou fracasso) estão causalmente relacionados aos produtos oferecidos.
	Eficiência
	Eficácia
	Efetividade
	
Importante: a probidade, competência e eficiência no uso de recursos publicamente apropriados constituem, em regimes democráticos, uma das condições para a confiança pública no Estado e nas instituições democráticas;
O conceito de eficiência é diferente nos setores público e privado
	Em menor medida é também usualmente aplicada para avaliar a relação entre os instrumentos previstos para implementação de uma política e aqueles efetivamente empregados.
Na maior parte das vezes essa avaliação consiste no exame da processualidade concreta e da adequação e coerência dos meios e instrumentos utilizados durante a vigência de um determinado programa.
	
A dificuldade metodológica mencionada faz com que estudos confiáveis sobre efetividade dos programas sejam muito difíceis, e mesmo raros.
	Eficiência
	Eficácia
	Efetividade
	
-
	
Dimensão do processo de desenvolvimento e implementação do programa;
Medida no processo;
Responde a questões sobre os acertos do programa em sua fase de elaboração e implementação.
	
Dimensão do resultado, ex-post, destinada a averiguar o alcance das metas; (NÃO CONFUNDIR ISSO COM AVALIAÇÃO DE EFICÁCIA, OBSERVANDO QUE O FOCO É NO RESULTADO)
Medida de resultado;
Responde a questões relacionadas com o alcance das metas.
Avaliação de resultados,
somativa, ex-post.
 (
Avaliações: eficiência, eficácia e efetividade (Faria)
)
 (
Classificação dos estudos de avaliação segundo
)
· 1º tipo – ex-ante; (anterior ao acontecimento da coisa, para saber se vai fazer aquela coisa ou não)
Faria (p. 44 e 45)
· 2º tipo – inclui atividades destinadas ao acompanhamento e monitoramento (atividade gerencial, não envolver julgamento, permitindo fazer correçoes nas açoes) (ATENÇÃO: De acordo com outras autoras, monitoramento não é um tipo de avaliação, mas FARIAS afirma que MONITORAMENTO É avaliação) dos programas; em geral, busca a adequação entre o plano e sua execução. Trata-se de avaliar a eficiência; é o fazer certo as coisas, posto que as atividades de monitoramento permitem intervir no processo da execução, corrigindo os rumos cada vez que desvios são detectados;
· 3º tipo – identificado como avaliação formativa, avaliação de processo ou de eficácia e tem por objetivo fazer as coisas certas;
· 4º tipo – identificado como avaliação somativa, de resultado ou ex- post; subsidia a decisão e avalia, principalmente, a maior ou menor efetividade de diferentes “tratamentos” oferecidos ao público-alvo. Seu objetivo primordial é permitir a escolha do melhor programa para alcançar as metas de médio e longo prazo.
	Avaliação formativa (eficácia)
	Avaliação somativa
	No que se refere a seu papel, busca o aprimoramento do programa durante o processo de sua elaboração.
Pode ser usada para testar, rever e redefinir o programa global (ou seja, em sua totalidade) ou vários de seus componentes: conteúdos, metodologias, treinamento e desempenho das equipes, caracterização do público-alvo, configuração dos materiais adotados e o tempo ideal para sua implementação.
	
No que se refere a fins, responde questões sobre um produto acabado, concluído.
Avaliação como atividade que produz e compara dados de desempenho com um conjunto de objetivos hierarquizados, justifica e valida instrumentos e metas, atribuindo valores ao programa para alcançá-las.
Avaliação do programa na etapa de
implementação e resultados.
 (
Avaliação formativa x avaliação somativa (Faria)
)
	Avaliação formativa
	Avaliação somativa
	
Chamada também de avaliação de processo ou de eficácia.
Tem por objetivo fazer as coisas
certas.
	Compara o desempenho de diferentes “tratamentos” a que estão expostos os beneficiários (público-alvo).
Também chamada avaliação de resultado ou ex-post.
As atividades de avaliação somativa (impactos, resultados, modificação da situação inicial da população-alvo) quando ocorrem, são executadas por equipes externas e, primordialmente, orientadas para a conclusão.
	
Dimensão
	
Avaliação formativa
	
Avaliação somativa
	
Caracterização
	Acompanhamento de ações e tarefas referentes ao conteúdo, método e instrumentos do programa.
	
Exame da análise de objetivos, impacto e resultados.
	
Momento
	Acompanhamento do processo com coleta de dados e registros de observações específicas para a avaliação.
	
Tomadas pontuais antes, durante e depois para avaliar o impacto.
	
Dimensão
	
Avaliação formativa
	
Avaliação somativa
	
Objetivo
	
Identificar os aspectos do programa que devem ser aprimorados.
	Analisar as relações entre processo, resultados e impactos, comparando diferentes programas.
	Atitude
	Descritiva, clínica,
corretiva.
	Analítica, normativa,
prescritiva.
	
Recomendações
	Aprimoramento do conteúdo, objetivos, foco e metodologia do programa.
	
Revisão de ações, recursos e metas.
	
Dimensão
	
Avaliação de processo
	
Avaliação de impacto
	
Concepção
	
Trata-se de um procedimento de verificação e correção do funcionamento do programa.
	
Refere-se a uma medida de desempenho da ação de um programa (desempenho físico, tangível, mensurável: alteração de índices; desempenho subjetivo; mudança de atitudes, comportamentos e opiniões).
 (
Avaliação de processo x avaliação de impacto (Silva e Silva)
)
	
Dimensão
	
Avaliação de processo
	
Avaliação de impacto
	
Objeto
	Aferição da adequação entre meios e fins, observando o contexto organizacional, institucional, social, econômico e político em que se desenvolve a implementação de um programa.
	Estudo do efeito ou resultado de um programa, determinando se houve mudança, segmentos afetados pela mudança e em que medida cada um dos componentes atendidos pelo programa contribuiu para o alcance dos objetivos.
	
Dimensão
	
Avaliação de processo
	
Avaliação de impacto
	
Momento
	
Realiza-se durante a implementação do programa, olhando para frente, para correções ou adequações.
	Realiza-se durante ou depois da implementação do programa, olhando para trás para verificar se alcançou ou não os
resultados previstos, identificando as causas.
 (
Avaliação de processo x avaliação de impacto (Silva e Silva)
)
	Dimensão
	Avaliação de processo
	Avaliação de impacto
	
Horizonte
	
Efetua decisões cotidianas, operativas.
	Dirige-se para fora, para além do programa, para tomar decisões sobre a política.
	
Usuário
	
O pessoal que administra e executa o programa.
	Decisores públicos; movimentos e organizações da sociedade com vistas a desenvolver o controle social do programa.
 (
Avaliação de processo x avaliação de impacto (Silva e Silva)
)
	Dimensão
	Avaliação de processo
	Avaliação de impacto
	
Objetivos
	Aferir a eficiência e eficácia de um programa, oferecendo descrição adequada dos serviços e verificando se a população-alvo está sendo atingida.
Corrigir o curso de ações durante a implementação, visando sua reorientação em função dos objetivos do
programa.
	
Medir o resultado dos
efeitos de uma política.
Servir de medida dedesempenho da ação pública.
 (
Avaliação de processo x avaliação de impacto (Silva e Silva)
)
	Dimensão
	Avaliação de processo
	Avaliação de impacto
	
Objetivos
	Oportunizar melhor alocação de recursos, permitindo aos administradores a otimização da relação insumo/produto, e aos técnicos, o conhecimento dos aspectos operativos utilizados na implementação do programa.
	
Estabelecer relação de casualidade entre a política e as alterações das condições sociais.
	Dimensão
	Monitoramento
	Avaliação
	
Objeto
	
Acompanha, sistematicamente, ações e tarefas
	Examina e analisa (JULGAR)impactos e resultados, voltando-se para fins e propósitos
	
Momento
	
Processo contínuo durante a execução do programa
	Processo situado antes, durante ou depois da execução de um
programa
 (
Monitoramento x avaliação (Silva e Silva)
)
	Dimensão
	Monitoramento
	Avaliação
	
Objetivo
	Garantir o desenvolvimento dos trabalhos conforme
Planejado
	Analisar relações entre processo / resultados / impactos
	
Atitude
	
Descritiva e corretiva
	Descritiva, interpretativa e experimental
	
Recomendações
	Ajuste no plano de trabalho ou na estratégia de execução
	
Revisão de ações, recursos e metas
Monitoramento (Faria)
	Dimensão
	Monitoramento
	Observação
	
Caracterização
	Acompanhamento de ações e
tarefas referentes ao plano de execução.
	As atividades de monitoramento costumam ser consideradas atividades de avaliação. Em decorrência, a correção ad- hoc dos rumos de um plano acaba sendo considerada como atividades de aprimoramento do próprio programa, mesmo quando não ocorrem modificações de conteúdo, metodologia e
adequação.
	Momento/
tempo
	Processo contínuo durante a
execução.
	
	
Objetivo
	Identificar o progresso com respeito ao plano de trabalho.
	
	Atitude
	Gerencial
	
	
Recomendações
	Ajuste no plano, das condições operacionais e correção dos rumos.
	
Avaliação – abordagens de acompanhamento (Carvalho)
Avaliação política da política
· Avaliação da análise de princípios fundantes das políticas e programas sociais e de seu conteúdo substantivo.
· A avaliação política, como modalidade avaliativa voltada à compreensão das razões determinantes da escolha de uma política em detrimento de outras, se desdobra em duas abordagens: a avaliação política propriamente dita e a avaliação da engenharia utilizada para a construção do programa/política.
· Volta-se à análise dos conteúdos ético-políticos e dos condicionantes diversos que influenciaram a agenda público- governamental no sentido do que esta assume (e como assume) como questão a ser enfrentada pela implementação de políticas e programas sociais.
Pensando avaliação para além da técnica (Boschetti)
· Durante o processo de avaliação, o Assistente Social deve considerar as dimensões: histórica, econômica, política e social integradas e articuladas, compondo uma totalidade.
· Também deve considerar as provisões, gestão e articulação com os direitos afiançados.
· Necessidade de desenvolver uma perspectiva de análise que situa a avaliação das políticas sociais nas contraditórias relações entre Estado e sociedade no capitalismo.
 Pensando avaliação para além da técnica (Boschetti)
· Riscos inerentes às perspectivas avaliativas que enfatizam / se reduzem à aplicação de um arsenal de métodos e técnicas:
· 1) desconsideração da complexidade dos fenômenos sociais e do processo de construção de respostas às questões sociais;
· 2) postura teórica simplista (políticas sociais como meios de resolução de problemas individuais);
· 3) supervalorização das funções da política social e desconsideração de que o enfrentamento das desigualdades se situa no âmbito da estrutura econômico-social.
Pensando avaliação para além da técnica (Boschetti)
· Compreensão de que as políticas sociais não são apenas espaços de confrontação e de tomada de decisão, mas elementos de um processo complexo e contraditório de regulação política e econômica das relações sociais.
· A análise e avaliação das políticas sociais ultrapassam a mera disposição e utilização primorosa de métodos e técnicas racionais e operativos, preocupados com a relação custo benefício ou com a eficiência e a efetividade.
Pensando avaliação para além da técnica (Boschetti)
· Ultrapassar o racionalismo tecnocrático pressupõe:
· Buscar analisar a política em sua totalidade, a partir da incorporação analítica dos principais aspectos que a constituem;
· Revelar o caráter contraditório existente entre as determinações legais e a operacionalização da política social (verificar até que ponto os conceitos fundantes das normas legais são estruturadores da política social);
Pensando avaliação para além da técnica (Boschetti)
· Aspectos que podem balizar uma avaliação de políticas para além da técnica:
· Configuração e abrangência dos direitos e benefícios;
· Configuração do financiamento e do gasto;
· Gestão e controle social democrático.
Pensando avaliação para além da técnica (Boschetti)
	Aspectos que podem balizar uma avaliação de políticas para além da técnica
	
	Configuração e abrangência dos direitos e benefícios
	Configuração do financiamento e do gasto
	Gestão e controle social democrático
	
Indicadores
	Indicador 1: natureza e tipo dos direitos e benefícios previstos e/ou implementados;
Indicador 2: abrangência;
Indicador 3: critérios de acesso e permanência;
Indicador 4: formas e mecanismos de articulação com outras políticas.
	
Indicador 1: fontes do financiamento;
Indicador 2: direção dos gastos;
Indicador 3: magnitude dos gastos.
	Indicador 1: relação entre as esferas governamentais;
Indicador 2: relação entre Estado e ONGs;
Indicador 3: participação e controle social democrático.
Configuração e abrangência dos direitos e benefícios (Boschetti)
· Indicador 1: natureza e tipo dos direitos e benefícios previstos e/ou implementados (reconhecido, se demanda ou não algum tipo de contribuição, universal/seletivo, benefícios que garante);
· Indicador 2: abrangência (relacionado sempre ao universo a que a política / programa deveria se destinar);
· Indicador 3: critérios de acesso e permanência (revelam a intencionalidade e a capacidade de inclusão/exclusão do acesso; são diversos: idade, rendimento, composição familiar, condição física, permanência dos filhos na escola, etc.);
· Indicador 4: formas e mecanismos de articulação com outras políticas (articulação e complementaridade como requisito para assegurar a satisfação das necessidades básicas – e não dos mínimos sociais – aos cidadãos).
· Indicador 1: fontes do financiamento (compreender a origem dos recursos e identificar quem “paga a conta”);
· Indicador 2: direção dos gastos (identificar a distribuição dos recursos entre programas, projetos, benefícios e serviços que integram uma dada política; identificar a distribuição federativa / geográfica dos recursos);
· Indicador 3: magnitude dos gastos (análise longitudinal; comparação entre recursos aprovados e efetivamente executados; percentual de crescimento / diminuição ao longo dos anos).
 (
Configuração do financiamento e do gasto (Boschetti)
)
(Boschetti)
· Indicador 1: relação entre as esferas governamentais (papel de cada uma; autonomia; descentralização; responsabilidade de financiamento; verificação da existência de superposição de ações e competências; estrutura institucional);
· Indicador 2: relação entre Estado e ONGs (papéis e responsabilidades; lógica dos direitos/cidadania x benemerência/filantropia);
· Indicador 3: participação e controle social democrático (mecanismos de controle que a sociedade dispõe para acompanhar e fazer valer o exercício da cidadania; estrutura e autonomia dos conselhos; fóruns e redes; conferências).
 (
Gestão e controle social democrático
)
· BOSCHETTI, Ivanete. Avaliação de políticas, programas e projetos sociais. In: Capacitação em Serviço Social, Direitos e Competência Profissional. Brasília: UnB / CEAD / CFESS / ABEPSS, 2009.
· CARVALHO, Mariado Carmo Brant de. Avaliação de projetos sociais. In: CARVALHO, Maria do Carmo Brant de (coord.). Avaliação: construindo parâmetros das ações socioeducativas. São Paulo: CENPEC, 2005.
 (
Referências
)
· DRAIBE, Sônia Miriam. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001.
· JANUZZI, Paulo de Martino. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. In: Revista do Serviço Público. Brasília (2): 137-160. Abr/jun 2005.
· MAGALHÃES, Selma Marques. Avaliação: um substantivo plural. In: Avaliação: construindo parâmetros das ações socioeducativas. São Paulo: CENPEC, 2005.
· RICO, Elizabeth Melo (Org). Avaliação de políticas sociais: uma questão em debate. 6 ed. São Paulo: Cortez: Instituto de Estudos Especiais, 2009.
· SILVA, Maria Ozanira Silva (Org). Avaliação de políticas e programas sociais: teoria e prática. São Paulo: Veras Editora, 2001.
· 		(Org.).	Pesquisa	avaliativa:	aspectos	teórico-
metodológicos. 1. ed. São Paulo: Veras, 2008.