Aula Fiapp2 2023 olhares críticos

Prévia do material em texto

Aula Fiapp2 2023 olhares críticos 
Propostas dos olhares críticos 
Oliveira e Mario. Estudos críticos em avaliação de políticas públicas: principais contribuições 
para o campo. Revista Brasileira de Políticas Públicas e Internacionais. 
https://periodicos.ufpb.br/index.php/rppi/issue/view/2964 
ALINE A KAIO GABRIEL: 
Lobato L de VC. Avaliação de políticas sociais: notas sobre alguns limites e possíveis desafios. 
Trab educ saúde [Internet]. 2004Mar;2(1):95–106. Available from: 
https://doi.org/10.1590/S1981-77462004000100006 
KAREN A MURILO: 
JANNUZZI, P. de M. Mitos do Desenho Quase-experimental na Avaliação de Programas. NAU 
Social, [S. l.], v. 9, n. 16, 2018. DOI: 10.9771/ns.v9i16.31419. Disponível em: 
https://periodicos.ufba.br/index.php/nausocial/article/view/31419 
NATALIA A WILSON: 
Boullosa, Rosana de Freitas, Oliveira, Breynner Ricardo de, Araújo, Edgilson Tavares de, & Gussi, 
Alcides Fernando (2021). Por um antimanual de avaliação de políticas públicas. Revista 
Brasileira de Avaliação, 10(1), e100521. https://doi.org/10.4322/rbaval202110005 
Denúncias dos problemas da visão mainstream de avaliação racional-positivista que prima pelo 
método científico-experimental 
Denúncias Propostas 
Desassociarão entre valores e 
técnicas 
 
 
 
 
Problematizar como as 
avaliações influenciam as 
implementações, a 
descontinuidade e a 
inovação em políticas 
públicas. 
A escolha do desenho 
metodológico deve ser 
ancorada em um quadro 
de valores explicitados 
pela equipe da avaliação 
– articular sentidos, 
conceitos, valores, 
intenções e práticas. 
Valores podem ser 
democráticos, de 
combate às 
desigualdades... 
Observar o contexto 
brasileiro, evitando usar 
modelos padronizados 
Usar os métodos 
conforme a necessidade 
Oliveira e Mario 2023 
Bollousa et al. 2021 
Lobato 2004 
https://periodicos.ufpb.br/index.php/rppi/issue/view/2964
pois quali e quanti não 
são incompatíveis 
 
Avaliadores neutros Os sujeitos envolvidos nas 
práticas avaliativas devem 
explicitar matrizes de 
valores – são SUJEITOS 
POLÍTICOS 
Campo é empobrecido 
pois falta “reflexão-na-
ação” – só a 
reflexitividade gera 
posicionamento. 
Jannuzzi: dados e 
indicadores são escolhas 
políticas – objetos 
científicos são 
construídos a partir 
dessas escolhas. 
 
Oliveira e Mario 2023 
Bollousa et al. 2021 
 
 
 
Melhores métodos são os 
advindos das Ciências Naturais 
– mito do método experimental 
Forja-se a ideia de que existe 
um método científico universal, 
com mais status científicos do 
que outros. 
Fetiche da técnica 
Método determina a pergunta 
de avaliação que será feita 
Supervalorização da avaliação 
de impacto, em detrimento às 
avaliações de contexto e 
processo. 
Negligência de avaliação 
formativa em um país que é 
muito importante sustentar 
políticas sociais. 
 
 
 
É importante deixar de 
considerar manuais que 
pré-definam técnicas e 
considerar a possibilidade 
de usar leque de técnicas 
e instrumentos 
(movimento antimanual) 
 
Modelos de avaliação 
devem ser customizados, 
e não padronizados, 
observando o estágio de 
maturidade dos 
programas; análise do 
grau de avaliabilidade do 
programa. 
 
Importante avaliar 
contexto e considerar 
dimensões complexas das 
políticas públicas. 
 
Oliveira e Mario 2023 
Jannuzzi (2016) 
 
 
 
 
 
 
Adoção de abordagens 
plurais e relacionais 
Oliveira e Mario 2023 
Avaliações racionais-positivistas 
não garantem a continuidade 
 Oliveira e Mario 2023 
Faria 2005 
das políticas nem as tornam 
mais efetivas 
Avaliação é uma atividade 
política, que gera impactos 
políticos – e isso é 
constantemente ignorado na 
prática comum dos avaliadores 
Prática avaliativa 
reflexiva: É preciso que os 
avaliadores pensem sobre 
o seu papel e sobre os 
significados das suas 
análises – deveria se ver 
como sujeitos políticos 
que aprendem, facilitam 
diálogos, influenciam 
debates, produzem 
insumos para narrativas 
públicas. 
 
Indivíduos tem 
subjetividades - não são 
somente beneficiários. 
Oliveira e Mario 2023 
Bollousa et al. 2021 
Lobato (2004) 
É preciso explicitar que a 
avaliação que prioriza a 
eficiência é aquela que legitima 
o modelo neoliberal de Estado; 
A eficácia procedural é o cerne 
de avaliações de auditorias, 
pareceres e recomendações. 
A efetividade é a dimensão que 
visa garantia de direitos e 
justiça social. 
A efetividade social 
deveria ser o valor 
máximo a ser buscado no 
desenho de avaliações. 
 
Sistemas de avaliação têm 
limites – é preciso superá-
las e fazer avaliações mais 
substantivas – olhar para 
estruturas de poder, 
questões 
comportamentais 
 
Lobato: avaliações devem 
ser multidimensionais (3 
Es e substantiva) 
 
Jannuzzi 2016 
Lobato 2004 
 As avaliações deveriam 
ser participativas visando 
se constituir como 
instrumentos de controle 
social e mecanismo de 
responsabilização do 
gestor, sobretudo em 
contexto de concessões e 
terceirizações. 
Oliveira e Mario 2023 
Há especificidades da avaliação 
de políticas sociais que são 
ignoradas 
 
 
Avaliação deve ser mais 
ampla acoplada à ciência 
política – visão mais 
precisa sobre o policy 
making e o papel dos 
interesses 
 
Lobato 2004 
Estudo da causalidade na 
avaliação de políticas 
sociais é complexo 
Políticas mais complexas 
e diversas não é possível 
determinar as 
causalidades 
Cidadão entendido como 
cliente é um problema 
Cidadão é o dono da coisa 
pública – avaliação deve 
olhar para isso 
Lobato 2004 
 
Opções metodológicas 
Avaliação em profundidade: 
Olhar antropológico e construção de indicadores socioculturais 
4 bases: 
- conteúdo delimitado na formulação: qual é o paradigma que orienta a política? 
- contexto socioeconômico, político e legal de formulação da política. 
- trajetória institucional do programa: quais são os diferentes significados dos atores envolvidos 
em cada espaço institucional – estudo de narrativas dá conta de entender as ideias e as 
percepções dos atores envolvidos. “descrição densa” da trajetória do programa permite que o 
avaliador entenda todos os sentidos gerados por diferentes sujeitos com relação à política e 
como entendem seus resultados – a partir de seus referenciais culturais. 
- dinâmicas territoriais: os objetivos se coadunam com especificidades locais? (no caso 
brasileiro isso é fundamental)