Aula 03 (2)

Prévia do material em texto

41
Avaliação, pesquisa avaliativa e valores
Rosana de Freitas Boullosa
Introdução
O mundo da avaliação é permeado por grandes desafios, como qualquer outro 
campo das ciências sociais aplicadas. Dentre principais desafios, podemos encontrar a 
relação entre avaliação e pesquisa e a dimensão ética na avaliação de políticas socais e 
seus instrumentos (planos, programas, projetos, ações). Seus graus de complexidade são 
vistos como tão altos que não raro os avaliadores e suas equipes preferem contorná-los, 
acreditando que serão resolvidos por si mesmos ao longo do trabalho de avaliação ou 
mesmo que não possuem tempo ou recursos suficientes para se problematizá-los. Como 
resultado, estamos consolidando uma cultura de avaliação no país que nem mesmo nós, 
avaliadores, conhecemos muito bem. A falta de reflexão vai levando para assumir um 
caráter cada vez mais instrumental da avaliação, com todos os riscos que implicam con-
siderá-la como uma atividade neutra, destituída de dimensão humana e política.
Pesquisa avaliativa X avaliação
Para começarmos a tecer uma possível e plausível relação entre avaliação e pes-
quisa, é preciso tomarmos uma definição de trabalho1 sobre avaliação:
Avaliação é o conjunto de atividades, nem sempre solidamente correlacionadas, voltado para a 
expressão de um juízo ou síntese avaliatória, direcionado a um fim, nem sempre claro e/ou explícito, 
empreendido por um conjunto de agentes, nem sempre definidos ou etiquetados como avaliadores. 
Este juízo deve ser o máximo possível argumentado através de instrumentos e procedimentos 
de pesquisa avaliatória (não somente pesquisa social aplicada), de modo a possibilitar a sua 
reconstrução analítica e discussão dos resultados, juízo ou síntese avaliatória, pelas coletividades 
interessadas em tal avaliação, desencadeando um processo de aprendizagem prático-institucional 
(relativo ao objeto de avaliação) e social (relativo à dimensão dialógico-cívica da sociedade em geral 
(BOULLOSA, 2006, p. 116).
Boullosa reafirma a interpretação da avaliação como juízo argumentado dire-
cionado a fim. A argumentação desse juízo ou síntese avaliatória acontece dentro de 
1 Uma definição de trabalho é aquela que nos permite avançar sobre o campo estudado, mesmo que ela seja provisória.
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
42
um limite relativamente estreito de cientificidade e profissionalismo, pautado pela 
explicitação dos elementos a partir dos quais o juízo foi formulado, assim como dos 
instrumentos utilizados para tal construção. Somente assim, é possível reconstruir, 
comparar e avaliar o tal juízo. A possibilidade de reconstrução é fundamental para o 
juízo, seja compartilhado por outros atores interessados nas discussões e resultados 
apresentados pela avaliação. Bezzi (2007) recorda que são a natureza, a profundidade 
e a qualidade da própria argumentação a tornar a argumentação mais ou menos sólida 
e crível. Nessa perspectiva, argumentações puramente retóricas e/ou estritamente 
autorreferenciadas, ainda que possam apresentar juízos de valor interessantes, care-
cem da dimensão dialógico-relacional típica das avaliações. Essa dimensão se expressa 
nas ponderações e considerações apresentadas, que relaciona diferentes pontos de 
vista para um mesmo problema, mas que com destreza consegue hierarquizar tais 
pontos em favor do juízo emitido.
A argumentação baseia-se profundamente na informação qualificada, desde a 
sua coleta à sua análise. A qualidade da informação também é um fator que merece 
atenção, pois é a própria avaliação que define tal qualidade, pois esta está carregada 
de subjetividade, dada a sua natureza de construto social. Por isso, as informações que 
alimentam a avaliação carecem de validade e coerência na elaboração, interpretação 
e análise. Como recorda Marradi (1987), nenhuma informação é neutra e por isso todo 
dado é um construto analítico: a sua elaboração, o modo como é colhido, a estrutura 
cognitiva que lhe dá significado etc. Somente assumindo toda essa carga de construto 
analítico é que a avaliação pode permitir ser controlada, reconstruída, replicada (ainda 
que parcialmente) e contra-argumentada. Em outras palavras, avaliações fechadas em 
si mesmo pouco enriquecem processos de aprendizagem nos próprios objetos de 
avaliação.
A argumentação, portanto, pode ser compreendida como um processo comple-
xo que engloba um outro processo: o de pesquisa aplicada. Claro que uma pesquisa 
aplicada para fins de avaliação, que deveria revelar-se como o seu centro nevrálgico. 
Nessa perspectiva, podemos afirmar que a pesquisa avaliatória é a estrutura central 
da avaliação, assim como o canal dialógico entre o avaliador ou a equipe de avaliação, 
a comunidade interessada e a comunidade profissional do campo da avaliação e mo-
nitoramento. Por isso mesmo, é a argumentação a dar confiança e credibilidade às in-
formações utilizadas para a expressão do juízo avaliatório. Não por acaso, Bezzi (2007) 
defende que a pesquisa avaliatória é o motor da avaliação, o seu instrumento do seu 
agir organizacional, a ração da sua eficácia.
A avaliação, todavia, extrapola os limites da pesquisa avaliatória porque compre-
ende outras dimensões, assumindo um amplo espectro de operações, quais: gestão 
organizacional (incluindo dos atores envolvidos, direta ou indiretamente), processo 
decisional, consultoria estratégica etc., pela própria natureza pragmática da avaliação.
Av
al
ia
çã
o 
e 
M
on
ito
ra
m
en
to
 d
e 
Pr
oj
et
os
 S
oc
ia
is
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
43
Avaliação, pesquisa avaliativa e valores
Valores e avaliação
A avaliação é uma atividade carregada de subjetividade, não obstante suas di-
mensões metodológicas e técnicas. Parte dessa subjetividade está contida nos valo-
res dos atores envolvidos em um processo de avaliação, com influências interpessoais, 
éticas e políticas. De fato, os avaliadores estão cada vez mais preocupados nos usos 
possíveis do produto apresentado, cônscios de que o juízo expresso na avaliação in-
fluenciará a sua aceitação e difusão. Em efeito, os relatórios de avaliação podem sofrer 
alterações quando transmitidos de um departamento a outro ou a departamentos 
e/ou instâncias de poder superiores àqueles que receberam em primeira mão tais re-
latórios. Acreditamos que esses problemas podem e devem ser enfrentados pela ava-
liação, ainda na sua fase de planejamento. Alguns autores como Worthen, Sanders e 
Fitzpatrick (2004) alertam para a que a “ansiedade da avaliação” não acabe influencian-
do os seus resultados.
A psicologia organizacional já demonstrou que todos nós somos atores porta-
dores de interesses e preferências em toda e qualquer situação organizacional. Esse 
axioma também é válido em avaliações e monitoramento de programas sociais. Cada 
um dos atores envolvidos possui seus próprios esquemas mentais e suas relações cau-
sais que se apresentam como verdades imperativas. O avaliador também padece do 
mesmo problema e é ingênuo imaginá-lo como um sujeito imparcial e destituído de 
verdades preconcebidas. Dada tal impossibilidade, resta ao avaliador se precaver no 
processo de pesquisa avaliatória, criando algumas amarrações que lhe permitam reve-
lar suas próprias crenças e minimizá-las, controlando aspectos tendenciosos e parciais 
evidentes na avaliação.
A avaliação não é uma atividade objetiva, mas, sim, carregada de subjetividade. 
O melhor a fazer, portanto, é encarar tal subjetividade e explicitar a trama de valores 
do avaliador ou da equipe de avaliação. Autores como Perloff, Padgett e Brock (1980) 
estudaram como preferências sociais e cognitivas podem influenciar avaliações, ressal-
tando que nenhuma abordagem de avaliação consegue controlar completamente as 
preferências, valores e crenças do avaliador. Mesmo assim, avaliadores com muita ex-
periência enfrentamesse problema e conseguem reduzir a influência dos seus valores 
em suas avaliações, ainda que não eliminem completamente todo e qualquer vestígio 
de tendenciosidade. Na contramão desses avaliadores, estão os avaliadores conside-
rados etnocêntricos, que acreditam que a sua visão de mundo deve imperar sobre as 
outras, recusando-se a compreender os valores diferentes dos interessados ou envol-
vidos direta ou indiretamente pela avaliação. Esses casos, infelizmente, não são raros e 
as avaliações resultantes pouco ou nada contribuem para com o objeto avaliado, pois 
apresentam argumentações distorcidas e autorreferenciadas sobre os juízos emitidos.
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
44
Os teóricos estadunidenses Yvonna Lincoln e Egon Guba foram buscar na antro-
pologia as bases para a discussão da relação do Avaliador com os seus próprios valores 
e crenças e com os valores e crenças das pessoas envolvidas no objeto de avaliação. 
Para começar, na língua inglesa há um termo próprio para o objeto da avaliação, que 
é evaluand, e um outro para o sujeito envolvido com o objeto de avaliação, que é eva-
luee. Lincoln e Guba estudaram, portanto, as relações entre os valores de avaliador 
e dos evaluees e chegaram à conclusão, apresentada no artigo “Do Evaluators Wear 
Grass Skirts? ‘Going Native’ and Ethnocentrism as Problems in Utilization” (1981), que 
o principal dilema ético do avaliador é não sucumbir nem aos seus próprios valores e 
crenças, nem aos valores e crenças dos evaluees. Ambos os casos distorcem os resul-
tados da avaliação. Sugerem ainda uma complexa estratégia para o avaliador a fim 
de diminuir os riscos de incidência em tal dilema: (a) cultivar um diário reflexivo para 
observar as suas próprias decisões e a sua posição como avaliador; (b) buscar sempre 
o confronto externo através de interrogações; (c) “auditoriar” o desenvolvimento da 
pesquisa avaliatória e dos seus instrumentos.
Um outro autor que se deteve nos estudos sobre ética e avaliação, Ernest House, 
defende que a justiça social deveria ser um dos principais valores dos processo de ava-
liação. Para ele, a prática avaliação faz parte da estrutura social e, portanto, deveria ser 
vista como um auxílio público para a tomada de decisões socialmente justas e demo-
cráticas. Avaliações deveriam funcionar como uma instituição pública para democra-
tizar a tomada de decisões em intervenções sociais. Tal prática, se institucionalizada, 
poderia encarnar os valores de uma sociedade democrática, tais como justiça, impar-
cialidade e igualdade (HOUSE, 1993). Nessa perspectiva, o autor afirma ainda que:
As avaliações devem servir os interesses não só do patrocinador, mas também da sociedade como 
um todo, bem como de vários grupos dentro da sociedade, especialmente os mais afetados pelo 
programa em análise. Assim, como uma prática social, a avaliação implica uma inevitável ética da 
responsabilidade pública, e esta responsabilidade abarca muito mais do que um cliente imediato. 
A justiça social em avaliação diz respeito ao modo em que diferentes interesses são atendidos, e, 
por interesses, entendo tudo aquilo que conduz à satisfação dos desejos, necessidades e propósitos 
dos indivíduos, sendo os desejos tudo aquilo necessário para a sobrevivência ou bem-estar dos 
indivíduos. Para ser livre é necessário conhecer os seus interesses; possuir as habilidades e os 
recursos, ou o poder e a oportunidade, para agir de acordo com estes interesses, e estar disposto a 
fazê-lo. (HOUSE, 1993, p. 128)
No mesmo estudo que contém a citação acima, House alerta para seis falácias 
éticas da avaliação. São elas:
 Clientelismo (Clientism) – a falácia de que satisfazer aos desejos do cliente ou 
fazer tudo para beneficiá-lo é eticamente correto.
 Contratualismo (Contratualism) – a falácia de que se o avaliador segue fiel-
mente o conteúdo apregoado no contrato ele está sendo profissionalmente 
ético, mesmo que contrarie o bem comum.
Av
al
ia
çã
o 
e 
M
on
ito
ra
m
en
to
 d
e 
Pr
oj
et
os
 S
oc
ia
is
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
45
Avaliação, pesquisa avaliativa e valores
 Gerencialismo (Managerialism) – a falácia de que os interesses dos gestores 
dos objetos avaliados devem prevalecer sobre todas as coisas.
 Metodologismo (Methodologicalism) – a falácia de que ao adotar uma me-
todologia de avaliação reconhecida pela comunidade de avaliadores todos os 
problemas éticos estarão resolvidos.
 Relativismo (Relativism) – a falácia de que todas as informações têm a mesma 
importância de modo a garantir a postura ética do avaliador.
 Pluralismo / Elitismo (Pluralism / Elitism) – a falácia de que as opiniões e 
valores dos atores envolvidos no objeto de avaliação (ou seja, os evaluees) que 
estão nas posições mais altas são mais importantes do que dos que estão em 
posições hierarquicamente inferiores.
As questões éticas em avaliação foram sempre motivos de grandes debates, desde 
os anos 1970. Mas foi nos anos 1980 que algumas associações começaram a propor di-
retrizes éticas para os seus avaliadores associados, como foi o caso do influente Evalua-
tion Research Society Standards Commmittee (ANDERSON et al., 1982). Provavelmente 
em decorrência de todo esse esforço de construção de uma agenda pública sobre ética 
em avaliação, os governos dos EUA e Canadá revisam as suas diretrizes sobre avaliação 
de programas, incluindo algumas preocupações éticas2.
Muitos autores defendem que as avaliações mais úteis são aquelas cujos pro-
cessos e práticas envolvem os atores dos próprios objetos de avaliação, sejam eles os 
beneficiários ou os implementadores do programa, projeto etc. Nessa perspectiva, a 
avaliação deveria reconhecê-los como parte do seu processo. Brandon, Lindberg e 
Wang (1993) demonstraram, através de pesquisa, que envolver os beneficiários de um 
programa em uma avaliação aumenta a validade das descobertas da própria avalia-
ção. O mínimo que se pode fazer, portanto, é respeitar os limites e valores dos atores 
envolvidos direta ou indiretamente no processo de avaliação e pesquisa avaliatória. 
O Joint Commmittee on Standards for Educational Evaluation propôs uma diretriz para 
reger as relações humanas: “Os avaliadores devem respeitar a dignidade e o valor do 
ser humano em suas interações com outras pessoas relacionadas a uma avaliação para 
que os participantes não sejam ameaçados nem prejudicados” (1994, p. 99).
A dimensão ética da avaliação também se revela no acesso aos dados e nos seus 
usos. Muitos autores ressaltam a importância de acordos de permissão de uso e salva-
guarda de informações junto às fontes. Tais acordos podem ainda incluir pontos relativos 
à liberdade do avaliador e/ou da equipe de avaliação de usar parcialmente as informa-
ções obtidas, assim como de desmembrá-las ou mesmo corrigi-las em caso de eventuais 
2 Vale a pena conhecer os princípios propostos pelo American Evaluation Association disponíveis em: <http://www.eval.org/>, chamados de Guiding Principles 
For Evaluators, também disponíveis em: <http://www.eval.org/Publications/GuidingPrinciples.asp>. São estes: a pesquisa sistemática; competênia; integridade 
e honestidade; respeito pelas pessoas e responsabilidade pelo bem-estar geral e social.
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
46
erros. Os autores Worthen, Sanders e Fitzpatrick (2004) alertam sobre a necessidade de 
explicitar tais acordos a fim de não comprometer o resultado final das avaliações.
Avaliação como uma atividade política
Uma das maiores controvérsias presentes no campo de práticas e conhecimento 
da avaliação paira sobre a interpretação da avaliação como uma atividade política ou, 
pelo menos, dotada de uma considerável dimensão política. Muitas vezes os objetos de 
avaliação são desenvolvidos,operados ou financiados por órgãos governamentais, sujei-
tos a fortes relações de poder. Nesses casos, nem mesmo os avaliadores mais ingênuos 
podem acreditar que estão avaliando objetos destituídos de uma dimensão política.
Um dos primeiros teóricos da avaliação a defender a dimensão política da avalia-
ção foi Carol Weiss, para quem a avaliação é uma atividade racional que acontece em 
um contexto político, o que por si só já pressupõe a sua dimensão relacional e dialógica 
com o poder. Em 1973, Weiss argumenta que as avaliações estão sujeitas a três diferen-
tes formas de influência política: (a) os objetos de avaliação são frutos de decisões polí-
ticas; (b) seus resultados são frequentemente usados para tomadas de decisões políti-
cas; (c) a avaliação também possui suas posições políticas. Esses argumentos suscitaram 
intenso debate e o próprio Weiss reafirmou seguidas vezes a sua posição, ao ponto de 
quase duas décadas depois acrescentar que tais influências passaram a definir o que na 
década de 1990 convencionou-se chamar de “política da avaliação” (WEISS, 1993).
Na contramão, alguns práticos de avaliação de programas relutaram em admitir 
qualquer dimensão política dos seus trabalhos, sobretudo até meados dos anos 1970. 
Autores como Sechrest e Figueiredo (1993) estudaram tal oposição e chegaram à con-
clusão de que mesmo aqueles que defendiam radicalmente a exclusividade da dimen-
são tecnicista da avaliação, acabaram sendo vencidos pela nova complexidade social, 
resultante da descentralização de muitos processos político-administrativos, que afe-
taram os programas sociais objetos de avaliação e, consequentemente, seus efeitos. 
Até mesmo Patton (1988), avaliador estadunidense que desenvolveu a conhecida me-
todologia bastante objetiva chamada Utilization Focused Evaluation, acabou admitin-
do que a política desempenha um papel importante em todas as fases da avaliação, 
incluído o uso dos seus resultados e a própria escolha metodológica.
Avaliação formativa X avaliação somativa
Um dos autores mais importantes da teoria da avaliação de programas, Michael 
Scriven (1967), estudando os diferentes papéis das avaliações de currículos escolares, 
Av
al
ia
çã
o 
e 
M
on
ito
ra
m
en
to
 d
e 
Pr
oj
et
os
 S
oc
ia
is
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
47
Avaliação, pesquisa avaliativa e valores
acabou propondo a clássica distinção entre os papéis formativo e somativo. Muito 
embora os limites entre esses dois papéis não sejam rígidos, essa classificação pode 
nos ajudar a compreender os usos da avaliação. A principal diferença entre avaliação 
somativa e avaliação formativa está justamente no fim da avaliação: para Scriven, a 
avaliação é somativa quando é construída para ajudar os responsáveis pelas tomadas 
de decisão dos programas avaliados, ou os seus potenciais consumidores. Já uma ava-
liação pode ser considerada formativa quando ela é construída para dar informações 
úteis à equipe do programa, sendo útil, por exemplo, para uma correção de rumo ou 
aperfeiçoamento do programa.
Para Scriven, a avaliação formativa, portanto, é aquela conduzida durante o dese-
nho e implementação de um projeto com a finalidade de ajudar e melhorar o progra-
ma, compreendido como uma estratégia para a resolução de um problema complexo 
– o seu público, portanto, é formado pelos implementadores do programa, ou seja, 
pelos responsáveis pelo seu desenvolvimento. Já a avaliação somativa, ou sumativa, 
é aquela que busca determinar em que medida os objetivos da formação foram de 
fato alcançados ou cumpridos, determinando um juízo de valor sobre os resultados 
alcançados, que elevaram as decisões sobre a continuidade, expansão, eliminação ou 
retração do programa – seu público, portanto, é formado pelos decisores do programa, 
pelos atores que têm o poder de decidir sobre a continuidade do programa.
Essa diferença também se revela na finalidade da avaliação: enquanto a formativa 
é voltada para a formação do programa, no sentido de implementação, a somativa é 
voltada para uma decisão geralmente binária, apresentando respostas afirmativas ou 
negativas para o prosseguimento ou ampliação de um programa. Para sua adequada 
compreensão, todavia, devemos ter o cuidado de pensar que uma avaliação somativa 
não está somente vinculada às fases finais dos programas e as formativas às fases ini-
ciais dos programas. Essa é uma visão restritiva da compreensão das avaliações. As ava-
liações voltadas para a melhoria de programas sociais podem acontecer desde a fase 
de desenho do programa, até a implementação inicial, desenvolvimento e conclusão. 
O mesmo pode acontecer com a somativa, que não deve ser restrita a avaliações finais 
quando se deve decidir o destino do programa.
Esse tipo de distinção, como se pode ver, de um lado é útil, mas de outro pode 
revelar certa miopia dos avaliadores e dos demandantes por avaliação que continu-
am vendo-a como algo fora do processo do ciclo de um programa. O próprio Scriven, 
quase 25 anos depois da sua proposta de distinção, reconhece que na prática a distin-
ção entre os papéis formativo e somativo das avaliações não é uma tarefa fácil, pois 
ambos estão profundamente entrelaçados (SCRIVEN, 1991a). Aliás, alguns anos antes, 
em 1986, ele já tinha revelado que em programas complexos, avaliações somativas 
pontuais podem funcionar como formativas gerais, ou seja, como de melhorias para 
o programa de modo complexo, como um todo, num primeiro balanço crítico da sua 
própria obra.
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
48
Alguns autores alertam ainda para os perigos da tendenciosidade das avaliações 
somativas e formativas. Mas nem todos os autores pensam de modo parecido. Worthen, 
Sanders e Fitzpatrick (2004) acreditam, por exemplo, que a desequilibrada preferência 
de muitos profissionais por avaliações formativas pode ser não somente tolerável, como 
até desejada, já que poderia levá-los a serem mais receptivos a determinadas necessi-
dades de informação do programa, possivelmente necessárias para o seu aperfeiçoa-
mento. O contrário, porém, não parece válido para esses mesmos autores. Eles acredi-
tam que a excessiva preferência por avaliações somativas, tanto de uma organização 
demandante quanto dos avaliadores profissionais, poderia revelar uma certa inclinação 
para a produção de juízos avaliatórios tendenciosos ou poderia levar a uma descon-
fiança dos resultados (mesmo que justos) das avaliações. Talvez por isso, alguns autores 
acreditem que avaliadores externos geralmente preferem avaliações somativas.
Avaliação interna X avaliação externa
A dicotomia formativa-somativa proposta por Scriven também foi objeto de con-
testação por muitos autores. Para Chen (1996), por exemplo, tal distinção pouco acres-
centa à compreensão do objeto de avaliação e ainda por cima não compreende todas 
as tipologias de avaliação. Diversamente, Chen preferiu propor uma outra classificação 
quanto aos possíveis papéis da avaliação, resultado do cruzamento da variável “fun-
ções assumidas pela avaliação” (aperfeiçoamento do objeto de avaliação e emissão de 
juízo) com a variável “estágios do programa” (processo e resultados).
Uma outra proposta que difere da proposta por Scriven refere-se à distinção entre 
avaliação interna e avaliação externa. Tal distinção pode ser resolvida de um modo 
bastante simples: se o avaliador pertence à equipe do objeto avaliado, trata de uma 
avaliação interna. Caso contrário, externa. Essa simplicidade, porém, tem sido contes-
tada na prática de algumas abordagens de avaliação que preconizam, por exemplo, 
uma maior participação dos atores envolvidos com o objeto de avaliação. De fato, as-
sistimos há algum tempo um grande esforço em alargar o espectro dos atores que 
participam das avaliações.
O fôlego desse debate, todavia, estava bastante relacionado à discussãosobre as 
vantagens e desvantagens de avaliações empreendidas por agentes internos ou ex-
ternos aos programas avaliados, o que de certa forma se relaciona com os problemas 
colocados sobre a relação entre ética e avaliação. Hoje é quase consenso que tanto os 
avaliadores externos quanto os internos precisam ter cuidado com alguns problemas 
Av
al
ia
çã
o 
e 
M
on
ito
ra
m
en
to
 d
e 
Pr
oj
et
os
 S
oc
ia
is
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
49
Avaliação, pesquisa avaliativa e valores
decorrentes da sua posição. Um avaliador interno, por exemplo, pode conhecer tão 
bem um determinado programa que tem dificuldade de compreender os seus proble-
mas mais estruturais, assim como pode encontrar dificuldades na relação com os co-
legas por passar a ocupar uma nova posição frente ao grupo. Porém, esse mesmo pro-
blema de relacionamento pode vir a acontecer com um avaliador externo que pode 
encontrar resistências do grupo e ser visto, por exemplo, como um denunciador.
Por muito tempo, o avaliador externo ocupou uma certa posição de prestígio 
junto às organizações financiadoras de avaliações, sobretudo de um tipo específico de 
organização que eram as agências internacionais. Acreditou-se que o avaliador exter-
no seria menos tendencioso e mais objetivo. Todavia, hoje grande parte da literatura, 
assim como a própria experiência dessas agências, apontam para as limitações de tal 
preconceito. Notou-se, por exemplo, que avaliadores externos contratados pelo Banco 
Mundial apresentavam juízos ou sínteses avaliatórias distantes da realidade. O mito 
da avaliação externa, ou melhor, do avaliador externo felizmente começou a ser ques-
tionado. Não obstante essas mudanças recentes, ainda podemos encontrar Agências 
de Governo ou Agências de Cooperação Internacional que só financiam projetos que 
tenham sido alvo de avaliações externas, desconsiderando as internas. Segundo tal 
ponto de vista, somente as avaliações externas poderiam garantir a necessária impar-
cialidade do juízo.
Autores como Worthen, Sanders e Fitzpatrick acreditam que a dicotomia formati-
va-somativa poderia ser enriquecida com a dicotomia interna-externa, gerando avalia-
ções formativas internas ou externas e somativas internas ou externas.
Conclusão
Ninguém avalia sozinho. A avaliação é uma atividade relacional, pois depende de 
outras pessoas que, no mínimo, são responsáveis pela construção das informações. 
É importante compreender a dimensão social da avaliação, pois qualquer avaliação 
pode se revelar em um poderoso instrumento de diálogo entre os interessados nos 
objetos de avaliação, nos processo desencadeados, nos seus impactos e efeitos, espe-
rados ou não. A avaliação tem, portanto, como pano de fundo um espectador múltiplo 
em um contexto específico: a sociedade na democracia. É preciso, portanto, que os 
avaliadores e as suas equipes problematizem com profundidade os valores embutidos 
nas avaliações, interpretando-a como instrumento sociodialógico, apoiada em uma 
pesquisa avaliatória, que deverá evidenciar a sua lógica, os seus critérios, premissas, 
vínculos e valores, para que o desejado diálogo ocorra.
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
50
Texto complementar
Avaliação do TCU sobre o Programa Reinserção Social 
do Adolescente em Conflito com a Lei
(TCU, 2009)
O Programa Reinserção Social do Adolescente em Conflito com a Lei
O Tribunal de Contas da União realizou, entre agosto e novembro de 2003, 
auditoria com o intuito de avaliar o desempenho do Programa Reinserção Social 
do Adolescente em Conflito com a Lei. O Programa visa articular e estimular os 
esforços do sistema socioeducativo instituído pelo Estatuto da Criança e do Ado-
lescente – ECA, de forma a possibilitar a inclusão do adolescente em conflito com 
a lei no meio social.
O Programa busca, também, fortalecer os mecanismos de aplicação e execu-
ção das medidas socioeducativas, incentivando experiências referenciais em cada 
unidade da federação. A ação prioritária, no PPA 2000/2003, é a implantação de ser-
viços de atendimento a adolescentes com medidas socioeducativas não privativas 
de liberdade.
A Secretaria Especial de Direitos Humanos – SEDH, responsável pelo Programa, 
oferece apoio técnico e financeiro aos projetos de parceiros governamentais e não 
governamentais, por intermédio, principalmente, da celebração de convênios.
 O que foi avaliado pelo TCU
 A auditoria buscou avaliar o desempenho do Programa, especialmente com 
relação à execução de medidas não privativas de liberdade e à articulação 
das políticas públicas direcionadas para o adolescente em conflito com a lei.
 Sendo assim, verificou-se em que medida normas, diretrizes e ações gover-
namentais constituem uma política nacional integrada de atendimento ao 
adolescente em conflito com a lei. Buscou-se verificar se os recursos mate-
riais, orçamentários, financeiros, humanos e de informações da SEDH, dos 
estados e das entidades de atendimento e a qualidade da formação profis-
sional dos responsáveis pela implementação do Programa são suficientes e 
Av
al
ia
çã
o 
e 
M
on
ito
ra
m
en
to
 d
e 
Pr
oj
et
os
 S
oc
ia
is
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
51
Avaliação, pesquisa avaliativa e valores
compatíveis com os objetivos traçados. Também foi analisado em que me-
dida as ações do Programa são consistentes com o Estatuto da Criança e do 
Adolescente, no que se refere à execução das medidas socioeducativas. Por 
fim, verificou-se o grau de implementação das atividades de apoio e acom-
panhamento dos egressos.
 Por que foi avaliado
 A Constituição Federal, em seu artigo 227, atribui prioridade ao segmento 
infanto-juvenil. O Estatuto da Criança e do Adolescente – ECA, instituído por 
meio da Lei 8.069/1990, aponta para uma nova forma de gestão pública nas 
ações de atendimento a crianças e adolescentes. Em razão de propor mu-
danças significativas nos modelos de atendimento, a implantação das ações 
preconizadas no Estatuto ainda não foi concluída.
 No âmbito mundial, há também mobilização geral no que se refere ao de-
senvolvimento de princípios que representam um novo modo de encarar a 
criança e o adolescente e de equacionar respostas adequadas aos proble-
mas existentes na área.
 Os benefícios trazidos pela reinserção social do adolescente em conflito com 
a lei atingem não só os próprios adolescentes como também as suas famí-
lias e, indiretamente, influem de maneira positiva na sociedade em geral, na 
medida em que o Programa pode contribuir para a diminuição de ocorrên-
cia de delitos e, consequentemente, para a melhoria da qualidade de vida 
da população que convive com o público-alvo do Programa em questão.
 Como se desenvolveu o trabalho
 Os trabalhos de campo foram realizados em seis estados da federação (Mato 
Grosso do Sul, Minas Gerais, Pará, Pernambuco, Rio Grande do Sul e São Pau-
lo), além do Distrito Federal. A escolha dos estados visitados considerou: 
volume de recursos repassados pelo Governo Federal para a execução de 
convênios nos estados; quantidade de adolescentes em cumprimento de 
medidas socioeducativas; representação de estados pertencentes a todas 
as regiões brasileiras; relatos de experiências bem-sucedidas no atendimen-
to ao adolescente em conflito com a lei.
 A coleta de dados foi realizada por meio de entrevistas e questionários. 
Foram entrevistados especialistas, gestores estaduais, juízes, membros do 
Ministério Público, defensores públicos, diretores de entidades de atendi-
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
52
mento, adolescentes em cumprimento de medida socioeducativa e egres-
sos. Os questionários foram enviados para conselhos estaduais de saúde eentidades de atendimento. Além disso, houve a realização de grupos focais 
com técnicos que atuam na execução das medidas socioeducativas.
 Recursos federais alocados ao Programa
 Os recursos alocados ao Programa são oriundos do Orçamento Geral da 
União e do Fundo Nacional para a Criança e o Adolescente, gerido pelo Con-
selho Nacional dos Direitos da Criança e do Adolescente – Conanda. [...]
O que o TCU encontrou
 Ausência de política de atendimento ao adolescente em conflito com a lei
 As normas, diretrizes e ações governamentais existentes na área de atendi-
mento ao adolescente em conflito com a lei não constituem uma política 
nacional integrada para o setor. Há indefinição das atribuições das instân-
cias envolvidas no processo e baixo grau de articulação entre as esferas de 
governo, especialmente com relação à municipalização das ações.
 Deficiências na estrutura física e nas ações de capacitação
 Constatou-se que há deficiências na estrutura física da maioria das entida-
des de atendimento a adolescentes em cumprimento de medida socioedu-
cativa. Dos sete estados visitados, cinco têm problemas de superlotação nas 
unidades de internação.
 Os recursos humanos, materiais e financeiros da Secretaria Especial dos Di-
reitos Humanos, dos estados e das entidades de atendimento são insufi-
cientes para a implementação adequada do Programa.
 Percebeu-se a pouca utilização do sistema de informações e a insuficiên-
cia de programas de capacitação específicos voltados para os técnicos que 
atuam na área, o que traz prejuízos para a correta aplicação da política de 
atendimento preconizada no ECA.
 Perfil dos adolescentes entrevistados
 Os 341 adolescentes em conflito com a lei entrevistados provêm, em sua 
maioria, de famílias carentes e de baixa escolaridade, e estão envolvidos 
com drogas [...]
Av
al
ia
çã
o 
e 
M
on
ito
ra
m
en
to
 d
e 
Pr
oj
et
os
 S
oc
ia
is
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
53
Avaliação, pesquisa avaliativa e valores
 Baixa implementação das ações de apoio e acompanhamento de egressos
 As ações de apoio e acompanhamento de egressos estão pouco implemen-
tadas e as informações sobre indicadores de reincidência são insuficientes.
 Atuação policial
 Verificou-se alto índice de desaprovação da atuação policial por parte dos 
adolescentes entrevistados nos diversos estados selecionados. Nos ques-
tionários dos adolescentes, 72% das respostas válidas informam que eles 
sofreram violência policial em razão do ato infracional cometido. [...]
 Boas práticas identificadas
 Foram identificadas algumas boas práticas que podem contribuir para o 
melhor atendimento aos adolescentes em conflito com a lei: adequação das 
unidades de atendimento de Belo Horizonte/MG às diretrizes do ECA, no 
que se refere à estrutura física; diagnóstico da situação dos conselhos mu-
nicipais e tutelares do país, realizado pela Subsecretaria de Promoção dos 
Direitos da Criança e do Adolescente/SEDH; levantamento da situação dos 
conselhos municipais de São Paulo realizado pelo Conselho Estadual dos 
Direitos da Criança e do Adolescente; publicação de Guia de orientações 
para conselheiros, gestores e técnicos realizada pelo Conselho Estadual dos 
Direitos da Criança e do Adolescente e Ministério Público do Pará; ações 
institucionais de assistência às famílias realizadas pelo Centro de Atenção à 
Família com Escola da Família, em Belém/PA; modelo de execução de liber-
dade assistida e prestação de serviços à comunidade de Olinda/PE; atendi-
mento integrado, conforme artigo 88 do ECA, em Recife/PE, Natal/RN, Porto 
Alegre/RS, Belém/PA, Salvador/BA, Cuiabá/MT, Curitiba/PR, São Carlos/SP, 
Londrina/PR e Foz do Iguaçu/PR; utilização do Sistema de Informação para a 
Infância e Adolescência – Sipia em Mato Grosso do Sul.
O que pode ser feito para melhorar o desempenho do Programa
Com o intuito de contribuir para o melhor desempenho do Programa Rein-
serção Social do Adolescente em Conflito com a Lei, são formuladas algumas reco-
mendações, entre as quais destacam-se as que propõem à Secretaria Especial dos 
Direitos Humanos que promova articulações junto aos Ministérios da Saúde, da Edu-
cação e do Trabalho e Emprego, para melhorar o atendimento ao adolescente em 
conflito com a lei.
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br
54
Recomendou-se também à Subsecretaria de Promoção dos Direitos da Criança 
e do Adolescente – SPDCA/ SEDH e ao Conselho Nacional dos Direitos da Criança e do 
Adolescente – Conanda que: definam as responsabilidades de cada esfera de gover-
no, no que tange à execução das medidas socioeducativas; ampliem a divulgação do 
Programa e do Fundo Nacional da Criança e do Adolescente; articulem-se com outras 
áreas governamentais e não governamentais; aprimorem os canais de comunicação 
com estados e municípios e com os operadores de direito; promovam o aperfeiçoa-
mento de programas de capacitação; incentivem a utilização do Sistema de Informa-
ção Para a Infância e a Adolescência – Sipia; instituam indicadores de desempenho.
Benefícios da implementação das recomendações do TCU
Espera-se que a implementação das medidas propostas contribua para a ob-
tenção de impactos quantitativos e qualitativos, entre os quais se destacam: defi-
nição clara das atribuições dos três níveis de governo com relação às atividades de 
atendimento ao adolescente; maior cumprimento do Estatuto da Criança e do Ado-
lescente; melhoria da integração entre os executores de medidas socioeducativas e 
de outras áreas governamentais; disseminação de boas práticas no atendimento aos 
adolescentes em cumprimento de medidas; melhoria dos sistemas de informações; 
construção e monitoramento de indicadores de desempenho; aperfeiçoamento das 
ações de apoio e acompanhamento dos egressos.
Atividades
A partir da compreensão de que não há neutralidade em avaliação, leia atentamen-
te o texto complementar deste capítulo, sobre a avaliação realizada pelo Tribunal de 
Contas da União (TCU) acerca do Programa Reinserção Social do Adolescente em Confli-
to com a Lei (para ler o texto completo com gráficos acessar: <http://portal2.tcu.gov.br/
portal/pls/portal/docs/683720.PDF.>) e procure responder às seguintes questões:
Toda avaliação carrega consigo valores, mesmo que não explicitamente expres-1. 
sos. Quais os valores que o TCU assumiu nesta avaliação? Há diferenças entre os 
tais valores e os valores do Programa? Em caso positivo, quais são essas diferen-
ças? E você compartilha de tais valores?
Av
al
ia
çã
o 
e 
M
on
ito
ra
m
en
to
 d
e 
Pr
oj
et
os
 S
oc
ia
is
Este material é parte integrante do acervo do IESDE BRASIL S/A., 
 mais informações www.iesde.com.br