Avaliação e monitoramento (Salvo Automaticamente)

Prévia do material em texto

1
Avaliação e monitoramento
1- Processo histórico da avaliação de politicas e programas sociais
Para uma boa compreensão do assunto, sugerimos a revisão do conteúdo da disciplina Planejamento em Programas e Projetos Sociais. A realização de uma avalição implica a elaboração de um planejamento. É importante também retomar a disciplina Serviço Social e Politicas Sociais, principalmente por trazer parâmetros sobre aspectos sociais, econômicos e políticos, bem como por sua correlação com o atendimento das demandas.
Na atualidade, a avaliação de politicas sociais, além de ser útil para medir a eficácia da gestão pública, contribui para a busca e obtenção de ganhos das ações governamentais em termos de satisfação dos usuários e de legitimidade social e política. Por essas e outras razoes, tem sido ressaltada sua importância nos processos de avaliação para a redefinição ou a continuidade das políticas públicas, a modernização e a democratização da gestão pública.
De tal modo, esse tema pode ser abordado de diversas maneiras, mesmo porque diversos são os modelos de avaliação, haja vista que derivam “tanto do objeto a ser avaliado como da formação acadêmica daqueles que realizam essa tarefa” (COHEN; FRANCO, 2000).
Alguns autores compreendem o processo de avaliação como pesquisa de mensuração. Outros o definem como sinônimo de juízo profissional. E há ainda os que veem a avaliação como auditoria ou como uma variante do controle de qualidade. A variação de tipos ou modelos de avaliação é resultado da diversidade de concepções existentes.
A partir deste momento, concentraremos nossa atenção na história da avaliação de políticas e programas sociais. Discutiremos também as diferentes visões de avaliação e como essas concepções levam a tipos variados de estudos de avaliação. Estudaremos também as diferentes concepções e abordagens da avaliação de políticas e programas.
Esperamos que, no final você seja capaz de compreender o significado da avaliação e de alguns históricos do processo de avaliação de políticas e programas.
1.1 Avaliação de políticas e programas sociais: registros
Avaliação formal já estava presente no setor público desde 2000 a. C., quando as autoridades chinesas realizavam provas para verificar o desempenho dos servidores públicos (Worthen e outros, 2004).
As primeiras tentativas de avaliação de serviços e programas no campo social foram realizadas no setor da administração pública, iniciando-se na segunda metade do século XVII e desenvolvendo-se até atingir sua maior evolução no século XX (SCHMAN citado por Barreira, 2000)
Em 1874, a Associação de Saúde Pública, em continuidade ao acompanhamento avaliativo governamental da política de saúde, desenvolveu um programa com o proposito de obter informações, nas principais cidades dos Estados Unidos, para constatação das condições de higiene e saúde do país. Com isso, verifica-se que, apesar de suas raízes históricas remontarem ao século XVII, o emprego generalizado de avaliações sistemáticas teve um desenvolvimento relativamente recente.
No século XX, a evolução da avaliação está diretamente relacionada com a evolução da estrutura política, econômica e social (BARREIRA, 2000). A primeira fase, marcada pelas guerras mundiais, vem seguida por uma segunda fase, de profundas transformações sociais e de crescimento econômico, especialmente de grande avanço tecnológico.
A partir da década de 1970,
[...] o mundo entra novamente em um período de incertezas politicas, de crises econômicas e sociais, não obstante o contínuo e progressivo desenvolvimento da informática e das telecomunicações (BARREIRA, 2000).
Destarte, devido à grande demanda gerada pela desigualdade social e econômica existente no período da Primeira Guerra Mundial, houve inúmeras ações públicas nas áreas de saúde, educação e bem-estar social que se preocuparam mais com a implantação de serviços do que com a pesquisa ou avaliação dos programas implantadas.
A avaliação sistemática de programas sociais se tornou ação contínua primeiramente nos campos da educação e da saúde pública. Em meados de 1930, um número significativo de cientistas já defendia a aplicação de métodos rigorosamente científicos de pesquisa social para avaliação de programas de ação comunitária (BARREIRA, 2000). A partir desse momento, esses programas passam a ser implementados mais frequentemente.
Com o término da Primeira Guerra Mundial, as pesquisas avaliativas centram-se na busca de aferir processos e resultados de ações sociais com vistas a estabelecer padrões de atendimento na oferta de serviços sociais públicos. Após várias tentativas de aperfeiçoamento dos serviços prestados à população, os estudiosos introduziram formas de avaliar não só a quantidade, mas também a qualidade desses serviços. “É nessa direção que a avaliação quantitativa e qualitativa, de processos e resultados sociais, começa a ganhar espaço na produção cientifica”(BARREIRA, 2000).
O período subsequente à Segunda Guerra Mundial deu inicio a programas desenhados em larga escala para atender às necessidades de desenvolvimento urbano e moradia, de educação, de cultura, de treinamento ocupacional e de capacitação tecnológica, bem como a ações preventivas de saúde. Todavia, nesse período, foi dada maior importância à execução de programas de ajuda internacional ao chamado Terceiro Mundo, voltados a combater a pobreza por meio do planejamento familiar e de ações nas áreas de saúde, nutrição e desenvolvimento de comunidades rurais.
Nesse cenário, a avaliação ganhou importância na produção de conhecimentos sobre políticas públicas e necessidades sociais.
O desenvolvimento de métodos de pesquisa social e de estatística aplicada ao estudo de problemas, processos sociais e relações interpessoais, bem como as necessidades de métodos apropriados para a avaliação de políticas e programas sociais estimularam a investigação metodológica no âmbito da avaliação (BARREIRA, 2000).
Os anos de 1950 a 1970 são considerados pelos estudiosos americanos como o Boom Period, período áureo de maior desenvolvimento do campo da pesquisa avaliativa de programas sociais.
A ênfase governamental de desenvolvimento de programas sociais, no contexto das chamadas reformas sociais, gerou empenho na realização de estudos avaliativos.
Como consequência, tivemos, nos anos de 1970 a 1980, na América Latina, não só a publicação de estudos mais sistematizados sobre avaliação, como também a exigência por parte de agencias financiadoras internacionais de estudos avaliativos ara verificação da eficácia dos programas sociais implantados nos países do Terceiro Mundo.
Em meio a este boom da avaliação, “avaliar é estabelecer um valor, o que requer um procedimento mediante o qual se faz uma mensuração de resultados correlacionados a objetivos, metas e padrões estabelecidos” (BARREIRA, 2000).
 Em 1998, já se adotava uma nova concepção de avaliação, “atividade que tem como objetivo maximizar a eficácia dos programas na obtenção dos seus fins e a eficiência na alocação de recursos para a consecução dos mesmos” (BARREIRA, 2000)
No Brasil, até os anos de 1970, priorizou-se a avaliação sistemática de políticas e programas de saúde e educação. Em outras políticas sociais, a avaliação assumiu características de estudo de caso, por ser descontínua e não exigida.
A avaliação de políticas é ainda incipiente no Brasil. A avaliação de políticas sociais desenvolveu-se apenas nos anos de 1980 e, mesmo assim, de forma desigual entre os diferentes tipos de políticas sociais (BARREIRA, 2000).
Hoje, a situação na América Latina é “extremamente grava”, pois as políticas, os projetos e os programas não passam por avaliações que satisfaçam plenamente os requisitos de uma pesquisa profissional (SANTANA; SANCHES, 2002). Esse autor aponta ainda que vivenciamos a mesma crise de utilização encontrada na década de 1970, nos países desenvolvidos.
1.2 Conceituando avaliação e monitoramento de políticas e programas sociaisFrequentemente, os conceitos de avaliação e monitoramento são confundidos. Ao serem usados numa variedade de contextos, confundem e dificultam o desenho de informação para M&A (Monitoramento e Avaliação) de programas e projetos sociais (BUVINICH, 1999).
O monitoramento ou a avaliação podem considerar o nível mais amplo ou estratégico de uma macropolítica ou plano, ou o nível mais especifico de um programa, de um projeto ou de uma atividade (BUVINICH, 1999).
Nesses níveis, o M&A pode focalizar tanto os aspectos estratégicos como os institucionais relacionados com a estrutura organizacional e gerencial, ou ainda, com a eficiência no uso dos recursos, a efetividade no alcance dos objetivos e metas. O M&A ainda pode focalizar a contribuição que os recursos de uma instituição de apoio ao desenvolvimento estão conseguindo no alcance dos objetivos de uma política ( BUVINICH, 1999).
Embora a avaliação e o monitoramento sejam identificados como semelhantes, é importante destacar que são interdependentes e especificas. Isso é justamente o que veremos a seguir.
1.2.1 O monitoramento
O monitoramento é uma “fase de avaliação que se faz durante a execução do projeto, buscando apresentar seus processos de implementação e execução” (BRANT de Carvalho, 2001). Assim ele deve acompanhar os processos e as atividades, com o objetivo de identificar problemas e realizar ajustes, aprimorar e ou corrigir o seu desempenho.
Sem duvida as tarefas do acompanhamento não devem conceber-se como um objetivo em si mesmo, senão como uma ferramenta útil, para descrever o que está fazendo e como. A importância do monitoramento está em:
· Obter toda aquela informação que, ao início, a meio caminho e uma vez finalizado o programa, será necessária para avaliar seu impacto, sua eficiência e eficácia;
· Descrever a evolução das atividades do programa e o desenvolvimento da intervenção, estabelecendo critérios sobre índices e relações de acordo com um esquema e uma sequencia predeterminados;
· Identificar os pontos críticos na gestão e execução, permitindo detectar problemas;
· Alertar os responsáveis sobre os riscos de implantar um programa distinto do desenhado;
· Facilitar a tomada de decisões sobre as ações corretivas a empreender;
· Facilitar para a organização o cumprimento de seus objetivos e a medição dos programas realizados para sua consecução (BRANT DE CARVALHO,2001). 
A avaliação do sistema de acompanhamento deve examinar seu conteúdo, sua viabilidade e sua oportunidade, determinando o grau em que ele contribui para a gestão diária do programa e a sua ótima execução.
Nesse sentido, é importante considerar que não é possível realizar o monitoramento de um projeto ou programa, sem que esse ofereça de forma clara alguns elementos, quais sejam: objetivos, metas, ações, atividades propostas, haja vista que “o projeto é o instrumento que fornece as condições necessárias para o acompanhamento” (BRANT DE CARVALHO, 2000).
Sob determinado ponto de vista, o monitoramento é entendido como uma ação que envolve a coleta de informações sobre insumos, produtos, atividades e circunstancias que são relevantes para a efetiva implementação do programa ou projeto. Em outras palavras, o monitoramento “fornece a informação e as sugestões necessárias para que a gerência do programa verifique o progresso da implementação a fim de tomar as decisões cabíveis” (BUVINICH,1999).
Assim, para a efetivação do monitoramento, faz-se necessário estabelecer, desde o início do projeto, um sistema de informação operativo e gerencial que permita um acompanhamento processual. Para tal efetivação, algumas condições são necessárias, tais como: 
· a especificação dos objetivos, dos resultados e da sequencia de passosações, indicando os processos por meio dos quais o resultado é obtido;
· a definição de um sistema de informação que permita captar o seguimento do projeto;
· a utilização de indicadores que sejam estratégicos (BRANT DE CARVALHO, 2001).
Nessa perspectiva,
A observação, o registro de fatos significativos, as reuniões com a equipe de gestores e operadores do projeto, as reuniões com usuários ou beneficiários do projeto, as reuniões com os parceiros (organizações complementares, agentes comunitários e organizações que produzem projetos similares) são meios usuais de pesquisa avaliativa nessa fase. Roteiro de entrevistas e de reuniões, guia para monitoramento e acompanhamento, diário de campo, fichas, quadros, mapas são instrumentos básicos para a coleta e o registro das informações (BRANT DE CARVALHO, 2001). 
1.2.2 A avaliação
A avaliação é muitas vezes percebida como uma etapa do processo de planejamento ou como um simples procedimento burocrático de prestação de contas, de fiscalização ou de pesquisa acadêmica.
No campo social, essa concepção precisa ser superada, pois a avaliação deve ser reconhecida como um “dos processos indispensáveis na melhoria das decisões e ações ( BRANT DE CARVALHO, 2001).
Definir avaliação parece não ser difícil. Uma definição típica de dicionário diria que “avaliar é determinar ou estabelecer o valor de algo”. Porém, entre os avaliadores profissionais, não há uma definição unanime exata para o termo (WORTHEN e outros, 2004).
Entre as inúmeras definições mencionadas, adotar-se-á um conceito proposto por WORTHEN e outros, 2004., em que a avaliação é entendida como “julgar o valor ou mérito de alguma coisa”.
Para se atribuir esses juízes de valor ou mérito, é importante o estabelecimento de critérios ou padrões, por parte dos atores envolvidos na efetivação do processo.
Existe um consenso quanto à avaliação de programas e projetos sociais. Os critérios devem-se orientar pela verificação e análise da pertinência ou relevância da intervenção; pela eficácia do alcance de objetivos e metas; pela eficiência econômica e financeira; pelo impacto gerado e pela sustentabilidade( BUVINICH, 1999).
Para cada um dos focos apresentados, existe uma metodologia e uma forma de coleta das informações. Portanto a avaliação é um processo conduzido antes (fala-se d, durante e avaliação ex-ante), durante e depois da implementação do projeto ou programa. Por meio dela, efetua-se um juízo sobre o valor ou mérito do projeto, considerando a relevância dos objetivos e das estratégias, a eficácia (ou efetividade) no alcance dos objetivos e metas esperados, a eficiência no uso de recursos, o impacto e a sustentabilidade da intervenção. Dessa forma, a avaliação trata de: (I) examinar novamente, com juízo crítico em face das mudanças subsequentes, a justificação lógica do programa em termos da adequação de objetivos e estratégias; (II) comparar a consecução das metas reais com as estabelecidas; (III) verificar a eficiência dos procedimentos utilizados na execução do programa e da qualidade do desempenho gerencial; (IV) determinar a eficiência econômica do programa; (V) identificar e traçar a causalidade dos efeitos e o impacto do programa; (VI), identificar as lições apreendidas e propor recomendações de modo a reforçar os acertos e, se necessário, ajustar, reorientar e modificar objetivos, metas, arranjos organizacionais e recursos.
1.2.3 Monitoramento e avaliação
Respeitadas as suas especificidades, não poderíamos deixar de abordar e refletir sobre a relação mútua entre monitoramento e avaliação.
Em linhas gerais, tanto o monitoramento como a avaliação, com relação ao programa ou projeto social, devem aborcar:
· os objetivos e o público-alvo a que se destina a ação;
· o processo decisório sobre o projeto;
· a densidade do projeto, isto é, sua capacidade de inovação e adequação às demandas;
· sua flexibilidade e sagacidade para introduzir alternativas de maior eficácia no alcance dos resultados e impactos;
· a coerência entre os objetivos, as estratégias e os resultados propostos pelo projeto;
· sua competência para garantir o avanço dos padrões de qualidade almejados pelos usuários das ações das organizações;
· os sistemas gerenciais adotados e a capacidade de otimizar recursos e competências organizacionais;
· a sensibilidade para perceberdisfunções geradas pela presença de fatores novos ou imprevistos e a consequente capacidade de reação ou adequação às novas situações impostas pela dinâmica da realidade.
· Os produtos ofertados (BRANT DE CARVALHO, 2001).
Assim, a principal articulação da avaliação com o monitoramento é que a primeira (avaliação) utiliza os dados gerados pelo sistema do segundo (monitoramento). Com isso, podemos concluir que, sem um bom monitoramento, é muito difícil efetuar uma boa avaliação.
Apresentamos um quadro que destaca a complementariedade entre o monitoramento e a avaliação e a independência entre suas ações.
Quadro comparativo entre as principais características do monitoramento e da avaliação.
	CATEGORIA
	MONITORAMENTO
	AVALIAÇÃO
	Frequência 
	Regular
	Episódico
	Proposito principal
	Melhoria da eficiência do projeto
	Melhoria da efetividade do projeto.
	Foco
	Insumos, produtos, processos, afeitos, planos de trabalho 
	Efetividade, relevância, impacto, custo-efetividade
1.3 Avaliação de políticas e programas: diferentes concepções e abordagens.
As diversas visões acerca da avaliação nos levam a diferentes modalidades de estudos de avaliação. Antes de aprofundar esta discussão, é necessário distinguir entre avaliação e pesquisa avaliatória, termo popularizado nos anos de 1960 e 1970.
Muitos cientistas sociais adotaram esse uso para diferenciar pesquisa de avaliação, que veem como qualquer avaliação que empregue uma metodologia rigorosa no campo das ciências sociais, de avaliação, que usam para descrever estimativas realizadas com outros métodos (WORTHEN e outros, 2004).
Assim, notamos que a definição de avaliação depende eou deriva do que se entende por seu proposito básico.
Em termos de metas, podemos dizer que a avaliação tenta responder a certos tipos de pergunta sobre certas entidades. As entidades são os vários [...] instrumentos de pergunta incluem questões a respeito da forma como esse instrumento atua (com relação a tais e tais critérios) esse instrumento será melhor que outro. Que méritos ou problemas esse instrumento tem O uso desse instrumento vale seu custo [...] Mas os papéis que a avaliação tem em determinado [...] contexto podem variar enormemente; ela pode fazer parte de uma [...] atividade de treinamento, do processo de definição de um currículo, de um experimento de campo [...] de [...] um programa de treinamento de executivos, de uma prisão, de uma sala de aula (WORTHEN e outros, 2004).
Nessa mesma linha de pensamento, Worthen e outros (2004) afirma que a definição de avaliação deve abranger mais que “valoração cientifica”, ampliando-a para incluir outras atividades e práticas vitais do avaliador, como providenciar para que a avaliação seja usada com o objetivo de melhorar um programa.
Para ilustrar tal ideia, apresentamos o quadro a seguir, exemplificando o uso da avaliação em diversos setores.
Exemplos do uso da avaliação em diversos setores.
	1. Julgar a qualidade dos currículos escolares em áreas especificas.
	2. Determinar o valor do programa antiviolência em uma escola de Ensino Fundamental.
	3. Decidir se um programa de desenvolvimento urbano vai ser implementado.
	4. Determinar o impacto de um programa de redução de penas prisionais sobre a reincidência.
	5. Julgar a eficiência de um programa de treinamento empresarial.
	6. Avaliar iniciativa administrativas.
	7. Identificar a contribuição de programas específicos para os lucros de uma empresa.
 
Com os exemplos apresentados, observamos que a avaliação pode ser aplicada em diversos campos e setores (educação, saúde, desenvolvimento urbano, econômico, empresarial, etc.
Essa diversidade de aplicações, de objetivos e de usos pauta-se na existência de diferentes visões e concepções de avaliação, como abordaremos a seguir.
1.4 Avaliação de políticas e programas sociais: diferentes abordagens
A diversidade das abordagens da avaliação é resultante da forma de ver, de entender e de definir a avaliação. Essas diferentes possibilidades provocam impacto direto sobre o tipo de atividade avaliatória realizada. Essa diversidade de abordagens surgiu dos tipos variados de conhecimento e visão de mundo de seus autores, que se desdobraram em diferentes orientações filosóficas, predileções metodológicas e preferencias práticas (EORTHEN e outros, 2004).
Nesse sentido, existem quatro fontes sobre as quais a avaliação se baseia.
· Experimentação – uso da tradição de pesquisa experimental das ciências sociais na avaliação.
· Mensuração – estilo de avaliação que pressupõe que o uso de um mecanismo de medida comportamental vai produzir números que contribuirão a evidência da efetividade de um programa.
· Análise sistêmica – exame das inter-relações de grandes séries de variáveis em organizações ou processos. A análise sistêmica é feita para ajudar os administradores a tomar decisões mais defensáveis.
· Abordagens interpretativas – uso da filosofia hermenêutica e de teorias interpretativas do conhecimento para gerar interpretações descritivas e julgamentos holísticos de programas complexos. 
Acreditamos ser mais proveitoso, para este estudo, compreender a origem das diferentes conceituações da avaliação ao examinar as distinções entre crenças filosóficas e ideológicas, preferencias metodológicas e opções práticas de seus autores (Worthen e outros, 2004).
No campo filosófico e ideológico, WORTHEN e outros (2004) classifica as abordagens da avaliação em duas categorias: objetivismo e subjetivismo. No campo das preferências metodológicas e das ações práticas, destaca-se a avaliação quantitativa e a avaliação quantitativa.
Apesar da diversidade das abordagens da avaliação, verificamos que entre elas existem pontos em comum. Muitos estudiosos tentaram pôr ordem no caos da literatura sobre avaliação criando formas de classificação. Mas, como a avaliação é multifacetada e pode ser realizada em diferentes fases do desenvolvimento de jum programa ou projeto, o mesmo modelo de avaliação pode ser classificado de diversas maneiras, dependendo da ênfase.
Assim a classificação a seguir, apresentado por Worthen e outros (2004), se baseia no que é considerado força motriz da avaliação, ou seja, nas principais questões a serem resolvidas ou no principal organizador subjacente a cada abordagem, como, por exemplo, os objetivos ou as decisões administrativas:
· Abordagens centradas nos objetivos
· Abordagens centradas na administração
· Abordagens centradas no consumidor
· Abordagens centradas nos especialistas
· Abordagens centradas no adversário
· Abordagens centradas no participante
Essa categorização não tem a pretensão de esgotar a discussão e os modelos, posto que consumiria centenas de páginas de qualquer produção textual.
2- Processo de avaliação: elementos e características
Como em muitos outros campos, a avaliação também enfrenta conflitos acerca de definições e ideologias. Nas últimas décadas, “quase sessenta propostas diferentes relativas à forma segundo a qual a avaliação deve ser feita surgiram e entraram em circulação” (WORTHEN e outros (2004). Essa diversidade de abordagens e modelos dificulta o trabalho do avaliador que fica sem saber o tipo ideal a ser utilizado.
Neste momento, nos empenharemos em discutir e refletir sobre duas variações ou categorizações das abordagens da avaliação: a abordagem centrada nos objetivos e a abordagem centrada na administração.
2.1 Abordagem centrada nos objetivos X abordagem centrada na administração
A diferença básica entre a abordagem centrada nos objetivos e a abordagem centrada na administração é a de que, na primeira o foco está na especificação de metas e objetivos e na determinação da medida em que eles foram atingidos, na segunda, os interesses centrais são a identificação e o entendimento das necessidades de informação dos administradores que tomam as decisões.
Para facilitar a compreensão e destacar suas especificidades, abordaremos, separadamente, seguir, cada uma delas de modo mais aprofundado.
2.1.1 Abordagem centrada nos objetivos
O traço característico de uma abordagem centrada nos objetivosé o fato de que os propósitos de uma atividade são especificados. A avaliação concentra-se sobre o alcance dos propósitos alcançados.
Esse tipo de abordagem tem dominado a teoria e o desenvolvimento da avaliação desde a década de 1930, tanto nos Estados Unidos quanto em outros países. Isso se deve ao fato d que seu procedimento mostrou ser um modelo atraente, quando o êxito, o fracasso, as melhorias, a manutenção ou o encerramento das atividades estão balizados com o alcance dos objetivos (WORTHEN e outros, 2004).
Por exemplo, para um programa social que deseja diminuir o número de desempregados, é de fundamental importância ter clareza do significado de emprego.
Será que uma pessoa está empregada se tem um trabalho temporário e logo vai estar na rua outra vez É um emprego ter um trabalho mal pago e sem nenhuma possibilidade de progresso ou de “fazer carreira” Muitos programas de qualificação profissional colocam os participantes em empregos que são temporários ou sem nenhuma possibilidade de progresso. Os participantes não conseguem empregos em cargos que lhes permitam aprendizagem e senso de realização constante (WORTHEN e outros, 2004).
Notadamente, a maior vantagem e o principal atrativo dessa abordagem é a sua simplicidade, pois é de fácil compreensão, acompanhamento e implementação, além de produzir informações que os responsáveis pelo programa concordam ser relevantes para a sua missão.
Segundo Worther e outros (2004), embora seja de grande utilidade, várias críticas são tecidas a essa abordagem. Entre elas, cabe destacar que ela: 
· Não tem componentes avaliatórios reais que facilitem a mensuração e o julgamento dos objetivos;
· Não tem padrões para julgar a importância de discrepâncias observadas entre os objetivos e os níveis de desempenho;
· Despreza o valor dos objetivos;
· Ignora alternativas importantes que devem ser consideradas no planejamento de um programa;
· Negligência transações que ocorrem no interior do programa ou da atividade que está sendo avaliada;
· Negligência o contexto em que a avaliação é feita;
· Ignora resultados importantes que não aqueles abarcados pelos objetivos;
· Omite evidência do valor do programa que esteja refletida nos próprios objetivos;
· Promove uma abordagem linear e inflexível da avaliação.
Com isso, a tecnologia desenvolvida para servir de base a essa abordagem da avaliação recebe com essas criticas a indicação de que pode resultar em uma visão que tende a limitar sua efetividade e seu potencial.
2.1.2 Abordagem centrada na administração
O objetivo da abordagem da avaliação centrada na administração é, basicamente, ajudar as pessoas que tomam decisões. Seu fundamento lógico é que a informação avaliatória é parte essencial de decisões inteligentes e que o avaliador pode ser eficiente trabalhando para administradores, legisladores, diretores e outras profissões que precisam de boas informações (WORTHEN e outros, 2004).
Os indicadores desse método basearam-se em uma abordagem de sistemas de educação na qual são tomadas decisões sobre insumos, processos e resultados.
Um dos proponentes de peso da abordagem centrada nas decisões, criada para ajudar os administradores a tomar decisões acertadas, foi Stuffebeam. Ele desenvolveu uma estrutura de avaliação para ajudar gerentes e administradores que estão diante de quatro tipos de decisão educacional (WORTHEN e outros, 2004):
· A avaliação de contexto, que serve para decisões de planejamento;
· A avaliação de insumo, que serve para decisões de estruturação;
· A avaliação do processo, que serve para decisões de implementação;
· A avaliação do produto, que serve para decisões de reciclagem.
Essa estrutura ficou conhecida como CIPP, devido à junção das primeiras letras de cada tipo de avaliação – contexto, insumo, processo e produto.
Na mesma direção, Alkin citado por Worthen e outros (2004) criou um tipo de avaliação semelhante ao CIPP. O modelo criado se expressa pelos cinco tipos de avaliação:
· Estimativa do sistema: aumenta o sistema de informações sobre o estudo do sistema;
· Planejamento do programa: ajuda na seleção de programas particulares com probabilidade de ser efetivo no atendimento de necessidades educacionais especificas;
· Implementação do programa: oferece informações importantes para saber se um programa foi apesentada ao grupo apropriado da maneira prevista
· Melhoria do programa: oferece informações sobre a maneira pela qual o programa está funcionando e se os objetivos estão sendo alcançados.;
· Certificado do programa: oferece informações sobre o valor do programa e seu potencial para ser usado em outro lugar.
Dessa forma, tanto o processo de avaliação CIPP como o modelo proposto por Alkin expressam a abordagem centrada na administração que, como já foi descrito, orienta gestores de programas durante o planejamento, a operação e a revisão do programa. Cabe ressaltar que a abordagem centrada na administração, além de oferecer uma estrutura de registro das atividades que facilita o exame público das necessidades do cliente, tem sido muito usada para a prestação de contas.
Essa abordagem é interessante para muitos avaliadores e administradores, principalmente para aqueles que se sentem à vontade com a abordagem racional e ordenada de sistemas, com a qual está claramente relacionadas (WORTHEN e outros, 2004). A concentração nas informações necessárias e nas questões pendentes dos administradores reduz o leque de dados relevantes e dá um foco preciso à avaliação. Além disso, essa concentração da avaliação evita que o avaliador siga linhas de investigação infrutíferas que não são do interesse de quem toma decisões.
A abordagem centrada na administração talvez seja a alternativa predileta de muitos administradores e diretores, pois lhes mostra respostas (avaliação) antes mesmo do final da atividade, do programa ou projeto. Na verdade, pode-se começar a avaliar enquanto ainda as propostas de programas são discutidas.
Todavia Worthen e outros (2004) afirmam que essa abordagem também possui pontos fracos. O primeiro seria a incapacidade ocasional do avaliador de dar respostas a perguntas ou questões que podem ser importantes e entrar em conflito com as preocupações e os problemas da pessoa que toma as decisões. Em segundo, programas dispendiosos que carecem de liderança decisiva têm pouca probabilidade de se beneficiarem desse tipo de avaliação. Outro ponto fraco dessa abordagem é a preferência que parece ter pela cúpula administrativa. Assim, se corre o risco de vir a tornar-se injusta e até cúpula antidemocrática. Uma última limitação apresentada pelo autor é o fato de que, se for seguido em sua totalidade, essa avaliação pode resultar em processos caros e complexos.
Por outro lado, Worthen e outros (2004) ressaltam que a abordagem centrada na administração possui um ponto muito positivo:
Esse tipo de avaliação pressupõe que decisões importantes podem ser claramente identificadas de antemão, que decisões alternativas claras podem ser formuladas e que as decisões a serem tomadas se mantêm razoavelmente estáveis enquanto a avaliação está sendo feita. Todos esses pressupostos acerca da ordem e da previsibilidade do processo de tomada de decisões são suspeitos e muitas vezes injustificados.
Assim sendo, podemos dizer que cada caso específico vai definir o tipo de abordagem que lhe trará resultados mais bem estruturados e voltados para o objetivo do avaliador.
2.2 Abordagem centrada nos consumidores x abordagem centrada nos especialistas
A questão principal das abordagens centradas nos consumidores e nos especialistas é que, enquanto a primeira consiste em fornecer informações avaliatórias sobre produto, para o uso de consumidores na escolha entre diferentes serviços ou congêneres, a segunda, depende da aplicação direta de conhecimentos especializados de profissionais para julgar a qualidade de qualquer atividade que esteja sendo avaliada.
2.2.1 Abordagem centrada nos consumidores
A abordagem centrada nos consumidores é promovida por órgãos ou indivíduos independentes que assumem a responsabilidadede compilar informações sobre serviços educacionais ou outros serviços de assistência social.
Essa abordagem de avaliação, predominantemente somativa, foi reconhecida pela primeira vez na década de 1960 à medida que novos produtos educacionais passaram a inundar o mercado.
Uma das grandes contribuições para essa abordagem é a de Scrivem que propôs a distinção entre avaliação formativa e somativa. Scriven citado por Worthen e outros(2004) observa que o papel somativo da avaliação
[...] que os administradores concluam se todo o currículo já está pronto, refinado pelo uso do processo de avaliação em seu [...] papel (formativo) e se representa ou não um avanço suavemente significativo em relação às alternativas existentes para justificar as despesas de sua adoção por um sistema escolar.
Worthen e outros afirmam que Michel Scriven continua sendo o defensor mais ardoroso e bem articulado da abordagem centrada no consumidor, embora não seja cego para os seus pontos fracos. Se, por um lado, os criadores dessa abordagem contribuíram significativamente ao disponibilizar avaliações de produtos como um serviço prestado àqueles que talvez não tenham disponibilidade de tempo, nem as informações necessárias para fazer um trabalho completo, por outro lado, essa disponibilização aumentou o custo dos produtos. “O tempo investido no teste de produtos em geral é repassado para o consumidor” (WORTHEN e outros, 2004).
Nesse sentido, é correto afirmar que a abordagem da avaliação centrada no consumidor ameaça o desenvolvimento de iniciativas municipais, porque os profissionais locais podem lidar cada vez mais dependentes de produtos e serviços ao consumidor vindos de fora.
Os prestadores de serviços precisam pôr a compra de produtos externos em perspectivas de modo a não ficar excessivamente dependentes da disponibilidade do trabalho de outras pessoas. Concordamos com aqueles que afirmam que precisamos nos preocupar menos com o desenvolvimento e a compra de produtos com selo de garantia de um profissional e mais com o apoio aos profissionais que testam o produto – aqueles que pensam com a própria cabeça e tomam a iniciativa de discutir as necessidades humanas (WORTHEN e outros, 2004).
2.2.2 Abordagem centrada nos especialistas
Estudos revelam que a abordagem centrada nos especialistas talvez seja a abordagem de avaliação mais antiga e a mais usada. Depende basicamente dos conhecimentos específicos de um profissional para julgar uma instituição, um programa, um produto ou uma atividade.
Embora os juízos subjetivos de profissionais estejam envolvidos em certo grau em todos as abordagens da avaliação descritas até aqui, a presente abordagem é diferente devido à dependência direta e declarada de juízos profissionais subjetivos como estratégia básica de avaliação.
Esse conhecimento especializado pode ser oferecido por avaliador(es) ou por tipo de profissional; a escolha é feita de acordo com a pessoa que oferece mais em termos de substancia ou procedimentos que estão sendo avaliados (WORTHEN e outros, 2004).
A origem dessa abordagem é de difícil identificação, pelo fato de existir há muito tempo. Existem registros de que essa abordagem foi usada formalmente na educação, no século XIX, quando as escolas começaram a padronizar seus requisitos de admissão de alunos (WORTHEN e outros, 2004).
Para organizar e discutir as várias expressões da avaliação centrada em especialistas, WORTHEN e outros, (2004) propõe quatro categorias distintas:
· Sistemas formais de pareceres de profissionais reconhecidos, definidos como aqueles que têm estrutura ou organização consolidada para fornecer pareceres periódicos, que têm padrões públicos para usar esses pareceres, que têm periodicidade predeterminada. Possuem como forma mais familiar a acreditação;
· Sistemas informais de pareceres de profissionais reconhecidos, que têm uma estrutura e uma série de diretrizes procedimentais e empregam vários profissionais;
· Pareceres ad hoc de grupos altamente qualificados, que são realizados em intervalos irregulares, quando as circunstancias o exigem. São em geral feitos uma vez, inspirados por uma necessidade particular do momento;
· Pareceres ad hoc individuais, emitidos por um profissional selecionado por seus conhecimentos especializados para julgar o valor de uma entidade. São muito aplicados em programas ou atividades educacionais sociais ou comerciais.
As abordagens da avaliação centrada em especialistas requerem o papel do parecer do especialista e da sabedoria humana no processo avaliatório e concentram a atenção em questões importantes como os padrões que devem ser usados na apresentação de juízos sobre programas.
Algumas das vantagens apontadas sobre a avaliação centrada em especialistas dizem respeito ao incentivo à melhoria institucional, por meio da autoavaliação e da avaliação externa constante, e à possibilidade de protegerem as instituições de abusos que poderiam colocar em risco sua eficiência ou liberdade.
Desse modo, é importante salientar que uma das críticas atribuídas a essa abordagem refere-se ao fato de que nela frequentemente os avaliadores fazem julgamentos que refletem pouco mais que preconceitos pessoais (WORTHEN e outros, 2004).
3. Processo de avaliação: centralidade nos adversários e nos participantes
Após estudarmos as abordagens centradas nos objetivos, na administração, nos consumidores e nos especialistas, agora conheceremos outras duas abordagens propostas na categorização de Worthen e outros (2004): a avaliação centrada nos adversários e a avaliação centrada nos participantes.
3.1 Abordagem centrada nos adversários
Rice, em 1915, na Filadelfia, foi a primeira a sugerir o uso do termo avaliação do adversário (WORTHEN e outros, 2004).
A abordagem centrada nos adversários abrange um conjunto de práticas divergentes de avaliação que podem ser genericamente designadas como de natureza antagônica. Essa abordagem refere-se a todas as avaliações em que há oposição planejada dos pontos de vista dos diferentes avaliadores ou das equipes de avaliação.
Em essência, o modelo do adversário opera na premissa de que a verdade surge de uma luta implacável, na qual os lados opostos, depois de concordar as questões em pauta, apresentam evidencia que fundamente a sua opinião. A luta é resolvida por uma figura neutra, e toda evidencia relevante é pesada por uma pessoa ou órgão neutro a fim de chegar a um resultado justo( WORTHEN e outros, 2004)
Ainda segundo Worthen e outros (2004), “diversos tipos de procedimentos foram estabelecidos como modelos de avaliação centrados em adversários, entre eles procedimentos judiciais, audiências parlamentares e debates estruturados”.
Nesse contexto, Worthen e outros, (2004), ao destacar as características dessa abordagem, apresenta algumas vantagens que a tornam mais apropriada para avaliações de programas. Apresentamos a seguir essas vantagens.
· As regras estabelecidas para lidar com as avaliações centradas em adversários são flexíveis.
· As regras complexas da evidencia são substituídas por uma avaliação livre dela, baseada exclusivamente no fato de a evidência ser considerada relevante pelo “juiz”.
· Ambas as partes podem ser chamadas diante do tribunal para informar o juiz sobre os fatos relevantes, os meios de prova e nomes de testemunhas.
· Uma cópia das acusações é fornecida ao juiz e ao advogado de defesa antes do julgamento, e o advogado tem a opção de admitir antecipadamente certas acusações e questionar outras.
· As testemunhas têm permissão de dar depoimento com mais liberdade e de ser interrogadas minuciosa e rigorosamente.
· Muitas vezes são chamadas especialistas para dar depoimento ao júri.
· Conferências prévias do juiz com ambas as partes tendem a tornar o julgamento menos uma batalha de inteligências e mais uma busca de fatos relevantes.
· Além das duas partes envolvidas, outros grupos interessados podem ter permissão de participar
Esse modelo de avaliação é baseado em uma Teoria da Luta e é reconhecido como modelo de avaliação judicial. Worthen e outros (2004) considera que“as avaliações centradas em adversários não deveriam substituir os planos existentes de coleta e análise de dados, e sim fornecer uma alternativa de interpretação, síntese e notificação de evidencia”. Nessa perspectiva, Worthen e outros (2004) propõe o modelo de avaliação judicial, a avaliação de programas. Tal avaliação compreenderia uma declaração das acusações, advogados que defendem lados opostos, testemunhas, além de um juiz (ou responsável pelas audiências) e um corpo de jurados. Esse modelo segue quatro estágios, como pode ser observado a seguir:
· Primeiro estágio: geração de pontos de debate. Identificação e desenvolvimento de possíveis questões a serem tratadas na audiência.
· Segundo estágio: seleção dos pontos de debate. Eliminação de questões que não estão em jogo, seleção e melhor desenvolvimento das que serão debatidas na audiência.
· Terceiro estágio: preparação de argumentos. Coleta de evidencia, síntese de dados de avaliação anterior para desenvolver argumentos em favor das duas posições contrarias a serem apresentadas.
· Quarto estágio: a audiência. Deve incluir sessões de descoberta antes da audiência, para examinar as alegações e chegar a um acordo sobre os procedimentos necessários e a apresentação dos argumentos e a decisão do corpo de jurados.
Ao analisar essa abordagem, podem ser destacados alguns pontos fortes e fracos (WORTHEN e outros, 2004).
· Interesse que cria nos públicos o que se destina: atende às necessidades de informação do público de maneira interessante.
· Ser ampla e pluralista: favorece a combinação com outras abordagens.
· Abertura a diversos pontos de vista e à participação dos interessados em suas conclusões: essa vantagem não existe na maioria das outras abordagens. É importante, no entanto, aumentar o valor educativo das audiências.
· Antecipação de críticas: antecipa as críticas quase inevitáveis feitas por qualquer pessoa cuja posição não seja corroborada pela conclusões.
· Planejamento substancial e rigoroso: poucos estudos avaliatórios são planejados com tanto cuidado aqueles centrados no adversário.
· Apresentação de uma meta-avaliação: apresenta uma avaliação da avaliação, mediante a coleta, análise e interpretação de dados utilizados para corroborar qualquer ponto vista que seria criticado pela posição.
· Uso do depoimento holístico e direto.
Uma abordagem da avaliação centrada nos adversários pode ser útil quando:
1) O objeto da avaliação afeta muita gente; 2) a controvérsia sobre o objeto da avaliação despertou grande interesse; 3) as decisões são somativas; 4)os avaliadores são externos; 5) questões candentes estão em jogo; 6) os administradores veem o mérito das avaliações centradas em adversários; 7) há recursos disponíveis para as despesas adicionais necessárias às estratégias centradas no adversário (WORTHEN e outros, 2004)
Todavia existem alguns pontos fracos nessa abordagem. Apesar de seu potencial para tornar as conclusões da avaliação mais interessantes e significativas para as pessoas que tomam decisões, as abordagens centradas nos adversários ainda não estão suficientemente desenvolvidas para servir de padrão ou modelo de atividades futuras. O uso do paradigma jurídico e a sua característica de só servir quando há um problema a resolver. Outro defeito da abordagem centrada nos adversários é a hipótese e que um orador habilidoso influencie o júri com sua eloquência (WORTHEN e outros 2004).
Muitos críticos afirmam que as avaliações centradas em adversários consomem muito tempo e dinheiro, exigindo preparação longa e considerável investimento de recursos humanos e fiscais, sem contar com a preocupação de que, nessa modalidade, aqueles que servem de juízes são árbitros infalíveis (WORTHEN e outros 2004).
3.2 Abordagem centrada nos participantes
Na década de 1970, no campo da educação, nasce uma nova abordagem da avaliação, que enfatiza a experiência em primeira mão com as atividades e os ambientes do programa. Essa abordagem é resultado de um processo de reação a abordagens mecanicistas e insensíveis e tem por finalidade observar e identificar todas as preocupações, os problemas e as consequências da ações na área social.
Com isso, o avaliador descreve os diferentes valores e as necessidades dos indivíduos e dos grupos atendidos pelo programa, avaliando de maneira preponderantemente intuitiva a pluralidade de julgamentos.
O surgimento de avaliações que usam essa abordagem (avaliação responsiva, avaliação iluminadora, avaliação naturalista) levou a um debate mais amargo que qualquer outro tipo de avaliação nas duas últimas décadas.
Os críticos dessa abordagem consideram-na irremediavelmente “idiota” e afirmam que poucos avaliadores – se é que existe algum – são tão ágeis intelectualmente quanto seria necessário para dominar com maestria os instrumentos sedutoramente simples, mas escorregadios e sutis, que esta abordagem requer (WORTHEN e outros 2004).
Em contrapartida, os defensores dessa abordagem (especialmente da avaliação responsiva e naturalista) replicam que ela pode ser usada facilmente por qualquer individuo sensível; que é infinitamente mais rica e eficiente que qualquer outra. Na verdade, pode abranger todas as outras por ser flexível e não proibir o uso de outras abordagens em seu interior, caso isso fosse desejado pelos interessados.
Poucos teriam argumentos contra a afirmação de que essa abordagem enfatiza o elemento humano na avaliação, dirige a avaliação do avaliador para as necessidades daqueles para quem a avaliação está sendo feita e enfatiza a importância de um objetivo ambicioso. Ele vê o programa como um empreendimento humano complexo e tenta refletir sobre essa complexidade da forma mais acurada possível para que os outros possam aprender com ela (WORTHEN e outros 2004).
Outro ponto forte que pode ser apresentado por essa abordagem é que acentua um elemento politico À medida que aumenta e facilita o ativismo dos destinatários do programa.
Todavia os críticos dessa abordagem descrevem
[...] que sua subjetividade é uma limitação séria mesmo que esses argumentos possam ser usados contra qualquer outra abordagem da avaliação [...]. por causa de sua dependência da observação humana e da perspectiva individual e de sua tendência a minimizar a importância da instrumentalização e dos dados de grupos, os defensores dessa abordagem foram criticados por fazer avaliações “genéricas e sem substancia”( WORTHEN e outros 2004).
Por ultimo, cabe destacar que críticos apontam que o custo da abordagem centrada nos participantes tem sido visto como uma limitação grave. Para eles, o custo elevado se deveria à necessidade da presença do avaliador no campo em tempo integral durante longos períodos, necessários para a preparação das anotações de campo e dos relatórios.
3.2.1 Avaliação e monitoramento de programas e projetos: as diferentes tipologias
A literatura que versa sobre avaliação nos mostra uma imensa variedade de tipos, definidos a partir de diferentes critérios, autores, ideologias, etc. Na construção de tipologias de avaliação, é possível distinguir as tradições de diferentes disciplinas (sociologia, educação, etc), e isso, na verdade, evidencia a complexidade do assunto (COHEN; FRANCO, 1993).
Para esse estudo, buscaremos referencias em alguns autores que possam contribuir para a escolha de um método, quando isso for necessário.
3.3 Avaliações em função do momento de realização 
Tendo como foco o momento de realização da avaliação, podemos ter os seguintes tipos de avaliação:
· Avaliação ex-ante: é realizada no inicio da elaboração do programa ou projeto. Tem como finalidade proporcionar critérios racionais para decidir se o projeto deve ou não ser implementado;
· Avaliação ex-post: é realizada durante a realização do projeto (avaliação concomitante ou de processos) e após a conclusão do projeto (avaliação terminal). A avaliação de processos, ao ser realizada durante a implementação, procura detectar e corrigir as dificuldades que ocorrem na programação, na administração e no controle. A avaliação terminal ou de impacto procuradeterminar em que medida o projeto alcança seus objetivos e quais seus efeitos secundários.
Tendo como mesma ótica a dimensão temporal da avaliação, pode-se fazer uma tríplice distinção (AGUIAR; ANDER-EGG, 1994):
· Avaliação antes da execução (ou ex-ante), também chamada de inicial ou pré-decisão, realizada antes da decisão de empreender um programa ou projeto, ou de aprovar sua realização. É feita na fase de planejar o programa;
· Avaliação durante a execução, também denominada de gestão, avaliação contínua, avaliação concorrente, monitoração ou avaliação concomitante. Levanta informações sobre o andamento do programa, ponderando resultados, com o objetivo de avaliar mudanças situacionais, verificar o cumprimento do programa conforme o que foi estabelecido e subsidiar possíveis alterações;
· Avaliação após a execução (ou ex-post), é realizada ao final do projeto, distingue-se da avaliação do fim do projeto. Enquanto a segunda (do fim do projeto) acontece na fase de conclusão da execução, a primeira (ex-post) é realizada quando o programa ou projeto alcançou seu pleno desenvolvimento (meses ou anos depois de finalizada a execução.
Na interpretação de Silva e Silva (2001) ainda conforme o critério do tempo de realização, a avaliação pode ser:
· Retrospectiva: (retrospective evoluation) quando expressa o desempenho de um programa implementado no passado;
· Prospectiva: (prospective evoluation) quando indica como poderá ser provavelmente o desempenho de um programa no futuro;
· Formativa: (formative evolution) quando a avaliação é desenvolvida durante o processo de implementação do programa;
· Contínua: (contínuos evolutino) quando envolve avaliação formativa e retrospectiva;
· Integrativa: (integrative evolution) quando ela ocorre antes e depois da implementação do programa.
3.4 Avaliação em função de quem a realiza
Além da avaliação em função do momento de realização, outra tipologia pode ser apresentada, ou seja, a avaliação em função de quem a realiza. Nessa perspectiva, Aguillar e Ander-Egg (1994) apresentam os seguintes tipos de avaliação:
· Avaliação externa – quando é realizada por pessoas (avaliadores) que não pertencem nem são vinculadas (direta ou indiretamente) à instituição executora do programa ou projeto em avaliação, normalmente são contratados especialistas;
· Avaliação interna – quando é realizada por pessoas (avaliadores) que pertencem à instituição promotora ou gestora do programa ou projeto em avaliação, mas não são diretamente ligadas à sua execução.
· Avaliação mista – esse tipo de avaliação representa uma combinação entre avaliação externa e avaliação interna. É realizada por uma equipe de trabalho composta por avaliadores internos e avaliadores externos;
· Autoavaliação – quando é realizada pelas próprias pessoas responsáveis pela execução ou realização do programa ou projeto.
Ainda nesse contexto, os autores Aguillar e Ander-Egg (1994) destacam vantagens e desvantagens para cada tipo de avaliação.
Quando se faz a opção por uma avaliação interna (com pessoasprofissionais da própria instituição), corre-se o risco de que os avaliadores ou miniminizam os aspectos negativos em detrimento dos positivos, ou procurem, em função de questões pessoais, estabelecer um responsável por todo o fracasso da atividade. Por outro lado, esse tipo de avaliação apresenta como vantagem o conhecimento e a familiaridade que os envolvidos têm com o que será avaliado.
No caso da avaliação externa, quando os avaliadores são alheios à instituição, também existem vantagens e desvantagens. Enquanto que, por um lado, existe a vantagem da objetividade; por outro lado, existe o risco de o avaliador não captar plenamente todos os fatores em jogo, de acordo com a natureza e o funcionamento do programa.
Além da avaliação externa, interna e mista, existe a avaliação participativa (COHEN; FRANCO, 1993), que tem o objetivo principal de minimizar a distância existente entre o avaliador e os beneficiários do programa ou projeto. Essa avaliação é mais utilizada em pequenos projetos, que procuram fixar as mudanças propostas, criando condições para que seja gerada uma resposta endógena do grupo. A avaliação participativa é de muita importância devido ao seu uso frequente na avaliação institucional e na avaliação de programas e projetos sociais.
Surgiu na esteira da chamada pesquisa-ação. Guarda assim propósitos, princípios, procedimentos e estratégias muito próximos dos utilizados nesse tipo de pesquisa, possibilita não só a apropriação gradativa da realidade, mas alimenta, ao mesmo tempo, a construção de propostas e ações. Tem como eixo metodológico fundante o envolvimento e a participação dos formuladores, gestores, implementadores e beneficiários no próprio processo avaliativo de um dado programa ou organização prestadora de serviços sociais (BRANT DE CARVALHO, 2001).
A avaliação participativa é muito rica, pois busca ser uma avaliação capaz de apreender o pluralismo social e perseguir dois objetivos centrais: incorporar os sujeitos implicados nas ações e desencadear um processo de aprendizagem social.
Esse tipo de avaliação não se limita a conhecer informações e opiniões da coletividade envolvida nas redes. Por meio do debate, da diversidade de opiniões, de valores e de expectativas, os sujeitos participam da avaliação e se comprometem com a ação. Assim a participação dos envolvidos na ação garante à avaliação maior densidade, limita seu risco de permanecer periférica, permite detectar precocemente falhas ou estratégias inadequadas e alterá-las, objetivando melhorar sua eficácia.
Portanto a avaliação participativa, por suas características peculiares, acaba por requerer competências adicionais do avaliador, como, por exemplo, a capacidade empática de envolver os implicados no programa ou projeto, além das habilidades de mediação e de irrigação do processo partilhado por meio de informações, questionamentos e clarificações.
Apesar das vantagens destacadas, a avaliação participativa
[...] é um tipo de avaliação nem sempre adequada e suficiente para avaliar programas. Em alguns casos, deve ser complementada por outras estratégias avaliativas. [...] é preciso desmontar a ideia, ainda persistente, de que a avaliação tem serventia apenas para a demonstração do rendimento pretendido num programa. A avaliação no campo social deve estar atenta para a apreender os impactos. Isso requer, portanto, situar o programa em relação ao contexto em que se gesta, ao grau de legitimidade alcançado na instituição e na comunidade e ao grau de adesão ou resistência dos agentes que o movem, produzindo esta ou aquela dinâmica (BRANT DE CARVALHO, 2001).
Dessa forma, é importante observar que nenhum dos tipos de avaliação aqui apresentados tem um valor absoluto. Isso quer dizer que será em função do projeto ou programa a ser avaliado e, principalmente, dos objetivos que se quer alcançar, que se deve selecionar um tipo de avaliação.
4 Processo de avaliação: conhecendo tipologia e métodos
Este conteúdo é importante porque explicita os elementos e as características do processo de avaliação, consequentemente, facilitará a compreensão das diferentes tipologias de avaliação.
Após estudarmos as tipologias de avaliação em função do momento de realização e em função de quem a realiza, conheceremos outros enfoques. Vamos conhecer a avaliação em função da escala ou da dimensão dos projetos e a avaliação em função dos destinatários. Destacaremos também outros enfoques: critério do conteúdo ou do objeto da avaliação e critério do mérito, das razoes ou das justificativas, os quais não são tão expressivos, porém também não são menos importantes.
4.1 Avaliação em função da escala ou da dimensão dos projetos 
Levando em consideração o numero de pessoas beneficiadasatingidasalcançadas e a magnitude dos recursos de que necessitam, é possível fazer a distinção entre a avaliação de grandes projetos e a avaliação de pequenos projetos (COHEN; FRANCO, 1993). Essas definições podem ser observadas no quadro a seguir.
Quadro comparativo entre avaliação de grandesprojetos e avaliação de pequenos projetos.
	ASPECTOS
	AVALIAÇÃO DE GRANDES PROJETOS 
	AVALIAÇÃO DE PEQUENOS PROJETOS 
	Estratégia de avaliação
	Estratégias analíticas objetivas com destaques para casos quantitativos 
	Estratégias predominantemente quantitativas.
	Lógica de avaliação
	Lógica dedutiva.
	Lógica indutiva.
	Roteiro de avaliação
	Modelos próprios das ciências naturais: experimental clássico ou quase experimental
	Parte da realidade global.
	Técnica de avaliação
	Quantitativas (às vezes complementadas por técnicas qualitativas).
	Qualitativas
	Resultados da avaliação
	São gerais e os indivíduos atingidos são tratados como grupos
	Oferecem tratos específicos sobre os participantes do programa, analisando casos desviados..
	Avaliadores
	Avaliação centralizada que tende a ser desenvolvida por avaliadores externos.
	Geralmente avaliadores da instituição, havendo possibilidade de avaliação participativa.
Observa-se, no quadro apresentado, que existem diferenças significativas entre os dois tipos de avaliação. Sobre esses aspectos diferentes, fazem-se necessária algumas reflexões.
· Estratégia da avaliação : nos grandes projetos, a avaliação é decomposta nas dimensões do projeto. É possível realizar avaliações parciais das diversas etapas para medir o sucesso alcançado em objetivos intermediários. Por outro lado, nos pequenos projetos a ênfase é dada à compreensão do conjunto e dos casos individuais que o integram.
· Lógica da avaliação: nos pequenos projetos, a partir da observação da realidade, o avaliador julga como um todo. Nos grandes projetos, sua verificação exige a construção de variáveis, indicadores e índices que permitam determinar em que grau o projeto modificou a realidade em relação aos seus objetivos.
· Roteiro da avaliação: nos grandes projetos, retomam-se os modelos próprios das ciências naturais. Eles supõem uma captação particular da realidade, dimensionada para determinar o grau de êxito ou fracasso. Nos pequenos projetos, parte-se da realidade e se procura entender o projeto por meio das articulações que os indivíduos geram na comunidade.
· Técnicas de análise: enquanto nos grandes projetos as técnicas usuais são as quantitativas, nos pequenos projetos, recorre-se ao qualitativo, utilizando técnicas da antropologia cultural e da etnografia.
· Resultados da avaliação: nos grandes projetos, são gerais; e, nos pequenos projetos, são em uma perspectiva individual.
· Avaliadores: enquanto nos grandes projetos tem-se uma avaliação centralizada, a ser desenvolvida por avaliadores externos, nos pequenos projetos, a localização do avaliador está no próprio projeto. 
4.2 Avaliações em função dos destinatários da avaliação
Em função dos destinatários, Cohen e Franco (1994) indicam e listam três destinatários que demandam informações diferenciadas:
· Os dirigentes superiores: responsáveis pela definição das politicas e pelo estabelecimento das prioridades entre os projetos segundo os objetivos da instituição;
· Os administradores: responsáveis pela distribuiçãorepasse dos recursos para a concretização dos objetivos estabelecidos;
· Os técnicos: responsáveis pela execução do projeto e centrados em aspectos operatórios.
Com relação ao mesmo critério, ou seja, à avaliação em função dos destinatários, entende-se que a avaliação pode centrar-se em um determinado foco ou se apresentar como avaliação de múltipla perspectiva. Com isso, variaria seu foco conforme o usuário dos resultados da avaliação, destacando os executores, os financiadores e outros (SILVA E SILVA, 2001)
4,3 Outros enfoques
Além das avaliações em função da escala ou da dimensão dos projetos e das avaliações em função dos destinatários, existem outros enfoques possíveis de serem aplicados nos processos avaliativos. Tais enfoques, embora não sejam tão expressivos, também não são menos importantes. Nesse sentido, é mister, a título de conhecimento, apresentar alguns desses enfoques.
4.3.1 Critério do conteúdo ou do projeto da avaliação
Silva e Silva (2001), são os autores que defendem essa tipologia. Eles elaboraram varias classificações para essa avaliação.
· Pseudoavaliação: serve para estudar processos e resultados que, na verdade, não avalia devido à falsidade, à distorção, ou ao uso seletivo de informações. Trata-se de estudos inócuos que não levam em conta questões relevantes sobre as politicas ou os programas.
· Quase-avaliação: tem foco limitado e tangencial. Direciona-se a questões de mérito referentes ao processo ou aos resultados, ignorando as variáveis contextuais que afetam a implementação.
· Avaliação centrada nos objetivos: centra-se nos objetivos formais previamente estabelecidas, focalizando os resultados esperados.
· Avaliação compreensiva: combina avaliação de processos e impactos dos programas, relacionando-os com os objetivos previamente especificados, amas procura identificar as variáveis do processo e sua relação com os resultados.
· Avaliação inferencial: busca fatos esclarecedores da relação causa-efeito. Dá ênfase à causalidade e aos valores.
· Avaliação livre: busca os efeitos que são possíveis de encontrar no lugar dos efeitos alegados pelos objetivos.
· Avaliação multiobjetivo: mais estruturada que a avaliação livre e permite ao avaliador identificar variedades de resultados.
· Avaliação verdadeira: avalia custos e benefícios de alternativas para determinar, entre várias politicas competitivas, qual alcançará os resultados com um custo razoável.
· Avaliação por decisão teórica: combina estudos orientados pelos financiadores com estudos orientados pelos usuários.
· Meta-avaliação: trata-se da avaliação da avaliação. Visa ao refinamento do próprio processo da avaliação e pode ser conduzida durante ou após a primeira avaliação, podendo avaliar o desenho da pesquisa avaliativa, os procedimentos e as técnicas utilizadas e as conclusões da avaliação, bem como comparar avaliações similares e questionar resultados.
4.3.2 Critérios do mérito, das razoes ou das justificativas
A avaliação pode ainda ser classificada de acordo com o critério do mérito, das razoes ou das justificativas. Silva e Silva (2001) apresentam uma classificação que se expressa pelos seguintes tipos:
· Avaliação centrada na utilização: envolve pessoas que assumem a responsabilidade de implementar os resultados da avaliação;
· Avaliação interativa: é compartilhada entre avaliadores e pessoas de execução direta que definem questões e constroem o processo de avaliação;
· Avaliação exploratória: determina quando uma politica está funcionando, identificando responsabilidades;
· Avaliação de aprendizagem: envolve todas as avaliações anteriormente citadas com a teoria de que assim se pode contribuir para a melhoria de processos e programas.
Uma diferença observável nos diferentes tipos de avaliação está nos resultados de que cada um pode oferecer e nas pessoas envolvidas em cada um dos processos avaliativos.
4.4 Metodologia de avaliação de programa e projetos
Ao refletir sobre a metodologia de um processo avaliativo, muitas referências podem ser encontradas. Nesse tema optamos por Worthen e outros (2004) para subsidiar nossa reflexão, uma vez que esses autores apresentam alguns importantes aspectos que merecem destaques e consideração; a definição de limites e análise com contexto da avaliação; a identificação de perguntas e critérios da avaliação; o planejamento e a condução de uma avaliação; os aspectos políticos, éticos e interpessoais da avaliação; a coleta, a análise e a interpretação de informações quantitativas e qualitativas; a apresentação do relatório da avaliação.
4.4.1 A definição de limites e análise do contexto de avaliação
Worthen e outros (2004) defendem a ideia de que uma avaliação só é adequada quando coleta informações e as transmite a todos os seus públicos. Nesse contexto, o avaliador, ao se comunicar, deve descobrir pontos de vista e preocupações com o programa e com a próxima avaliação. Assim, a identificação do público é premissa para essa atividade, e a sua identificação deve ser considerada durante o estágiode planejamento do processo avaliativo.
Os pontos de vista dos públicos da avaliação ajudam a focar e direcionar o estudo: “Se os avaliadores não dirigem claramente a avaliação para seus públicos desde o início, é improvável que os resultados tenham muito impacto (WORTHEN e outros, 2004).
Uma segunda questão a ser considerada é a descrição do objeto do estudo avaliatório. Essa descrição estabelece os limites do que vai ser avaliado.
A demarcação do objeto da avaliação poderia ser sistematizada com a resposta a algumas questões, tais como: que problema o programa se propôs solucionar Quem participa do programa O programa já foi avaliado antes Nesse sentido, as respostas às perguntas apresentadas podem ser obtidas de varias formas e por meio de diversas fontes (WORTHEN e outros, 2004). Eles sugerem três abordagens básicas de coleta de informações:
· Documentos descritivos: documentos de planejamento, propostas feitas a órgãos financiadores, relatórios, atas de reuniões, etc.;
· Entrevistas: contatodialogo com pessoas envolvidas com o planejamento e com a implementação do programa;
· Observações: sobre distorções entre a forma como o programa está de fato operando e a forma como deveria estar funcionando.
A definição do que deve ser avaliado “reduz as chances de que mais tarde o avaliador venha a ser acusado de avaliar a coisa errada”(WORTHEN e outros, 2004).
O terceiro e último ponto a ser considerado é a análise de recursos e capacidades de uma avaliação. O avaliador deve reconhecer que seu objetivo é aumentar a produtividades e a qualidade do produto. O avaliador deve reconhecer que seu objetivo é aumentar a produtividade e a qualidade do produto. Assim a avaliação não pode ser operacionalizada como uma despesa extra, mas como uma forma de identificar “fatores de redução de custos eou aumento da eficiência do projeto” (WORTHEN e outros, 2004.
4.4.2 A identificação de perguntas e critérios de avaliação 
As perguntas avaliatórias dão direção e base de sustentação à avaliação. Sem elas a avaliação não teria foco, e o avaliador teria dificuldades para explicar o quê, como e por que examina, além dos critérios a serem utilizados para definir as características de um programa ou de uma implementação bem sucedida.
O projeto ou a avaliação não estão completos sem a especificação de padrões, os quais designam o nível que o desempenho do programa deve atingir para ser considerado um sucesso
Dessa forma, as perguntas avaliatórias articulam o foco do estudo, mas, sem os padrões, o avaliador não tem condições de julgar os resultados e, sem os critérios, ele não terá condições de julgar o programa em si. O processo de identificação e definição das perguntas e dos critérios a serem utilizados em uma avaliação exige reflexão e investigação cuidadosa (WORTHEN e outros, 2004).
A operacionalização desse processo apresenta duas fases:
· Fase divergente: momento de se criar um leque de perguntas relevantes;
· Fase convergente: momento em que os avaliadores selecionam, entre o leque de perguntas, os mais criticas a serem tratadas. Após essa seleção, são estabelecidas os critérios (WORTHEN e outros, 2004).
4.5 O planejamento e a condução de uma avaliação
Para Stuffebean citado por Worthen e outros, (2004), a compreensão do foco da avaliação (o que vai ser avaliado, por que a avaliação foi proposta, que grupos compõem o público da avaliação, etc.), representa apenas uma etapa na criação de um plano de avaliação. Nesse sentido, o referido autor apresenta uma estrutura com seis atividadesfunções integrantes dessa operação.
Essa estrutura que nos permite refletir sobre a complexidade e amplitude da construção de um plano de avaliação tem inicio com o estabelecimento do foco da avaliação e é seguida pelo estágio de coleta de informações (durante a qual se deve estar atentos à fonte de informações, que pode ser constituída pelos destinatários do programa, pelos implementadores, por pessoas que conhecem os destinatários, os administradores, os dados e os documentos existentes).
Após a organização das informações, tem-se a análise das informações (quando se definem as técnicas estatísticas ou de sistematização a serem empregadas ). Nesse estágio, também já se desenhamesboçam a organização, o armazenamento e a codificação dos dados coletados. A apresentação dos resultados merece e requer cautela, pois os relatórios não falam por si. Por esse motivo, sugere-se falar com o cliente da avaliação ou outros públicos sobre os resultados, na medida em que forem sendo descobertos, a última etapa do planejamento de um estudo avaliatório é a administração da avaliação.
Nesse sentido, um plano de gestão é essencial para a ajudar ou supervisionar o projeto. Um bom plano de gestão deve conter: as tarefas a serem realizadas e os prazos de cada uma; a equipe e os outros recursos necessários pra completar a tarefa; o custo de todo o processo (WORTHEN e outros, 2004). 
4.5.1 Aspectos políticos, éticos e interpessoais da avaliação
Não sendo uma atividade meramente metodológica e técnica, a avaliação costuma ser eclipsada por influências interpessoais, éticas e politicas que modelam o trabalho do avaliador. Worthen e outros, (2004) propõem algumas recomendações que evidenciam a importância da comunicação no processo avaliatório, conforme veremos a seguir:
· Prepare os participantes a respeito da finalidade e dos benefícios da avaliação.
· Procure estimular e ou incentivar a participação de todos.
· Proponha prazos adequados para a realização da avaliação, se possível, defina o prazo e as atividades coletivamente.
· Incentive a participação externa.
· Alimente um espirito de negociação e concessões mútuas em lugar de ações unilaterais.
· Delegue responsabilidades.
· Organize grupos de discussão, bate-papos e reuniões para a publicação das informações.
· Respeite os direitos dos indivíduos.
Seguir as recomendações apresentadas pode proporcionar muitos benefícios ao estudo e tornar as informações avaliatórias mais precisas. Os autores consideram ainda que o sistema de valores e crenças de um avaliador pode exercer influencia sobre a avaliação. As crenças e os valores do avaliador podem se tornar problemáticas no processo de avaliação.
Toda avaliação é um reflexo das crenças pessoais do avaliador, bem como um complexo de interrelações pessoais, financeiras e organizacionais do avaliador com inúmeros outros sujeitos do contexto do estudo [...] Os valores e as crenças do avaliador se misturam em todos os passos da avaliação, nas decisões sobre o tipo de informação a ser coletado, sobre a forma de apresentá-las (WORTHEN e outros, 2004).
Nessa perspectiva, Lincolm e Guba citados por Worthen e outros (2004) sugerem algumas estratégias para a redução do etnocentrismo do avaliador, tais como: 1) a manutenção de diários reflexivos; 2) interrogatórios dos colegas após o termino de ada tarefa; 3) uma espécie de autoria.
Sob o ponto de vista ético, os avaliadores
[...] exercem poderes sobre as pessoas que podem lesar a auto-estima, manchar reputações e truncar carreiras [...]. Em segundo lugar, os avaliadores estabelecem relações nas quais ele próprios ficam vulneráveis a pessoas que podem lhes garantir trabalho no futuro. [...] Além disso, os avaliadores vêm das mesmas classes sociais e dos mesmos ambientes educacionais que aqueles que financiam as avaliações e administram os programas. Esses fatores multiplicam os riscos éticos (WORTHEN e outros, 2004).
Em uma última perspectiva, temos a influênciaeou pressão politica exercida sobre os avaliadores e sobre as avaliações. É responsabilidade do avaliador providenciar para que as forças politicas não consigam subverter um estudo de avaliação. Para esse confronto, sem a pretensão de propor saídas ou resultados mágicos, Worthen e outros (2004) formula sugestões para esse enfrentamento:
· Procure entender como o cliente pensa;
· Tranquilize o cliente dizendo-lhe que apontará sugestões uteis diante de cada descobertaproblema;
· Descubra que critérios as pessoas que tomam decisões utilizarão realmente para julgar o êxito do projeto;
· Procure introduzir um mecanismo de supervisão no contrato de avaliação;
· Escreva o relatório com muito cuidado, revisando-o antes de apresentá-lo ao cliente.
Assim o avaliador não estará protegido das influencias politicas, mas poderá enfrentar as questões e as tensões com o cliente.
4.5.2 Coleta, análise e interpretação de informações quantitativas e qualitativas.
A coleta de dados é fundamental para a avaliação e os métodos que os avaliadores usam para coletar informações. Para eles, é algo que precisa ser definido considerando custo, precisão, estabilidade, relevância, viabilidade, conveniência politica e aceitabilidade por parte dos vários públicos (WORTHEN e outros, 2004).
Em linhas gerais, sabe-se que nenhum método isolado é sempre apropriado.
Neste momento, analisaremos objetivamente os métodos quantitativos e qualitativos.
Os métodos quantitativos são muito utilizados na coleta de informações e podem ser necessários para a realização de uma avaliação. Vejamo-los a seguir:
a) Testes – desdobram-se em quatro abordagens:
· testes pautados por normas
· testes pautados por objetivos
· testes pautados pelo domínio 
b) Questionários.
c) Entrevistas por telefone.
d) Técnicas Delphi e Q-sort.
No método qualitativo, temos a seguinte relação de abordagens:
· Estudo de caso: proposta de coleta de dados que utiliza múltiplos métodos, muitas vezes qualitativos, para apresentar um entendimento completo do programa, do caso ou da unidade de interesse;
· Documentos: anotações pessoais ou profissionais que não foram preparadas e especificamente para a pesquisa ou a investigação;
· Arquivos: documentos oficiais ou resumos de dados;
· Observações: dependem menos de instrumentos e mais do avaliador ou observador;
· Visitas ao local: categoria especial de métodos de observação, muito utilizada em credenciamento e auditoria;
· Entrevista: uteis quando a finalidade da coleta de dados estiver pouco clara, requerendo mais tempo que os questionários;
· Grupos focais: método de entrevista em grupo destinado a obter informações que resultam da interatividade orientada dos membros do grupo;
· Análise de conteúdos: abordagem quantitativa ou qualitativa, para analisar, descrever ou resumir tendências em documentos escritos.
4.6 A apresentação do relatório da avaliação 
A apresentação do relatório de avaliação tem muitas finalidades (prestação de contas, convencimento, educação, documentação etc.), mas um ponto comum a todos elas é transmitir a mensagem, ou seja, informar ao público-alvo sobre as descobertas e conclusões resultantes das atividades. Um primeiro aspecto que se projeta é a finalidade do relatório, que está diretamente ligada ao uso que se pretende fazer da avaliação (WORTHEN e outros, 2004).
Um segundo aspecto é a identificação dos públicos dos relatórios e a adaptação dos relatórios a esses públicos.
A definição das datas de entrega dos relatórios é o terceiro aspecto, considerada a variação de finalidades e os públicos dos relatórios.
Apresentaremos a seguir, outro olhar sobre os aspectos metodológicos da avaliação de programas e projetos. Estudaremos alguns elementos fundamentais para o processo de elaboração, implementação e avaliação de programas e projetos, suas ações e aplicabilidades.
5- Metodologia de avaliação de programas e projetos
Outro olhar sobre os aspectos metodológicos da avaliação de programas e projetos é apresentado por Silva e Silva (2001)
5.1 Aspectos metodológicos da avaliação 
Para Silva e Silva (2001), algumas questões conceituais são relevantes na concepção de metodologia para a avaliação de politicas e programas sociais. Para essa autora, a concepção de metodologia vai além de um conjunto de procedimentos e técnicas.
[...] constituindo um corpo teórico de explicação da própria avaliação e de seu projeto; da compreensão de método como todo raciocínio empregado para aceitar ou rechaçar um fato como verdadeiro e técnica como instrumento utilizado para coletar dados ou para analisa-los (SILVA e SILVA, 2001).
É a partir dessa referencia que são considerados o processo, os sujeitos e os modelos utilizados na avaliação das politicas e dos programas sociais, bem como os métodos e técnicas usuais.
Reconhecendo a avaliação como um momento do processo das politicas públicas, (podendo ocorrer antes, durante ou após a sua implementação), Silva e Silva 92001) destaca seis momentos importantes para esse processo.
· Atividades preliminares ou preparatórias
· Plano de da pesquisa de avaliação 
· Implementação da avaliação
· Processamento, análise e síntese dos dados e informações
· Elaboração e discussão do relatório
· Aplicação dos resultados
As atividades preliminares compreenderiam a definição de questões essenciais à continuidade da avaliação. Nesse contexto, destacar-se-ia a negociação entre os que encomendam a avaliação e a equipe que a desenvolverá.
Esse momento preliminar se desenvolve a partir de um procedimento de aproximações sucessivas e negociações entre as partes envolvidas marcadas por interesses, [...], devendo chegar a consenso [...]. Definidos esses aspectos, a equipe técnica deve encaminhar [...] o levantamento de respostas a questões consideradas essenciais para permitir o planejamento da pesquisa avaliativa (SILVA e SILVA, 2001).
A elaboração do plano da pesquisa avaliativa refere-se à definição dos passos para orientar o estudo avaliativo.
A elaboração desse ; da plano envolve a definição: de um marco referencial; do universo do programa a ser considerado na avaliação; de objetivos e metas; da amostragem; do plano de análises das informações levantadas; do levantamento de avaliações ou estudos anteriores sobre o programa; da delimitação do objeto da avaliação; da seleção da estratégia metodológica; da determinação das formas e dos passos a serem seguidos no processamento das informações.
“O marcado do planejamento da avaliação é o projeto que orientará todo o estudo”(SILVA e SILVA, 2001).
A implementação da avaliação ou trabalho de campo consiste em adentrar na realidade para levantamento de dados e informações. “Trata-se de um momento muito peculiar a cada experiência, dependendo, por exemplo, do porte do programa, do estudo avaliativo que se pretende desenvolver” (SILVA e SILVA, 2001).
O processamento, a análise e a síntese dos dados e das informações expressam o momento de elaboração dos dados e das informações, que são ordenados, classificados e agrupados. O processamento de dados e informações inclui atividades como categorização de respostas, tabulação de dados e informações e a elaboração de quadros e de gráficos (SILVA e SILVA, 2001). O processamento é seguido pela análise (que significa a decomposição de um todo em suas partes constitutivas) e pela síntese (que é a operação contraria, ou seja, explora-se entre as partes e reconstrói-se a totalidade inicial).
Ainda nesse contexto, a elaboração e a discussão do relatório não devem ser entendidas como uma formalidade, mas como outro momento relevante do processo. É importante que os resultados sejam apresentados de modo ordenado e claro, com uma estrutura que contemple, ao menos, uma introdução (com o referencial teórico, o objeto da avaliação, os objetivos, a indicação do método, os procedimentos); um desenvolvimento (com uma síntese dos resultados do estudo) e uma seção final conclusiva com recomendações sobre a educabilidade dos resultados (SILVA e SILVA, 2001).
Por fim, a aplicação dos resultados da avaliação é ponto central do