Prévia do material em texto
MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS 1 Sumário O PROJETO .............................................................................................................. 3 POLÍTICAS PÚBLICAS, PROJETOS E ATORES SOCIAIS ........................... 5 FASES DE UM PROJETO .............................................................................. 9 EFEITOS E IMPACTOS DE UM PROJETO SOCIAL .................................... 12 FUNDAMENTAÇÃO TEÓRICA ..................................................................... 13 AVALIAÇÃO DE PROJETOS E PROGRAMAS SOCIAIS ............................. 17 PROCESSOS DE AVALIAÇÃO DE PROGRAMAS SOCIAIS ....................... 23 TIPOS DE AVALIAÇÃO ................................................................................. 25 CONDIÇÕES PARA O SUCESSO DE UM PROJETO SOCIAL .................... 30 REFERÊNCIAS ............................................................................................. 32 2 NOSSA HISTÓRIA A nossa história inicia com a realização do sonho de um grupo de empresários, em atender à crescente demanda de alunos para cursos de Graduação e PósGraduação. Com isso foi criado a nossa instituição, como entidade oferecendo serviços educacionais em nível superior. A instituição tem por objetivo formar diplomados nas diferentes áreas de conhecimento, aptos para a inserção em setores profissionais e para a participação no desenvolvimento da sociedade brasileira, e colaborar na sua formação contínua. Além de promover a divulgação de conhecimentos culturais, científicos e técnicos que constituem patrimônio da humanidade e comunicar o saber através do ensino, de publicação ou outras normas de comunicação. A nossa missão é oferecer qualidade em conhecimento e cultura de forma confiável e eficiente para que o aluno tenha oportunidade de construir uma base profissional e ética. Dessa forma, conquistando o espaço de uma das instituições modelo no país na oferta de cursos, primando sempre pela inovação tecnológica, excelência no atendimento e valor do serviço oferecido. 3 O PROJETO Conceito de Projeto Inicialmente, o conceito de projeto pode ser considerado algo amplo, aplicável a qualquer tipo de planejamento, no entanto, quando comparados a planos e programas, os projetos normalmente caracterizam-se por serem mais limitados no tempo, no espaço e nos recursos. Além disso, os projetos tratam um tema específico, de forma mais direcionada e, portanto, com menos amplitude que o planejamento. Deste modo, o projeto de uma forma geral significa o trabalho de equacionar um problema apontado pelo planejamento, tomando decisões relacionadas à implementação de soluções e avaliação dos resultados obtidos. Um projeto social é “uma ação social planejada, estruturada em objetivos, resultados e atividades baseados em uma quantidade limitada de recursos (humanos, materiais e financeiros) e de tempo” (Armani, 2000), isto é, um projeto social tem início com uma ideia de se construir ou modificar algo no futuro para suprir necessidades ou aproveitar oportunidades. 4 Significa um conjunto de ações estruturadas, planejadas e delimitadas no tempo e espaço e em função dos recursos existentes, com objetivos e atividades definidos, porém em constante redirecionamento em função de adaptações às mudanças ocorridas no espaço, no tempo e em outras variáveis que podem afetar o seu desempenho. Pode-se dizer que um projeto social é uma das formas com que as pessoas enfrentam os problemas sociais de forma organizada, ágil e prática. Ele não significa apenas o documento formal, mas, sim, representa um instrumento metodológico para fazer da ação social uma intervenção organizada e com melhores possibilidades de atingir seus objetivos. Assim, pode-se dizer que os projetos compreendem um instrumento útil e necessário para qualificar a ação social organizada no sentido de elevar a qualidade de vida, fortalecer a cidadania, enfim, de forma a delinear ações que levem ao alcance do desenvolvimento sustentável. Os processos democráticos que têm avançado no País não têm sido acompanhados por uma distribuição de renda mais justa, muito pelo contrário, de uma forma geral, o processo de exclusão social se acentua de forma alarmante, levando as organizações a criarem políticas de desenvolvimento que se traduzem na elaboração e implementação de projetos sociais. Assim, o que se vê é que os projetos sociais normalmente têm origem em percepções ou pressões de necessidade de mudanças, surgidas de diversos órgãos, instituições públicos ou privadas, ou até mesmo de pessoas individualmente, no sentido de se atingir uma situação diferente da atual. No entanto, os projetos que se originam de sugestões das pessoas diretamente envolvidas, isto é, gestores, beneficiários, etc., têm demostrado maior capacidade de sucesso, pois traduzem de modo mais próximo da realidade as necessidades dos envolvidos, bem como permitem que se alcance um melhor nível de aproveitamento da criatividade e conhecimento de cada ator envolvido. 5 POLÍTICAS PÚBLICAS, PROJETOS E ATORES SOCIAIS Os projetos sociais fazem parte de um sistema complexo de relações que envolvem diversas variáveis. Entre essas variáveis, estão os atores sociais e as políticas públicas que, em última análise, fazem com que surjam projetos de ação social originados de diversos órgãos e entidades, mas principalmente dos órgãos governamentais, que constituem no principal encarregado de zelar pela evolução social da comunidade. Segundo a Confederação Nacional dos Trabalhadores na Agricultura, “as políticas sociais desempenham um papel fundamental na construção de alternativas de desenvolvimento para o campo” (CONTAG, 1999). Estas políticas públicas, pensadas para a agricultura nas últimas décadas, foram voltadas para o produtivismo, ou seja, a prioridade das ações planejadas estava centrada principalmente no aumento da produção como condição a ser alcançada. Contudo, as políticas públicas devem conter também a dimensão social, de resgate da cidadania e participação da comunidade, além de ter preocupação com as questões ambientais, econômicas, culturais e sociais. Em países como o Brasil, marcados por desigualdades e exclusão social, as políticas públicas desempenham um importante papel, principalmente para as populações menos favorecidas, no sentido de se planejarem e desenvolverem ações de promoção da inclusão sociais implementadas através dos projetos, conforme será descrito adiante. 6 Assim, para melhor compreender o tema, se faz necessário situar os projetos sociais no contexto das políticas públicas, bem como identificar os diversos atores sociais que, de uma forma geral, estão envolvidos no projeto. Conforme descrito no dicionário de sociologia elaborado por Alhan G. Johnson (1997): “política é o processo pelo qual o poder coletivo é gerado, organizado, distribuído e usado nos sistemas sociais. Na maioria das sociedades, é organizada, sobretudo em torno da instituição do Estado, (...) no entanto, pode ser aplicado virtualmente a todos os sistemas sociais nos quais o poder representa papel importante”. (Johnson, 1997). Assim as políticas públicas podem ser consideradas como a geração e organização do poder coletivo da sociedade através dos poderes públicos, no sentido de se alterar uma situação. Normalmente, na esfera governamental, as políticas públicas, que são o meio pelo qual a ação pública começa a ser construída, têm basicamente três linhas de planejamento, podendo estar presentes em qualqueresfera de poder, federal, estadual ou municipal, são elas: O plano, o programa e o projeto. O plano é onde se têm os objetivos mais amplos e os maiores eixos estratégicos para a ação social. Para cada setor da sociedade, existem vários planos e, dentro de cada um desses planos, encontramos diversos programas. Os programas traduzem os planos de governo, isto é, dentro de cada plano existem vários programas para cada setor da sociedade, no entanto, nos programas, os objetivos e as linhas de ação não possuem a mesma amplitude dos planos de 7 governo. Dentro de cada programa de governo, encontramos inúmeros projetos, que se traduzem na ação social concreta com a população. Os projetos possuem limites definidos, como de tempo e recursos e, além disso, apresentam objetivos específicos. A figura abaixo nos traz uma visão melhor da localização dos projetos dentro dos planos de governo, evidenciando a estreita relação existente entre cada etapa do planejamento. FIGURA 1 - Fluxo das linhas de planejamento da ação pública No entanto, a ação social do Estado, ou de qualquer outra organização, desempenhada através de projetos, tem contando com diversos atores que estão direta ou indiretamente envolvidos com o projeto, desde sua elaboração até a avaliação final. 8 Segundo Armani, os atores envolvidos “são todos os indivíduos, grupos ou instituições sociais que tem algum interesse em jogo em relação a um projeto determinado” (Armani, 2000). Assim, pode-se dizer que estes atores sociais podem ser constituídos desde cidadãos individualmente, até entidades, como, por exemplo, órgãos de representação de grupo, conselhos, lideranças de agricultores, população beneficiada, financiadores dos projetos, órgãos do governo, grupos de pessoas, organização promotora do projeto, parceiros, e até mesmo aqueles que poderão ser afetados negativamente pelo projeto. Na maioria das vezes, a ação destes atores sociais é feita através das instituições. Estas mostram diferentes umas das outras em função de tratarem de funções sociais diferentes, mas de uma forma geral “as instituições políticas destinam-se a gerar, organizar, e aplicar o poder coletivo, com vistas a atingir metas, proteger grupos, aplicar leis, etc.” (Johnson, 1997). Deste modo percebe-se que as instituições consistem na forma como as pessoas se agrupam, respeitando determinadas normas e regras, com o intuito de atingir um determinado ponto, isto é, “uma instituição é o conjunto duradouro de ideias sobre como atingir metas reconhecidamente importantes na sociedade” (Johnson, 1997), ou seja, é um complexo integrado de ideias, padrões de comportamento, relações inter-humanas, organizados em torno de um interesse social reconhecido. Portanto, fica claro que as instituições desempenham importante papel na sociedade, uma vez que, através delas, os indivíduos agem no sentido de conquistar seus objetivos, tornando-se parte importante no desenvolvimento de um projeto social, ou seja, através das instituições os agricultores adquirem mais espaço nas discussões sociais e, portanto, acabam adquirindo maior influência junto aos poderes governamentais na elaboração e desenvolvimento de projetos sociais. Assim, pode-se dizer que as instituições acabam fortalecendo as decisões dos atores que a compõem e permitem uma relação mais forte entre o Estado e a sociedade. 9 FASES DE UM PROJETO Tem início, meio e fim, desenvolve-se em um determinado espaço e deve respeitar os limites de recursos que lhe são propostos, sejam eles financeiros, técnicos, ambientais, etc. Assim, a maioria dos projetos deve passar por determinadas fases para que não se ponha em risco o seu sucesso. Apesar de não serem rígidas, pois não existe um consenso, isto é, uma ideia única referente ao desenvolvimento de um projeto social, de uma forma geral, podemse destacar 6 (seis) diferentes fases interligadas e que devem ser comuns para maioria dos projetos sociais. 10 A primeira fase de um projeto pode ser chamada de fase de identificação. Nela, temos inicialmente a identificação da oportunidade ou necessidade de intervenção, identificando o objeto de ação, o espaço e as possíveis limitações institucionais, ou seja, a partir da verificação de um problema, inicia-se a busca pela sua solução, promovendo a sensibilização dos atores sociais e a mobilização dos órgãos parceiros. Na fase da identificação, ocorre também o exame preliminar da viabilidade da ideia, que servirá como um indicador para a continuidade ou não do projeto. A viabilidade deverá ser analisada de acordo com todas as óticas possíveis, isto é, política, em termos de apoio político suficiente, financeira, em termos de recursos suficientes, ambiental, em termos de evitar a degradação do meio ambiente, técnica, em termos de capacidade disponível, etc. Além disso, são necessários que considerem as relações existentes no sistema como um todo, buscando contemplar as influências existentes entre as diversas partes que o integram. Esta mesma fase possui ainda o diagnóstico da situação, que poderá ser desenvolvido através de reuniões de grupos, pesquisa documental, entrevista local, etc.; contudo, o ideal é que o diagnóstico agregue um conjunto de atividades suficientes para que o levantamento das informações seja o mais claro e preciso possível. O diagnóstico irá delinear a formulação das ações, atores envolvidos, objetivos, resultados e atividades do projeto. Ele deverá identificar e avaliar as ações similares que possam já ter sido desenvolvidas e também identificar a posição da comunidade local a respeito da problemática. Assim, fica evidente a grande importância do diagnóstico para o desenvolvimento de um projeto social, pois é nesse momento que é feito o reconhecimento da situação inicial do espaço a ser alterado, ou seja, é realizado o levantamento detalhado das informações que caracterizam os beneficiários e a situação-problema, e que servirão de base para as demais fases do projeto. 11 A outra fase de um projeto consiste na fase de elaboração, quando são definidos com mais clareza pontos como os objetivos do projeto, tanto geral quanto específicos, resultados imediatos, atividades, são estudados as alternativas para o projeto, as ações necessárias para atingir os objetivos, etc. O objetivo geral normalmente faz parte de um programa setorial mais amplo, expressando o impacto mais geral; portanto, vai além dos efeitos diretos para os beneficiários do projeto. O objetivo do projeto consiste na sua contribuição para que se alcance o objetivo geral. O objetivo específico está ligado aos efeitos do projeto com os beneficiários diretos e é referência central para dimensionar seu sucesso ou fracasso. Além disso, na elaboração, devem ser analisados os fatores que poderão colocar em risco o sucesso do projeto, e também a forma ou a sistemática com que será feito o monitoramento e avaliação, inclusive definindo indicadores a serem usados neste processo e também seu sistema de coleta e registro. Ainda na fase de elaboração deverá ser feita a montagem do plano operacional, que consiste em definir especificamente as ações, os responsáveis, os prazos, os resultados e os recursos necessários; além disso, devem-se determinar os custos do projeto segundo o cronograma de atividades definidos no plano operacional e, por fim, nesta fase, faz-se a redação formal do projeto. A terceira fase de um projeto é a da aprovação, isto é, tendo em mãos o documento formal com todas as informações apontadas nas fases anteriores, partese para a busca da aprovação do projeto junto aos órgãos ou instituições competentes. Depois de aprovado o projeto, passa-separa a fase de implementação do mesmo, quando ocorre a prática das ações e atividades estipuladas anteriormente, na busca de atingir os objetivos e resultados traçados para o projeto, ou seja, partese para a ação concreta junto ao público beneficiário. 12 A próxima fase pela qual passa um projeto social é a fase de avaliação. Esta fase ocorre normalmente no encerramento do projeto, mas também pode ocorrer quando este muda de natureza ou em determinados períodos de tempo. Este período de tempo varia segundo a natureza e complexidade de cada projeto. De acordo com o resultado da fase de avaliação, se parte para a última fase que compõe o ciclo de um projeto, a de replanejamento. Nesta fase, são revistos pontos do projeto que deverão sofrer algum tipo de mudança para adequação a alterações ocorridas em uma ou mais variáveis, ou para corrigir erros identificados, como, por exemplo, os objetivos e as ações do projeto. Contudo, o que pode ser facilmente percebido na análise das fases que compõem o desenvolvimento de um projeto é que elas são recorrentes, isto é, uma fase lança mão de informações identificadas nas anteriores para que possa ser dada continuidade ao desenvolvimento do projeto. EFEITOS E IMPACTOS DE UM PROJETO SOCIAL Muitas vezes os efeitos e impactos de um projeto são abordados como se estivessem tratando da mesma coisa, no entanto trata-se de conceitos diferentes. Desta forma, cabe salientar o que é impacto de um projeto e o que é efeito de um projeto, ressaltando algumas diferenças que colaboram no esclarecimento da distinção entre estes dois conceitos. As diferenças mais marcantes entre os impactos e os efeitos de um projeto social situam-se basicamente no tempo e no grau de abrangência. Com relação ao tempo, o que diferencia um efeito de um impacto é o fato de que os efeitos de um projeto aparecem em um curto espaço de tempo, enquanto os seus impactos normalmente começam a aparecer depois de transcorrido um 13 determinado período de andamento do projeto, ou seja, para que sejam percebidos os impactos do projeto social, é necessário um espaço de tempo maior que o tempo necessário para a percepção dos seus efeitos. No sentido do grau de abrangência, os efeitos estão mais relacionados com os beneficiários diretos e com pontos específicos, enquanto os impactos consideram os beneficiários diretos e indiretos e atingem a comunidade em geral, portanto, os impactos de um projeto social possuem uma abrangência mais ampla que os seus efeitos. Assim podem-se relacionar impactos a mudanças de longo prazo, que não podem ser medidas isoladamente, enquanto os efeitos podem ser medidos mais objetivamente, isto é, os impactos de um projeto são mais profundos. Podem ser entendidos como os resultados dos seus efeitos. FUNDAMENTAÇÃO TEÓRICA O Terceiro Setor no Brasil As enormes, rápidas e profundas modificações observadas no cenário mundial estão a exigir da sociedade novas formas de articulação dos grupos sociais, visando dar respostas mais efetivas às complexas demandas sociais decorrentes desses movimentos. 14 Neste contexto, surge um tipo de organização singular, caracterizada nem pela ligação com o Estado nem objetivada ao lucro, como se espera das empresas, e sim pelo atendimento às demandas sociais, recebendo seu conjunto a denominação de Terceiro Setor. Dentro deste contexto, o chamado Terceiro Setor pode ser definido como “o espaço composto por organizações privadas, sem fins lucrativos, cuja atuação é dirigida a finalidades coletivas ou públicas” (Fischer, 2002:45). Trata-se de um campo de estudos recente, ainda marcado pela grande heterogeneidade de abordagens, classificações e conceitos, que refletem tanto a diversidade de organizações que compõem o setor, quanto o olhar que se coloca sobre o fenômeno em estudo, conduzindo a diversas indagações e questionamentos acerca de sua caracterização e gestão, pois além de congregar representativas parcelas da sociedade civil organizada, apresenta números significativos enquanto recursos envolvidos e usuários atendidos. Este complexo universo de organizações se constitui em terreno fértil para a Administração, por intermédio da investigação dos fenômenos concernentes ao seu desenvolvimento e gestão. A multiplicidade de organizações pode ser observada mediante a análise empreendida por Falconer (1993: 94), a qual classifica o Terceiro Setor brasileiro em : (1) o setor formado por instituições religiosas (...), (2) as organizações não-governamentais e novos movimentos sociais, (3) os empreendimentos ‘sem fins lucrativos no setor de serviços’, (4) o setor para-estatal e nascido sob a tutela do Estado e (5) o setor das fundações e entidades empresariais. 15 Apesar da ampliação e o fortalecimento da atuação destas organizações, isto não tem resultado em uma identidade própria para o setor. Conforme assevera Falconer (1999: 91), as organizações que formam o terceiro setor brasileiro estão divididas em linhas que refletem suas origens em grupos sociais diversos, que espelham este abismo social encontrado na sociedade bem como a diversidade de interesses existentes. “No contexto em que surgem há poucos elementos e incentivos para a criação ‘espontânea’ de uma identidade de setor” que se caracterizam por um grande número de organizações com características, origens, finalidades, portes e recursos os mais diversos. A diversidade de organizações do Terceiro Setor existentes no Brasil dificulta a formação de um perfil claramente delineado em relação a aspectos comuns entre si, como seu propósito, fontes de financiamento, origem, etc. As diferentes tipologias disponíveis na literatura não conseguem nem a unanimidade dos estudiosos, nem tampouco a sinalização na direção de um caminho mais fluido e instrumental. A classificação internacional proposta por Salamon & Anheier (apud Hudson, 1999: 236) prevê a divisão das organizações em doze grupos: Cultura e recreação; Educação e pesquisa; Saúde; serviços sociais; Meio ambiente; desenvolvimento e habitação; Direito, advocacy e política; Intermediários filantrópicos e promoção do voluntariado; Atividades internacionais; Religião; Associações profissionais e sindicatos; Não classificados em outros grupos. 16 No entanto, como a utilização deste sistema não é unânime entre pesquisadores da área e para uma melhor contextualização da organização pesquisada neste estudo, adotamos outras tipologias propostas por autores que abordam, embora com diferenças, o universo constituído pelas entidades filantrópicas e religiosas, como Mendes (1999:11) que propõe a seguinte classificação: “organizações sem fins lucrativos; associações; entidades filantrópicas, beneficentes ou de caridade; fundações; e organizações não governamentais”. Outra possibilidade é a tipologia proposta por Fischer (2002:47), que enfatiza as origens e o desenvolvimento histórico do terceiro setor no Brasil, classificando as organizações que compõem o terceiro setor em “entidades tradicionais, laicas e religiosas; organizações não-governamentais, entidades paraestatais; entidades associativas; e entidades de iniciativa empresarial”. Segundo a autora, as associações laicas e religiosas remontam o próprio surgimento do terceiro setor no Brasil, cuja presença data do período colonial brasileiro. O papel inicialmente desempenhado pela Igreja Católica na criação e no apoio a entidades associativas diversas, posteriormente passou a ser assumido por outras instituições religiosas, principalmente nas áreas de educação e assistência social. Já as associações voluntárias laicas assumem destaque apenas a partir do finaldo século XIX. Desta forma, no Brasil, como no mundo, a assistência social historicamente possui, em suas raízes, uma forte associação com doutrinas religiosas, cujo principal componente é o caráter assistencialista das ações empreendidas. 17 AVALIAÇÃO DE PROJETOS E PROGRAMAS SOCIAIS Delimitação do Marco Conceitual Os recentes movimentos de ocupação dos espaços “públicos não estatais”, no que se refere a ações sociais no Brasil, vêm demonstrando a crescente importância do papel das organizações da sociedade civil sem fins lucrativos. Dentro desse processo de consolidação de papéis, tem-se criado pressões junto aos setores públicas e privado no sentido de garantir transparência no uso de recursos e efetividade das políticas públicas e programas sociais exercidos neste contexto. Desse modo, a avaliação de programas e projetos sociais tem assumido papel fundamental, sendo objeto de um contínuo aperfeiçoamento em seu entendimento e em sua aplicação. Assim, a seguinte definição de avaliação, conforme mencionada em: 18 Chianca (2001:16), como ponto de partida para reflexão do escopo envolvido: “A coleta sistemática de informações sobre as ações, as características e os resultados de um programa, e a identificação, esclarecimento e aplicação de critérios, passíveis de serem defendidos publicamente, para determinar o valor (mérito e relevância), a qualidade, utilidade, efetividade ou importância do programa sendo avaliado em relação aos critérios estabelecidos, gerando recomendações para melhorar o programa e a informação para prestar contas aos públicos interna e externo ao programa do trabalho desenvolvido”. Complementando esta definição, torna-se relevante destacar o caráter de aprendizagem contido no entendimento de um processo avaliativo. Segundo Silva e Brandão (2003), pode-se entender avaliação como a elaboração, negociação e aplicação de critérios explícitos de análise, em um exercício metodológico cuidadoso e preciso, com vistas a conhecer, medir, determinar ou julgar o contexto, mérito, valor ou estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e organizações. A ideia central é que os processos avaliativos ajudem os envolvidos a encontrar seus próprios caminhos de aprendizagem e desenvolvimento, e que ampliem o nível de consciência dos empreendedores sociais. Para cumprir estes objetivos, o papel da avaliação precisa transcender a fiscalização ou controle, abrangendo uma intensa reflexão que deve ser feita com todos os envolvidos no processo. Como apontam Chianca, Marino e Schiesari (2001): “A aprendizagem do adulto no contexto organizacional ou em outros sistemas sociais só é possível através de um processo contínuo de ação e reflexão. A reflexão ocupa um papel fundamental: provocar mudanças nas ações dos indivíduos. Este é especificamente o papel da avaliação: construir momentos reflexivos que permitam aos 19 indivíduos a análise da realidade e dos fatos para daí direcionarem suas ações, aprendendo pela experiência”. A definição de avaliação proposta por Chianca (2001:16) menciona explicitamente a avaliação de um programa. Podem encontrar, também, a avaliação de um projeto. Segundo Armani (2001:18) “podem-se identificar três níveis de formulação da ação social: a) o nível dos grandes objetivos e eixos estratégicos de ação (a política); b) um nível intermediário em que as políticas são traduzidas em linhas mestras de ações temáticas e/ou setoriais (programas); c) “o nível das ações concretas, delimitadas no tempo, no espaço e pelos recursos existentes, que possam realizar os programas e as políticas, ou seja, os projetos”. No contexto de programa, entendemos atividades que são oferecidas em bases contínuas. Já no contexto de projeto, entendemos atividades que são oferecidas por um período determinado de tempo. Neste contexto, a avaliação concebida e analisada se presta a avaliação de um projeto social específico de assistência a gestantes carentes dentro de uma organização não lucrativa denominada “Casa Transitória Fabiano de Cristo”. A avaliação global de projetos e programas sociais pode ser subdividida nas seguintes avaliações: avaliação do marco zero, avaliação de processo ou formativa, avaliação somativa (Chianca, 2001). 20 Segundo Chianca (2001:18) “a avaliação do marco zero ocorre antes da instalação de um determinado programa ou projeto e serve para orientar a equipe responsável por ele no planejamento das ações, garantindo o máximo de proximidade às reais necessidades e expectativas dos futuros usuários”. Ainda segundo Chianca (2001:17), a avaliação de processo ou formativa “tem como objetivo prover informações essenciais sobre um determinado programa para que os gestores possam introduzir mudanças a fim de melhorá-lo ainda durante seu processo de implementação”. Já a avaliação de produto ou somativa é conduzida após o término de um programa ou projeto, servindo basicamente para julgar o mérito e a relevância de um programa ou projeto em relação a determinados critérios (Chianca, 2001:18). Marino (1998 :23) acrescenta a chamada avaliação de impacto afirmando que “o efeito final ou impacto de um projeto deve ser examinado após o período de implementação das ações”(Marino,1998:23). Os indicadores de resultados devem ser comparados àqueles iniciais, observados no Marco Zero. Para que seja possível a avaliação de um projeto ou programa social, deve-se fazer um esforço, desde o planejamento inicial das atividades, para identificar e desenvolver indicadores de resultados do projeto. Segundo Valarelli (1999), “em projetos sociais, indicadores são parâmetros qualificados e/ou quantificados que servem para detalhar em que medida os objetivos de um projeto foram alcançados, dentro de um prazo delimitado de tempo e numa localidade específica”. 21 Ainda segundo o autor é uma espécie de marca ou sinalizador, que busca expressar e demonstrar a realidade sob uma forma que possamos observar e obter dados mais concretos para melhor avaliação. Os indicadores indicam, mas não é a própria realidade. “Baseiam-se na identificação de uma variável, ou seja, algum aspecto que varia de estado ou situação, variação esta que consideramos capaz de expressar um fenômeno que nos interessa” (Valarelli, 1999). Marino (1998) considera, ainda sobre a questão dos indicadores de resultados, que os objetivos do projeto ou programa e as perguntas formuladas para orientar a avaliação são importantes fontes para se definir os indicadores de resultados parciais ou finais. Ao pensar em indicadores para projetos e programas sociais, deparam se com dificuldades adicionais para defini-los e interpretá-los adequadamente. Segundo artigo da Profa. Rebecca Raposo (in Ávila, 2001:98), “a diversidade de ações sociais, bem como os diferentes cenários e conjunturas onde ocorrem, torna inconveniente, quando não injusta para com as diferenças sociais, a definição de um conjunto de indicadores-padrão”. 22 A autora propõe uma melhor compreensão dos possíveis impactos dos projetos e programas, ao visualizar, primeiramente, as ações inseridas num foco localizado e pontual. Depois, ao considerar uma série de variáveis, verificar o impacto de uma forma ampliada, podendo atingir, em alguns casos, o chamado plano das políticas públicas. Ao mesmo tempo, propõe o impacto tangível, mais facilmente mensurável, e o impacto intangível, que pode ser mensurado pela observação e mais facilmente contaminável pelas variáveis subjetivas (Ávila, 2001:99). Uma pergunta que se coloca neste momento, diz respeito a qualseria a combinação mais adequada de indicadores quantitativos e qualitativos e quantos seriam necessários para fornecer uma base confiável de informação para o monitoramento e a avaliação. Segundo Armani (2001), um bom sistema de indicadores deve: ter mais indicadores nos níveis de atividades e resultados e menos no nível de objetivo geral; conter um número de indicadores adequado para o projeto, trazendo informações importantes. Porém, não em excesso, de modo a facilitar a operacionalização da avaliação; fazer com que o processo de definição de indicadores seja o mais participativo possível, envolvendo todos os principais atores do projeto; promover reflexões periódicas com os atores ao longo de todo o projeto; explicitar os meios de verificação e coleta de dados, bem como seus responsáveis; e buscar fazer uso de informações já existentes ou de simples produção, com o objetivo de otimizar o uso de recursos. 23 PROCESSOS DE AVALIAÇÃO DE PROGRAMAS SOCIAIS Chianca (2001) propõe um modelo de etapas de planejamento, execução e análise/divulgação dos resultados da avaliação. Os principais itens identificados pelo autor são: a) PLANEJAMENTO: - Estudo da viabilidade: determinação dos interessados, quem deve conduzir como selecionar os avaliadores, e o porquê e quando avaliar; - Esclarecimento de objetivos da avaliação e análise do contexto: determinação do que avaliar e mapeamento do contexto político envolvido (relações de poder, interesses); - Identificação e seleção de perguntas avaliativas; - Identificação de indicadores: índices relacionados às perguntas avaliativas; - Seleção de fontes e métodos de informação: determinação de amostras, métodos de análises de dados e determinação de forma de comunicação dos resultados obtidos na avaliação. b) EXECUÇÃO DA AVALIAÇÃO - Atentar para aspectos políticos e éticos durante a avaliação: não se deve permitir que valores individuais e interesses influenciem a avaliação; - Coleta de dados: sempre testar os instrumentos de coleta, 24 capacitar profissionais que coletam os dados, fazer cópia dos dados coletados, checar dados anotados. Focar a simplicidade, buscar sempre incluir mais de uma fonte de informação e método de coleta de dados no estudo, procurar combinar métodos qualitativos e quantitativos. Quanto aos métodos, procurar combinar os seguintes métodos: análise de documentos; • observação, questionários; • entrevistas individuais; • entrevistas por telefone; • entrevistas em grupo – foco. c) ANÁLISE DE RESULTADOS - A fase de análise envolve o manuseio e interpretação de dados quantitativos (frequências, médias, desvios-padrão, quantidades), dados qualitativos (agrupamento de respostas em categorias, análises de campo) d) DIVULGAÇÃO E UTILIZAÇÃO DOS RESULTADOS - Elaboração de relatórios para cada público de interesse envolvido no processo; - Os constituintes principais dos relatórios de avaliação são: resumo executivo; introdução; descrição do foco de avaliação; metodologia; resultados; conclusões e recomendações; anexos. - Avaliação da avaliação: análise crítica do processo de avaliação, analisando pontos fortes, dificuldades e pontos a melhorar no processo como um todo. De maneira geral, os processos avaliativos, a nosso ver, devem apresentar uma abordagem pluralista, que envolva aspectos qualitativos e quantitativos, e centrados nas relações entre o sistema de ação e a lógica dos atores. Os processos são enriquecidos quando há o envolvimento de diferentes atores e a preocupação em se criar um sistema diversificado de indicadores, combinando conceitos, meios de coleta e diferentes responsáveis. 25 TIPOS DE AVALIAÇÃO Existem diversas variáveis que permitem que a avaliação possa ser classificada de acordo com vários tipos. Entre elas pode-se destacar o tempo de realização, o objetivo da avaliação, quem realiza e para quem se realiza a avaliação. Assim, inicialmente dividir os diferentes tipos de avaliação em avaliação exante e avaliação ex-post. A avaliação ex-ante é realizada ao se iniciar o projeto, com a finalidade de trazer dados racionais para a decisão de implementar ou não o projeto. Além disso, a avaliação ex-ante permite que, diante de dois ou mais projetos, com a necessidade de optar por apenas um deles, tenhamos condições de decidir qual deles apresenta maior possibilidade de alcançar os objetivos. A avaliação ex-post, realizada em projetos em andamento e/ou concluídos, pode definir a continuidade no desenvolvimento de um projeto assim 26 como a mudança no seu direcionamento. Muitas pessoas consideram a avaliação feita após a conclusão do projeto desnecessária e um custo evitável; afinal, o projeto já foi realizado e qualquer avaliação a posteriori não teria importância alguma. Contudo, é possível aprender com os erros e acertos do passado, e a análise posterior do projeto pode revelar onde estão os seus pontos fracos e fortes, isto é, no caso de projetos concluídos a avaliação poderá colaborar para que a experiência do projeto concluído e que está sendo avaliado contribua para projetos futuros. Assim, a avaliação ex-post pode ser dividida em avaliação de processos e de impactos. Conforme descrito por Cohen (1994) “a avaliação de processos determina a medida em que os componentes de um projeto contribuem ou são incompatíveis com os fins perseguidos. É realizada durante a implementação e, portanto, afeta a organização e as operações. Procura detectar as dificuldades que ocorrem na programação, administração, controle, etc., para serem corrigidas oportunamente, diminuindo os custos derivados da ineficiência. Não é um balanço final, e sim uma avaliação periódica. Diferencia-se da retroalimentação que é uma atividade permanente de revisão, realizada por aqueles que estão implementando o projeto. Sua função central é medir a eficiência de operação do projeto”. (Cohen, 1994). Portanto, a avaliação de processos procura analisar se os métodos utilizados no projeto para desenvolver as ações e atividades são compatíveis com os objetivos propostos, buscando identificar os seus pontos de estrangulamento do desenvolvimento para que se façam as devidas correções. 27 A avaliação de impacto é realizada em projetos concluídos. Ela tem como objetivo identificar até que ponto o projeto alcançou seus objetivos e determinar quais são seus efeitos secundários ( previstos ou não). Os dois os tipos de avaliação diferenciam-se, portanto, pelo momento em que são realizadas e em função dos seus objetivos, bem como pelas decisões que devem ser tomadas de acordo com o resultado obtido. Com relação a quem realiza a avaliação, podem-se distinguir quatro tipos de avaliação de projetos: A avaliação externa: este tipo de avaliação ocorre quando o avaliador não participa da execução do projeto. A ideia que se tem é de que o avaliador externo é experiente nesta função e por isso poderia fazer comparações dos resultados obtidos de avaliações anteriores de outros projetos similares com os resultados obtidos. Ela permite a obtenção de um ponto de vista de quem está analisando a situação de fora, sem participar diretamente do projeto. Contudo, o ponto fraco que é identificado neste tipo de avaliação é que o avaliador externo possui pouco conhecimento na área substantiva e das especificidades do projeto que está sendo avaliado; assim, neste caso, poderia se estar dando maior importância ao método de avaliação do que às características do projeto. A avaliação interna: a avaliação interna é realizada dentro da organização. Seu ponto forte em relação à avaliação externa encontra-se no fato de que, no caso da avaliação externa, existe uma possibilidademaior de os avaliados sentirem-se acuados e, assim acabarem não fornecendo informações completas, não contribuindo 28 para que o avaliador externo tenha o conhecimento das especificidades do projeto, necessárias para a execução de uma boa avaliação. Na avaliação interna, os argumentos são de que existiria plena colaboração dos que participaram do projeto. Os avaliados sentiriam a avaliação como um momento de repensar o projeto e não como um momento de avaliação pessoal; além disso, a avaliação seria realizada por agentes que participaram da gestão do projeto e, por isso, conheceriam melhor as especificidades do mesmo. Contudo, também podem ser encontrados alguns pontos fracos neste tipo de avaliação. Um deles é o fato de que, considerando que a organização gestora é quem avalia o projeto, isto poderá eliminar a objetividade, pois os agentes poderão ter ideias preconcebidas do projeto, sendo que, o interesse pessoal do agente avaliador interno poderá influenciar no resultado da avaliação. Neste tipo de avaliação torna-se mais difícil que esta seja executada de forma independente e imparcial. Fora isso, os diferentes interesses pessoais que poderão existir entre os agentes internos que avaliam o projeto, poderão, muitas vezes, trazer conflitos internos, o que dificultaria as trocas positivas de informação e ideias que se buscam no momento em que se faz uma avaliação de projeto. A avaliação mista: ocorre, procurando unir os dois tipos de avaliação mencionados anteriormente, isto é, esta avaliação é feita de forma que os avaliadores externos desenvolvam a avaliação com a participação e em contínuo contato com os membros do projeto a ser avaliado. Desta forma, pretende-se aproveitar as vantagens de cada um dos tipos anteriores de avaliação e também superar as dificuldades que cada um contém. A avaliação participativa: este tipo de avaliação caracteriza-se pela participação dos beneficiários no processo de avaliação, minimizando a distância entre estes e os avaliadores. 29 As variáveis, como a alfabetização da população-objetivo, a qualidade do meio físico para a agricultura, o número de sítios por extensionista, etc., são importantes; no entanto, em estudo realizado pela AID em 1975, ficou comprovado que a participação da população-alvo desde a formulação, implementação, até a avaliação final, em um ponto onde nem os beneficiários nem os avaliadores teriam poder de decisão final, é de fundamental importância para o sucesso do projeto. “No processo de um projeto social a estratégia participativa prevê a adesão da comunidade no planejamento, programação, execução, operação e avaliação do mesmo. Desta forma, a avaliação participativa é um componente de uma estratégia diferente de projetos, fazendo com que sua adequada implementação dependa em grande parte da população afetada por ele” (Cohen, 1993). A avaliação participativa pode ser considerada como um processo educativo, onde tanto aqueles que se beneficiam diretamente do projeto, quanto àqueles que o apoiam, ou seja, os técnicos que participam do projeto através das organizações (privadas, públicas ou não-governamentais) adquirem aprendizado mútuo. Isso porque o beneficiário que vive o problema é capaz de identificar com melhor clareza as suas necessidades; além disso, transfere o seu conhecimento popular para o técnico, mesmo que inconscientemente. Por outro lado, o técnico é possuidor do saber profissional e também transmite conhecimento para o ator local, auxiliando no desenvolvimento da comunidade. Contudo, a avaliação participativa dificilmente será uma grande harmonia, pois considerando a participação de atores originários de realidades diversas e, portanto, com racionalidades diferentes, haverá pontos de vista diferentes, o que pode gerar certas discussões. Assim, a participação no processo de avaliação deve se dar de forma efetiva, através do diálogo entre os diferentes atores no sentido de se chegar a um consenso, 30 porém contemplando as diversas visões que são expressas durante o processo de avaliação. CONDIÇÕES PARA O SUCESSO DE UM PROJETO SOCIAL Vários são os motivos que podem fazer com que não sejam implementados projetos que busquem o desenvolvimento rural através dos agricultores familiares, a iniciar pela cultura da nossa sociedade que, apesar de já se perceber alguma mudança em alguns grupos, de forma geral, relaciona o rural ao atrasado, desconsiderando o espaço rural como um espaço importante de atuação para o desenvolvimento de políticas públicas. Além disso, a falta de organização dos pequenos agricultores faz com que se tornem atores com pouco poder de influência nessas políticas, na busca por apoio de desenvolvimento de projetos no meio rural e, ainda, muitas vezes, não permite que seja impedido o fracasso de projetos em desenvolvimento. Outro ponto que afeta o sucesso de projetos sociais é o clientelismo político presente na sociedade, quando muitas vezes um bom projeto é direcionado para atender a interesses individuais em detrimento de interesses coletivos, não alcançando os objetivos de elevar a qualidade de vida da população. 31 Contudo, cada projeto, quando implementado, para ser considerado de sucesso, necessita atingir efetivamente os objetivos que lhe são propostos especificamente, no entanto, de uma forma mais ampla, qualquer projeto social deve satisfazer algumas condições gerais. Uma delas é a realização das atividades planejadas no sentido de produzir os resultados esperados de acordo com os prazos e recursos acordados na sua formulação e, principalmente, com o grau de qualidade definido na elaboração do projeto, pois não é suficiente apenas produzir os resultados, é necessário garantir a qualidade das ações para que o projeto tenha sustentabilidade e contemple de forma efetiva os objetivos que lhes são propostos. O projeto deve, além do mais, trazer mudanças concretas na qualidade de vida da comunidade, elevar a sua capacidade organizativa e exercer poder de influência sobre os processos mais amplos dos setores sociais definidos como beneficiários. Outra condição a ser alcançada por um projeto social que mostra o seu sucesso é a capacidade do projeto de t ornar-se referência para futuros projetos a serem desenvolvidos, inclusive de outras organizações ou políticas públicas. O projeto social também deve ser capaz de ser apropriado plenamente por seus beneficiários, para que, com isso, se tornem sujeitos de ação no desenvolvimento dele, de forma ativa, e não apenas atores passivos. Outro ponto que demostra a eficiência de um projeto é a geração de novos conhecimentos e metodologias para a resolução das problemáticas sociais identificadas, e a sua capacidade de atrair novos parceiros. 32 REFERÊNCIAS ARMANI, D. Como elaborar projetos? – Guia Prático para Elaboração e Gestão de Projetos Sociais . Porto Alegre: Tomo, 2001. ARMANI, Domingos. Como elaborar projetos? guia prático para elaboração e gestão de projetos sociais. Porto Alegre: Tomo editorial, 2001. 96 p. ARMANI, Domingos. PMA.: conceitos, origens e desafios. In: ECUMÊNICA DE SERVIÇOS (Coord.) Caminhos. Planejamento, Monitoramento, Avaliação – PMA. Encontro de Agentes de Projetos. Salvador: CESE, 1999. p. 15-38. ÁVILA, C.M. de Gestão de Projetos Sociais. São Paulo: AAPCS, 3ª ed. rev., 2001. CHIANCA, T.; MARINO, E.; SCHIESARI, L. Desenvolvendo a cultura de avaliação em organizações da sociedade civil. Coleção Gestão e Sustentabilidade. São Paulo: I. Fonte/Editora Global; 2001. CONFEDERAÇÃO NACIONAL DOS TRABALHADORES NA AGRICULTURA. Projeto alternativo de desenvolvimento rural sustentável – através de uma ampla e massiva reforma agrária e de valorizaçãoe reconhecimento da agricultura familiar. Brasília: 1999, 28 p. MARINO, E. Manual de Avaliação de Projetos Sociais São Paulo: IAS – Pedagogia Social, 1 a edição, 1998. SILVA, R.R.; BRANDÃO, D.B. Os quatro elementos da avaliação. Fonte Instituto para o Desenvolvimento Social. Disponível em www.fonte.org.br; Maio 2003. 33 VALARELLI, L. Indicadores de resultados de projetos sociais. In: Apoio à Gestão”. Rio de Janeiro; site da RITS; 1999.