Prévia do material em texto
111 Critérios de avaliação para projetos sociais Edgilson Tavares de Araújo Introdução Embora seja uma atividade recente, principalmente no âmbito das organizações da sociedade civil e Terceiro Setor1, a avaliação vem a cada dia ganhando espaço como procedimento cotidiano nos projetos sociais. Isso se dá graças às demandas da socie- dade, cidadãos, financiadores e parceiros dos projetos sociais que exigem cada vez mais transparência e participação, fazendo com que a avaliação em si seja “um exercí- cio de controle social” (CARVALHO, 2000, p. 62). Tradicionalmente, a avaliação vem sendo utilizada de modo racional-instrumen- tal para aferir a eficiência, eficácia e efetividade dos projetos e programas sociais. Além disso, os diferentes atores que executam e exigem as avaliações, enfatizam na atuali- dade a necessidade de avaliar a sustentabilidade, equidade, cobertura, pertinência, co- erência, entre outros fatores. Frente aos diferentes interesses, demandas e percepções da realidade que executores, financiadores, parceiros e beneficiários dos projetos so- ciais possuem, é preciso estabelecer com bastante prudência, critérios minimamente desejáveis que definam um modo de apreciação, comparação e atribuição de valor e mérito para avaliar os processos e resultados dos projetos e programas sociais. A escolha e determinação de critérios de avaliação é uma atividade complexa que exige compreender diferentes percepções de mundo e do contexto onde se realiza o projeto. Ou seja, é preciso compreender como histórico-culturalmente vem se esta- belecendo os critérios de avaliação dos projetos sociais, que normalmente são deter- minados pelos financiadores, de modo generalista, sem muitas vezes atentar para as realidades das distintas culturas locais e organizacionais das entidades que executam ações sociais. Assim, se lida com dilemas entre o racional instrumental e o substanti- 1 Distingue-se aqui os conceitos de sociedade civil e Terceiro Setor, embora muitos autores contemporâneos os utilizem de modo sinônimo. Tal distinção é devida à fragilidade do conceito de Terceiro Setor na América Latina para designar a sociedade civil, tendo como prerrogativa a existência de um Primeiro Setor (Estado) e de um Segundo Setor (Mercado). A sociedade civil é aqui citada dentro das ideias do conceito clássico do italiano Antônio Gramsci compreendendo, assim, as ações coletivas e aparatos ditos privados, contendo formas organizacionais como a família, os movimentos sociais, as associações, os grêmios, entre outras. O Terceiro Setor é um conceito mais recente, com franca expansão nos anos 1990, sendo advindo da lógica do Third sector americano para designar o conjunto de todas as organizações privadas, sem fins lucrativos, que atuam no campo social e possuem a presença do trabalho voluntário. Englobam, assim, desde as formas menos institucionalizadas (movimentos sociais, ações voluntárias pontuais etc.) àquelas mais institucionalizadas e profissionalizadas do ponto de vista gerencial (ONGs, associações civis, fundações etc.) Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 112 vo, entre a objetividade e a subjetividade, entre o quantitativo e o qualitativo, entre o econômico e o social. Neste capítulo, busca-se compreender o que são e como se estabelecem os crité- rios de avaliação para projetos sociais2, mostrando a sua importância na definição dos processos avaliativos. Para isso, são analisadas a abrangência e componentes da avalia- ção no nível de projetos, as abordagens de análise e definição de critérios na avaliação dos projetos sociais e, por fim, alguns dilemas e desafios para a definição destes. Abrangência e componentes da avaliação no nível de projetos A avaliação é abrangente na medida em que se avaliam políticas, programas, pro- jetos, organizações, serviços, produtos, inovações, estratégias, custos etc. Aqui desta- camos a necessidade da avaliação dos projetos sociais que abarca não só a avaliação dos resultados e processos, mas a avaliação institucional da organização que os exe- cuta no sentido de aferir a capacidade de respostas às demandas dos beneficiários das ações dos projetos (CARVALHO, 2000). Os projetos sociais sejam os desenvolvidos por organizações governamentais, empresariais ou não governamentais, atuam num nível micro de intervenção social, dentro de limites de metas, tempos e orçamento existentes. Daí a maior concentra- ção de esforços para se avaliar as mudanças sociais que estes devem promover, bem como uma maior cobrança de resultados por parte, principalmente, dos financiadores. Assim, avaliar projetos sociais passou a ser condição imprescindível para a mobilização de recursos pelas organizações sociais, bem como importância estratégica para acom- panhar as ações sociais e realimentar as decisões e opções políticas e programáticas. Para além desses fatores, Carvalho (2000) alerta que avaliar projetos é um dever ético que as organizações da sociedade civil deveriam ter para com a sociedade em geral. É necessário, portanto, estabelecer relações de transparência com os diferentes interes- sados, no que tange aos resultados, propósitos e processos das organizações da socie- dade civil. Normalmente, espera-se que as ações sociais desenvolvidas por tais organi- zações busquem eficiência, eficácia, efetividade e equidade. Esses são conceitos-chave na atualidade, utilizados como critérios avaliativos e que pretendemos mais adiante elucidá-los neste texto. 2 Cabe aqui relembrar a clássica definição de projetos da Organização das Nações Unidas (1984 apud ARAÚJO, 2003, p. 4): “um empreendimento planejado que consiste num conjunto de atividades inter-relacionadas e coordenadas para alcançar objetivos específicos dentro dos limites de um orçamento e de um período de tempo dados”. Nesse sentido, as principais características de um projeto social são empreendimentos que: envolvem mudanças; compreendem a criação de algo novo ou diferente; têm princípio e fim; são orientados por objetivos e resultados claramente definidos; têm claro um componente de incerteza e complexidade, e exigem o uso de técnicas específicas de gerenciamento e avaliação.Av al ia çã o e M on ito ra m en to d e Pr oj et os S oc ia is Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 113 Critérios de avaliação para projetos sociais As abordagens tradicionais de avaliação se concentram em avaliar unicamente as consequências ou impactos de um projeto, sem levar em conta o ambiente em que se desenvolvem, ou os processos envolvidos no seu desenvolvimento. Uma boa avaliação deve considerar os componentes contextuais, da implementação dos processos e dos resultados, buscando: examinar a maneira como o projeto funciona dentro do ambiente econômico, social e político da comunidade e suas circunstâncias (avaliação contextual); ajudar com o planejamento, preparação e desempenho do projeto, bem como documentar a evolução do mesmo (avaliação da implementação); estimar os resultados do projeto a curto e longo prazo (avaliação de resulta- dos) (KELLOGG, 2008). Cada um desses componentes enfoca diferentes aspectos do projeto e devem ser levados em conta enquanto critérios para o planejamento de uma avaliação. Obvia- mente, a ênfase dada a cada um desses componentes irá variar de acordo com a fase em que o projeto se encontre. Em conjunto, esses três componentes podem melhorar a efetividade de um projeto e fomentar a sua permanência e desenvolvimento futuro. A avaliação contextual deve ter como critérios básicos a análise estrutural e subs- tantiva de como as características de uma comunidade e da organização executora de um projeto influenciam diretamente na maneira como este funciona e na capacidade de alcançar suas metas. É preciso compreender quais fatores contextuais exercem influência sobre os êxitos e obstáculosde um projeto. Por exemplo, quando organizações internacionais decidem fazer investimentos em projetos sociais nos países latino-americanos, muitas vezes trazem propostas de replicar ações implementadas nos países do Norte nos países do Sul. Geralmente, essas não dão certo e apresentam resultados negativos nas avaliações, por não se priorizar a análise das diferenças contextuais existentes desde o planejamento até a avaliação dos processos e resultados. Essa questão também pode ser percebida na implementação de projetos do governo federal nas esferas munici- pais, num país com dimensões continentais como o Brasil. Geralmente, são desenha- das ações comuns para todos os contextos e nem sempre essas são implementadas a risca, seja por falta de pessoal, de condições estruturais ou mesmo por questões cultu- rais e contextuais locais. De modo geral, o contexto deve ser avaliado continuamente durante a vida do projeto para: determinar necessidades, atributos e recursos de uma comunidade beneficiá- ria, com a intenção de desenhar uma intervenção relevante e eficaz dentro do contexto da comunidade; Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 114 identificar o ambiente político e o contexto dos serviços ofertados na área de atu- ação do projeto para assim incrementar a probabilidade de que as intervenções elegidas recebam apoio das lideranças e organizações locais (KELLOGG, 2008). Isso faz com que se incremente: o sentido de participação, a comunicação entre os atores sociais e a promoção de novas alianças. Ao se analisar o contexto, salientamos que o projeto social não pode ser uma “camisa de força”, mas que deve ser “lido” e “relido” durante o continuum da ação (CAR- VALHO, 2000). Para isso, Barreira (2000) enfatiza que é preciso patentear o cenário ava- liativo constantemente, acompanhando as mudanças sociais, políticas e espaciais que podem ocorrer ao longo do projeto. Na avaliação da implementação de um projeto incrementam-se as possibilida- des de êxito ao proporcionar indícios sobre o que se passou e por quê. Engloba-se um processo de adaptação do plano ideal às condições reais e locais, às dinâmicas da organização e às incertezas programadas. Busca-se, assim, responder: Quais são os componentes e atividades críticas (implícitos e explícitos) do projeto? Que vínculos existem entre esses componentes, as metas e os efeitos no projeto? Que aspectos do processo de implementação favorecem o êxito ou criam obstáculos para a consecução do projeto? Deve-se incluir como objetivos da avaliação da implementação: incrementar a eficácia das atividades em curso (desde o início do projeto e modificando as atividades iniciais, se necessário); apoiar a continuação do projeto a longo prazo; deixar claro porque se cumprem ou não se cumprem as metas do projeto, au- xiliando nas tomadas de decisão. Além disso, essas avaliações são fonte de informação vital para interpretação de resultados finais, já que documentam para os financiadores o progresso e podem ser usadas para solucionar problemas que se apresentem ao longo do projeto. A lógica é dar mais importância a como se alcançam os objetivos, ao invés de saber apenas se foram alcançados. Caso se desconheça o processo, torna-se quase impossível selecio- nar parâmetros válidos de eficácia ao demonstrar relações causais entre atividades do projeto e os resultados finais (KELLOGG, 2008). A avaliação dos resultados e impactos é outro componente importante para qual- quer plano avaliativo, no sentido que deve responder considerando também o contex- to e o processo de implementação do projeto, os resultados de curto e longo prazo, no que se refere às mudanças ocasionadas. Busca-se, assim, questionar: Quais são os Av al ia çã o e M on ito ra m en to d e Pr oj et os S oc ia is Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 115 Critérios de avaliação para projetos sociais efeitos críticos que se desejam alcançar? Que impacto o projeto exerce sobre seus be- neficiários, pessoal, organização executora, financiador, comunidade? Que impactos não previstos o projeto alcançou? É importante manter uma certa flexibilidade ao realizar uma avaliação de resulta- dos, devido a que os projetos geralmente geram resultados que não aparecem na lista de objetivos propostos inicialmente, principalmente, no caso de intervenções comple- xas e ampla abrangência. Assim, uma avaliação de qualidade deve examinar os resul- tados nos vários níveis do projeto (KELLOGG, 2008). Enfim, considerando os componentes contextuais, de implementação e de resul- tados dos projetos sociais, enfatizam-se três características básicas de uma avaliação: é um processo contínuo e permanente, que abarca o projeto desde sua con- cepção, sua implementação e seus resultados; é um processo participativo, que envolve tanto gestores, equipe executora e beneficiários da ação quanto agentes externos, como especialistas em avalia- ção, parceiros e financiadores; é um processo de aprendizado social, ou seja, deve permitir aos envolvidos no projeto a apropriação reflexiva da ação (CARVALHO, 2000, p. 62). Abordagens de análise e definição de critérios na avaliação dos projetos sociais Cada projeto é único e deve ser avaliado de acordo com os resultados que se pre- tende alcançar. Existem diferentes abordagens e níveis de resultados que devem ser considerados ao planejarmos uma avaliação. Isso faz com que sejam definidos critérios relevantes no processo avaliativo que, conforme explicitado anteriormente, pode estar mais centrado no contexto, na implementação ou nos impactos (centrados nos indiví- duos, nas metas no nível do programa ou sistema, nas metas familiares e comunitárias, nas organizações executoras e financiadoras etc.). Não há uma só maneira de realizar uma avaliação. Essa é sempre uma tarefa difícil e complexa, porque lida com sujeitos sociais, interesses, representações e contextos concretos. Dessa maneira, os projetos e programas sociais possuem uma série de va- riáveis e fatores intervenientes, que dificilmente uma única estratégica avaliativa não tem condições de tratar com profundidade (BARREIRA, 2000). Daí a necessidade de determinar claramente os critérios para avaliar. Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 116 Nas abordagens tradicionais da avaliação de projetos (avaliação quantitativa), influenciadas pelas ciências econômicas, matemáticas e biológicas, há uma demasia- da ênfase em critérios instrumentais, economicistas e estatísticos, para na mensurar e “parametrar” o social, medindo possíveis mudanças ocorridas. Outras abordagens co- locam ênfase na lógica dos atores que movem o projeto nos processos diretivos e na dinâmica de ação, levando a considerar questões mais voltadas para a avaliação qua- litativa (CARVALHO, 2000). Quando falamos em avaliação qualitativa, deve-se atentar que estamos nos referindo não apenas à qualidade técnica e institucional, mas à quali- dade política, principal critério que está em jogo nesse tipo de avaliação (DEMO, 1999). A qualidade política pode ser definida como: [...] o horizonte de participação política, o que permite sair da simples delimitação negativa. Qualidade não pode ser apenas aquilo que não é quantidade, aquela fumaça para além da chaminé, aquela coisa vaga que se pressente não sei onde, não sei como e não sei porquê... Se qualidade é dimensão essencial da realidade social, deve aparecer de alguma forma. E mais: deve ser algo, cuja importância e presença estejam no cotidiano, na vida real, na dor e na alegria. (DEMO, 1999, p. 33) Em ambas as abordagens (quanti e quali) existem vantagens e desvantagens, de- pendendo do contexto e do que se pretende avaliar. Operar num marco avaliatório limi- tado traz muitas consequências para oprojeto e para os atores envolvidos, entre elas: pensar que só há uma maneira de realizar uma avaliação; os paradigmas e suposições específicas influenciam e direcionam as pergun- tas de base que são feitas, bem como o exame das respostas, limitando inter- pretações e conclusões; crer que são insuficientes as intenções de avaliar níveis de mudança nos siste- mas complexos e nas iniciativas comunitárias de amplo alcance; perder de vista os feitos de que todo o trabalho de avaliação é político e carre- gado de valores (KELLOGG, 2008). Para termos avaliações mais equilibradas que ajudem não só a medir a eficácia dos projetos, mas para saber como melhorá-lo e fortalecê-lo é recomendável conhecer e refletir sobre paradigmas e métodos alternativos que se adéquem ao trabalho de avaliação que está sendo proposto de modo que se estabeleçam critérios realmente relevantes para o processo avaliativo. Estabelecer critérios para a avaliação dos projetos significa determinar bases de comparação, julgamento e apreciação das ações e resultados alcançados pelo projeto. Tais critérios dão discernimento ao processo avaliativo fazendo com que se possa dis- tinguir o ideal planejado e o real possível, verificando o nível de aprendizagem obtido com os acertos e com os erros, e equilibrando as necessidades de aferir para comprovar Av al ia çã o e M on ito ra m en to d e Pr oj et os S oc ia is Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 117 Critérios de avaliação para projetos sociais com as necessidades de melhorar. Assim, na atualidade, tem se valorizado processos avaliativos mais completos e pluralistas, conforme afirma Carvalho (2000, p. 64): [...] uma tendência em valorizar concepções mais abrangentes e totalizantes de avaliação no campo social, uma avaliação que busque apreender a ação, sua formulação, implementação e impactos. Uma avaliação que busque captar a inter-relação entre sistemas de ação e lógica dos atores. Não mais uma avaliação apenas de resultados, mas também de processos. Não mais uma avaliação que apenas mensura quantitativamente os benefícios e malefícios de uma política ou programa, mas que também qualifica as decisões, processos, resultados e impactos. Ou seja, há certo consenso que se deve articular e combinar avaliações que re- sultem em abordagens mais pluralistas e contextualizadas, que busquem fazer uma leitura mais ampla da realidade. É nesse âmbito que tem crescido o uso de avaliações de síntese e meta-análises3 em detrimentos dos estudos focais e pontuais, obviamente sem descartar estes, já que são uma das melhores formas para obter e agregar informa- ções avaliativas. Os estudos quantitativos tendem a novos enfoques, integrando múl- tiplos estudos avaliativos (BARREIRA, 2000). A seguir, apresenta-se um quadro síntese adaptado por Carvalho (2000), mostrando características das diferentes abordagens de avaliação, os tipos de metodologias utilizadas, formas de coleta de dados e papel do avaliador: Tipos de abordagem Metodologias de avaliação Coleta de dados Papel do avaliador QUANTITATIVA Centrada no sistema de ação metodologias apoia- das em estatísticas e na experimentação controlada; esquema explicativo hipotético-dedutivo. ênfase em instru- mentos de medição quantitativa; definição de indica- dores de resultado. avaliação externa; papel de expert. QUALITATIVA Centrada na lógica dos atores metodologias apoia- das na análise de processos sociais; pesquisa-ação; esquema interpreta- tivo de compreensão de dinâmicas. ênfase na coleta de dados qualitativos (os processos em jogo) por meio de observação, histórias de vida, entrevistas, estudos de casos etc.; observação, registro e descrição de fatos significativos. autoavaliação as- sistida dos sujeitos envolvidos (sujeito coletivo); papel facilitador em relação aos sujeitos envolvidos. 3 Essas são abordagens que tratam da avaliação da avaliação. Em muitos casos e principalmente em alguns projetos sociais desenvolvidos por órgãos públicos, há uma grande quantidade de avaliações destes, feitas por avaliadores externos e internos. Para tomada de decisões é preciso sintetizar e sistematizar considera- ções desses processos avaliativos e realizar meta-análises que vão além das conclusões iniciais, traduzindo uma visão crítica sobre as avaliações realizadas. Ad ap ta çã o de q ua dr o ap re se nt ad o po r P A C am br id ge E co no m ic Co ns ul ta nt s, Ev al ua tio n fo r G oo d Pr oj ec t M an ag em en t. G rã -B re ta nh a, 19 90 (C A RV A LH O , 2 00 0, p . 6 4. A da pt ad o. ) Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 118 PLURALISTA Centrada nas relações entre o sistema de ação e a lógica dos atores metodologias de avaliação apoiadas nas mudanças pro- gramadas (políticas públicas, programas); pluralidade de abordagens para apreender e aferir processos, resultados e impactos de políti- cas e programas. ênfase na coleta de dados quantitativos e qualitativos; definição de indica- dores de processos (aferidos durante a gestão e execução do processo) e de resul- tados (aferidos para verificar o nível de mudança alcançado); utilização de múltiplos instrumentos de cole- ta de dados, incluindo a observação. coavaliação entre categorias e atores implicados; papel de mediador. Na abordagem quantitativa, percebe-se que prevalece uma maior preocupação com o sistema de ação movido pelo projeto, no sentido da quantificação de metas e resultados, buscando mensurar o social por meio de índices numéricos. Já na aborda- gem qualitativa, enfatiza-se a lógica estabelecida pelos diferentes atores que movem o projeto (executores, projeto, financiadores, parceiros, beneficiários etc.), que imprimem direção e dinâmica à ação. Já na abordagem pluralista, percebe-se a busca por uma inter-relação entre os métodos quantitativos e qualitativos, bem como para avaliar os processos (meios) e os resultados (fins) do projeto. Ou seja, “não mais uma avaliação que apenas mensura quantitativamente os benefícios ou malefícios de uma política ou programa, mas que também qualifica decisões, processos, resultados e impactos” (CARVALHO, 2000, p. 64). Tende-se, assim, a uma perspectiva multidisciplinar, mais totalizante e pluralista, envolvendo aportes estatísticos combinados com métodos e técnicas do âmbito das ciências sociais, que buscam informar e aprimorar a gestão das ações e mudanças sociais. Em todas as abordagens de análise, os distintos tipos de avaliação contemplam critérios-base que permitem estabelecer suas conclusões. Em função da área de atua- ção do projeto (educação, saúde, assistência social, geração de trabalho e renda etc.) e da organização que o executa, se determinam os critérios de avaliação que guar- dem relação com os objetivos estratégicos da organização e os objetivos específicos do projeto. Não existem critérios únicos e estes surgem em função das especificidades de cada projeto. Porém, pela tradição gerencialista da avaliação, de modo geral, há um consenso teórico sobre a necessidade de se avaliar a eficiência, eficácia e efetividade de qualquer que seja o projeto social. Av al ia çã o e M on ito ra m en to d e Pr oj et os S oc ia is Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 119 Critérios de avaliação para projetos sociais Eficiência A análise da eficiência indica o modo como se organiza e emprega os recursos disponíveis para implementação do projeto. Esse critério sempre é um dos principais nas análises com o foco restrito à aplicação de recursos e avaliação da relação custo- -benefício. De modo geral, ser eficiente num projeto “é fazer mais com menos recur- sos”.Ou seja, essa noção está muito atrelada à produtividade. Essa lógica é bastante atrelada à noção de probidade na utilização dos recursos públicos, uma vez que há ar- gumentações que esses são escassos e há necessidade de racionalização do uso, o que de fato, é verdadeiro. Uma pergunta típica para aferir a eficiência é: podem os recursos ser reduzidos e se obter o mesmo nível de resultados ou um melhor resultado pode ser obtido com o aumento de recursos? Deve-se atentar para uma noção mais ampla desse conceito, no que diz respeito aos processos de gestão como um todo, bem como a capacidade de mudança e adap- tação contextual que um projeto pode passar. Assim, deve-se potencializar e raciona- lizar o uso de recursos financeiros, materiais e humanos para alcançar a eficiência. Ou seja, executar as ações da melhor maneira possível de modo racional, democrático e transparente. Eficácia Quando falamos de eficácia de um projeto há referência ao alcance dos objetivos finalísticos deste. Diz respeito a averiguar em que medida os objetivos e metas propos- tas foram alcançadas. Para Cohen e Arato (1994, p. 102), “operacionalmente a eficácia é o grau em que se alcança os objetivos e metas do projeto na população beneficiária, em um determinado período de tempo, independente dos custos implicados”. Este é um dos critérios mais utilizados, considerando a tradição em realizar avaliações soma- tivas, baseadas nos fatores metas e tempo. São questões básicas para aferir a eficácia: Até que ponto os objetivos e metas do projeto foram alcançados? Aplicou-se os ins- trumentos previstos de modo adequado? Como ser mais eficaz? Essas são questões típicas de avaliações ex-post, ou seja, avaliações que ocorrem ao término do projeto. Observa-se que progressivamente tem-se enfatizado a necessidade da avaliação da eficácia em projetos sociais executados por organizações governamentais e não governamentais, com vistas a socializar o debate sobre o cumprimento de metas. Porém, deve-se atentar à forma de utilização dos resultados dessas avaliações, princi- Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 120 palmente, quando enfatizam dados quantitativos isoladamente, para que não repre- sentem apenas fundamentos para discursos políticos visando promoções individuais ou institucionais junto a financiadores ou beneficários dos projetos/programas. Efetividade A efetividade diz respeito a realização da ação adequada para transformar a situ- ação existente. Para Lopez (apud Cohen e Arato, 1994, p. 107), a efetividade “expressa o resultado concreto – ou as ações conduzentes a esse resultado concreto – dos fins, objetivos e metas desejadas”. Muitas vezes esse conceito se assemelha ao de eficácia, porém, está diretamente relacionado aos impactos do projeto, vistos pelo grau de al- cance dos objetivos (eficácia) e pelos seus processos (eficiência). Rua (2008) define a efetividade como “a capacidade de maximizar a eficácia e a eficiência”. Ou seja, o que realmente se muda/transforma com uma dada intervenção social. São questões comuns ao se adotar tal critério: até que ponto o projeto é capaz de realizar mudanças positivas, qualitativas, significativas e duradouras? Carvalho (2000) salienta que, para avaliar a efetividade de um projeto, torna-se necessária a adoção de uma perspectiva comparativa entre o “antes” e o “depois”. Esse tem sido um dos desafios na realização de avaliações sobre efetividade. Além dos tradicionais critérios de eficiência, eficácia e efetividade, evidencia-se na atualidade os referentes à sustentabilidade, à capacidade de financiamento das ações, à equidade, à replicabilidade, à pertinência e à suficiência, entre outros. A seguir, abor- daremos cada um desses critérios, considerando que na atualidade são os mais recor- rentes nos processos avaliativos definidos por financiadores e parceiros nos projetos. Além disso, demonstram com maior concretude, quais os impactos gerados a partir de uma dada intervenção social. Sustentabilidade Esse é um conceito que surge no âmbito ambiental, no sentido de preservar o presente para garantir a existência das gerações futuras. No âmbito organizacional e dos projetos sociais houve certa focalização e consequente distorção do seu enten- dimento para a capacidade do projeto se “autossustentar” financeiramente, gerando recursos próprios. Esse inclusive é um dos principais critérios estabelecidos por vários financiadores. Porém, a sustentabilidade deve ser vista e analisada como um critério multidimensional que abarca, além da dimensão financeira (ter recursos suficientes para o desenvolvimento do projeto), as seguintes dimensões: Av al ia çã o e M on ito ra m en to d e Pr oj et os S oc ia is Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 121 Critérios de avaliação para projetos sociais técnica (metodologias de trabalho efetivas, capacidade de aprendizado orga- nizacional etc.); política (inserção da organização/projeto em espaços políticos, controle social etc.); humana (qualificação dos recursos humanos, sensibilidade as questões so- ciais etc.); institucional, ambiental e social, que devem ser observadas em seu conjun- to durante um processo de avaliação (ARAÚJO, 2007). Um projeto é sustentável no momento em que os resultados e mudanças posi- tivas para os beneficiários e organizações envolvidas no processo perduram mesmo após finalizado o prazo da intervenção. Ou seja, é a capacidade de manter ou expan- dir os resultados obtidos, para além da intervenção pontual realizada, desencadeando outras mudanças sociais, vindo inclusive a mudar as demandas as quais inicialmente o projeto pretendia atender. Capacidade de financiamento das ações A capacidade de financiamento das ações de um projeto diz respeito à verificação da compatibilidade dos dispêndios previstos com a previsão e capacidade de mobili- zação de recursos. Nesse caso, muitas vezes, são propostas ações que do ponto de vista técnico são muito importantes e gerariam impacto, porém, no ponto de vista financei- ro são inviáveis. Quando isso ocorre, sendo os recursos financiados insuficientes para todas as ações, o comportamento adequado deve ser: aumentar e diversificar o número de parcerias; cortar e/ou reduzir as metas das ações de menor prioridade, tendo cuidado, neste caso, de rever os objetivos para que estes não sejam comprometidos. Assim, devem-se observar, principalmente, aquelas que não comprometem o cronograma de realização e não se constituem em prerrequisito para a execu- ção de outra ação. (SANTOS et al., 2001) Equidade Diz respeito à “satisfação das necessidades básicas da população ordenadas de acordo com o grau de urgência relativa de cada situação social específica” (LOBATO, 2008). É a contribuição efetiva do projeto para a redução de assimetrias sociais, com Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 122 vistas a conseguir maior justiça social, geração de trabalho e renda justos, seguros e benefícios sociais etc. De modo geral, também diz respeito a tratar diferentemente os indivíduos e situações diferentes, em virtude dos contextos em que se encontrem. Esse é um importante critério, que muitas vezes não é explicitado nos projetos nem nos processos avaliativos e deve ser cuidadosamente analisado do ponto de vista da qualidade política da intervenção. Replicabilidade Replicabilidade ou reaplicabilidade diz respeito à viabilidade de utilização da me- todologia desenvolvida no projeto em outros ambientes, considerando as adaptações contextuais necessárias. Esse é um dos critérios expressos na atualidade na maioria dos editais de financiamento, geralmente também atrelado a noção de sustentabilidade e da geração das chamadas tecnologias sociais. Segundo a Fundação Banco do Brasil(FBB, 2009): “Tecnologia Social compreen- de produtos, técnicas ou metodologias reaplicáveis, desenvolvidas na interação com a comunidade e que representem efetivas soluções de transformação social”. As tec- nologias sociais podem aliar saber popular, organização social e conhecimento técni- co-científico. Importa essencialmente que sejam efetivas e reaplicáveis, propiciando desenvolvimento social em escala. São exemplos de tecnologia social: o clássico soro caseiro (mistura de água, açúcar e sal que combate a desidratação e reduz a mortalida- de infantil); as cisternas de placas pré-moldadas que atenuam os problemas de acesso à água de boa qualidade à população do semi-árido, entre outros. Há, na atualidade, uma demanda patente dos financiadores para que os projetos necessariamente gerem tecnologias sociais. Pertinência e suficiência A pertinência ou relevância do projeto é um critério que consiste em analisar se as ações são perfeitamente compatíveis com os objetivos do projeto, as reais neces- sidades do público-beneficiário e os interesses da organização executora e parceiros (consenso social). Deve-se observar a congruência entre os objetivos do projeto e as necessidades do público beneficiário deste. Uma ação descolada dos objetivos não agrega valor ao projeto, constituindo-se em estorvo para seu gerenciamento e em custo desnecessário. Por exemplo, boa parte dos projetos voltados para geração de trabalho e renda preveem ações de capacitação e formação. Deve-se avaliar se esses cursos realmente atendem à demanda local de mão de obra ou que os beneficiários já fizeram, ou seja, se são pertinentes. Av al ia çã o e M on ito ra m en to d e Pr oj et os S oc ia is Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 123 Critérios de avaliação para projetos sociais Entende-se como suficiência a necessidade de verificar se o conjunto das ações é realmente suficiente (efetivo) para o alcance dos resultados pretendidos. Aproveitan- do a lógica do exemplo anterior, a suficiência estaria atrelada, por exemplo, à verifica- ção de se o conjunto de cursos ofertados foi suficiente para qualificar o trabalhador de modo que possa ser incluído no mercado de trabalho. Estes critérios são bastante utilizados nas avaliações ex-ante4 e são de extre- ma importância, considerando o atual contexto de dificuldades para consecução de recursos para os projetos. Neste sentido, muitas vezes as organizações se subme- tem a executar projetos “enlatados” com ações previamente definidas, ou mesmo a criar situações hipotéticas extremas para conseguir os recursos. Ou seja, há uma adequação da organização para aquilo que está sendo “ofertado” pelo financiador. Por exemplo, em casos de projetos demandados por programas governamentais em que boa parte das ações já são previamente definidas, a organização tende a se ade- quar – mesmo que tais ações não sejam tão pertinentes em um dado contexto – para conseguir o financiamento. Dilemas e desafios na definição de critérios para a avaliação de projetos sociais Os critérios vistos e explicados anteriormente são os mais usuais principalmen- te no âmbito dos modelos propostos nas seleções de projetos a serem apoiados por órgãos públicos, agências internacionais e empresas (investimento social privado). Um dos primeiros dilemas a serem vencidos é que apesar de muito se pregar sobre o desenvolvimento de uma cultura de avaliação, principalmente participativa e qualitativa, na prática observa-se que a determinação de critérios é quase sempre unilateral, devendo as organizações proponentes ou executoras de projetos sociais se adequarem a estes. Além disso, a maior parte dos critérios, dependendo do financiador, ainda segue lógicas quantitativas, baseadas na relação custo versus benefício, embora mesclado com alguns condicionantes qualitativos, políticos e ideológicos. Obviamente, é preciso que realmente haja determinação de critérios por parte dos financiadores e parceiros, a fim de conseguir estabelecer padrões mínimos de seleção dos projetos e organiza- ções, evitando possíveis desvirtuamentos. 4 Considera-se como avaliação ex-ante, aquela realizada antes da execução do projeto visando conhecer o “marco zero” deste, os problemas a serem enfren- tados, o contexto em que se pretende realizar a intervenção e o perfil do público beneficiário. Ou seja, é uma avaliação diagnóstica que subsidia a própria elaboração e justificativa do projeto, servindo para identificar a capacidade do projeto para mudar os problemas, a viabilidade e coerências deste. Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 124 Pouco ainda se vê em termos de discussões conjuntas entre financiadores e exe- cutores de projetos sobre a escolha de critérios de avaliação adequados aos diferentes contextos dos problemas sociais. Isso é demonstrado, por exemplo, pelos financiado- res não apoiarem processos de avaliação ex-ante aos proponentes-executores de pro- jetos. Assim, o que acaba ocorrendo é que os proponentes apenas seguem roteiros de elaboração de projetos previamente estabelecidos, com critérios de avaliação, pre- enchendo-os muitas vezes apenas de modo a “cumprir tabela”. Assim, deve-se buscar estabelecer critérios avaliativos de modo mais equânime e participativo, com base nas di- ferentes realidades locais. Outro dilema diz respeito à vastidão ou abstração de alguns objetivos definidos nos projetos, não havendo consenso sobre como avaliá-los. Comumente alguns obje- tivos dos projetos e programas sociais trazem enunciados desejos de transformação social para comunidades, famílias e população em geral voltados para: “melhorar a qualidade de vida”, “desenvolver (resgatar) a autoestima”, “promover a cidadania”, entre outros. As intervenções sociais buscam minimizar ou extinguir situações-problemas consideradas mais subjetivas e de difícil avaliação do ponto de vista racional-instru- mental. Assim, sempre é emblemático avaliar mudanças nas vidas das pessoas no que diz respeito à autoestima, ao grau felicidade e alegria, ao prazer de viver, ao senso de justiça social etc. O desafio consiste, portanto, em conseguir compatibilizar nos proces- sos avaliativos a ênfase nos critérios instrumentais-gerenciais mais tradicionais (efici- ência, eficácia e efetividade) com os critérios que demandam questões mais subjetivas e substantivas. Nesse sentido, coloca-se enquanto desafio para as organizações executoras de projetos a construção de indicadores qualitativos que sejam adequados. Um bom exemplo nesse sentido é seguido pelo Centro Popular de Cultura e Desenvolvimento (CPCD), ONG de Belo Horizonte, fundada e dirigida pelo educador Tião Rocha em 1984, que decidiu criar seus próprios indicadores. Como questiona: Se entre os objetivos específicos de nossos projetos apareciam “desenvolvimento de autoestima”, “socialização”, “aprendizagem lúdica”, “alegria”, “prazer”, como podíamos medir concretamente o alcance desses objetivos? [...]. Quais seriam, por exemplo, os indicadores de felicidade? (ROCHA, 2009) O CPCD estabeleceu seus 12 indicadores, enfatizando critérios próprios adequa- dos a realidade local dos projetos, explicitados no texto complementar deste capítu- lo. Dez anos depois, os indicadores da ONG são uma referência em monitoramento e avaliação e têm sido usados por outras organizações e até empresas. Na área da saúde, a tecnologia social também é aplicada nos institutos de psiquiatria da Universidade Federal do Rio de Janeiro e do Hospital São Francisco. Outros exemplos neste sentido podem ser vistos, como o caso dos critérios cria- dos por ONGs como o Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária (CENPEC) e a Ação Educativa, para a avaliação de ações educacionais. Av al ia çã o e M on ito ra m en to d e Pr oj et os S oc ia is Este material é parte integrantedo acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 125 Critérios de avaliação para projetos sociais Devemos, por fim, destacar que os desafios no estabelecimento de padrões ava- liativos dizem respeito à equalização necessária entre os diferentes tipos de critérios po- líticos, técnicos e financeiros. Achar que prevalece apenas um tipo de critério em de- trimento de outros na escolha para apoio aos projetos sociais é ingenuidade. Assim, é preciso compreender os contextos e possibilitar que executores e financiadores de projetos busquem conjuntamente priorizar a clara definição dos critérios de avaliação de modo a trazer à tona uma visão mais substantiva da realidade. Texto complementar IQP – Indicadores de Qualidade de Projeto (ROCHA, 2009) A equipe de educadores do CPCD sempre trabalhou seus programas de edu- cação popular e de desenvolvimento comunitário, assim como seus projetos espe- cíficos – “Sementinha”, “Ser Criança”, “Bornal de Jogos”, “Fabriquetas Comunitárias”, “Agentes Comunitários de Educação” etc. – como processos de permanente apreen- são, compreensão e devolução. Uma das maiores dificuldades que enfrentávamos era em relação ao quesito “indicadores de avaliação” dos nossos projetos. Este problema (que não era só nosso, mas ainda aflige e compromete o tra- balho das ONGS e da maioria dos projetos sociais e de intervenção comunitária) passou a ser um desafio permanentemente enfrentado pela equipe. Entre as muitas questões que formulávamos, destacamos algumas: – Se entre os objetivos específicos de nossos projetos apareciam “desen- volvimento de autoestima”, “socialização”, “aprendizagem lúdica”, “alegria”, “prazer etc. como podíamos medir (mensurar ou aferir) concretamente o alcance (ou não) destes objetivos? Se houve aumento ou diminuição da autoestima? O grau e a qualidade de socialização alcançada? Os indicado- res de felicidade? etc. Não havia indicadores elaborados e concretos para medir os chamados “obje- tivos intangíveis”. Por outro lado, havia (e ainda há) por parte das agências financiadoras de proje- tos uma crítica à falta de critérios palpáveis e tangíveis nos projetos sociais. Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 126 E para se defender, a maioria das ONGs se escondia atrás do discurso dos “obje- tivos intangíveis” dos projetos sociais. Resolvemos encarar de frente este desafio. Foi por isso que começamos a construir os nossos próprios indicadores. Num primeiro momento, e lá se vão alguns anos, buscamos, junto com os edu- cadores, na observação diária e sistemática de nossas crianças e jovens, os peque- nos avanços e respostas (sorriso X choro, envolvimento X desinteresse, limpeza X sujeira, delicadeza X agressividade etc.). Essas questões surgiam em nossas memórias de campo e relatórios técnicos e avaliações. Aos poucos, fomos formando uma massa crítica, constituída de elemen- tos que apontavam (indicavam) se os objetivos propostos estavam ou não sendo alcançados e como. Surgiram assim o que denominamos de os “microindicadores”. À guisa de exemplo: são indicadores de autoestima, o cuidado com o corpo (cabelos pentea- dos, constância dos banhos, uso de batom etc.) o cuidado com as roupas e os ob- jetos pessoais, as pequenas vaidades, a busca de uma melhor estética, a expressão de opinião e de gostos, o protagonismo na roda, a disponibilidade para ajudar e participar de ações coletivas, a relação sorriso X choro etc. Todos esses elementos palpáveis e perceptíveis no dia a dia formavam um in- dicador mensurável. Assim fizemos com todos os objetivos específicos: a aprendiza- gem, a socialização, a cidadania, a participação. Esse acúmulo de experiências e reflexões nos mostraram que podíamos desta base, construir “macroindicadores” que pudessem balizar nossos projetos. Depois de muito trabalho, conseguimos, por consenso (e isto é o mais importante) chegar a 12 (doze) índices. Nós os chamamos de Indicadores de Qualidade de Projeto. Segundo nossa perspectiva, se pudéssemos medir (e aferir concretamente) esses índices em nossos projetos, poderíamos afirmar se temos ou não um projeto de “qualidade”. Dessa forma, o conceito de qualidade praticado pelo CPCD passou a ser for- mado pela somatória e interação de 12 índices, que se completam, mas podem ser observados e mensurados individualmente: Apropriação – equilíbrio entre o desejado e o alcançado. Av al ia çã o e M on ito ra m en to d e Pr oj et os S oc ia is Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 127 Critérios de avaliação para projetos sociais Esse indicador nos convida a dar tempo ao tempo, a não fazer do estresse um instrumento de ensino forçado, a respeitar o tempo de aprendizagem e o ritmo de metabolização do conhecimento de cada um. Coerência – relação teoria/prática. Esse indicador nos aponta a importância da relação equilibrada entre o co- nhecimento formal e acadêmico e o conhecimento não formal e empírico. Mostra-nos que ambos são importantes porque são relativos, nenhum su- perior ao outro, mas complementares. Cooperação – espírito de equipe, solidariedade. Esse indicador nos instiga a “operar com” o outro, nosso parceiro e sócio na mesma empreitada que é o ato educativo, incluindo a dimensão da soli- dariedade como base humana dos processos de ensino-aprendizagem, to- mando o outro criança ou adolescentes, como fundamental para a Educa- ção ser algo plural. Criatividade – inovação, animação/recreação. Esse indicador nos provoca a criar o novo, a descobrir os caminhos obsole- tos, a ousar andar na contra-mão do academicismo pedagógico “bolorento”, a buscar soluções criativas e inovadoras, para resolver velhos problemas. Dinamismo – capacidade de autotransformação segundo as necessidades. Esse indicador propõe que nos vejamos sempre como seres repletos de ne- cessidades e em permanente busca de complementaridade. Viemos ao mun- do para ser completos e não para ser perfeitos, que é atribuição do Divino. Eficiência – identidade entre o fim e a necessidade. Esse indicador nos convida a equilibrar as nossas energias, adequando os meios e recursos aos fins propostos. “Aprender a ser, aprender a fazer, aprender a conhecer e a aprender a conviver” são os quatro pilares da aprendizagem. Estética – referência de beleza. Esse indicador fala-nos do bom gosto e da busca do lado luminoso da vida. Se “a estética é a ética do futuro”, segundo Domenico de Masi, precisamos reconstruir o conceito de estética que incorpore a luminosidade de todos os seres humanos, fontes e geradores de luz e de beleza. Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 128 Felicidade – sentir-se bem com o que temos e somos. Esse indicador aponta-nos para a intransigente busca do ser feliz (e não do ter feliz), como razão principal do existir do ser humano. Harmonia – respeito mútuo. Esse indicador nos conclama a compreensão e a aceitação generosa do outro (meu igual, mas diferente) como contraparte do nosso processo de aprendizagem permanente e a incorporar os tempos passados e futuros ao nosso presente. Oportunidade – possibilidade de opção. Esse indicador nos apresenta o conceito contemporâneo de desenvolvimen- to (=geração de oportunidades) como meio e alternativa de construção de capital social. Quanto mais oportunidades formos capazes de gerar para as crianças e adolescentes participantes de nossos projetos, mais opções, eles (e elas) terão para realizar suas potencialidades e suas utopias. Protagonismo – participação nas decisões fundamentais. Esse indicador nos fala de nossa possibilidade sempre presente para assu- mir os desafios, romper barreiras, ampliar os limites do possível, disponi- bilizar nossos saberes-fazeres-e-quereres, estar a frentedo nosso tempo e participar integralmente da construção dos destinos humanos. O que cada um pode fazer? Queremos ser protagonistas de que peça, de que escola, de que país, de que sociedade? Transformação – passagem de um estado para outro melhor. Esse indicador traduz a nossa missão de passageiros pelo mundo, de in- quilinos do “Paraíso”, de propiciadores de mudanças, cuja responsabilidade é deixar para as gerações presentes e futuras, um mundo melhor do que aquele que encontramos e o que recebemos de nossos antecessores. A partir dessa matriz, elaboramos uma série de perguntas. A ideia era (e é) formular tantas perguntas quantas sejam necessárias para levar o participante (edu- cador, criança, jovem e pais) a perceber nas atividades do projeto a presença (quali- tativa) e o grau da presença (quantitativa) do índice. Av al ia çã o e M on ito ra m en to d e Pr oj et os S oc ia is Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br 129 Critérios de avaliação para projetos sociais Após responder a essa bateria de questões sobre cada índice, o participante dá uma nota (de zero a dez) para este quesito. Foi assim que construimos o IQP. Ele é realizado em cada um de nossos proje- tos, tomando uma mostragem equitativa e representativa dos participantes – edu- cadores, pais e crianças e jovens, considerando inclusive a questão de gênero. O IQP, já no seu sétimo ano de aplicação sistemática, transformou-se em efi- ciente tecnologia educacional, pois nos possibilita, a partir da leitura e análise dos indicadores de avaliação, contextualizá-los e percebê-los como estão sendo introjeta- dos e metabolizados no fazer e saber-fazer dos nossos educadores, possibilitando-lhes um novo olhar sobre a própria prática. Atividades Pelo histórico da avaliação dos programas e projetos sociais no Brasil verifica-1. mos que há uma ênfase nos critérios mais gerenciais-intrumentais, com foco voltado para aferir eficiência, eficácia e, mais recentemente, a efetividade. Na atualidade, tem se dado importância para outras abordagens avaliativas, dentro de uma lógica mais pluralista e multidisciplinar. Isso vem ocorrendo devido: à necessidade de focar atenção nos resultados e na avaliação institucional da a) organização que executa o projeto para avaliar sua capacidade de respostas às demandas dos beneficiários das ações dos projetos. à necessidade de quantificar as questões mais subjetivas na avaliação, de modo b) que possa ocorrer uma avaliação mais profunda dos resultados dos investimen- tos feitos por órgãos públicos e privados para a transformação social. à complexidade dos contextos sociais que exige análises centradas nas rela-c) ções entre os sistemas de ação e a lógica dos atores, buscando quantificar e qualificar benefícios, decisões, processo, resultados e impactos. à complexidade da gestão das organizações executoras dos projetos e programas d) sociais que tem que comprovar resultados no nível micro de intervenção social. Este material é parte integrante do acervo do IESDE BRASIL S/A., mais informações www.iesde.com.br