Baixe o app para aproveitar ainda mais
Prévia do material em texto
Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 1 VISÃO GERAL Breve resumo Esse pacote de ferramentas lida com os elementos básicos para se inserir e utilizar um sistema de avaliação e monitoramento para um projeto ou uma organização. Ele esclarece o que monitoramento e avaliação são, como planejar a sua execução, como desenhar um sistema de monitoramento e como criar um processo de avaliação que associe tudo isso de uma maneira útil. Ele analisa como coletar informações, evitando que você se afogue numa análise de dados relativamente descabida ou excessiva em informações desnecessárias. Por fim, este pacote suscita e tenta aplicar diretamente sua fórmula a alguns dos tópicos a serem revigorados com base no que foi ensinado. Por que um pacote detalhado de ferramentas para monitoramento e avaliação? Se você não se importa com a maneira como conduz seu trabalho ou qual o impacto têm suas atitudes, por que se importar com qualquer outra coisa? Avaliação e monitoramento possibilitam analisar a qualidade e o impacto de seu trabalho em relação ao seu plano de ação e seu plano estratégico. Para que a avaliação e o monitoramento sejam realmente válidos, você precisa ter planejado corretamente. Um planejamento correto é tratado com detalhes em outros pacotes de ferramentas nesta mesma página da internet. Quem deve se utilizar deste pacote de ferramentas? Este pacote será útil ao leitor e leitora interessados na eficiência, na eficácia e no impacto de seus trabalhos em um projeto ou em uma organização. Quando este pacote será útil? Este pacote será útil quando: � Você estiver estruturando sistemas para a coleta de dados durante as fases de planejamento de um projeto ou uma organização; � Você quiser analisar os dados coletados através de um processo de monitoramento; � Você estiver interessado em descobrir como está a eficiência e a eficácia de seu trabalho; � Você atingir um estágio de seu projeto ou um período na vida da sua organização, no qual imagine ser útil avaliar o tamanho do impacto do trabalho que está obtendo; � Doadores solicitam uma avaliação externa de sua organização e/ou trabalho. Ainda que haja uma tendência de enxergar em organizações de sociedade civil uma avaliação como algo que acontece quando um doador insiste em ter uma, de fato, uma avaliação e um monitoramento são ferramentas imprescindíveis de trabalho. Sem uma noção de como se está caminhando em relação a indicadores e metas, os recursos terminam sendo desperdiçados e não modificam a situação inicialmente identificada. O monitoramento e a avaliação habilitam para que se faça essa análise corretamente. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 2 VISÃO GERAL Pg. 1 PRINCÍPIOS BÁSICOS Pgs. 2-40 MELHORES PRÁTICAS Pgs. 41-46 RECURSOS Pg. 49 GLOSSÁRIO Pgs. 50-52 Exemplos Planejamento para Monitoramento e Avaliação pg. 11 O que é Monitoramento e Avaliação? Pgs. 3-4 Estruturando um processo de monitoramento e/ou avaliação pg. 19 Analisando Informações pg. 35 Tomando atitudes pgs. 36 Por que fazer Monitoramento e avaliação? Pgs. 4-5 Tipos diferentes de informação – quantitativa e qualitativa pg. 16 O que queremos saber? pg. 12-15 Relatório pg. 37 Mais informações a respeito de monitoramento e avaliação – o que está envolvido e suas diferentes ligações pgs. 6-10 Como obteremos a informação? pg. 17 Estudo de Caso: Desenhando um sistema de Monitoramento pgs. 44-46 Quem deve estar envolvido? Pg. 18 Propósito pg. 24 Questões centrais para a avaliação pg. 25 Coletando Informações p. 27 Metodologia pg. 26 Diretrizes e controles de dano pg. 28-29 Métodos pgs. 30-33 Aprendendo pg. 39 Tomada de decisões eficazes pg. 40 Lidando com contrariedades pg. 41 Exemplos de indicadores pgs. 42-43 Indicadores Avaliação pg. 23 Monitoramento pg. 20-22 Formato do Relatório de Campo pgs. 47-48 Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 3 PRINCÍPIOS BÁSICOS O que é monitoramento e avaliação? Por mais que a expressão “monitoramento e avaliação” tenda a ser escrita como se as duas coisas parecessem uma única coisa, monitoramento e avaliação são de fato, duas formas distintas de atividades organizacionais, relacionadas, porém jamais idênticas. O Monitoramento é uma coleta sistemática e uma análise da informação de como um projeto progride. É criado para melhorar a eficiência e a eficácia de um projeto ou organização. É baseado em metas e atividades dirigidas durante as fases de planejamento do trabalho. Auxilia a manter o trabalho em sua linha geral e possibilita ao gerenciamento identificar quando as coisas não estão andando corretamente. Se utilizado corretamente, torna-se uma ferramenta inestimável para um bom gerenciamento e fornece uma base de avaliação muito útil. Habilita saber se os recursos estão sendo bem utilizados e se serão suficientes para o que está sendo feito; se sua capacidade de trabalho é suficiente e apropriada; e se você está realizando aquilo que planejou fazer (verifique também o pacote de ferramentas para o planejamento de ações). A Avaliação é a comparação do real impacto do projeto em relação ao planejamento estratégico estudado anteriormente. Averigua o que foi formulado para ser realizado com o que foi feito e como isso foi alcançado. Pode ser formativa (sendo elaborada ao mesmo tempo em que ocorre o projeto ou existe a organização, com a intenção de melhorar a estratégia ou a forma do funcionamento de um projeto ou organização). E pode também ser resumida (aferindo aspectos de ensinamentos para um projeto finalizado ou uma organização que deixou de existir). Uma vez, uma pessoa descreveu a diferença entre os dois como sendo a diferença entre uma avaliação médica geral e uma autópsia! O que a avaliação e o monitoramento têm em comum é que ambos são estruturados durante o aprendizado do que se está fazendo e como se está fazendo, focalizando: � Eficiência � Eficácia � Impacto A Eficiência diz que o insumo empreendido em seu trabalho é apropriado em termos de resultados. Isso pode ser insumo em termos de dinheiro, tempo, equipe, equipamento e assim por diante. Quando você trilha um projeto e está preocupado com sua replicabilidade, ou com a maneira como ele se desenvolverá numa projeção de escala (veja o Glossário), então, é muito importante que se tenha o elemento de eficiência corretamente. Eficácia é a medida de extensão do qual um programa de desenvolvimento ou projeto alcança com os objetivos específicos que traçou para si. Se, por exemplo, foi traçado melhorar as qualificações de todos os professores de segundo grau de uma determinada área, nós conseguimos? Impacto diz se o que você realizou fez ou não alguma diferença em relação ao problema da situação que você tentou solucionar. Em outras palavras, sua estratégia foi útil? Houve uma melhora, ao final de contas, na taxa de aprovação dos alunos no final do ano quando se assegurou uma maior qualificação dos professores? Antes de se decidir por crescer ou Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 4 duplicar o projeto você precisa estar certo de que o que está sendo realizado está fazendo sentido nos termos do impacto que se quer atingir. A partir disso, deveria estar claro que o monitoramentoe avaliação são mais bem realizados quando foi estruturado previamente um planejamento que vislumbre seus alcances e progressos. Existem três pacotes de ferramentas que lidam diretamente com relação a isso – a visão geral de planejamento, um planejamento estratégico e um planejamento de ação. Nesta seção, analisamos com mais profundidade ‘por que fazer uma avaliação e um monitoramento?’ e ‘mais a respeito de monitoramento e avaliação’, e o que isso envolve. Isso inclui uma discussão das diferentes abordagens de monitoramento e avaliação e o que pensar a respeito de quando se utiliza um avaliador externo. POR QUE FAZER MONITORAMENTO E AVALIAÇÃO? O monitoramento e a avaliação habilitam que se averigúe o “ponto fundamental” (consulte o Glossário) de um desenvolvimento de trabalho: Não, “estamos tendo lucro?”, mas “estamos fazendo a diferença?”. Através de monitoramento e avaliação, pode-se: � Revisar o progresso; � Identificar os problemas em planejamento e/ou implementação; � Promover ajustes para que se possa mais fortemente “fazer a diferença”. Em muitas organizações, “monitoramento e avaliação” é alguma coisa vista mais como uma requisição de doadores do que uma ferramenta de gerenciamento. Doadores certamente têm todo o direito de saber se seu dinheiro está sendo gasto de maneira apropriada e se está sendo bem gasto. Porém, primariamente (e muito mais importante) o uso da avaliação e monitoramento deve ser feito para a própria organização ou projeto saber como está andando em relação aos seus objetivos, se está tendo um impacto, se está se trabalhando com eficiência e para aprender a ser melhor. Planos são essenciais, mas não são feitos de concreto (fixados de forma totalmente inflexível). Se não estão funcionando, ou se as circunstâncias mudaram então os planos também devem sofrer mudanças. O monitoramento e avaliação são ferramentas que ajudarão um projeto ou organização a perceber quando seus planos não estão funcionando ou quando as circunstâncias sofreram mudanças. Eles fornecem ao gerenciamento a informação necessária para tomadas de decisões a respeito do projeto e da organização das mudanças que se mostrem necessárias em relação aos planos ou a própria estratégia. Através disso, as constantes permanecem como pilares da rede estratégica: a análise de problemas, a visão e os valores da organização ou do projeto. Tudo o mais pode ser renegociável (veja também o pacote de planejamento estratégico). Fazer algo errado não é um crime. Falhar e não mostrar que aprendeu com erros do passado por não ter feito um monitoramento e avaliação, é. O efeito do monitoramento e avaliação pode ser visto no ciclo a seguir. Observe que você monitorará e ajustará diversas vezes antes que esteja preparado para fazer uma avaliação e possa planejar novamente. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 5 É importante reconhecer que o monitoramento e a avaliação não são varinhas de condão que podem ser simplesmente usadas como um passe de mágica, solucionando problemas, ou remediando dificuldades, ou fazendo mudanças miraculosas, sem uma boa dose de trabalho duro sendo feito para a realização do projeto ou organização. Em si mesmos, eles não são soluções, mas são ferramentas valiosas. O monitoramento e a avaliação podem: � Ajudar a identificar problemas e suas causas; � Sugerir soluções possíveis para problemas; � Levantar questões quanto à estratégia e às previsões realizadas; � Levar você a refletir para onde está indo e de como você está chegando lá; � Providenciar informações e aspectos internos; � Encorajá-lo a agir a respeito dessas informações e aspectos; � Aumentar suas possibilidades de acerto que farão uma diferença de desenvolvimento positiva. Planejar Implementar Monitorar Refletir/ aprender/ decidir/ajustar Implementar Monitorar Refletir/aprender /decidir/ajustar Implementar Avaliar/aprender / decidir Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 6 MAIS INFORMAÇÕES A RESPEITO DE MONITORAMENTO E AVALIAÇÃO Monitoramento envolve: � Estabelecer indicadores (consulte o Glossário) de eficiência, de eficácia e de impacto; � Estabelecer sistemas para coleta de informações, relacionando estes indicadores; � Coletar e gravar a informação; � Analisar a informação; � Utilizar a informação para informar ao gerenciamento diariamente. O monitoramento é uma função interna em qualquer projeto ou organização. Avaliação envolve: � Avaliar o que o projeto ou a organização pretendem atingir – qual diferença quer fazer? Qual impacto quer ter? � Reconhecer seu progresso com relação ao que almejava, suas metas de impacto. � Examinar a estratégia de um projeto ou organização. Houve uma estratégia? Houve eficácia em se seguir a estratégia proposta? A estratégia funcionou? Se não, por que não? � Examinar como as coisas funcionaram. Houve um uso eficiente dos recursos? Quais foram os custos de oportunidade (veja o Glossário) com a maneira que se optou por trabalhar? Quão sustentável é a forma pela qual o projeto e a organização trabalham? Quais são as implicações para os diversos agentes envolvidos pelo modo com que a organização trabalha? Numa avaliação, avaliamos eficiência, eficácia e impacto (consulte Glossário). Existem muitos tipos diferentes de se fazer uma avaliação. Alguns dos termos mais comuns com que você poderá se deparar são: � Auto-avaliação: Isso requer uma organização ou projeto que segure um espelho diante de si mesmo e analise o que faz, como uma forma de prática para melhoramento e aprendizagem. Exige que se tenha uma organização muito honesta e auto-reflexiva para fazer isso de forma eficaz, contudo isso pode ser uma experiência de aprendizagem muito importante. � Avaliação participatória: Esta é uma forma de avaliação interna. A intenção é reunir o maior número de pessoas possível que tenham participação direta no trabalho que está sendo realizado. Isso pode significar beneficiários e equipe do projeto trabalhando em conjunto nesta avaliação. Se alguém de fora for chamado será para agir como facilitador do processo, não avaliador. � Estimativa Participatória Rápida: Originalmente utilizada em áreas rurais, a mesma metodologia pode, na verdade, ser aplicada na maioria das comunidades. Este é uma forma qualitativa (consulte o Glossário) de se fazer avaliações. É conduzida e semi-estruturada por um time interdisciplinar e levada por um curto período de tempo. É utilizada como base de início para se entender uma situação local e é uma maneira rápida, útil e barata de se armazenar informações. Envolve o uso de revisões de dados secundárias (consulte o Glossário), observação direta, entrevistas semi-estruturadas, informantes chave, entrevistas de grupos, jogos, diagramas, mapas e Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 7 calendários. Em um contexto de avaliação, ele permite que se obtenham dados valorosos daqueles que supostamente estão se beneficiando do trabalho de desenvolvimento. É flexível e interativo. � Avaliação externa: É uma avaliação feita por um time de fora ou alguém externo cuidadosamente escolhido. � Avaliação interativa: Isso requer uma interação muita ativa entre o avaliador ou time externo e a organização ou projeto sendo avaliado. Às vezes, alguém de dentro pode serincluído no time de avaliação. Para mais informações de vantagens e desvantagens das avaliações internas e externas, veja a próxima página. Para maiores informações a respeito de um avaliador externo, vá para a página 9. Para maiores informações de diferentes tipos de abordagens para avaliação, vá para a página14. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 8 Ξ VANTAGENS E DESVANTAGENS DE AVALIAÇÕES INTERNAS E EXTERNAS Vantagens Desvantagens Avaliação interna Os avaliadores têm muita familiaridade com o trabalho, com a cultura organizacional e com seus objetivos e metas. Algumas vezes as pessoas sentem-se mais à vontade em falar com pessoas de dentro da organização do que com pessoas de fora. Uma avaliação interna é muito claramente uma ferramenta gerencial e de auto-correção bem menos ameaçadora que uma avaliação externa. Essa forma torna muito mais simples para todos os envolvidos aceitar certas críticas e sugestões e opiniões a respeito do trabalho sendo realizado. Uma avaliação interna custará muito menos que uma avaliação externa. O time de avaliação possuirá um interesse especial em alcançar conclusões positivas com relação ao projeto ou organização. Por esta razão inclusive, se desenvolve o motivo para que doadores prefiram uma avaliação externa. O time pode não ser especializado ou treinado especificamente para realizar uma avaliação. A avaliação tomará uma considerável quantia de tempo- enquanto poderá custar menos deixar que uma avaliação externa ocorra, em termos de custo de oportunidade (consulte o Glossário). Dessa forma, pode ser mais elevado que simplesmente contratar uma avaliação externa. Avaliação Externa (feita por um time ou pessoa sem interesses especiais pelo projeto em questão) A avaliação tende a ser muito mais objetiva, já que os avaliadores mantêm-se distantes do trabalho sendo realizado. Os avaliadores possuem geralmente uma grande variedade de habilidades e experiências de avaliação. Algumas vezes, as pessoas preferem relatar coisas a pessoas de fora ao invés de pessoas internas a organização. Gera-se muito mais credibilidade a opiniões e sugestões utilizando-se um avaliador externo, especialmente no caso de sugestões positivas. Alguém de fora da organização ou projeto pode não entender a cultura ou até mesmo o trabalho que se pretende alcançar. Aqueles que estão diretamente envolvidos podem se sentir ameaçados pelos avaliadores externos e podem ter menos propensão a falar abertamente e cooperar com o processo. Uma avaliação externa pode ser muito custosa. Um avaliador externo pode interpretar mal o que você deseja e pode não fornecer o que você precisaria. Se você decidir ter uma avaliação externa, você encontrará algumas sugestões de critérios a serem utilizados na escolha de um avaliador externo na próxima página. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 9 Ξ SELECIONANDO UM AVALIADOR EXTERNO OU UM TIME DE AVALIAÇÃO Qualidades para serem levadas em conta quanto à escolha de um avaliador ou time de avaliação externa: � Uma boa compreensão de assuntos de desenvolvimento. � Uma boa compreensão de assuntos organizacionais. � Experiência na avaliação de desenvolvimento de projetos, programas ou organizações. � Um bom histórico que possa ser averiguado com relação a clientes anteriores. � Grandes habilidades de pesquisa. � Um compromisso com qualidade. � Um compromisso com datas de trabalhos a serem cumpridos. � Objetividade, honestidade e justiça. � Lógica e facilidade em operar sistematicamente. � Forte habilidade em se comunicar tanto escrevendo como verbalmente. � Um estilo e abordagem que se encaixe com a personalidade de sua organização. � Valores que sejam compatíveis com aqueles que sua organização tenha. � Preços razoáveis (custo), comparáveis com os de outras empresas no mercado. Como você descobre tudo isso? Formulando uma grande quantidade de perguntas! Quando você decide utilizar um avaliador externo: � Confira as referências de quem seja. � Reúna-se com os avaliadores antes de tomar a decisão final. � Comunique o que você deseja claramente – bons Termos de Referência (veja o Glossário) são fundamentais para uma boa relação contratual. � Negocie um contrato que forneça uma previsão do que acontecerá se o calendário e os resultados esperados, em termos de compromissos, não forem alcançados. � Peça por um plano de trabalho com resultados e datas afixadas. � Mantenha contato – peça por relatórios intermediários nesse ínterim como parte do trabalho a ser realizado – seja verbalmente ou por escrito. � Estruture esse acompanhamento formalmente e combine quando isso deverá ser entregue a você. Não espere que todo avaliador seja completamente objetivo. Essa pessoa terá opiniões e visões – você não está procurando alguém que seja um robô! Entretanto, suas opiniões devem estar claramente estabelecidas como tais, e não devem desviar ou serem colocadas como “fatos”. É bastante importante também ter uma noção de quais serão as abordagens que esse avaliador utilizará para fazer a avaliação. A próxima página traz mais informações quanto a diferentes tipos de abordagens para avaliação. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 10 Ξ DIFERENTES ABORDAGENS PARA AVALIAÇÃO Abordagem Propósito principal Possíveis questionamentos em foco Metodologia análoga Baseadas em metas Compreender o alcance de metas e objetivos. As metas foram alcançadas? Eficientemente? Foram essas as metas corretas? Comparar a linha de base (veja o Glossário) e as informações de progresso (veja o Glossário); encontrando maneiras de definir indicadores. Tomadas de decisões Fornecer informação. O projeto foi eficaz? Deve continuar? Como deve ser modificado? Compreender a variedade de opções relacionadas com o contexto do projeto, resultados, processos, e o produto. Estabelecer algum tipo de consenso quanto à tomada de decisões. Com objetivos livres Compreender a variedade dos efeitos do projeto pretendidos ou imprevistos. Quais foram todos os resultados relacionados? Que valor eles possuem? Determinação independente de necessidades e padrões para julgar a validade do projeto. Técnicas qualitativas e quantitativas que descubram quaisquer resultados possíveis. Julgamento de especialistas Utilização de um especialista. Como um profissional externo a este projeto pode avaliá-lo? Revisão crítica baseada na experiência, pesquisa informal e reflexões internas. Em nossa opinião, os melhores avaliadores se valem de uma combinação de todas essas abordagens. Uma organização pode pedir para que uma delas seja enfatizada, mas é importante não excluir qualquer descoberta ou conclusão, e não fazer uso de uma abordagem diferente. (Agradecimentos à PACT’s Evaluation Sourcebook, 1984, por muito do que foi escrito aqui.) Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 11 Planejamento para Monitoramento e Avaliação O monitoramento e a avaliação devem ser parte de seu processo de planejamento. É muito mais complicado retornar e estabelecer os sistemas de monitoramento e avaliação uma vez que as coisas já tenham começado a acontecer. A necessidade de se começara coletar informações de desempenho em relação a suas metas é importante desde o primeiro instante de atividades. A primeira informação coletada deve ser feita, na verdade, quando se estruturam as primeiras necessidades de documentação (consulte, no pacote de ferramentas de visão geral de planejamento, a seção a respeito do trabalho de base). Ele fornecerá a informação necessária quanto ao alcance em relação a melhoramentos com o decorrer do tempo. Quando você realiza seu processo de planejamento, você define indicadores (veja o Glossário). Estes indicadores fornecem a rede que possibilita seu sistema de monitoramento e avaliação. Eles informam o que você deseja saber e os tipos de informação cuja coleta será útil. Nesta seção examinaremos: � O que queremos saber? Isso inclui examinar indicadores de ambos os assuntos, externos e internos (Confira também os exemplos de indicadores mais adiante neste pacote de ferramentas.) � Tipos diferentes de informação. � Como obteremos a informação? � Quem deve estar envolvido? Não há um único modo de planejamento para monitoramento e avaliação. As sugestões incluídas nos pacotes de ferramentas de planejamento, planejamento estratégico e planejamento de ações lhe auxiliarão no desenvolvimento de uma rede dinâmica para seu sistema de monitoramento e avaliação. Se você possui uma familiaridade com uma rede de análise lógica e já a utiliza em seu planejamento, esta abordagem traz em si mesma uma forma de planejar um sistema de avaliação e monitoramento. (Consulte também no pacote de ferramentas a respeito da visão geral de planejamento, a seção de ferramentas de planejamento – visão geral.) Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 12 O QUE QUEREMOS SABER? O que queremos saber está relacionado com o que pensamos ser importante. No trabalho de desenvolvimento, o que pensamos ser importante está relacionado com nossos valores. A maioria do trabalho está envolvida por uma rede de valores. É esta rede que determina os padrões de aceitação no trabalho que fazemos. Os valores centrais, nos quais a maioria do trabalho de desenvolvimento é feito, são: � Servir a pessoas carentes; � Favorecer os desprotegidos; � Mudar a sociedade, não simplesmente com a ajuda individual; � Sustentabilidade; � Uso eficiente de recursos. Então, a primeira coisa que precisamos saber é: O que estamos fazendo e como estamos agindo está auxiliando para o favorecimento destes valores? Para responder a esta questão, nosso sistema de monitoramento e avaliação deve nos fornecer informações a respeito de: � Quem está se beneficiando do que fazemos? O quanto estão se beneficiando? � Os beneficiados recebem de uma forma unilateral e passivamente ou o processo auxilia para que eles possam assumir algum controle de suas vidas? � Existem quaisquer ensinamentos que possam trazer um maior impacto além deste que está acontecendo com nosso projeto? � Isso que estamos fazendo tem alguma possibilidade de se sustentar a longo-termo, ou cessará assim que partirmos? � Estamos alcançando o máximo dos melhores resultados possíveis para os problemas apresentados? Queremos nos concentrar no produto ou no processo que está sendo desenvolvido? O trabalho de desenvolvimento deve ser avaliado em termos de processo (a forma com que o trabalho está sendo desenvolvido) ou o produto (o que o trabalho produz)? Geralmente, essa discussão é feita mais para se desculpar desempenhos inadequados que discutir realmente algo que deve ser levado a sério. O produto e o processo não estão separados em um trabalho de desenvolvimento. Aquilo que alcançamos e a maneira como alcançamos são geralmente a mesma coisa. Se o objetivo é desenvolvimento, baseando-se em valores desenvolvimentistas, então cavar um poço sem transferir a habilidade para manter e manusear o poço não é suficiente. Dizer: “Iria demorar muito dessa forma, não podíamos esperar que eles agissem por si mesmos. Dissemos que iríamos cavar um poço e o fizemos” não é suficiente. Mas também não é suficiente dizer: “Não tem importância que o poço não tenha acontecido ainda. O importante é que a população foi instruída”. Ambos os processos e produtos devem ser parte de um sistema de avaliação e monitoramento. Mas como podemos tornar o processo, o produto e tais valores mensuráveis? A resposta se encontra no estabelecimento de indicadores, e este assunto é abordado na subseção a seguir. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 13 O QUE QUEREMOS SABER? Indicadores Indicadores são também abordados na visão geral de planejamento, na seção a respeito de monitoramento e avaliação. Indicadores são sinais tangíveis ou mensuráveis de que algo foi feito ou alcançado. Em alguns estudos, por exemplo, o aumento de antenas de televisão numa comunidade foi utilizado como indicador de que o padrão de vida da comunidade aumentou. Um indicativo de maior organização comunitária pode ser um aumento da freqüência de membros da comunidade nos encontros periódicos. Se alguém está interessado no impacto da participação em relação ao gênero, pode-se utilizar “envolver especial atenção e maior tempo em projetos de desenvolvimento a uma maior participação feminina” como um indicador. Indicadores comuns que apontam para o estado de saúde geral de uma comunidade são taxas de mortalidade de bebês/crianças/ mães, taxas de natalidade, status nutricional e peso de bebês ao nascerem. Podem-se analisar indicadores menos diretos, como extensão de imunização, extensão de água potável disponível, e assim por diante. (veja maiores exemplos de indicadores mais adiante). Os indicadores são uma parte essencial de um sistema de monitoramento e avaliação, pois eles são o que você vai poder medir e/ou monitorar. Através de indicadores você pode perguntar e responder questões como: � Quem? � Quantos? � Com qual freqüência? � Quanto custa? Entretanto, você precisa decidir anteriormente quais indicadores vai utilizar para que comece a coletar informações imediatamente. Você não pode querer se utilizar de um indicativo como o número de antenas de televisão como sinal de melhora de padrão da comunidade se você não sabe quantas havia no começo do processo. Algumas pessoas argumentam que o problema com indicadores mensuráveis é que outras variáveis (fatores) podem ter um impacto sobre eles também. Mais membros da comunidade podem estar participando nos encontros comunitários simplesmente por haver um maior número de pessoas com um passado ativo, e mudado simplesmente para aquela área. As mulheres podem ter mais tempo para projetos de desenvolvimento porque os homens da vila participaram de um seminário para questões de gênero e decidiram dividir e ajudar mulheres em algumas tarefas tradicionalmente realizadas por mulheres possibilitando assim que se ocupem de outras atividades. E assim por diante. Ainda que isso seja verdade, é possível identificar outras variáveis e levá-las em conta. É também muito importante notar que, se nada está se modificando, se não se pode averiguar nem um melhoramento na mensuração dos indicadores-chave escolhidos, é sinal de que sua estratégia não está funcionando e precisa ser repensada. Para estudar um método de desenvolvimento de indicadores, veja a próxima página. Para consultar exemplos de indicadores, vá para exemplos. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 14 Ξ DESENVOLVENDO INDICADORES 1º Passo: Identifique o problema que você está tentando resolver. Ele pode ser:� Situação econômica (desemprego, baixos salários, etc.). � Situação social (moradia, saúde, educação, etc.). � Situação cultural ou religiosa (perda do uso de línguas tradicionais, pouca freqüência em serviços religiosos, etc.). � Situação política ou organizacional (governo local ineficiente, lutas de facções, etc.). Pode haver outras situações também. (consulte a seção de análise de problemas em seu pacote a respeito da visão geral de planejamento, na seção que trata do trabalho de base). 2º Passo: Desenvolva uma visão de como você gostaria que estas áreas fossem ou parecessem (consulte, no pacote de planejamento estratégico, a seção a respeito de visão). Isso lhe fornecerá indicadores de impacto. O que lhe mostraria que sua visão foi alcançada? Que sinais você identificaria e que possam ser medidos que “provariam” que sua visão foi alcançada? Por exemplo, se sua visão foi a de que as pessoas em sua comunidade seriam mais saudáveis, então você pode usar indicadores de saúde para averiguar como está avançando. A mortalidade infantil sofreu uma queda? Menos mulheres estão falecendo durante o parto? A taxa de contaminação pelo vírus da AIDS tem sido reduzida? Se você pode dizer “sim” a estas questões, então algum progresso foi alcançado. 3º Passo: Desenvolva uma visão progressiva de como você quer que as coisas sejam atingidas. Isso lhe fornecerá indicadores de processo. Se, por exemplo, você quer atingir seus resultados através da participação da comunidade e de seus próprios esforços, então sua visão de processo pode incluir coisas como trabalhadores de saúde da comunidade treinados e que ofereçam um serviço de qualidade para todos; eventos organizados regularmente pela comunidade para limpeza geral, e assim por diante. 4º passo: Desenvolver indicadores para eficácia. Por exemplo, se você acredita que pode aumentar a taxa de alunos aprovados no ensino secundário, melhorando o nível de seus professores, então precisará de indicadores que mostrem que você obteve sucesso quanto à melhora destes professores, p.ex. evidências de uma pesquisa em escolas, comparando com a pesquisa de base inicial. 5º passo: Desenvolver indicadores para metas de eficiência. Aqui você pode estabelecer indicadores, tais como: seminários planejados devem ocorrem junto com o tempo pré-estabelecido, custos para os seminários são mantidos em 2.50 dólares por pessoa, no máximo, não se deve utilizar mais de 160 horas com a organização de uma conferência; sem reclamações quanto à organização da conferência, etc. Com a estrutura colocada em seu devido lugar, você estará apto a monitorar e avaliar eficiência, eficácia, e o impacto disso tudo (Veja o Glossário). Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 15 TIPOS DIFERENTES DE INFORMAÇÃO – QUANTITATIVA E QUALITATIVA A informação utilizada para monitorar e avaliar pode classificada como: � Quantitativa; ou � Qualitativa. A medida quantitativa lhe diz “quanto ou quantos?”. Quantas pessoas assistiram ao seminário, quantas pessoas foram aprovadas em seus testes finais, quanto custa uma publicação, quantas pessoas foram infectadas pelo vírus da AIDS, quantas pessoas precisam se deslocar para conseguir água ou madeira para o fogo, e assim por diante. A medida quantitativa pode ser expressa em números absolutos (3241 mulheres da amostra estão infectadas) ou com percentual (50% das residências nesta área possuem antenas de televisão). Pode também ser expressa por razões (uma a cada 30000 pessoas). De uma maneira ou de outra, você terá uma informação quantitativa (número) por contar ou medir. A medida qualitativa indica como as pessoas se sentem a respeito de alguma situação ou como as coisas são feitas, ou como as pessoas se comportam. Então, por exemplo, ainda que você descubra que 50% dos professores da escola estão insatisfeitos com o critério selecionado, isso ainda é considerado uma informação qualitativa, não uma informação quantitativa. Consegue-se a informação qualitativa perguntando, observando e interpretando. Algumas pessoas consideram a informação quantitativa confortante – ela parece confiável, sólida e “objetiva”. Elas consideram a informação qualitativa “subjetiva” e pouco convincente. É um erro, porém dizer que “a informação quantitativa fala por si mesma”. A informação quantitativa está sujeita a interpretações tanto quanto a informação qualitativa. Pode ser um “fato” que o ingresso de meninas em escolas de alguns países em desenvolvimento está caindo – a contabilidade disso pode nos mostrar tal fato, mas não nos dirá coisa alguma a respeito das causas ou motivos desses dados. Para se alcançar esse entendimento, será necessário sair e perguntar a respeito de tais razões – ou seja, ponderar informações qualitativas. A escolha de indicadores é também algo subjetivo, seja a partir de métodos quantitativos ou qualitativos para a mensuração real. Os pesquisadores escolhem medir o ingresso de meninas para a escola porque eles acreditam que isso diga algo a respeito de como as mulheres são tratadas ou vistas na sociedade. Para que uma boa compreensão seja alcançada, o processo de monitoramento e avaliação necessita de uma combinação de informações qualitativas e quantitativas. Por exemplo, precisamos saber quais são os dados de quantas meninas vão para a escola, assim como precisamos saber qual o motivo para que seus pais permitam ou não que freqüentem a escola. Talvez as taxas de matrícula para meninas sejam mais altas porque nesta comunidade considera-se que ir para a escola seja um luxo e prefira-se treinar meninos em tarefas mais práticas e tradicionais, como tomar conta de animais, por exemplo. Neste caso, um ingresso maior de meninas na escola não necessariamente indica uma maior valorização de meninas. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 16 COMO OBTEREMOS A INFORMAÇÃO? Isso é tratado com detalhes no pacote do planejamento de ações, na seção de monitoramento, coletando informações à medida que se progride no planejamento. Seus métodos de coleta de informação precisam ser construídos dentro de seu planejamento de ações. Você deve estar apto a manter um canal de informações firmes correndo em seu projeto ou organização a respeito do trabalho e de como está sendo realizado, sem sobrecarregar ninguém. A informação que é coletada deve significar alguma coisa: não colecione informações para manter-se ocupado, somente o faça para encontrar o que precisa saber, e depois arquive a informação de uma forma que possa ser simples consultá- la. Geralmente, você pode utilizar relatórios, minutas, registros de presença e declarações financeiras que são parte de seu trabalho como fontes de monitoramento e informação de avaliação. Entretanto, às vezes você precisa utilizar-se de ferramentas especiais que são simples, mas úteis para adicionar à informação básica coletada em seu curso natural de trabalho. Algumas das ferramentas mais conhecidas são: � Estudos de caso � Avaliação gravada � Diários � Análise e gravação de incidentes importantes (chamado “análise de incidente crítico”) � Questionários estruturados � Entrevistas face a face � Grupos focais � Pesquisas de amostras � Revisão sistemática de estatísticas relevantes oficiais. Consulte a seção métodos para mais informações a respeito de maneiras de coletar informação. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 17 QUEM DEVE ESTAR ENVOLVIDO? Quase todos da organização ou projeto estarão envolvidosde alguma forma na coleta de informações que possa ser usada para monitorar e avaliar. Isso inclui: � O administrador, que guarda minutas de uma reunião, ou prepara e distribui o registro de presença; � Os trabalhadores de campo, que escrevem relatórios de suas visitas de campo; � O arquivador, que registra rendas e gastos. Para que sejam maximizados seus esforços, a organização ou projeto precisa: � Preparar relatórios que incluam a mensuração quantitativa ou qualitativa de indicadores importantes. Por exemplo, se você quer saber a respeito da participação da comunidade em atividades, ou da participação feminina especificamente, construa um relatório que possibilite que os trabalhadores de campo possam tecer comentários a respeito disso, sustentando observações com os fatos. (Veja um tipo de relatório de trabalho de campo, mais adiante neste pacote). � Prepare tipos de relatórios que incluam a mensuração quantitativa ou qualitativa de indicadores importantes. Por exemplo, se você deseja saber quantos homens e quantas mulheres participaram da reunião, inclua uma coluna que especifique o gênero de sua lista de presença. � Armazene a informação de uma forma que seja possível manejar o que se precisa saber. Por exemplo, se você precisa saber se um projeto é sustentável financeiramente, e quais elementos são mais dispendiosos, então certifique-se de que seus arquivos de gravação averigúem essa informação relevante. É um princípio muito útil olhar para cada atividade e dizer: O que necessitamos saber desta atividade, ambos os processos (como está sendo feito) e produtos (o que se pretende atingir), e qual é a maneira mais fácil de encontrar e gravar isso à medida que caminhamos? Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 18 Estruturando um processo de monitoramento e/ou avaliação Como existem diferenças entre como desenhar um sistema de monitoramento e um processo de avaliação, lidaremos aqui com os dois separadamente. Sob monitoramento, avaliaremos o processo que uma organização pode atravessar para construir um sistema de monitoramento. Sob avaliação, avaliaremos: � Motivo � Questões de avaliação chave � Metodologia. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 19 MONITORAMENTO Quando você estrutura um sistema de monitoramento, você está estabelecendo um ponto de visão formativo e criando um sistema que lhe providenciará informação útil de uma base corrente para melhorar o que fazer e como fazer. Na próxima página, você encontrará um processo sugerido para criar um sistema de monitoramento. Para um estudo de caso que mostra como uma organização se saiu elaborando um sistema de monitoramento, vá à seção com exemplos e veja o exemplo: criando um sistema de monitoramento. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 20 Ψ CRIANDO UM SISTEMA DE MONITORAMENTO Logo abaixo, mostramos passo a passo o processo de criação de um sistema de monitoramento para sua organização ou projeto. Para o caso de estudo de como uma organização conseguiu implantar seu sistema de monitoramento, veja a parte de exemplos. 1º passo: Um seminário com equipe e/ou voluntários, liderado por você ou por um consultor: � Introduza os conceitos de eficiência, eficácia, e impacto (veja o glossário). � Explique que um sistema de monitoramento precisa cobrir todos os três. � Faça uma lista de indicadores para cada um dos três aspectos. � Esclareça quais variáveis (consulte o glossário) precisam ser conectadas. Então, por exemplo, você quer criar uma relação entre a idade dos professores com suas qualificações para poder responder a pergunta: Existe a tendência de professores mais velhos terem mais qualificações? � Esclareça quais informações o projeto ou organização já está coletando. 2º passo: Inclua os dados e comentários do seminário em um breve resumo de questões, colocando seu sistema de monitoramento. Dependendo do quão complexo forem seus requisitos, e de qual é sua capacidade, você talvez decida ter uma base de dados computadorizada ou manual. Se você quer poder relacionar muitas variáveis através de muitos casos (e.g. participantes, escolas, envolvimento dos pais, recursos, urbano e rural, etc.) você talvez precise de uma linha computadorizada. Se você possui poucas variáveis, você pode provavelmente fazer isso manualmente. A coisa mais importante é começar descobrindo as variáveis e manter os dados nestas variáveis. Conexão e análise podem ser feitos posteriormente. (Estes conceitos são complicados. Ajudará ler o estudo de caso nos exemplos da seção do pacote de ferramentas). Deste seminário, você saberá o que quer monitorar. Você terá os indicadores de eficiência, eficácia e impacto que precisarão ser priorizados. Você então escolherá as variáveis que auxiliarão a responder as questões que pense serem importantes. Então, por exemplo, você pode ter um indicador de impacto que seja “opções de sexo mais seguras foram escolhidas” como um indicador de que “pessoas mais jovens agora estão fazendo escolhas de vida mais maduras”. As variáveis que podem influenciar o indicador são: � Idade � Gênero � Religião � Região Urbana/rural � Categoria Econômica � Ambiente familiar � Extensão de exposição para suas iniciativas de projeto. � Número de seminários assistidos. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 21 A informação correta lhe capacitará a responder as seguintes questões: � Existe alguma diferença em relação à idade no modo como nossa mensagem é recebida? � A categoria econômica, isto é, jovens de áreas mais ricas respondem melhor ou pior à mensagem, ou isso simplesmente não faz diferença? � Houve um impacto maior para as pessoas que assistiram a mais seminários? Respostas a estes tipos de questões ajudam uma organização ou um projeto a tomar decisões a respeito do que eles fazem e de como realizam isso, para poder executar as mudanças nos programas e medir seus impactos e sua eficácia. Respostas a questões como as seguintes ajudam o projeto ou a organização e mensurar e melhorar sua eficiência: � Houve um maior número de pessoas com sessões bastante programadas com antecipação? � Mais escolas participam quando não se cobra? � Mais jovens participam quando as sessões são durante o final de semana ou quando são no período noturno? � Custa menos organizar um seminário na comunidade, ou trazer as pessoas para nosso centro de treinamento para realizar o seminário? 3º passo: Decida como você coletará a informação de que precisa (veja coletando a informação) e onde deve ser mantida (no computador, em arquivos manuais). 4º passo: Decida com qual freqüência você analisará a informação – isso pode significar organizar tudo junto e tentar responder às questões que você considera importantes. 5º passo: Faça a coleta, analise, faça um relatório. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 22 AVALIAÇÃO Criar um processo de avaliação pode significar estar apto a desenvolver os Termos de Referência para tal processo (se você é a organização ou o projeto) ou ser capaz de desenhar uma proposta sensata que supra as necessidades do projeto ou da organização (se você é um consultor). Os principais setores dos Termos de Referênciapara um processo de avaliação geralmente incluem: � Conhecimento adquirido: Esse é o fundo de conhecimento do projeto ou organização, alguma informação quanto ao problema identificado, o que você faz, quanto tempo você existe como organização ou projeto, ou as razões por você decidir fazer uma avaliação. � Motivo: Neste setor, você mostrará o que a organização ou o projeto quer alcançar com a avaliação. � Questões de avaliação-chave: Quais são as perguntas centrais que a avaliação precisa ocupar-se em resolver. � Objetivos específicos: Quais áreas específicas, externas e/ou internas, que você deseja que a avaliação focalize. Por exemplo, talvez você queira que a avaliação inclua uma revisão de finanças, ou inclua certo tipo específico de áreas de programas. � Metodologia: Neste setor, você poderá dar amplos parâmetros ao tipo de abordagem que favorece em sua avaliação (veja a seção, mais a respeito de avaliação e monitoramento). Você também poderá sugerir os tipos de técnicas para o time de avaliação. � Pontos logísticos: Eles incluem tempo de duração, custo, requisitos para a composição do time de avaliação, e assim por diante. Para informações a respeito de alguns dos componentes mais difíceis dos Termos de Referência, continue a leitura das próximas páginas. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 23 Propósito O propósito de uma avaliação é o motivo do que se faz. Vai além dos motivos do que você quer realizar para alcançar o intento que o move a realizar tal coisa. É geralmente do tamanho de uma frase ou, no máximo, de um parágrafo. Ele possui duas partes: � O que você deseja avaliar; � Com qual fim você quer que isso se realize. Os exemplos de um propósito de avaliação poderiam ser: Providenciar à organização informações necessárias para tomadas de decisões a respeito do futuro de um projeto. Descobrir se o projeto ou a organização está tendo o impacto planejado de maneira que possa replicar seu modelo, ou não, em outros lugares. Para melhorar seu funcionamento em termos de sua eficácia, impacto sobre um grupo alvo, eficiência e sustentabilidade. O propósito fornece um foco para o amplo processo de avaliação. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 24 Questões centrais para a avaliação As questões de avaliação-chave são as questões centrais que você deseja que seu processo de avaliação responda. Elas não são simples questões. Você dificilmente poderá responder simplesmente “sim” ou “não” a elas. Uma questão de avaliação útil: � Incita fortes pensamentos. � Desafia previsões. � Focaliza reflexões e questionamentos. � Levanta muitas questões adicionais. Abaixo, alguns exemplos de questões de avaliação-chave relacionadas com o propósito do projeto: O propósito da avaliação é entender quão eficiente é o projeto em distribuir benefícios para a comunidade em questão, de forma que informe, às decisões de Diretoria, a respeito da continuidade e da replicabilidade do projeto. Questões de avaliação-chave: � Quem está atualmente se beneficiando do projeto e de que forma? � Os insumos (em dinheiro e tempo) justificam os resultados e, se sim ou não, em qual base essa reivindicação se justifica? � O que melhoraria a eficiência, a eficácia e o impacto do projeto atual? � Que lições podem ser aprendidas deste projeto em termos de replicabilidade? Note que nenhuma dessas questões lida com um elemento específico ou área de funcionamento interno ou externo de funcionamento do projeto ou organização. A maioria das questões exigirá que o time de avaliação lide com uma série de elementos do projeto ou da organização para que consiga respondê-las. Outros exemplos de questões de avaliação podem ser: � Quais são as maneiras mais eficazes na qual um projeto deste tipo pode resolver o problema identificado? � Em qual extensão o funcionamento interno e a estrutura de organização conseguem causar positivamente o impacto de seu programa de trabalho? � Quais ensinamentos deste projeto têm aplicabilidade através de um espectro de desenvolvimento completo? Certamente podem ser citados diversos outros exemplos. Nossa experiência tem nos mostrado que quando um processo de avaliação é desenhado com tais questões em mente, ele produz muito mais reflexões interessantes do que simplesmente as questões mais óbvias como “A diretoria tem um papel importante na organização?”, ou, “Que impacto estamos atingindo?”. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 25 Metodologia “Metodologia”, em contraposição aos “métodos”, trata mais do tipo de abordagem que se utiliza em seu processo de avaliação. (Veja nas páginas anteriores mais a respeito de monitoramento e avaliação neste pacote de ferramentas). Você pode, por exemplo, comissionar ou fazer um processo de avaliação que quase pareça inteiramente de fontes escritas, primárias ou secundárias: relatórios, páginas de dados, minutas, e assim por diante. Ou você pode pedir um processo de avaliação que envolva obter resultados de todos os grupos de apoio importantes relacionados no processo. A maioria dos termos de referência pode perguntar pela combinação dessas metodologias, mas eles podem especificar também como querem que o time de avaliação receba os insumos dos grupos de apoio, por exemplo: � Através de uma pesquisa; � Através de informantes-chave; � Através de grupos focais. (Para mais informações de métodos atuais, veja posteriormente a seção coletando informações). Aqui também se espera encontrar alguma indicação de relatórios escritos: Todos os relatórios estarão escritos? O time de avaliação se reportará somente à diretoria ou a toda a equipe, ou para a equipe, a diretoria e seus beneficiários? Existirão relatórios intermediários ou somente um relatório final? Que tipo de evidência a organização ou projeto requer para validar as opiniões de seu avaliador? Quem estará envolvido nesta análise? A seção de metodologia dos Termos de Referência deve providenciar uma ampla rede de como um projeto ou organização deseja que o trabalho de avaliação seja realizado. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 26 Coletando Informações (Isso também é tratado no pacote de ferramentas de planejamento de ações, dentro da seção a respeito de monitoramento, coletando informações ao passo que você caminha com a estrutura de seu planejamento). Abaixo, analisaremos com detalhes: � As linhas de base e o controle de danos; � Métodos. Entendemos controle de danos como sendo o que você precisa fazer se falhar em coletar as informações de linhas de base no início do trabalho. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 27 DIRETRIZES E CONTROLES DE DANO De forma ideal, se você fez seu planejamento de maneira correta e coletou a informação a respeito da situação no começo de sua intervenção, então você obterá seus dados de base. Os dados de base são as informações que você tem a respeito da situação antes de se fazer qualquer coisa. É o conteúdo no qual sua análise do problema foi baseada. Será muito difícil mensurar o impacto de suas iniciativas se você não souber como a situação estava quando você começou o trabalho. (Consulte também o pacote da visão geral para o planejamento, na seção que tratade como realizar o trabalho de base). Você precisará de dados de base relevantes para os indicadores que você decidiu, e que auxiliarão em medir o impacto de seu trabalho. Existem diferentes níveis de dados de base: � Informações gerais quanto à situação, geralmente disponíveis em estatísticas oficiais, e.g. taxas de mortalidade infantil, ingresso por gênero dos alunos nas escolas, taxas de desemprego, taxas de alfabetização da população, e assim por diante. Se você estiver trabalhando numa região geográfica específica, precisará de dados a respeito dela. Se estes dados não estiverem disponíveis em estatísticas oficiais, vocês possivelmente terão que reunir, por si mesmos, as informações. Isso talvez envolva pesquisas de casa em casa, sejam elas por amostragens ou por todas as casas (veja a seção posterior a respeito de métodos), ou visitando escolas, hospitais, etc. Focalizando em seus indicadores do impacto quando estiverem coletando esta informação. � Se você tiver decidido medir o impacto através de uma amostra de pessoas ou famílias com quem está trabalhando, necessitará de informações específicas dessas pessoas ou famílias. Então, por exemplo, para famílias (ou empresas de negócios ou escolas ou qualquer que seja o tipo de unidades com que esteja trabalhando) você pode querer informações específicas de renda, histórico, número de pessoas empregadas, número de crianças por sala e assim por diante. Você provavelmente obterá essa informação com uma combinação de entrevistas e questionários básicos a serem preenchidos. Mais uma vez, lembre-se de manter o foco nos indicadores que você decidiu serem importantes para seu trabalho. � Se você está trabalhando com indivíduos, então necessitará “ingerir” informações – informações documentadas a respeito da situação das pessoas com quem você vai começar a trabalhar. Por exemplo, você pode querer saber além da idade, gênero, nome e etc., a renda atual, o status de trabalho, os níveis atuais de educação, o tempo gasto em atividades esportivas, ambições e assim por diante, para cada indivíduo participante de sua pesquisa. Novamente, você provavelmente obterá as informações da combinação de entrevistas e preenchimentos de questionários básicos, e você deve concentrar sua atenção nos indicadores que considera importantes. É muito difícil reiniciar e coletar esse tipo de informação-base depois que você começou seu trabalho e a situação modificou-se. Mas e se você não tiver coletado esse tipo de Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 28 informação no começo do processo? Existem maneiras de se fazer o controle de danos. Você pode se utilizar de evidências não-formais, ”anedotas” (consulte o glossário) daqueles que estiveram envolvidos desde o princípio e você pode perguntar a eles como a situação estava quando o projeto começou. Você pode não ter sequer decidido quais eram os indicadores importantes no momento quando começou o projeto. Você terá que trabalhar retroativamente e buscar informações da situação relacionada àqueles indicadores desde quando iniciou seu trabalho. Você pode conversar com pessoas, analisar dados e consultar outras fontes como minutas, relatórios e assim por diante. Uma maneira útil de se fazer comparações significativas onde você não tem informações de linhas de base é através da utilização de grupos de controle. Grupos de controle são grupos de pessoas, negócios, famílias, ou qualquer outra unidade a qual você esteja focalizando e que não tenha sido influenciada pelas melhoras que sua organização ou projeto trouxeram e que, porém, são unidades de muitas maneiras, bastantes similares com aquela que você está trabalhando. Por exemplo: Você vem trabalhando, ao redor do país, com grupos de crianças na escola para melhorar sua auto-estima e conhecimento como forma de combater a disseminação da AIDS/HIV e prevenir a gravidez de adolescentes. Após alguns anos, você quer descobrir qual o impacto que obteve sobre estas crianças. Você vai consultar uma série de grupos de foco (veja métodos) com as crianças em escolas onde realizou seu trabalho. Mas você não realizou nenhum estudo de base com eles. Como saberá qual a diferença que você obteve? Você pode organizar grupos de controle dentro de escolas nas mesmas áreas, com o mesmo perfil, onde não tenha trabalhado. Perguntando a ambas as crianças, àquelas com que você trabalhou e àquelas com que não trabalhou o mesmo tipo de questões envolvendo auto-estima, comportamento sexual e assim por diante. Assim, você deverá ser capaz de dizer se, em seu trabalho, houve uma diferenciação ou não. Quando você organiza grupos de controle, você deve tentar assegurar-se de que: � Os perfis dos grupos de controle são parecidos com aqueles com os quais você trabalhou. Por exemplo, podem ser escolas que têm o mesmo padrão econômico, numa igual área geográfica e com as mesmas taxas de gênero, grupos de idade, etnia e miscigenação. � Não existe nenhuma outra variável que possa afetar as comparações e afirmações. Por exemplo, se outro projeto, fazendo um trabalho parecido, estiver envolvido com a escola, essa escola não será um bom local de estabelecer um grupo de controle. Você precisa de uma situação que seja a mais próxima possível da situação que seus beneficiados viviam quando o projeto foi iniciado. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 29 MÉTODOS Nesta seção daremos a você uma “lista de compras” de diferentes tipos de métodos que podem ser utilizados para a coleta de informações com propósitos de se avaliar e monitorar. Você precisa selecionar os métodos que servirão para seus propósitos e seus recursos. Não planeje realizar uma pesquisa extensa de 100.000 moradias se você tiver duas semanas e muito pouco dinheiro. Utilize uma amostragem neste caso. A Amostragem (consulte o glossário) é outro conceito importante quando se utiliza de várias ferramentas para o processo de avaliação e monitoramento. A amostragem não é uma ferramenta em si, mas se utilizada com outras ferramentas, ela se torna muito útil. A amostragem responde à questão: Quem pesquisaremos, entrevistaremos ou incluiremos num grupo de foco, etc.? É uma maneira de se reduzir o número possível de entrevistados para tornar a pesquisa gerenciável e com um custo realizável. Algumas vezes, é necessário incluir todos os indivíduos. Isso significa ter de acessar todas as possíveis moradias, ou escolas, ou professores, ou clínicas, etc. Numa avaliação, você pode bem se utilizar de toda a informação coletada em cada caso durante o processo de monitoramento em uma análise geral. Geralmente, porém, ao menos que os números sejam muito pequenos, para uma exploração mais a fundo, você utilizará uma amostragem. As técnicas de amostragem são: � Amostragem randômica (Em teoria, realizar uma amostragem randômica é fazer uma espécie de sorteio lotérico onde, por exemplo, todos os nomes sejam misturados numa caixinha, chacoalhados e retirados um a um. Este tipo de amostragem randômica é muito difícil de ser utilizado pelo tipo de trabalho que estamos lidando. Para propósitos práticos, será mais simples selecionar a sétima moradia, ou uma a cada três pessoas em uma lista. A essência da questão é que não haja distinções na seleção); � Amostragem estratificada (e.g. toda sétima moradia, na esquina do lado direito, e toda terceira moradia, na esquina do lado esquerdo); � Amostragem por clusters=grupos homogêneos (p.ex. somente aquelas pessoas que estão no projeto por no mínimo dois anos). É também sempre melhor fazer uma triangulação (veja o glossário). Essa é uma palavraconhecida que significa que um conjunto de dados ou informações são confirmados pelos outros. Você geralmente procura confirmações de um número de fontes dizendo a mesma coisa. Ferramenta Descrição Utilidade Desvantagens Entrevistas Podem ser estruturadas, semi-estruturadas, ou sem estrutura (consulte o glossário). Elas envolvem formular perguntas específicas que tenham como objetivo obter a informação que possibilite que os indicadores sejam mensurados. As questões podem ser abertas ou fechadas (respostas sim/não). Podem ser uma fonte de informações qualitativas e quantitativas. Podem ser utilizadas com quase todos que tiveram algum envolvimento com o projeto. Podem ser realizadas pessoalmente ou pelo telefone ou mesmo por e-mail. Muito flexível. Requer alguma habilidade do entrevistador. Para maiores informações a respeito de habilidades de entrevistas, leia mais a seguir neste pacote. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 30 Entrevistas de informantes-chave Estas são entrevistas que são conduzidas por especialistas em um tópico ou alguém que pode estar apto a compartilhar uma indicação ou luz especial acerca do processo. Como estes informantes geralmente têm pouco a ver com a organização ou projeto, eles podem ser bastante objetivos e oferecer perspectivas bastante úteis. Eles podem providenciar uma visão mais ampla, enquanto que pessoas mais envolvidas podem ter seu foco na visão de nível mais micro (pequeno). Necessita de um hábil entrevistador com um bom entendimento do assunto. Tenha cuidado para não transformar algo numa verdade absoluta (que não possa ser questionada) por ter sido dita por um informante- chave. Questionários Estas são questões escritas usadas para obter respostas escritas as quais, quando analisadas, possam possibilitar que os indicadores sejam medidos. Essa ferramenta pode economizar bastante tempo se for para preencher individualmente, possibilitando atingir muitas pessoas. Feita dessa maneira, ela possibilita às pessoas um sentimento de anonimato e elas talvez dirão coisas que não diriam a um entrevistador. Pessoas que não conseguem ler ou escrever precisarão de um acompanhamento com os questionários, o que significa que nenhum tempo será ganho e os números passíveis de alcance serão limitados. Com questionários, não se tem a possibilidade de explorar o que as pessoas estão dizendo além do que está escrito. Questionários também são utilizados em demasia e as pessoas ficam cansadas de responder a eles. Questionários devem ser conduzidos tendo claro que as perguntas podem ser entendidas e não vão ser mal interpretadas. Se o questionário for complexo e precisar ser analisado no computador, você necessitará de ajuda de um especialista que saiba lidar com esta análise. Grupos focais Num grupo focal, uma média de média de seis a doze pessoas são entrevistadas em conjunto por um entrevistador experiente com uma agenda de entrevista cuidadosamente estruturada. As questões são geralmente focalizadas ao redor de um tópico ou tema específico. Essa pode ser uma maneira útil de conseguir opiniões de uma amostra bastante grande de pessoas. É bastante difícil realizar uma amostragem randômica para grupos focais e isso significa que posicionamentos e pensamentos não podem ser generalizados. Algumas vezes, as pessoas influenciam umas às outras dizendo alguma coisa ou se calando a respeito de outra. Se possível, entrevistas de grupos de foco devem ser gravadas e então transcritas. Isso requer equipamento especial e pode ser Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 31 bastante demorado. Encontros da comunidade Isso envolve um encontro de uma significativa porção da comunidade de beneficiários a quem questões, problemas, e situações são colocadas como dados que auxiliem a medir os indicadores. Encontros da comunidade são bastante úteis para conseguir uma ampla resposta de muitas pessoas em assuntos específicos. É também uma forma de envolver os beneficiários diretamente no processo de avaliação, dando a eles a sensação de autoria no processo. Eles são úteis em pontos críticos de projetos comunitários. Difíceis de serem analisados – requisitando um facilitador/entrevistador experiente. Possa talvez requisitar desdobrar em pequenos grupos seguidos por sessões de plenário quando todos são colocados juntos novamente. Relatórios de campo (veja também formatos de relatórios de campo sob exemplos) Relatórios de formato estruturado que garante que questões relacionadas a indicadores sejam feitas, respondidas e gravadas e observações sejam gravadas a cada visita. Flexível, uma extensão de um trabalho normal, portanto, barata e rápida. Depende dos trabalhadores de campo serem disciplinados e conscientes. Ranking Isso envolve fazer com que as pessoas digam o que pensam ser o mais importante, menos útil, etc. Pode ser utilizado por indivíduos e grupos, como parte de uma agenda de entrevistas ou um questionário, ou como uma sessão separada. Onde pessoas não podem ler nem escrever, imagens podem ser utilizadas. Ranking é um conceito difícil de ser entendido, e necessita de uma explicação muito cuidadosa, bem como de testes que assegurem que as pessoas entenderam o que está sendo pedido. Se as pessoas mal- interpretarem seus dados, eles podem ser completamente distorcidos. Estímulos áudio- visuais Isso inclui imagens, filmes, fitas, estórias, atividades dinâmicas, fotografias, utilizadas para ilustrar problemas ou temas, ou eventos passados ou futuros. Muito útil para ser usado conjuntamente com outras ferramentas, particularmente com pessoas que não conseguem ler ou escrever. Você deve utilizar o estímulo correto, e o entrevistador precisa ser hábil em se utilizar desse estímulo. Configurando Escalas Essa técnica faz uso de um contínuo, ao longo do qual se espera que as pessoas coloquem seus próprios sentimentos, observações, etc. As pessoas são geralmente levadas a se posicionar se concordam fortemente, concordam, não sabem, discordam, ou discordam fortemente com uma dessas perspectivas. Você pode usar imagens e símbolos nessa técnica se as pessoas não souberem ler e escrever. É útil para mensurar atitudes, opiniões e percepções. Você precisa testar os posicionamentos com bastante cuidado, para estar certo de que não houve algum mal- entendido. Um problema comum é quando dois conceitos são incluídos no posicionamento e você não consegue ter certeza se a opinião foi dada em um ou outro, ou em ambos. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 32 Evento crítico/ análise de ocorrências Este método é uma maneira de focalizar entrevistas com indivíduos ou grupos a respeito de eventos particulares ou incidentes. O propósito é obter uma visão ampla do que realmente aconteceu. Muito útil quando algo problemático tiver ocorrido e as pessoas sentirem-se emocionadas pelo que houve. Se todos os envolvidos na situação estiverem incluídos, isso ajudará a equipe de avaliação a obter uma imagem que seja razoavelmente próxima do que aconteceu de verdade, e diagnosticar o que ocorreu de errado. A equipede avaliação pode terminar soterrada sob uma montanha de detalhes contraditórios e muitos “ele disse/ela disse”. Pode se tornar difícil não ser parcial e permanecer objetivo. Observação participante Isso envolve observação direta de eventos processos, relacionamentos, e comportamentos. “Participante”, aqui, refere-se mais ao observador estar envolvido nas atividades do que manter alguma distância. Pode ser uma maneira muito útil de confirmar, ou não, a informação providenciada de outras formas. É difícil observar e participar. O processo torna-se muito demorado. Desenhos Isso envolve os participantes em desenhar gravuras, geralmente a respeito do que sentem ou pensam de algo. Pode ser bastante útil particularmente com crianças mais jovens. Pode ser difícil de explicar ou interpretar. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 33 Ψ HABILIDADES DE ENTREVISTA O que fazer e o que não se deve fazer em entrevistas: □ Faça um teste com o formulário de entrevistas com antecedência para maior clareza, e para ter certeza de que as questões não serão interpretadas de forma incorreta. □ Estabeleça da forma mais clara possível o propósito de sua entrevista. □ Assegure ao entrevistado que o que for dito será tratado em sigilo. □ Pergunte ao entrevistado se ele se importa que você tome notas e use um gravador durante a entrevista. □ Registre com a maior exatidão possível as palavras dos entrevistados. □ Continue falando enquanto escreve. □ Mantenha a entrevista dentro do tema desta. □ Preencha todas as questões do formulário. □ Fique atento para questões que sejam vagas e possam exigir mais informações. □ Seja flexível, e anote tudo que foi dito e que seja interessante, mesmo que não esteja no formulário. □ NÃO ofenda o entrevistado de maneira alguma. □ NÃO diga coisas que tenham um teor de julgamento. □ NÃO o interrompa no meio do que ele está falando. □ NÃO coloque palavras na boca do entrevistado. □ NÃO mostre o que estiver pensando através de um tom de voz diferente. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 34 Analisando Informações Analisando tanto o monitoramento quanto a avaliação, haverá um momento que você vai se deparar com uma grande quantidade de informações e terá que decidir como fazer com que aquilo tudo faça sentido, ou seja processado e analisado. Se você estiver utilizando uma equipe de avaliação externa, será ela que fará essa análise, mas em algum momento da avaliação, e certamente quando estiver monitorando, você, o projeto ou a organização terão que se prontificar a realizar essa análise. Análise é o processo de transformar a informação detalhada em padrões de entendimento, comparações, e interpretações. O ponto inicial para a análise em um contexto de projeto ou organizacional é muitas vezes muito pouco científico. É seu entendimento intuitivo de temas chave que resultarão em um processo de associação de informações. Uma vez que você saiba os temas-chave, torna-se possível trabalhar a informação, estruturando-a e a organizando corretamente. O próximo passo é escrever a respeito de suas descobertas e reflexões como base para alcançar conclusões e fazer recomendações. Assim, seu processo parecerá algo do tipo: Determine os indicadores chave para o processo de avaliação e monitoramento Recolha a informação a respeito dos indicadores Desenvolva uma estrutura para sua análise, baseada no entendimento intuitivo de temas emergentes e preocupações, e onde você suspeite haver alguma variação do que você esperava e/ou previa. Organize seus dados, colocando-os relacionados em temas e preocupações. Identifique padrões, comparações e possíveis interpretações. Escreva suas conclusões e descobertas. Estude formas e alternativas possíveis (recomendações). Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 35 Tomando atitudes O monitoramento e a avaliação têm pouco valor se a organização ou o projeto não realizam o procedimento de analisar os dados coletados a respeito das informações obtidas. Uma vez que você estabeleça as descobertas, conclusões e recomendações de seu processo de monitoramento e avaliação, você precisará: � Enviar relatórios aos seus patrocinadores; � Aprender do processo geral; � Tomar as decisões eficazes, para mover em frente; e, se necessário, � Lidar com a resistência para fazer mudanças necessárias dentro do projeto ou organização, ou mesmo com relação aos que dão suporte ao projeto. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 36 RELATÓRIO Se você estiver monitorando ou avaliando, em algum ponto, ou pontos, existirá um processo de fazer um relatório. O processo de um relatório segue os mesmos passos da análise de informações. Você se reportará aos diferentes patrocinadores de diferentes maneiras, às vezes de forma escrita, outras verbalmente, e, cada vez mais, utilizando-se de ferramentas como apresentações de PowerPoint, slides e vídeos. A tabela abaixo traz algumas sugestões de mecanismos de relatórios para momentos distintos nos ciclos de projetos. Para dicas de escrita, consulte o pacote de ferramentas que ajuda a escrever com mais eficácia. Grupo alvo Estágio do ciclo de projeto Formato apropriado Diretoria De tempos em tempos, baseado na análise de monitoramento. Relatório escrito Avaliação Relatório escrito com um sumário executivo, e uma apresentação verbal do time de avaliação. Time gerencial De tempos em tempos, baseado no monitoramento. Relatório escrito, discutido em uma reunião do time gerencial. Avaliação Relatório escrito, apresentado verbalmente pelo time de avaliação. Equipe De tempos em tempos, baseado no monitoramento. Apresentação escrita e verbal aos níveis de time e departamento. Avaliação Relatório escrito, apresentado verbalmente pelo time de avaliação e seguido em profundidade de uma discussão com recomendações relevantes para cada time e departamento. Beneficiados De tempos em tempos, mas somente com os pontos significativos, e avaliação. Apresentação verbal, com base em um documento resumido, utilizando tabelas apropriadas, gráficos visuais e áudios-visuais. Isso é especialmente importante se a organização ou projeto tem intenções de formular uma grande mudança que trará um grande impacto aos beneficiados. Doadores De tempos em tempos, baseado no monitoramento. Resumido em um relatório por escrito. Avaliação Relatório completo por escrito, com um sumário executivo ou uma versão especial, focalizada nas preocupações e interesses dos doadores. Comunidade de desenvolvimento em geral Avaliação Artigos de jornal, seminários, conferências e páginas da internet. Para um esboço do que normalmente é colocado em um relatório escrito, veja a página a seguir. Monitoramento e Avaliação Monitoramento e Avaliação, por Janet Shapiro (e-mail: toolkits@civicus.org) 37 Ψ ESBOÇO DE UM RELATÓRIO DE AVALIAÇÃO SUMÁRIO EXECUTIVO (Geralmente não contendo mais do que cinco páginas – quanto mais curto, melhor – pretende providenciar informação suficiente para pessoas ocupadas, mas também para aguçar o apetite das pessoas, para que assim queiram ler o relatório completo). PREFÁCIO (Não é essencial, mas é um bom lugar para agradecimentos
Compartilhar