Baixe o app para aproveitar ainda mais
Prévia do material em texto
63 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL Unidade II 5 O PROCESSO DE INTEGRAÇÃO DA AVALIAÇÃO COM O MONITORAMENTO E O PLANEJAMENTO SOCIAL Nesta unidade a avaliação será tratada como elemento essencial no processo de gestão. Serão, no primeiro momento, abordados os conceitos e as finalidades da avaliação propriamente dita, e, depois, os da avaliação no planejamento. Também vamos tratar de exemplos de instrumentos, da apresentação de resultados e da análise de um especialista em gestão sobre a importância do monitoramento. No segundo momento, vamos abordar a integração entre monitoramento e avaliação, como estratégia para um bom resultado. 5.1 Conceito e finalidade da avaliação Avaliar é o ato de calcular, de formar um juízo crítico de valor sobre determinada condição, a qual pode ser melhorada por meio de uma gestão pública eficiente. Estamos usando esse entendimento para iniciarmos a discussão sobre a avaliação de planos, programas e projetos. Utilizando a ideia de Magalhães (2003), vamos trazer o exemplo de uma avaliação informal: Um musicista poderá avaliar aspectos de um concerto de piano que passa despercebido a um mero apreciador e, de certa forma, estará julgando-o com base na sua formação musical. Outro espectador, cujo conhecimento não implique formação específica na área da música, irá ao concerto somente para deleitar-se, sem os olhos de um julgador. A não ser que a orquestra desafine de forma gritante, pequenos senões nem serão notados. Sua apreciação tem o olhar (ou o ouvido) apenas do senso comum, do gosto. Já um terceiro personagem, que não aprecie esse tipo de evento, sequer irá ao concerto e, de pronto, já fez a sua avaliação com base em seus valores e interesses (MAGALHÃES, 2003, p. 37). Os três exemplos foram expostos para mostrar que nosso ato tem sempre um cunho avaliativo. No primeiro, a avaliação do concerto baseou-se em um saber, mesmo que o objetivo de assisti-lo fosse apenas entretenimento; nos dois últimos, os avaliadores foram levados pelo senso comum, pela sensação do “gosto, não gosto” ou do “vi e não gostei” (o que, neste último caso, leva à suposição de um perfil de fundamentação crítica). Outra questão apresentada pelos expectadores é a sua sociabilidade com a música, bem como o seu grau de criticismo, seu interesse e sua formação, demonstrando suas escolhas e seu juízo de valor. 64 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II Diferentemente do caso anterior, na avaliação formal o senso comum não pode estar presente em nenhum momento. Para tanto, na modalidade formal, pressupõe objetivos e direcionamento teórico- metodológico escolhido e definido já no planejamento. As escolhas teórico-metodológicas dos profissionais estão relacionadas aos valores e à visão de cada um. Para Magalhães (2000), uma avaliação formal traz consigo o estabelecimento de critérios. Estes servem de ponto de referência à leitura que o profissional faz do objeto. Nesse sentido, podemos afirmar que a avaliação formal depende da capacitação do profissional e/ ou da equipe envolvida no processo de planejamento, execução, monitoramento e avaliação da gestão. Em síntese, “a avaliação é um substantivo plural, dada a sua multidimensionalidade. É o resultado de um estudo, de um diagnóstico, por meio dos quais se abrem possibilidades de novos caminhos” (CARVALHO, 2005, p. 43). O avaliador deve estar disposto a colher as informações sem julgamento prévio. Para Magalhães (2003), o compromisso está na capacidade técnica, instrumental e ética dos profissionais. A postura ética do profissional, bem como sua disponibilidade em acolher, em instrumentalizar- se tecnicamente e em realizar autocrítica são fatores propícios ao aperfeiçoamento do trabalho desenvolvido e das interações socioprofissionais, haja vista as relações de força que lhes são inerentes. Quanto maior for a instrumentalidade teórica e técnica, mais fácil será impor-se profissionalmente, no sentido de fazer-se entender no âmbito da área de competência da profissão. Lembrete Avaliar é o ato de calcular, de formar um juízo crítico de valor sobre determinada condição, a qual pode ser melhorada por meio de uma gestão pública eficiente. Princípios Fundamentais do Código de Ética dos Assistentes Sociais • Reconhecimento da Liberdade como valor ético central e das demandas políticas a ela inerentes – autonomia, emancipação e plena expansão dos indivíduos sociais. • Defesa intransigente dos direitos humanos e recusa do arbítrio e do autoritarismo. • Ampliação e consolidação da cidadania, considerada tarefa primordial de toda a sociedade, com vistas à garantia dos direitos civis, sociais e políticos das classes trabalhadoras. • Defesa do aprofundamento da democracia, enquanto socialização da participação política e da riqueza socialmente produzida. 65 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL • Posicionamento em favor da equidade e justiça social, que assegure a universalidade de acesso aos bens e serviços relativos aos programas e políticas sociais, bem como sua gestão democrática. • Empenho na eliminação de todas as formas de preconceito, incentivando o respeito à diversidade, à participação de grupos socialmente discriminados e à discussão das diferenças. • Garantia do pluralismo, através do respeito às correntes profissionais democráticas existentes e suas expressões teóricas, e compromisso com o constante aprimoramento intelectual. • Opção por um projeto profissional vinculado ao processo de construção de uma nova ordem societária, sem dominação, exploração de classe, etnia e gênero. • Articulação com os movimentos de outras categorias profissionais que partilhem dos princípios deste Código e com a luta geral dos trabalhadores. • Compromisso com a qualidade dos serviços prestados à população e com o aprimoramento intelectual, nas perspectiva da competência profissional. • Exercício do Serviço Social sem ser discriminado, nem discriminar, por questões de inserção de classe social, gênero, etnia, religião, nacionalidade, opção sexual, idade e condição física. Fonte: CFESS (1993, p. 23-4). Observação O Código de Ética do Profissional dos Assistentes Sociais materializa- se pela Resolução CFESS nº 273/1993. Foi aprovado em 15 de março de 1993, com as alterações introduzidas pelas Resoluções CFESS nº 290/1994 e 293/1994. O processo avaliativo exige do profissional um papel demasiadamente importante, pois tem o compromisso de acolher a singularidade de determinadas realidades, bem como de colher dados relevantes para o que se deve avaliar. Esse entendimento faz do avaliador um técnico que precisa ter clareza de que o resultado de sua avaliação expressará uma particularidade, condições que podem implicar a necessidade de uma intervenção, assim como de expressar um resultado positivo ou negativo de um trabalho e/ou de um investimento. No caso da política social, pode demonstrar o uso dos recursos públicos na resolução de carências sociais destinados certamente a uma população em condições de vulnerabilidade. 66 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II Baptista (2003) vai além ao afirmar a necessidade de o profissional utilizar um conhecimento acumulado sobre o objeto e o processo de avaliação, mostrando-nos que o avaliador deveráser um especialista no assunto. 5.2 Avaliação no planejamento Partimos do entendimento de Baptista (2000) de que a avaliação é parte do processo de planejamento. Muitas vezes, os profissionais responsáveis pela execução das políticas não estão preparados para dar visibilidade a esse processo, mas é importante destacar que essa dificuldade tem limitado os resultados das políticas sociais. No entendimento da autora: A avaliação está presente dialeticamente em todo o processo de planejamento: quando se inicia a ação planejada, inicia-se concomitantemente sua avaliação, independentemente de sua formalização em documentos. Não é, portanto, o seu momento final, mas aquele em que o processo ascende a outro patamar, reconstruindo dinamicamente seu objeto, objetivos e procedimentos (BAPTISTA, 2000, p. 114). Elementos da dialética são reconhecidos no processo de avaliação, utilizando as ideias da autora, que os destaca: • dimensão do futuro: a avaliação permite que se faça no presente uma análise crítica do passado; • dimensão da historicidade: não se faz apenas com a recuperação do processo histórico, mas na sua recuperação e reconstrução na particularidade da intervenção; • dimensão da contradição: a avaliação é um questionamento do planejamento, uma vez que se coloca em questão a proposta, bem como sua execução e seus resultados. Nessa dimensão é perceptível que nenhuma solução pareça boa; sempre haverá sugestões novas, condições alteradas e, por fim, novas alternativas; • dimensão do enfrentamento da reificação: a avaliação do desempenho do planejado dependerá da capacidade de resolução do imediato, do planejador e do executor. A avaliação permite que se faça no presente uma análise crítica do passado, o que não se faz apenas com a recuperação do processo histórico, mas na sua recuperação e reconstrução na particularidade da intervenção. Durante a avaliação ocorrem questionamentos do próprio planejamento de contribuir para ajustes e resolução dos problemas (BAPTISTA, 2000, p. 79). 67 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL De acordo com as análises de Baptista (2000), podemos afirmar que o planejamento é a etapa de maior questionamento e ocorre a partir de critérios determinados e de variáveis, condições que permitem detectar erros e bloqueios que podem dificultar os resultados. Principais problemas que podem ser encontrados no planejamento de questões da área social: • precariedade dos processos científicos e metodológicos de mensuração de dados sociais, principalmente os de natureza qualitativa; • ausência de um referencial de estudos que permita determinar os efeitos de medidas macrossociais em todas as dimensões do sistema; • dificuldade para estabelecer a natureza estatística de relação entre indicadores, principalmente quando o processo envolve muitas espécies de mudanças, algumas a curto, outras a médio ou longo prazo, as quais estão naturalmente relacionadas; • preocupação com resultados imediatos, que na área social, muitas vezes, são mais significativos que as respostas de longo prazo, e menos tangíveis. Devemos levar em conta, no processo de avaliação, que as mudanças nas condições trabalhadas se alteram pela ação dos instrumentos mobilizados na sua realização pelas forças internas (organizações) e na conjuntura histórica em que a realidade é inserida. Para Baptista (2000): As diversidades e benefícios não previstos, provocados por essas determinações, podem enviesar o curso do processo, modificando seus resultados, tanto em termos da eficiência da ação, quanto de sua eficácia para o alcance dos objetivos e da efetividade da resposta idealizada (BAPTISTA, 2000, p. 116). Descrição do projeto (resultados, procedimentos e registro) Confronto (metas e análises da eficiência, eficacia e efetividade) Sugestões de realinhamento Parâmetros (metas) Descrição dos dados Figura 6 – Principais itens do documento de avaliação 68 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II De acordo com os dados anteriores, compreendemos que o documento de avaliação de um projeto deve trazer os seguintes elementos: • descrição; • análise das metas (alcançadas ou não) em tempo, volume e espaço; • demonstrativo do processo de monitoramento e sua frequência; • confronto e análise dos indicadores de eficácia, eficiência e efetividade; • sugestões de aperfeiçoamento. 5.2.1 Principais indicadores de avaliação: eficiência, eficácia e efetividade Para Baptista (2000), os critérios mais usados em avaliação são aqueles relacionados à eficiência, à eficácia e à efetividade da ação. Acredita a autora que um planejamento comprometido tenha de desenvolver formas de ação com esses propósitos. Eficiência Eficácia Efetividade Figura 7 – Critérios usados em avaliação 5.2.1.1 Avaliação da eficiência A avaliação da eficiência tem como objetivo obter maior resultado com menores custo e esforço. “Deve ser necessariamente crítica, estabelecendo juízo de valor sobre o desempenho e os resultados que o mesmo propicia” (BAPTISTA, 2000, p.117). Sabe-se que são critérios da eficiência aqueles relacionados com o rendimento administrativo e técnico de uma ação. Nesse processo incluem-se a otimização dos recursos e os resultados de maior qualidade. Essa avaliação crítica da execução da ação planejada é tão mais importante quanto maior for o número de participantes na intervenção: as interpretações sobre o processo e os resultados das ações podem ser bastante diferentes e constituírem-se em vieses na execução. A correção desses desvios pode ser feita retomando o planejamento e o ocorrido, analisando suas carências, 69 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL tomando como base as evidências percebidas, compatibilizando as atividades que se realizam separadamente, mas que têm objetivos comuns: visão das ações realizadas se funde com a preparação de novas ações, novas políticas, novos planos (BAPTISTA, 2000, p. 117-8). 5.2.1.2 Avaliação da eficácia A avaliação da eficácia está relacionada aos objetivos (gerais e específicos), estabelecendo o grau de alcance desses objetivos e, quando houver fracasso, compreendendo suas razões. São avaliados os efeitos diretos e indiretos da ação, incluindo aqueles que não foram previstos, mas que a ação levou a resultados contrários. Exemplo: a gestão municipal da assistência social lança um projeto de qualificação profissional para produtores de doces artesanais que atinge número de qualificados significativo. A segunda etapa é a inclusão, no mundo do trabalho, desses egressos; porém, com o passar do tempo, foi verificado que esses qualificados passaram a concorrer, no mercado de trabalho de produtores de doces artesanais, com os já existentes, mas, diante de uma demanda de produtores maior que a oferta dos consumidores, alguns produtores, principalmente os mais velhos, perderam sua clientela. Como resultado, houve o desemprego de um número significativo dos produtores de doces, uma vez que foi verificado que a demanda de consumidores permaneceu a mesma, enquanto a de produtores dobrou, e, assim, 50% dos velhos e novos produtores ficaram sem clientes, situação que levou ao desemprego dos velhos e a não inclusão, no mundo do trabalho, de egressos do curso. A conclusão é que faltou, nesse projeto, um levantamento do mercado consumidor, etapa feita no planejamento, e, como resultado de sua eficácia, é possível afirmar que seus objetos foram contrários aos esperados. A respeito disso, Baptista (2000) afirma: Nesse sentido, em uma avaliação, a compreensão desses aspectos deve estar sempre presente, para que não se analise a intervenção em si, esquecendo suas determinações: é importante ressaltar que não é só a intervenção programada nem o cotidiano previsto e conhecido que irão determinar o desenvolvimento e os resultados da ação, existem eventos não previstos que influenciam substancialmente os resultados de uma ação programada. Essas determinações poderão estar em diferentes níveis: poderão ser internas à ação, estar relacionadas à organização onde a ação opera ou ainda à sociedade (BAPTISTA, 2000, p. 118). Especialistas afirmam que na avaliação da eficácia o mais importante é analisar os efeitos da ação, ou seja, a ação e o produto. Isso exige o estabelecimento de instrumentos de controle, bem como o acompanhamento do trabalho e dos rendimentos. Para Baptista (2000, p. 119): “É importante 70 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II operacionalizar os aspectos fundamentais da proposição, de forma a permitir seu acompanhamento e avaliação de seu alcance”. 5.2.1.3 Avaliação da efetividade A avaliação da efetividade diz respeito aos impactos do planejamento sobre uma dada realidade, ou seja, sobre o objeto. “Nessa perspectiva, o ponto de vista da avaliação é o da totalidade e a questão é vista como uma totalidade parcial integrada em totalidades mais amplas” (BAPTISTA, 2000, p. 120). Sabe-se que a avaliação da efetividade questiona a proposta, os objetivos e as ações desenvolvidas em sua capacidade de dar respostas, de resolução de problemas. 5.2.1.4 Avaliação do Plano Municipal de Assistência Social É elemento estratégico para a implantação de um sistema, define os objetivos, o foco e a intencionalidade das ações e permite a articulação antecipada dos resultados e dos impactos, possibilitando antever aquilo que se quer alcançar. (BRASIL, 2008). O Plano de Assistência Social é um instrumento de planejamento estratégico que organiza e regula a execução da Política Nacional de Assistência Social (PNAS) na perspectiva do Sistema Único de Assistência Social (Suas). A responsabilidade pela elaboração do PMAS (Plano Municipal de Assistência Social) é do órgão gestor, e a aprovação cabe ao Conselho de Assistência Social. Elaboração (órgão gestor) Aprovação (Conselho Municipal) PMAS , Figura 8 – Definição da elaboração do PMAS 71 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL O Plano de Assistência Social deve ser elaborado pelo gestor nas três esferas de governo, devendo ser construído para uma gestão e ser submetido à aprovação do conselho. Para superar a prática conservadora assistencialista e clientelista que marca o início da assistência social, o Plano da Assistência Social é compreendido pelo Suas como: Instrumento fundamental para a construção de uma política planejada, efetiva e de impacto sobre as situações de vulnerabilidade e risco sociais identificadas nos territórios; Parâmetro básico para a democratização do processo decisório; Mecanismo para viabilizar a inserção da assistência social ao sistema de planejamento global do município, bem como aos sistemas de planejamento da assistência social nos âmbitos estadual e federal (BRASIL, 2008, p. 30). De acordo com o Suas, o plano é mais que uma ferramenta técnica: é essencialmente político, pois processa conhecimento da realidade social e mobiliza forças políticas. Assim, quanto mais democrática e participativa for a construção do plano, mais apoio e consenso terá para a sua execução. Essas informações têm como objetivo chamar a atenção do leitor para a importância dessa ferramenta no processo de gestão da política social. A partir de agora, vamos adentrar a avaliação do PMAS. O plano de assistência social requer avaliação e reajustes constantes, seja em face de novos acontecimentos ou situações, seja para correção dos objetivos e de estratégias anteriormente definidas ou realizadas ao longo de sua implementação. A avaliação do plano pode obedecer a critérios e perspectivas diferentes; isso dependerá de quem a realiza, de quais são as intenções na avaliação e do contexto da realidade. Esses são alguns dos condicionantes. Analistas de políticas públicas definem a avaliação como instrumento político-gerencial, requisitado para melhorar a ação existente e contribuir para aprimorar o conhecimento sobre uma realidade, possibilitando a continuidade e a permanência da política, rompendo com a descontinuidade desta. Também possui imperativo ético, demonstrando os critérios e o uso dos recursos, privilégio da transparência da aplicação dos recursos públicos pelo plano, bem como a importância da qualidade e da participação da sociedade. A avaliação é instrumento estratégico para a execução do plano, pois torna possível identificar seus ganhos e perdas, além de sustentar agentes sociais de informação que contribuam para o seu ajuste, aperfeiçoamento e o exercício do controle social. A configuração do Suas exige, para garantia do direito, atuação permanente e contínua. Com esse formato, a avaliação é fundamental para o alcance de ações autônomas com a participação dos seus usuários. 72 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II A geração da informação, operando as estratégias de produção, armazenamento, organização, classificação e disseminação de dados por meio das ferramentas tecnológicas disponíveis e em desenvolvimento, é elemento fundamental a ser devidamente incorporado na cultura institucional vigente (BRASIL, 2008, p. 65). Formulação do plano: na avaliação inicial (ex-ante), propicia a definição das questões a serem tomadas, bem como o balanço dos fatores complicadores e facilitadores em relação às condições de exequibilidade e viabilidade. Execução do plano: a avaliação e o monitoramento assumem uma retroalinhadora do plano e acompanham os avanços, os ajustes e as adequações necessárias. Avaliação final do plano: avaliação (ex-post), momento de coletar e analisar informações que formulem juízo de valor em relação ao resultado final e seus efeitos sobre a condição inicial e a população. Figura 9 – Fases de execução do plano Lembrete As etapas do plano devem ser construídas coletivamente, contando com a participação de usuários e de parceiros, num espaço pedagógico que possibilite o aprendizado. Deve ser previsto um sistema de acompanhamento e avaliação para o Plano como um todo, através de indicadores comuns a todos os programas como, por exemplo, acesso a serviços, protagonismo, autonomização, participação, engajamento comunitário, etc., e indicadores específicos para cada programa e ações, adequados aos objetivos que se quer atingir em cada um, como ganho de habilidades específicas, ampliação da renda e outros. É importante definir claramente o objeto da avaliação e seus focos de concentração, ou seja, sob que ângulos, espaços e temporalidade serão avaliados (BRASIL, 2008, p. 65-6). Na avaliação do plano, é importante buscar mais que resultados quantitativos, pois esta deve ser vista como um processo que traz resultados que vão além da análise do alcance dos objetivos e das metas. Deve-se analisar se houve mudanças no comportamento da população, se ocorreu contribuição para a intersetorialidade etc.73 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL Saiba mais Para saber mais, não deixe de consultar: BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. CapacitaSuas. Planos de Assistência Social: diretrizes para elaboração. Brasília: SNAS/IEE-PUCSP, 2008. v. 3. Disponível em: <http://www.mds. gov.br/assistenciasocial/secretaria-nacional-de-assistencia-social-snas/ cadernos/caderno-suas-volume-3-planos-de-assistencia-social-diretrizes- para-elaboracao/caderno-suas-volume-3-planos-de-assistencia-social- diretrizes-para-elaboracao>. Acesso em: 15 out. 2013. 6 INSTRUMENTO, APRESENTAÇÃO DE RESULTADOS, ANÁLISE DE UM ESPECIALISTA EM AVALIAÇÃO DA POLÍTICA DE ASSISTÊNCIA SOCIAL E ROTEIRO DE AVALIAÇÃO DE PLANO E PROJETO O relatório é um dos instrumentos mais utilizados para a apresentação dos resultados de uma avaliação, que pode ser de um projeto, de um programa, de um plano e até mesmo de indicadores de desenvolvimento humano. 6.1 Instrumento Vamos apresentar o Relatório Anual de Gestão, que se destina a registrar e sintetizar as informações sobre os resultados alcançados na política de assistência social, bem como a probidade de seus gestores em nível nacional, estadual, municipal e no Distrito Federal. O relatório tem também a função de divulgar às instâncias formais e de controle da Assistência Social, ao Ministério Público, ao Poder Legislativo e à sociedade os resultados alcançados e a regularidade da gestão. Como demonstra o modelo de instrumento exposto a seguir (Gestão 2011), os aspectos avaliados são: • identificação; • precisão orçamentária da assistência social para o ano; • gestão dos recursos financeiros do cofinanciamento estadual; • quantidade de trabalhadores alocados no Órgão da Assistência Social no Cras e no Creas; • rede socioassistencial, de acordo com as proteções sociais; • detalhamento das ações realizadas. 74 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II Como pode ser verificado no modelo de instrumento utilizado para o registro dos dados a serem avaliados, o que buscamos apresentar foi o cumprimento das realizações e dos resultados, em virtude das metas priorizadas e estabelecidas no Plano de Ação Anual, bem como a aplicação dos recursos em nível nacional, estadual e municipal, no exercício daquele ano. Esse relatório será elaborado pelo gestor e submetido ao conselho seguindo padrões e determinações da Política Nacional da Assistência Social. 6.2 Resultados de avaliação Para mostrar resultados, apresentamos duas avaliações: a primeira traz um relatório da Agência Nacional de Energia Elétrica (Aneel), o qual aponta que obras consideradas prioritárias para a garantia de fornecimento de energia nas cidades-sede dos jogos da Copa do Mundo de 2014, no Brasil, estão atrasadas. O segundo exemplo apresenta partes do relatório que trata da demonstração dos resultados da evolução do financiamento da assistência social. Ambos são considerados exemplos de resultados, o que implica a demonstração em partes, sem compromisso, da apresentação. Exemplo 1. Veja esta notícia: Ministério nega risco de falta de energia durante a Copa de 2014 O Ministério de Minas e Energia divulgou nesta terça-feira (22) nota em que nega risco de faltar energia nas cidades do país que vão sediar os jogos da Copa de 2014. “As reuniões de acompanhamento, coordenadas pelo MME, permitem afirmar, com absoluta segurança, que não há risco de desabastecimento durante a Copa”, diz a nota. Um relatório da Agência Nacional de Energia Elétrica (Aneel) aponta que obras consideradas prioritárias para a garantia de fornecimento de energia nas cidades-sede dos jogos da Copa de 2014 estão atrasadas. De acordo com o documento, publicado em dezembro, Porto Alegre é a cidade onde a situação mais preocupa. A fiscalização da agência aponta que estão atrasadas 96% das obras tocadas pela CEEE, concessionária de distribuição de energia na capital do RS. Reportagem publicada nesta terça pelo jornal Folha de S. Paulo, com base no relatório, diz que “o fornecimento de luz para a Copa do Mundo de 2014 está ameaçado em boa parte das cidades-sede, diferentemente do que vem sustentando o governo”. De acordo com o ministério, um grupo de trabalho “acompanha e monitora”, desde 30 de agosto de 2010, as obras prioritárias para garantir o fornecimento de energia no país durante a competição. A nota aponta ainda que, ao contrário do que afirma a reportagem, o relatório da Aneel conclui que “a maioria desses atrasos não oferece risco iminente ao abastecimento de energia para a Copa de 2014”. 75 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL Obras complementares O diretor-geral da Aneel, Nelson Hübner, disse que a maior parte das obras do setor de energia voltadas para a Copa é destinada apenas ao reforço das instalações. Segundo ele, o Brasil já teria, hoje, condições de sediar o mundial, com a sua demanda por energia, com baixíssimos riscos de falha no fornecimento. “A grande maioria delas é de obras complementares. São obras de confiabilidade, que a Fifa exige”, disse ele, citando como exemplo a necessidade de instalação de dupla estrutura para alimentação de energia nos estádios da Copa. Hübner afirmou que obras desse tipo, na área de distribuição de energia, são realizadas rapidamente e os atrasos constatados pelo relatório podem ser revertidos em poucos meses. Ele voltou a negar risco de falha no fornecimento de energia nas cidades-sede. De acordo com ele, um novo relatório da fiscalização da agência com informações atualizadas sobre o andamento das obras voltadas para a Copa deve sair em cerca de três semanas. Fonte: Amato (2013). Exemplo 2. Veja partes deste relatório: Os dados a seguir são do relatório de avaliação do financiamento da assistência social, retirado do Caderno SUAS (BRASIL, 2011). Para melhor compreensão, vamos apresentar partes desse relatório para clarear o entendimento sobre a construção dessa avaliação. Partimos do entendimento de que a introdução é a parte do relatório que tem a finalidade de apresentar o que será tratado no documento. Na Introdução, encontram-se os conteúdos do relatório, os procedimentos metodológicos adotados e os elementos de análise. Leia: O relatório em questão apresenta dados sobre o financiamento da Assistência Social no período de 2002 a 2010, com enfoque nos dois últimos exercícios. São apresentados gráficos, mapas e tabelas que demonstram a evolução do financiamento e da cobertura das ações na área de assistência social ofertadas pelo setor público no período analisado. Considerando que a provisão da proteção social brasileira é de corresponsabilidade das três esferas de governo, o relatório aponta como os recursos são executados e se distribuem regionalmente e ao longo do tempo, o grau de cofinanciamento de estados, Distrito Federal e municípios e a contribuição da União para a consecução dessa política. 76 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II De modo a auxiliar a compreensão do leitor, são descritos os procedimentos metodológicos que orientaram a definição da fonte de informações, o recorte dos dados orçamentários e a adoção do índice de inflação. Inicialmente, é retratada a evolução dos recursos da Assistência Social na União, indicando o nível de crescimentodesses recursos no período analisado, além de uma análise de sua evolução frente ao gasto social federal. Em seguida, analisa-se a evolução do montante investido e do número de beneficiários dos três principais programas do MDS: Benefício de Prestação Continuada (BPC), Programa Bolsa Família (PBF) e Acesso a Alimentação, responsáveis pelo elevado incremento dos recursos destinados à Assistência Social, especialmente a partir de 2004. Por fim, são apresentados gráficos que ilustram a participação dos entes federados no financiamento da política de Assistência Social, identificando o grau de participação da União, dos estados, [do] Distrito Federal e dos Municípios, bem como procedendo à análise da totalidade dos recursos destinados à Função 08 (Assistência Social) frente ao Produto Interno Bruto (PIB). Nos anexos são expostas as tabelas com o detalhamento dos dados que subsidiaram o Caderno Suas. Fonte: Brasil (2011, p. 11). As Notas Metodológicas têm a função de apresentar para o leitor os objetivos do relatório, as variáveis e as principais estratégias utilizadas: O presente relatório tem como objetivo consolidar os dados para o mapeamento e [o] monitoramento do financiamento da Assistência Social no Brasil no período de 2002 a 2010, em atendimento ao inciso VI do artigo 11 da Portaria MDS nº 329, de 11 de outubro de 2006, que institui e regulamenta a Política de Monitoramento e Avaliação do Ministério do Desenvolvimento Social e Combate à Fome. Para elaboração deste Caderno, foram consideradas como financiamento da Assistência Social as despesas classificadas pelos entes na função orçamentária “Assistência Social” (Função 08). Por função orçamentária entende-se o maior nível de agregação das diversas áreas de despesa que competem ao setor público, como Saúde, Educação, Previdência (Portaria nº 42, de 14 de abril de 1999). Os dados do orçamento da União e dos repasses do Fundo Nacional de Assistência Social (FNAS) aos estados, Distrito Federal e municípios nos anos analisados foram extraídos do Sistema Integrado de Administração Financeira do Governo Federal (Siafi). Os recursos dos exercícios anteriores (2002 a 2010) correspondem aos valores liquidados na execução orçamentária de cada ano. Em relação ao exercício corrente, a dotação autorizada, isto é, dotação inicial (Lei nº 12.381, de 9 de fevereiro de 2011) acrescida de créditos adicionais, refere-se à data de 30/06/2011.Os valores de 2012 correspondem ao Projeto de Lei Orçamentária Anual – PLOA 2012, encaminhada ao Congresso Nacional no final do mês de agosto (PL nº 28/2011-CN), 77 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL e os dados relativos aos recursos de 2012-2015 constam da Proposta de Plano Plurianual (PPA), Projeto de Lei nº 29/2011-CN. Quanto à evolução financeira dos recursos da União com a Assistência Social, são apresentadas duas análises de dados: a primeira considera as despesas gerais, o que inclui serviços, programas, projetos e benefícios da Assistência Social, e a segunda considera apenas os serviços e projetos, subtraindo os benefícios destinados às seguintes ações de transferência de renda: Renda Mensal Vitalícia (RMV), Benefício de Prestação Continuada (BPC), Programa Bolsa Família (PBF), bolsa do Programa de Erradicação do Trabalho Infantil (Peti) e bolsa do Agente Jovem (AJ). Na análise da evolução percentual do recursos da Assistência Social em relação à Seguridade Social, esta última é considerada como o somatório das despesas nas funções Saúde (Função 10), Previdência Social (Função 09) e Assistência Social (Função 08). Para proceder às correções dos recursos de 2002 a 2011 foram utilizados os índices de inflação do índice Nacional de Preços ao Consumidor Amplo (IPCA-IBGE), índice oficial utilizado pelo Governo Federal. Os índices correspondem à data de 30/06/2011. Em relação à evolução do Benefício de Prestação Continuada (BPC), os dados atualizados são disponibilizados mensalmente pelo Departamento de Benefícios Assistenciais da Secretaria Nacional de Assistência Social (SNAS), no portal do Ministério do Desenvolvimento Social e Combate à Fome (www.mds.gov.br). Os dados relacionados ao Programa Bolsa Família foram disponibilizados pelo Departamento de Operações da Secretaria Nacional de Renda de Cidadania (Senarc) e os dados orçamentários do programa Acesso à Alimentação foram extraídos do SIAFI, enquanto os dados físicos foram fornecidos pela Secretaria Nacional de Segurança Alimentar e Nutricional (Sesan) do MDS. Os valores considerados foram liquidados na execução dos Programas em cada ano. Com o intuito de facilitar a comparação entre os exercícios, os gráficos da evolução dos recursos do BPC, PBF e Acesso à Alimentação também foram corrigidos pelo IPCA-IBGE. Na análise da participação dos entes federados no financiamento da Assistência Social, foram utilizados dados extraídos do SIAFI (União) e do Sistema de Coleta de Dados Contábeis dos Estados, Distrito Federal e Municípios (SISTN). Foram contabilizados como repasses da União aos estados, Distrito Federal e municípios não apenas aqueles realizados pelo Ministério do Desenvolvimento Social e Combate à Fome via Fundo Nacional de Assistência Social (FNAS/MDS), mas também os referentes a ações de acesso a alimentação como construção de cisternas, aquisição de alimentos da agricultura familiar, implantação de banco de alimentos, educação alimentar e nutricional, instalação de restaurantes e cozinhas populares, entre outros. Para os estados e o Distrito Federal, o relatório utilizado foi o da Execução Orçamentária dos Estados. Já no caso dos municípios, as informações são provenientes do banco de dados Finanças do Brasil (Finbra – Dados Contábeis dos Municípios). A extração foi realizada em 30 de junho de 2011. Tais informações contábeis são oficiais, pois são declaradas pelos entes 78 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II da Federação com a ratificação dos prefeitos e governadores. Entretanto, os demonstrativos estão sujeitos a erros de preenchimento ou mesmo de classificação, bem como à ausência de registro de informações por alguns entes, o que reforça a importância do cumprimento do artigo 51 da Lei de Responsabilidade Fiscal (Lei Complementar nº 101/2000) que dispõe sobre a obrigatoriedade dos estados, Distrito Federal e municípios de prover a STN de informações sobre as despesas por função orçamentária, entre elas a Assistência Social. Cabe ressaltar, também, que os dados do Finbra não incluem a totalidade dos municípios do país, sendo os seguintes quantitativos de municípios que tiveram suas informações contábeis validadas pela STN: 4.825 municípios em 2002; 4.769 em 2003; 3.429 em 2004; 4.355 em 2005; 4.807 em 2006; 5.295 em 2007; 5.050 em 2008; 5.247 em 2009 e 5.048 em 2010 até a data da extração. Por fim, considera-se cofinanciamento o valor declarado pelo ente subtraído do valor repassado pela União, via Ministério do Desenvolvimento Social e Combate à Fome (FNAS) e outras despesas classificadas como Função 08). Em virtude do cumprimento do percentual mínimo estabelecido constitucionalmente para despesas com Saúde ou Educação, é possível que haja gastos em Assistência Social indevidamente classificados nessas funções. Como não é possível ainda identificar os recursos transferidos dos estados aos municípios, pode, eventualmente, existir alguma duplicidade entre os gastos declarados por esses entes. Fonte: Brasil (2011, p. 12-3). Nesse relatório as análises foram apresentadas, em sua maior parte, por meio de gráficos. Geralmente, o usode gráfico é adotado para fazer comparações e avaliações – nesse caso, para apresentar uma análise da evolução do financiamento da assistência social durante um período de dez anos. Vamos aos exemplos: 6,0 5,0 4,0 3,0 2,0 1,0 0,0 2002 1,7 0,9 1,6 1,4 1,8 2,2 2,3 2,6 2,5 2,9 2,7 2,7 2,1 2,5 2,9 3,0 3,2 2,9 3,2 2,8 5,8 2003 2004 2007 20102005 2008 2011*2006 2009 R$ b ilh õe s 2012** Assistência Social - valores nominais Assistência Social - valores corrigidos pelo IPCA-IBGE até 30.06.11 * Lei + crédito: 30 de junho de 2011. ** PLOA 2012. Figura 10 – Evolução financeira dos recursos da União para serviços, programas e projetos de Assistência Social, 2002-2012 79 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL 12% 10% 8% 6% 4% 2% 0% 2002 0,97% 4,20% 4,65% 6,53% 6,56% 7,84% 8,11% 8,54% 8,71% 9,14% 9,16% 10,29% 0,96% 1,53% 1,43% 1,82% 2,02% 2,29% 2,35% 2,61% 2,17% 2,55% 2003 2004 2007 20102005 2008 2011*2006 2009 2012** * Lei + crédito: 30 de junho de 2011. ** PLOA 2012. % orçamento total % da seguridade social Figura 11 – Evolução percentual dos recursos da Assistência Social em relação ao orçamento total da União e à Seguridade Social, 2002-2012 Agora veja estes exemplos: 1,2% 1,0% 0,8% 0,6% 0,4% 0,2% 0,0% 2002 0,14% 0,61% 0,90% 0,67% 0,74% 0,81% 0,77% 0,77% 0,65% 0,68% 0,59% 1,10% 0,19% 0,16% 0,16% 0,19% 0,19% 0,21% 0,18% 0,19% 0,14% 0,27% 2003 2004 2007 20102005 2008 2011*2006 2009 2012** * Lei + crédito: 30 de junho de 2011. ** PLOA 2012. % orçamento total % da seguridade social Figura 12 – Evolução percentual dos recursos para serviços, programas e projetos de Assistência Social em relação ao orçamento total da União e à Seguridade Social, 2002-2012 80 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II 1,20% 1,00% 0,80% 0,60% 0,40% 0,20% - 45 40 35 30 25 20 15 10 5 0 1995 1996 1997 1998 1999 2002 2005 2006 20082007 200920032000 2001 2004 * Lei + crédito: 30 de junho de 2011. ** PLOA 2012. Em % do PIB Em R$ bilhões constantes de dez/2010 1,6 0,08 0,09 0,17 0,24 0,29 0,40 0,49 0,60 0,66 0,75 0,83 0,91 0,93 0,97 1,08 1,8 3,6 5,2 6,4 9,2 11,6 14,8 16,2 20,1 22,9 26,6 29,6 33,3 37,0 Em % d o PI B Em R $ bi lh õe s c on st an te s d e de z/ 20 10 Figura 13 – Trajetória do Gasto Social Federal, 1995 a 2009: Assistência Social As figuras anteriores apresentam a evolução do financiamento da assistência social: destacam o percentual do aumento dos recursos anualmente; o aumento dos recursos da união para serviços, programas e projetos da assistência social; o aumento em relação à seguridade social; a trajetória dos gastos sociais; e a composição do gasto social federal por área de atuação. Podemos verificar que os gráficos representados nessas figuras buscaram apresentar indicadores de análise que nos levam a uma leitura do grau de evolução dos recursos nos dez anos demonstrados no relatório. A apresentação da figura a seguir tem como objetivo demonstrar a evolução do recurso do programa de transferência de renda Benefício de Prestação Continuada (BPC). Veja o exemplo: 81 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL 12.000 11.000 10.000 9.000 8.000 7.000 6.000 5.000 4.000 3.000 2.000 1.000 0 2002 2003 2004 2007 20102005 20082006 2009 Em m ilh õe s 205 758 919 500 629 732 830 948 1.051 484 602 705 811 933 1.049 425 542 645 748 886 1.018 1.114 1.890 2.355 2.739 3.152 3.688 4.160 1.511 1.914 2.257 2.592 3.004 3.402 887 220 226 279 277 252 1.194 385 380 328 1.463 Sudeste Nordeste Centro-Oeste Sul Norte Nota: valores corrigidos pelo IPCA de 30 de junho de 2011. Figura 14 – BPC (Pessoa idosa): Evolução dos recursos por região, 2002-2010 Esse relatório também traz indicadores de avaliação do recurso de transferência de renda repassado aos beneficiários do Bolsa Família, um programa que tem a finalidade de transferir renda às famílias em condições de vulnerabilidade e risco social. É considerado um dos melhores exemplos do mundo de combate à miserabilidade. A avaliação dos resultados desse programa tem levado o Brasil a patamares de desenvolvimento mais elevados nos últimos anos. Leia o texto a seguir. Evolução do Programa Bolsa Família O Programa Bolsa Família (PBF) é um programa de transferência de renda com condicionalidades, que beneficia famílias em situação de pobreza (com renda mensal por pessoa de R$ 70 a R$ 140) e extrema pobreza (com renda mensal por pessoa de até R$ 70). No ano de 2010 foi investido o montante de R$ 14,84 bilhões no atendimento a 12,78 milhões de famílias, o que representou um aumento de 108,6% no volume de recursos aplicados e de 94,4% no número de famílias atendidas em relação ao ano de 2004 [...]. O Programa Bolsa Família apresentou ao longo do período 2004-2010 uma evolução crescente de beneficiários e recursos aplicados (à exceção da região Nordeste, que apresentou uma leve queda na execução orçamentária de 2009 para 2010, embora tenha sofrido variações ao longo do tempo. A evolução crescente da execução orçamentária está relacionada não apenas com o aumento da cobertura do Programa, mas também com as atualizações do valor de referência para caracterização da condição de pobreza 82 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II (linha de pobreza para concessão do benefício), com uma maior efetividade no alcance dos beneficiários e com reajustes nos benefícios concedidos que objetivam não só corrigir a defasagem dos valores, mas também recuperar a perda com a inflação. Fonte: Brasil (2011, p. 26). 14.000 13.000 12.000 11.000 10.000 9.000 8.000 7.000 6.000 5.000 4.000 3.000 2.000 1.000 0 2004 2005 2008 20102006 2007 2009 Em m ilh õe s 605 876 905 908 968 1.409 1.051 398 471 533 603 881665 812 787 976 1.174 1.417 1.734 1.554 291 Nordeste Sudeste Centro-OesteSulNorte 1.589 2.193 2.419 2.638 2.997 3.675 3.1723.956 4.599 5.247 5.890 6.836 7.145 7.186 Nota: Valores corrigidos pelo IPCA de 30 de junho de 2011. Figura 15 – Bolsa Família: Evolução dos recursos por região, 2004-2010 O relatório que estamos apresentando traz indicadores de um entendimento ampliado da evolução do financiamento, além de gráficos que demonstram os resultados da participação dos entes federados no cofinanciamento da assistência social. 83 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 2004 2005 2008 20102006 2007 2009 União Estados e Distrito Federal Municípios 8,5% 10,0% 8,4% 7,3% 7,0% 8,0% 7,2% 18,0% 16,0% 13,8% 14,8% 16,0% 14,0% 14,4% 75,5% 75,0% 77,8% 78,1% 77,0% 78,0%78,4% Figura 16 – Participação dos entes federados no financiamento da Assistência Social, 2004-2010 Julgamos importante trazer o exemplo das Considerações Finais, muito usadas para apresentar um posicionamento crítico do estudioso ou do especialista responsável pela avaliação. Esse é também o espaço adequado para apresentação de sugestões e recomendações. Decorridos sete anos de implantação do Sistema Único de Assistência Social, conquista do processo democrático e participativo, materializado nas conferências e nos conselhos, e, ainda, principal deliberação da IV Conferência Nacional de Assistência Social, realizada em caráter extraordinário em dezembro de 2003, pode-se dizer que muito já se avançou na construção de um modelo que contempla mudanças não apenas no modo de operar, mas, também, no modo de financiar a política de Assistência Social. Trata-se de um marco importante na história recente das políticas sociais brasileiras, institucionalizado pela Lei nº 8.742/93, alterada pela Lei nº 12.435/2011, que concebeu efetivamente à Assistência Social o status de política pública, de acordo com a Constituição Federal vigente. No âmbito da gestão de uma política pública, a destinação orçamentária e a sua execução, ou seja, seu efetivo financiamento, constituem importantes indicadores das prioridades de atuação e intervenção do setor público. Conhecer as dotações envolvidas, as escolhas feitas no âmbito da política e seus avanços e/ou desafios compõe uma importante ferramenta para o exercício do controle social do Estado pelo cidadão, compreendendo o Estado a serviço do interesse público. Nesse sentido, este trabalho vem cumprir com uma importante tarefa para esta discussão: o monitoramento do volume de recursos apontados pelo Governo Federal, 84 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II estados, Distrito Federal e municípios na política de Assistência Social. Após análise dos dados apresentados, pode-se afirmar que houve no período de 2002 a 2010 um claro comprometimento com a agenda social e, em especial, a partir de 2005, com a concretização de um sistema descentralizado, territorializado e cofinanciado, pautado pela corresponsabilidade entre as esferas de governo na provisão da Assistência Social como política pública. Houve uma clara expansão dos recursos principalmente no nível federal, o que representou incremento tanto em relação ao orçamento da Seguridade Social quanto em relação ao orçamento total e ao Gasto Social Federal. Tal incremento dos recursos relaciona- se principalmente à ampliação da cobertura e do valor dos benefícios dos programas de transferência de renda, em especial o BPC e o Programa Bolsa Família, benefícios socioassistenciais que têm contribuído com a redução da extrema pobreza no país. Ainda, a evolução dos recursos totais contabilizados na Função Assistência Social (União + cofinanciamento dos estados, Distrito Federal e municípios) frente ao PIB indica a prioridade macroeconômica dada a essa política nos últimos anos, na medida em que revela a proporção do gasto efetivo na política diante do total de recursos mobilizados pelo Governo Federal. À União cabe a maior parcela no financiamento da Assistência Social, se consideradas as transferências realizadas diretamente aos cidadãos. Por outro lado, o tímido aumento na participação dos municípios no cofinanciamento da política em 2010 demonstra a necessidade de se avançar na municipalização das ações da Assistência Social, sobretudo no que se refere à prestação dos serviços socioassistenciais de caráter continuado. Fonte: Brasil (2011, p. 39). Saiba mais Para ler mais sobre esse assunto, acesse: BRASIL. Ministério de Desenvolvimento Social e Combate à Fome. Secretaria Nacional de Assistência Social. Caderno Suas V: financiamento da assistência social no Brasil. Brasília: MDS/Sagi/SNAS, 2011. Disponível em: <http://www. mds.gov.br/assistenciasocial/secretaria-nacional-de-assistencia-social-snas/ cadernos/cadernos-suas-financiamento-da-assistencia-social-no-brasil/ cadernos-suas-financiamento-da-assistencia-social-no-brasil>. Acesso em: 15 out. 2013. 85 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL 6.3 Entendimento de especialista sobre a avaliação da assistência social Vamos apresentar uma reflexão de Ana Fonseca, gestora e pesquisadora da política social do governo Lula: O Brasil não conta com um sistema de avaliação e monitoramento das políticas sociais. Os ministérios setoriais (saúde, educação) têm suas secretarias ou diretorias e suas bases de dados. No âmbito dos Estados, o procedimento não é muito diferente, contando também com instituições de pesquisas. Mesmo assim, o Brasil não é um país com vasta tradição na discussão sistemática de políticas públicas. Os centros de reflexão que tratam do assunto são poucos. Os governos costumam ter uma atitude de desconfiança em relação a este tipo de estudo em função do temor de críticas. A burocracia tende a definir uma política pública como uma combinação de uma legislação setorial e uma alocação de recursos. E, infelizmente, até recentemente a avaliação de políticas públicas era apenas um componente compulsório nos empréstimos internacionais, uma exigência dos órgãos financiadores internacionais. Este quadro vem mudando lentamente nos últimos anos, em paralelo com a consolidação do regime democrático no país. Na esfera federal, instituições como o Ipea buscam reorganizar-se para ocupar esta lacuna. ONGs e empresas de consultoria passaram a desenvolver estudos avaliativos para instituições de caráter público e privado, nacionais e internacionais. Empresas e consultores privados começaram a ocupar este mercado. E mesmo no plano estadual e local organizações públicas e privadas começam a investir mais na avaliação de políticas de governo (FONSECA, [s.d.]). A reflexão de Fonseca ([s.d.]) traz uma crítica importante na discussão da avaliação das políticas sociais: a de que o Brasil não tem a cultura de avaliar os resultados das ações do Estado. Essa posição é alvo de inquietações daqueles que buscam medir e conhecer o alcance da gestão e dos investimentos públicos para o acesso aos direitos sociais e à cidadania. Curiosamente a preocupação que ganha a atenção da mídia é a avaliação das políticas e seus resultados. Não há uma equivalente atenção para com os processos de formulação de políticas. E aqui cabe uma diferenciação importante: formulação (ou desenho) de políticas públicas não é uma área onde estamos tão bem assim. A administração pública federal ainda enfrenta severos déficits de capacidades, em especial, nas áreas relacionadas com quadros técnicos capazes de proporem métodos consistentes que traduzam as prioridades do governo. Portanto quando falarmos de avaliação de políticas públicas é importante termos em mente os contextos de sua formulação (FONSECA, [s.d.]). Ainda sobre o interesse em conhecer os resultados alcançados com as políticas sociais, a análise demonstra que está concentrado somente nos resultados, e não no processo de formulação. Considerando 86 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II que o resultado de uma política está intimamente ligado ao seu processo de formulação, temos a preocupação de não sabermos cobrá-los daqueles que têm nas mãos a execução desse bem público. Nos livros-texto sobre políticas públicas o capítulo dedicado à avaliação de políticas em geral faz menção a várias modalidades de avaliação.Esta seção costuma vir na sequência de uma discussão sobre monitoria, o acompanhamento de como uma política está sendo implementada, ou seja, o monitoramento [no correto desempenho das tarefas]. Na avaliação são comuns os recortes. Um recorte, por exemplo, é a diferenciação da avaliação em ex-ante, ex-post e em processo. Outra diferenciação importante é a das metodologias quantitativas e qualitativas (FONSECA, [s.d.]). No entendimento de Fonseca ([s.d.]), a avaliação é tratada nas obras sobre políticas públicas como um elemento que deve subsidiar a avaliação. No sentido de demonstrar o entendimento que se tem sobre o assunto, ela apresenta os principais recortes que se fazem. As avaliações ex-ante, como o nome diz, são avaliações que antecedem a implementação de uma política. Frequentemente fazem parte de diagnósticos que podem ou não dar origem, na sequência, a políticas públicas. Estas avaliações às vezes estão presentes em documentos internacionais como os Relatórios das Agências das Nações Unidas como os produzidos pelo PNUD sobre Desenvolvimento Humano, pela Unicef sobre a situação da criança e pela OIT sobre a situação das relações de trabalho. Noutros casos, as avaliações constam em textos que subsidiaram a elaboração de programas de partidos que disputam o governo, como no caso das contribuições do Instituto da Cidadania, do Instituto Teotônio Vilela ou da Fundação Tancredo Neves (FONSECA, [s.d.]). Conforme a autora, a avaliação ex-ante é utilizada como elemento de diagnóstico que pode dar origem a um programa ou projeto e até mesmo a propostas de campanhas partidárias. Instituições financeiras como o Banco Mundial e o Banco Interamericano de Desenvolvimento costumam incluir nos empréstimos um percentual de recursos, mesmo que pequeno, para avaliar os resultados dos seus financiamentos. Organizações que trabalham com cooperação técnica internacional como o DFID (Ministério do Desenvolvimento Britânico), a Cida (agência de cooperação técnica para o desenvolvimento canadense), a GTZ alemã ou a Sida sueca, assim como ONGs internacionais como a Fundação Ford também costumam investir na avaliação de políticas e programas, embora em escala menor, local ou regional. 87 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL Avaliações em processo são fundamentais para a introdução da correção de rumos no decorrer do processo de implementação de políticas públicas. Elas ajudam a fazer a coisa certa. São as avaliações feitas, por assim dizer, “em tempo real”. E elas são mais sensíveis politicamente, porque afetam diretamente os responsáveis políticos e técnicos pela condução das políticas. Diferentemente dos processos de monitoramento, a avaliação em processo destina-se a problematizar, em profundidade, a direção, os produtos e os resultados que a política esteja produzindo enquanto ela está sendo implementada (FONSECA, [s.d.]). No entendimento da autora, a avaliação em processos pode ser mais adequada e eficaz, uma vez que avalia em tempo real a execução, os resultados e seus responsáveis. Mas, para uma boa execução, requer alguns cuidados, como a incorporação dos resultados na implementação da política pública. Neste sentido é importante que as pessoas e/ou instituições que a conduzam sejam ao mesmo tempo independentes [...] do governo em função do distanciamento necessário requerido, mas também profissionalmente respeitadas pelo governo e parceiros responsáveis pela implementação da política, de modo a assegurar que as conclusões da avaliação sejam incorporadas ao processo decisório afeto à implementação do programa (FONSECA, [s.d.). A respeito do entendimento sobre os aspectos quantitativos e qualitativos explorados nas pesquisas, Fonseca ([s.d.]) destaca as dificuldades que os órgãos responsáveis pela gestão da informação enfrentam no governo federal, mas que também é dos Estados e dos municípios, uma vez que a ausência ou a falta de levantamento dos resultados alcançados ou a demora na disponibilidade desses dados não tem permitido que gestores e equipes que atuam na política social tenham informações que possam orientar os rumos a serem tomados nas próximas etapas. Corroborando a exposição da autora, temos o entendimento de que o sistema de informação, monitoramento e avaliação dos governos estão bastante aquém das necessidades de gestão das políticas públicas. Nesse assunto, o Brasil precisa caminhar com mais compromisso e estudo. Embora sejam visíveis algumas iniciativas, muito pouco se tem avançado nesse sentido. A outra diferenciação mencionada envolve a ênfase em aspectos quantitativos e qualitativos. Cada vez mais os métodos quantitativos ganham prestígio e notoriedade em função de sua universalidade metodológica. Há quem diga que “o que não se mede não tem como ser avaliado”. Mas as coisas não são bem assim. Naturalmente, quanto mais dados disponíveis em tempo real se tiver para avaliações sobre o que está se passando, melhor. Mas os órgãos públicos que trabalham com bases de dados, como o IBGE, a Fundação Seade, as Secretarias de Educação e Saúde, entre outros, enfrentam problemas graves de disponibilização de 88 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II estatísticas de forma confiável e tempestiva. Assim sendo, o resultado é que as avaliações quantitativas acabam se restringindo a situações onde os dados estejam disponíveis, geralmente com alguns anos de atraso, isto é, avaliações ex-post ou ex-ante. Avaliações qualitativas geralmente são mais pragmáticas no sentido de não aspirarem a grandes representações do conjunto da realidade. Costumam ser desenvolvidas sob a forma de estudos de casos com a finalidade de produzir insights. Envolvem trabalho de campo, verificação in loco do que está se passando, valorização de entrevistas e métodos de observação como formas de coleta de evidência empírica. E trabalham com dados também, mas os disponíveis in loco combinados com os agregados das grandes bases. Não produzem necessariamente generalizações, mas subsidiam a identificação de problemas que permitem correções tempestivas de rumos (FONSECA, [s.d.]). Observação Não restam dúvidas de que existem dificuldades de produção de avaliação da política social com apresentação do seu resultado qualitativo no Brasil, ou seja, daquele que busque apresentar os impactos, a reflexão histórica e a totalidade. Um resultado que nos remete ao método dialético. Veja a seguir a avaliação sobre o governo Lula e seus investimentos na política de assistência social, especialmente no programa de transferência de renda Bolsa Família para combater a fome e a extrema pobreza. Os desafios do Governo Lula na área social são públicos: combater a fome e a pobreza extrema (o Objetivo do Milênio Número um, conforme Declaração dos Dirigentes Mundiais presentes na chamada Cúpula do Milênio das Nações Unidas), promover a inclusão social, aumentar a eficiência do gasto social, promover a segurança alimentar e combater a desigualdade do país [...] O método de avaliação que estamos privilegiando – em especial no caso do programa Bolsa Família – é o chamado de rapid assessment approach (abordagem da avaliação rápida) que valoriza aspectos qualitativos e quantitativos, mas que valoriza mais o primeiro aspecto porque o desafio de produzir feedbacks em tempo hábil é levado em consideração com maior frequência. Como se pode observar [...], o Governo Lula está fazendo um esforço significativo para aumentar os gastos com a área social, em que pese a política de austeridade fiscal em execução. Estamos pilotandoum dos maiores programas de transferência de renda do mundo, que foi construído 89 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL sem interromper programas fragmentados que estavam em execução de forma desarticulada e ineficiente, processo este determinado pelo Presidente Lula. A preocupação maior do governo é a de atingir as populações mais carentes do país, sempre que possível, em parcerias pactuadas com os Estados e municípios que desenvolvem iniciativas semelhantes. São práticas profundamente inovadoras com as quais o país não está acostumado, onde o ganho político é compartilhado pelos três entes da federação brasileira. E está funcionando, como demonstra a experiência em Estados como São Paulo, Rio de Janeiro e Ceará (FONSECA, [s.d.]). A autora chama a atenção para a importância dada pelo governo Lula ao programa de transferência de renda Bolsa Família e o apresenta com otimismo em seu processo de iniciação, quando foi respeitada a continuidade de benefícios já existentes, não deixando a população desprovida de seus direitos. O MDS foi criado para dar vertebração à política de desenvolvimento social do governo. Sob sua jurisdição encontram-se políticas e programas específicos do ministério e/ ou que envolvem coordenação interministerial. A gestão transversal, interinstitucional e intergovernamental é um dos maiores desafios de nossas práticas de gestão pública. Para este trabalho o governo precisa [...] de avaliações ex-ante e ex-post que nos orientem e conduzam. Mas para enfrentar o desafio de mudar a realidade de miséria extrema que o país enfrenta, não é possível esperar avaliações de caráter mais acadêmico tipo ex-post. O Cadastro Único com o qual o governo trabalha possui uma série de problemas e comporta muitos aperfeiçoamentos ainda. Os recursos gastos com as políticas sociais são ainda insuficientes, mas precisam também ser mais bem-gerenciados para que os ganhos de eficiência produzidos possam ser alocados no atendimento de mais famílias. A gestão das condicionalidades de alguns programas recentemente foi estruturada, mas ainda há muito que ser feito para que seja realizada com a flexibilidade e precisão requeridas. Há todo um esforço em curso para se produzir ganhos de produtividade na gestão dos gastos sociais. E é isso que dá credibilidade à demanda por mais recursos para combater a pobreza. O Estado não tem o direito de ser ineficiente, nem para com os cidadãos contribuintes, nem para com os cidadãos que dele dependem para ter assegurada a proteção social e até para sobreviver (FONSECA, [s.d.]). Nesse momento, é dado destaque à criação de condicionalidades de alguns programas, as quais têm o objetivo de contribuir para uma gestão pública sem desperdício do dinheiro público e com maior possibilidade de atendimento aos seus usuários. 90 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II “O MDS atribui tanta importância ao tema que criou uma secretaria para dedicar-se especialmente a ele – primeiro no âmbito do MDS e posteriormente no âmbito do conjunto do governo –, em parceria com órgãos como o Ipea e o IBGE” (FONSECA, [s.d.]). A autora enfatiza a criação da avaliação pelo MDS em parceria com órgãos como o IBGE e o Ipea, a fim de contribuir para o processo de avaliação da política de assistência social. A construção de uma cultura de avaliação depende, no entanto, de um maior foco em uma discussão mais estruturada do processo de políticas públicas desde sua entrada na agenda até sua implementação, passando pelos momentos da formulação e tomada de decisão. Para isso temos que formar quadros que, na esfera dirigente, na burocracia, nos três níveis de governo, nas ONGs, na mídia, no Congresso e no Judiciário, procurem abordar a problemática da ação governamental dentro de um horizonte mais amplo: o do interesse público. (FONSECA, [s.d.]). 6.4 Roteiro de avaliação: plano e projeto Para a apresentação desses roteiros, utilizamos como base a obra de Baptista (2000). Com o intuito de tornar mais adequado ao nosso propósito, utilizamos o termo avaliação no lugar de análise. Quadro 5 – Roteiro da avaliação de um plano Apresentação Apreciação sobre: • a redação • a distribuição gráfica • a clareza e a distribuição das ilustrações Estrutura • O documento inclui todas as partes integrantes do plano? • Há equilíbrio, inter-relação orgânica e coerência entre os diversos itens? Análise de conteúdo • Qual a natureza do plano? • Qual a natureza da ação? • Qual a natureza da intervenção? • Qual a natureza das diretrizes? • O conteúdo refere-se a todo o sistema ou a parte dele? • Existe equilíbrio entre as diferentes partes; do sistema? • Essa abordagem se faz integrada ou justaposta? • Esse conteúdo é aplicável no nível decisório do órgão? • É viável política, técnica e economicamente, ou sua viabilidade depende de fatores não controláveis? • O conteúdo é coerente entre a dimensão do plano e a dimensão da situação a que ele se refere? 91 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL Avaliação técnica: • identificação • justificatia • diagnóstico • objetivos • política de ação • estratégias • Devem-se incluir na identificação do plano os elementos indispensáveis para diferenciá-lo em relação à entidade e à equipe. • A justificativa deve ser esclarecedora quanto à pertinência da realização do plano: se realmente há fundamentação que priorize o plano ou esclareça a prioridade da escolha. • É importante que o diagnóstico apresente os principais elementos que compõem a questão, oferecendo dados que cubram suficientemente a problematização; questione se a avaliação esteve fundamentada em uma teoria e se contou com indicadores e parâmetros estabelecidos no planejamento; avalie se os elementos que compõem a questão foram suficientemente analisados e correlacionados; e traga resultados de avaliação que indiquem os elementos que fundamentaram as prioridades e escolhas. • Deve responder se objetivos e metas foram definidos com clareza e precisão; se são operacionáveis ou foram operacionados; se as metas foram quantificadas (espaço, tempo e volume); questionar e responder se objetivos e metas são compatíveis, complementares e coerentes com as finalidades da instituição e da política. • Verificar se a política de ação adotada corresponde aos objetivos e metas definidos no planejamento, e se possibilita número maior de beneficiários e menores custos. • Avaliar se as estratégias são adequadas e suficientes, e se proporcionam maior aceitação do plano. Avaliação dos recursos: • financeiros • humanos • institucionais • Avaliar se os recursos financeiros foram explicitados por região e por área de atividade; se foram indicados os prazos, as fontes e para onde vão os recursos; saber se as verbas estão adequadas ao diagnóstico social e se o plano é coerente com o montante dos recursos. • Saber se a distribuição dos recursos humanos é suficiente em quantidade e qualidade. • Verificar se nos recursos institucionais estão previstos os instrumentos legais, indispensáveis à execução do plano. Quadro 6 – Roteiro de avaliação de um projeto Identificação Apresentação sobre: • redação • disposição gráfica • clareza e precisão (ilustrações e referências) Análise de conteúdo: • estrutura • prioridade e alternativa• Quanto à estrutura, o documento deve incluir todas as partes que integram o projeto; verificar se existe equilíbrio e relação entre os itens. • A respeito de prioridade e de alternativa, a abordagem é importante no momento da proposta, pois trazem contribuições relevantes para o tratamento do problema. É importante questionar se há coerência entre a dimensão do problema e a dimensão do projeto, e quais efeitos podem gerar. 92 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II Análise técnica: • identificação • objetivos e metas • justificativa • detalhamento do projeto • recursos • medidas de implementação • Partir da identificação do projeto: os elementos essenciais para identificá-lo e situá-lo em relação à entidade e à equipe; o título deve ser coerente com o conteúdo. • A respeito de objetivos e metas, averiguar se há coerência entre a finalidade do projeto e a instituição; se os objetivos são ou não adequados ao problema abordado; se as metas foram quantificadas; e se metas e objetivos foram definidos claramente e com precisão. • A justificativa deve esclarecer a importância do projeto; trazer os principais elementos que cubram suficientemente o problema a ser enfrentado; e apresentar as demandas detectadas, as técnicas adequadas etc. • O detalhamento do projeto necessita deixar claras as suas ações, se os resultados previstos no planejamento foram alcançados; deve apresentar se as técnicas, os instrumentos, o local, o momento e os responsáveis pelo resultado foram adequados; requer apresentação de indicadores de resultados, em planilhas, por exemplo. • Os recursos devem ser previstos no projeto; ter indicação da fonte, ser especificado e oferecer possibilidade de cálculo. • Avaliar se os recursos humanos correspondem ao indicado em quantidade e qualidade; se as instalações previstas são suficientes para a realização do projeto. • Avaliar, para as medidas de implementação, como os instrumentos legais, administrativos e técnicos foram previstos, bem como analisar se os trâmites legais foram equacionados. Após a discussão sobre avaliação, a partir de agora temos como objetivo trazer uma análise sobre a integração do monitoramento e da avaliação com o planejamento social. Integração do monitoramento e da avaliação com o planejamento social A partir de agora você poderá vivenciar o entendimento da integração entre o monitoramento e a avaliação, como fruto oriundo do planejamento social. Dois assuntos serão privilegiados ao trabalharmos a temática ora empreendida: os desafios do monitoramento e da avaliação e os benefícios gerados no processo de gestão. No primeiro momento, ao adentrar o terreno de discussão sobre os desafios do monitoramento e da avaliação, teremos como um dos eixos norteadores a discussão de desafios que se materializam na dificuldade de participação da sociedade civil, de forma geral, nas ações oriundas do planejamento social. 93 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 MONITORAMENTO E AVALIAÇÃO EM SERVIÇO SOCIAL Observação Não se trata de mostrar a participação como único desafio no âmbito do planejamento social, mas de tratar a questão como um desafio importante a ser enfrentado pelo gestor social que, algumas vezes, neutraliza a potencialidade dos movimentos de reconstrução de algumas ações e políticas públicas. Destacamos, em especial, a importância do compromisso do profissional de Serviço Social, na lógica de fomentar a participação dos sujeitos coletivos e, assim, dar luz ao seu projeto profissional, ou Projeto Ético-Político Profissional. Nesse item, cumpre destacar a importância do assistente social também quando do empreendimento de ações que combatam a potencialização da Questão Social e de suas expressões. Nessa medida, o profissional deve propiciar ações que combatam a banalização da pobreza, da ausência de participação, de interesses individuais em detrimento de interesses coletivos. O assistente social, nesse processo, poderá oportunizar condições por meio da empreita de ações que visem à inclusão social e ao combate às desigualdades, frutificando, assim, estratégias de fortalecimento e desenvolvimento local. No segundo momento, ao tratar dos benefícios gerados pelo monitoramento e pela avaliação no processo de gestão, será possível vivenciar reflexões sobre a importância do papel da gestão social e seus principais desafios. Sabemos que a gestão social, como fruto pensado à luz do planejamento social, muito tem a contribuir para a construção de novas realidades e, logo, de novas condições de vida em sociedade. Embora tenhamos inúmeros projetos societários, para o Serviço Social, a vocação da gestão social deve sempre nos conduzir ao rompimento de paradigmas e ainda à construção do protagonismo dos sujeitos sociais. O monitoramento e a avaliação, nesse momento, devem ser visualizados como aliados da gestão social, logo devem determinar novos horizontes à sociedade, sobretudo, no que se relaciona às políticas públicas. O assistente social inserido nas equipes de planejamento e gestão social deve posicionar-se de forma que faça a leitura da realidade e, em consequência, ofereça subsídios capazes de fomentar novas propostas e diretrizes em que se efetive o protagonismo do sujeito social. Trata-se de entender a profissão imbuída do compromisso com a causa da classe que vive do trabalho, ou, ainda, daqueles que estão destituídos do usufruto do direito. Esse processo se constrói a partir de ações cotidianas que operam mudanças significativas na vida da sociedade, por meio da dedicação a projetos comprometidos com uma nova ordem societária. Muito há para ser trabalhado, construído. Motivados pelas inspirações de Paulo Freire, conforme Oliveira (2011) nos apresenta: 94 SS OC - R ev isã o: V al ér ia /J ul ia na - D ia gr am aç ão : F ab io - 0 4/ 11 /1 3 Unidade II Paulo Freire combateu ainda o discurso fatalista de que a sociedade é para ser assim como está e que não há nada a fazer. Contrapunha-se ao mal-estar produzido pelo enaltecimento do mercado e, contrapondo- se a isso, anunciava a solidariedade como um compromisso histórico do homem. Defendeu, a todo o momento, uma prática educativa em favor da autonomia, mas como liberdade, espaço de crescimento do homem e potencial para desenvolvê-lo no sentido universal, isto é, para humanizá-lo e também para “humanizar” a sociedade humana. Ele detinha a confiança na capacidade dos homens para a construção e uma nova organização social e dizia que isto requer: ousadia, perseverança, postura problematizadora da realidade e inquietude frente ao real. Pensar, decidir e optar por uma ação transformadora, eis a questão. O(a) educador(a) (sempre que falo educador, leia-se também assistente social) sobre o qual discorre Paulo Freire tem consciência do seu papel transformador (OLIVEIRA, 2011, p. 252). Como será possível apreender, muitos são os desafios a serem vencidos e muitos são os benefícios frutos da vivência desse processo. Façamos, pois, como o grande educador, com “ousadia, perseverança, postura problematizadora da realidade e inquietude frente ao real. Pensar, decidir e optar por uma ação transformadora, eis a questão” (OLIVEIRA, 2011, p. 252). Resumo Nesta Unidade você teve a possibilidade de adentrar o universo do monitoramento como importante instrumento do planejamento social. Assim, as discussões trazidas remontam à importância do monitoramento como aliado do assistente social, quando empoderado da atribuição de
Compartilhar