Baixe o app para aproveitar ainda mais
Prévia do material em texto
Profa. Andreia Ferreira UNIDADE II Monitoramento e Avaliação em Serviço Social Assuntos abordados: Conceito e finalidade da avaliação Principais indicadores de avaliação: eficiência, eficácia e efetividade Avaliação do Plano Municipal de Assistência Social Instrumento e apresentação de resultados Roteiro de avaliação: plano e projeto Monitoramento e Avaliação em Serviço Social Avaliar é o ato de calcular, formar um juízo crítico de valor sobre determinada condição, a qual pode ser melhorada por meio de uma gestão pública eficiente. Estamos usando esse entendimento para iniciarmos a discussão sobre a avaliação de planos, programas e projetos. Monitoramento e Avaliação em Serviço Social Fonte: https://edisciplinas.usp.br/course/view.php?id=63744§ion=6 Na avaliação formal, o senso comum não pode estar presente em nenhum momento. Para tanto, na modalidade formal, pressupõem-se objetivos e direcionamento teórico- metodológico escolhido já no planejamento. As escolhas teórico-metodológicas dos profissionais estão relacionadas aos valores e à visão de cada um. Para Magalhães (2000), uma avaliação formal traz consigo o estabelecimento de critérios, os quais servem de ponto de referência à leitura que o profissional faz do objeto. O avaliador deve estar disposto a colher as informações sem julgamento prévio. Para Magalhães (2003), o compromisso está na capacidade técnica, instrumental e ética dos profissionais. Monitoramento e Avaliação em Serviço Social A postura ética do profissional, bem como sua disponibilidade em acolher e se instrumentalizar tecnicamente em realizar autocrítica são fatores propícios ao aperfeiçoamento do trabalho desenvolvido e das interações socioprofissionais, haja vista as relações de força que lhe são inerentes. Quanto maior for a instrumentalidade teórica e técnica, mais fácil será impor-se profissionalmente, no sentido de se fazer entender no âmbito da área de competência da profissão. Monitoramento e Avaliação em Serviço Social Princípios fundamentais do Código de Ética dos Assistentes Sociais: São 11 princípios: Reconhecimento da liberdade como valor ético central e das demandas políticas a ela inerentes – autonomia, emancipação e plena expansão dos indivíduos sociais. Defesa intransigente dos direitos humanos e recusa do arbítrio e do autoritarismo. Defesa do aprofundamento da democracia, como socialização da participação política e da riqueza socialmente produzida Empenho na eliminação de todas as formas de preconceito, incentivando o respeito à diversidade, à participação de grupos socialmente discriminados e à discussão das diferenças. Monitoramento e Avaliação em Serviço Social O processo avaliativo exige do profissional um papel demasiadamente importante, pois tem o compromisso de acolher a singularidade de determinadas realidades, bem como de colher dados relevantes para o que se deve avaliar. Esse entendimento faz do avaliador um técnico que precisa ter clareza de que o resultado de sua avaliação expressará uma particularidade, condições que podem implicar a necessidade de uma intervenção, assim como de expressar um resultado positivo ou negativo de um trabalho e/ou de um investimento. No caso da política social, pode demonstrar o uso dos recursos públicos na resolução de carências sociais destinados certamente a uma população em condições de vulnerabilidade. Monitoramento e Avaliação em Serviço Social Principais problemas que podem ser encontrados no planejamento de questões da área social: precariedade dos processos científicos e metodológicos de mensuração de dados sociais, principalmente os de natureza qualitativa; ausência de um referencial de estudos que permita determinar os efeitos de medidas macrossociais em todas as dimensões do sistema; dificuldade para estabelecer a natureza estatística de relação entre indicadores, principalmente quando o processo envolve muitas espécies de mudanças, algumas a curto, outras a médio ou longo prazo, as quais estão naturalmente relacionadas. Preocupação com resultados imediatos, que na área social, muitas vezes, são mais significativos que as respostas de longo prazo, e menos tangíveis. Monitoramento e Avaliação em Serviço Social Compreendemos que o documento de avaliação de um projeto deve trazer os seguintes elementos: descrição; análise de metas (alcançadas ou não) em tempo, volume e espaço; demonstrativo do processo de monitoramento e sua frequência; confronto e análise dos indicadores de eficácia, eficiência e efetividade; sugestões de aperfeiçoamento. Monitoramento e Avaliação em Serviço Social O avaliador deve estar disposto a colher informações em julgamento prévio. Magalhães (2003) define esse compromisso como: a) Espectador do conhecimento, formação específica e senso comum da população. b) Capacidade técnica, instrumental e ética dos profissionais. c) Gestor de planejamento, focalização das ações e atendimento das necessidades. d) Executor de programas, monitoramento de projetos sociais e avaliação de políticas públicas. e) Universalidade do atendimento, prestação dos benefícios e participação do governo. Interatividade O avaliador deve estar disposto a colher informações em julgamento prévio. Magalhães (2003) define esse compromisso como: a) Espectador do conhecimento, formação específica e senso comum da população. b) Capacidade técnica, instrumental e ética dos profissionais. c) Gestor de planejamento, focalização das ações e atendimento das necessidades. d) Executor de programas, monitoramento de projetos sociais e avaliação de políticas públicas. e) Universalidade do atendimento, prestação dos benefícios e participação do governo. Resposta Para Baptista (2000), os critérios mais usados em avaliação são aqueles relacionados à eficiência, à eficácia e à efetividade da ação. Acredita a autora que um planejamento comprometido tenha de desenvolver formas de ação com esses propósitos. Monitoramento e Avaliação em Serviço Social Eficiência Eficácia Efetividade Figuram critérios usados em avaliação Avaliação da eficiência: A avaliação da eficiência tem como objetivo maior resultado com menores custos e esforços. “Deve ser necessariamente crítica, estabelecendo juízo de valor sobre o desempenho e os resultados que o e mesmo propicia” (BAPISTA, 2000, p. 117). Sabe-se que são critérios da eficiência aqueles relacionados ao rendimento administrativo e técnico de uma ação. Nesse processo incluem-se a otimização dos recursos e os resultados de maior qualidade. Essa avaliação crítica da execução de ação planejada é tão mais importante quanto maior for o número de participantes na intervenção das interpretações sobre o processo e os resultados das ações podem ser bastante diferentes e se constituírem em vieses na execução. A correção desses desvios pode ser feita retomando o planejamento e o ocorrido, analisando suas carências, tomando como base as evidências percebidas, compatibilizando as atividades que se realizam separadamente, as que têm objetivos comuns: visão das ações realizadas se funde com a preparação de novas ações, novas políticas, novos planos (BAPTISTA, 2000, p. 117-8). Monitoramento e Avaliação em Serviço Social Avaliação da eficácia: A avaliação da eficácia está relacionada aos objetivos (gerais e específicos), estabelecendo o grau de alcance desses objetivos e, quando houver fracasso, compreendendo suas razões. São avaliados os efeitos diretos e indiretos da ação, incluindo aqueles que não foram previstos, mas que a ação levou a resultados contrários. Exemplo: a gestão municipal da assistência social lança um projeto de qualificação profissional para produtores de doces artesanais que atinge número de qualificado significativo. A segunda etapa é a inclusão. No mundo do trabalho desses egressos, porém, com o passar do tempo,foi verificado que esses qualificados passaram a concorrer no mercado de trabalho de produtores de doces artesanais com os já existentes, mas, diante de uma demanda de produtores maior que a oferta dos consumidores, alguns produtores, principalmente os mais velhos, perderam sua clientela. A conclusão é que faltou, nesse projeto, um levantamento do mercado consumidor, etapa feita no planejamento e, com o resultado de sua eficácia, é possível afirmar que seus objetos foram contrários aos esperados. Monitoramento e Avaliação em Serviço Social A respeito disso, Baptista (2000) afirma: Nesse sentido, em uma avalição, a compreensão desses aspectos deve estar sempre presente, para que não se analise a intervenção em si, esquecendo suas determinações: é importante ressaltar que não é só a intervenção programada nem o cotidiano previsto e conhecido que irão determinar o desenvolvimento e os resultados da ação, existem eventos não previstos que influenciam substancialmente os resultados de uma ação programada. Essas determinações poderão estar em diferentes níveis: poderão ser internas à ação, estar relacionadas à organização onde a ação opera ou ainda a sociedade (BAPTISTA, 2000, p. 118). Monitoramento e Avaliação em Serviço Social Avaliação da efetividade: A avaliação da efetividade diz respeito aos impactos do planejamento sobre uma dada realidade, ou seja, sobre o objeto. “Nessa perspectiva, o ponto de vista da avaliação é o da totalidade e a questão é vista como uma totalidade parcial integrada em totalidades mais amplas” (BAPTISTA, 2000, p. 120). Sabe-se que a avaliação da efetividade questiona a proposta, os objetivos e as ações desenvolvidas em sua capacidade de dar respostas, de resolução de problemas. Monitoramento e Avaliação em Serviço Social Avaliação do Plano Municipal de Assistência Social: É elemento estratégico para a implantação de um sistema, define os objetivos, o foco e a intencionalidade das ações e permite a articulação antecipada dos resultados e dos impactos, possibilitando antever aquilo que se quer alcançar (BRASIL, 2008). O Plano de Assistência Social é um instrumento de planejamento estratégico que organiza e regula a execução da Política Nacional de Assistência Social (Pnas) na perspectiva do Sistema Único de Assistência Social (Suas). Monitoramento e Avaliação em Serviço Social Fonte: adaptado de: https://www.prefcedro.sc.gov.br/cms /pagina/ver/codMapaItem/105774 Plano Municipal de Assistência Social O Plano de Assistência Social deve ser elaborado pelo gestor nas três esferas de governo, devendo ser construído para uma gestão e ser submetido à aprovação do conselho. Para superar a prática conservadora assistencialista e clientelista que marca o início da assistência social, o Plano de Assistência Social é compreendido pelo Suas como: Instrumento fundamental para a construção de uma política planejada, efetiva e de impacto sobre as situação de vulnerabilidade e risco sociais identificados nos territórios; Parâmetro básico para a democratização do processo decisório; Mecanismo para viabilizar a inserção da assistência social ao sistema de planejamento global do município, bem como aos sistemas de planejamento da assistência social nos âmbitos estaduais e federal (BRASIL, 2008, p. 30). Monitoramento e Avaliação em Serviço Social Analistas de políticas públicas definem a avalição como instrumento político-gerencial, requisitado para melhorar a ação existente e contribuir para aprimorar o conhecimento sobre uma realidade, possibilitando a continuidade e a permanência da política, rompendo a descontinuidade dela. Também possui imperativo ético, demonstrando os critérios e o uso dos recursos, privilégio da transparência da aplicação dos recursos públicos pelo plano, bem como a importância da qualidade e da participação da sociedade. A avalição é instrumento estratégico para a execução do plano, pois torna possível identificar seus ganhos e suas perdas, além de sustentar agentes de informação que contribuam para o seu ajuste, aperfeiçoamento e o exercício do controle social. Monitoramento e Avaliação em Serviço Social Para Baptista (2000), os critérios mais usados em avaliação são aqueles relacionados à ______, à_____ e à ____ da ação. a) Eficiência, eficácia e efetividade. b) Transparência, política social e cidadania. c) Avaliação, eficácia e intervenção social. d) Pesquisa, assessoria e consultoria. e) Eficácia, estratégia e manipulação. Interatividade Para Baptista (2000), os critérios mais usados em avaliação são aqueles relacionados à ______, à_____ e à ____ da ação. a) Eficiência, eficácia e efetividade. b) Transparência, política social e cidadania. c) Avaliação, eficácia e intervenção social. d) Pesquisa, assessoria e consultoria. e) Eficácia, estratégia e manipulação. Resposta Fases de execução do plano: Monitoramento e Avaliação em Serviço Social Formulação do plano: na avaliação inicial (ex-ante), propicia a definição das questões a serem tomadas, bem como o balanço dos fatores complicadores e facilitadores em relação às condições de exequibilidade e viabilidade. Execução do plano: a avaliação e o monitoramento assumem uma ordem no mesmo nível do plano e acompanham os avanços , os ajustes e as adequações necessárias. Avaliação final do plano: avaliação (ex-post) é o momento de coletar e analisar informações que formulem juízo de valor em relação ao resultado final e seus efeitos sobre a condição inicial e a população. Instrumento: O relatório tem também a função de divulgar às instâncias formais de controle da Assistência Social, ao Ministério Público, ao Poder Legislativo e à sociedade os resultados alcançados e a regularidade da gestão. Como demonstra o modelo de instrumento exposto a seguir (Gestão, 2011), os aspectos avaliados são: identificação; precisão orçamentária da assistência social para o ano; gestão dos recursos financeiros do confinamento estadual; quantidade de trabalhadores alocados no Órgão da Assistência Social no Cras e no Creas; rede socioassistencial de acordo com as proteções sociais; detalhamento das ações realizadas. Monitoramento e Avaliação em Serviço Social Notas metodológicas: As notas metodológicas têm a função de apresentar para o leitor os objetivos do relatório, as variáveis e as principais estratégias utilizadas: O presente relatório tem como objetivo consolidar os dados para o mapeamento e o monitoramento do financiamento da Assistência Social no Brasil no período de 2002 a 2010, em atendimento ao inciso VI, do artigo 11, da Portaria MDS n. 329, de 11 de outubro de 2006, que institui e regulamenta a Política de Monitoramento e Avaliação do Ministério do Desenvolvimento Social e Combate à Fome. Monitoramento e Avaliação em Serviço Social Em relação à evolução do Benefício de Prestação Continuada (BPC), os dados atualizados são disponibilizados mensalmente pelo Departamento de Benefícios Assistenciais da Secretaria Nacional de Assistência Social (SNAS), no portal do Ministério da Cidadania. Os dados relacionados ao Programa Bolsa Família foram disponibilizados pelo Departamento de Operações da Secretaria Nacional de Renda da Cidadania (Senarc), os dados orçamentários do programa Acesso à Alimentação foram extraídos do Siafi, enquanto os dados físicos foram fornecidos pela Secretaria Nacional de Segurança Alimentar e Nutricional (Sesan) do MDS. Monitoramento e Avaliação em Serviço Social Evolução do Programa Bolsa Família: O Programa Bolsa Família (PBF) é um programa de transferência de renda com condicionalidades que beneficiam famílias em situação de pobreza (com renda mensal por pessoa de R$ 70 a R$ 140) e extrema pobreza (com renda mensal por pessoa de até R$ 70). No ano de 2010 foi investido o montante de R$ 14,84 bilhões no atendimento a 12,78 milhões defamílias, o que representou um aumento de 108,6% no volume de recursos aplicados e de 94,4% no número de famílias atendidas em relação ao ano de 2004. Monitoramento e Avaliação em Serviço Social Fonte: https://www.correiobraziliense.com.br/app/noticia/brasil/2020/01/02/interna- brasil,817888/governo-divulga-calendario-de-pagamento-do-bolsa-familia-para-2020.shtml Decorridos sete anos de implantação do Sistema Único de Assistência Social, conquista do processo democrático e participativo materializado nas conferências e nos conselhos, e ainda principal deliberação da IV Conferência Nacional de Assistência Social, realizada em caráter extraordinário em dezembro de 2003, pode-se dizer que muito já se avançou na construção de um modelo que contempla mudanças não apenas no modo de operar, mas também no modo de financiar a política de Assistência Social. Trata-se de um marco importante na história recente das políticas sociais brasileiras, institucionalizado pela Lei n. 8.742/93, alterado pela Lei n. 12.435/2011, que concebeu efetivamente à Assistência Social o status de política pública, de acordo com a Constituição Federal vigente. Monitoramento e Avaliação em Serviço Social Nesse sentido, este trabalho vem cumprir com uma importante tarefa para esta discussão: o monitoramento do volume de recursos apontados pelo Governo Federal, pelos estados, pelo Distrito Federal e pelos municípios na política de Assistência Social. Após análise dos dados apresentados, pode-se afirmar que houve no período de 2002 a 2010 um claro comprometimento com a agenda social e, em especial, a partir de 2005, com a concretização de um sistema descentralizado, territorializado e financiado, pautado pela corresponsabilidade entre as esferas de governo na provisão da Assistência Social como política pública. Monitoramento e Avaliação em Serviço Social Houve uma clara expansão dos recursos principalmente no nível federal, o que representou incremento tanto em relação ao orçamento da seguridade social quanto em relação ao orçamento total e ao gasto social federal. Tal incremento dos recursos se relaciona principalmente à ampliação da cobertura e do valor dos benefícios dos programas de transferência de renda, em especial o BPC e o Programa Bolsa Família, benefícios socioassistenciais que têm contribuído com a redução da extrema pobreza no país. Monitoramento e Avaliação em Serviço Social Momento de coletar e analisar informações que formulem juízo de valor em relação ao resultado final trata-se: a) Antes da execução. b) Antecipada. c) Ex-post. d) Ex-end. e) Ex-ante. Interatividade Momento de coletar e analisar informações que formulem juízo de valor em relação ao resultado final trata-se: a) Antes da execução. b) Antecipada. c) Ex-post. d) Ex-end. e) Ex-ante. Resposta A reflexão de Fonseca traz uma crítica importante na discussão da avaliação das políticas sociais: a de que o Brasil não tem cultura de avaliar os resultados das ações do Estado. Essa posição é alvo de inquietações daqueles que buscam medir e conhecer o alcance da gestão e dos investimentos públicos para o acesso aos direitos sociais e à cidadania. Curiosamente, a preocupação que ganha a atenção da mídia é a avaliação das políticas e seus resultados. Não há uma equivalente atenção para com os processos de formulação de políticas. E aqui cabe uma diferenciação importante: formulação (ou desenho) de políticas públicas não é uma área onde estamos tão bem assim. A administração pública federal ainda enfrenta severos déficits de capacidades, em especial, nas áreas relacionadas a quadros técnicos capazes de proporem métodos consistentes que traduzam as prioridades do governo. Portanto, quando falarmos de avaliação de políticas é importante termos em mente os contextos de sua formulação (FONSECA, [s.d.]). Monitoramento e Avaliação em Serviço Social No entendimento de Fonseca ([s.d]), a avaliação é tratada nas obras sobre políticas públicas como um elemento que deve subsidiar a avaliação. No sentido de demonstrar o entendimento que se tem sobre o assunto, ela apresenta os principais recortes que se fazem. As avaliações ex-ante, como o nome diz, são avaliações que antecedem a implementação de uma política. Frequentemente fazem parte de diagnósticos que podem ou não dar origem, na sequência, a políticas públicas. Essas avaliações às vezes estão presentes em documentos internacionais como os Relatórios das Agências das Nações Unidas como os produzidos pelo Pnud sobre desenvolvimento humano, pela Unicef sobre a situação da criança e pela OIT sobre a situação das relações de trabalho. Em outros casos, as avaliações constam em textos que subsidiaram a elaboração de programas de partidos que disputem o governo, como no caso das contribuições do Instituto da Cidadania, do Instituto Teotônio Vilela ou da Fundação Tancredo Neves (Fonseca, [s.d.]). Monitoramento e Avaliação em Serviço Social A respeito do entendimento sobre os aspectos quantitativos e qualitativos explorados nas pesquisas, Fonseca ([s.d.]) destaca as dificuldades que os órgãos responsáveis pela gestão da informação enfrentam no Governo Federal, mas que também nos estados e nos munícipios, uma vez que a ausência ou a falta de levantamento dos resultados alcançados ou a demora na disponibilidade desses dados não tem permitido que gestores e equipes que atuam na política social tenham informações que possam orientar os rumos a serem tomados nas próximas etapas. Monitoramento e Avaliação em Serviço Social Cada vez mais, os métodos quantitativos ganham prestígio e notoriedade em função de sua universalidade metodológica. Há quem diga que “o que não se mede não tem como ser avaliado”. Mas as coisas não são bem assim. Naturalmente, quanto mais dados disponíveis em tempo real se tiver para avaliações sobre o que está se passando, melhor. Mas os órgãos públicos que trabalham com bases de dados, como o IBGE, a Fundação Seade, as Secretarias de Educação e Saúde, entre outros, enfrentam problemas graves de disponibilização de estatísticas de forma confiável e tempestiva. Avaliações qualitativas geralmente são mais pragmáticas no sentido de não aspirarem a grandes representações do conjunto da realidade. Costumam ser desenvolvidas sob a forma de estudos de casos com a finalidade de produzir insights. Envolvem trabalho de campo, verificação in loco do que está se passando, valorização de entrevistas e métodos de observação como formas de coleta de evidência empírica. Trabalham com dados também, mas os disponíveis in loco combinados com os agregados das grandes bases não produzem necessariamente generalizações, mas subsidiam a identificação de problemas que permitem correções tempestivas de rumos (Fonseca, [s.d.]). Monitoramento e Avaliação em Serviço Social Roteiro de avaliação: plano e projeto: Para a apresentação desses roteiros, utilizamos como base a obra de Baptista (2000), composta por: Apresentação. Estrutura. Análise de conteúdo. Avaliações técnicas. Avaliação dos recursos. Monitoramento e Avaliação em Serviço Social Sabemos que, muitas vezes, não é fácil dar o efetivo encaminhamento às ações de forma breve e imediata, mas isso se explica pela dificuldade que ainda temos, na categoria profissional inserida numa sociedade de classes, de nos desvincularmos das formas conservadoras de definição do Serviço Social como profissão. Ainda encontramos essa definição fortemente vinculada às ações caritativas e filantrópicas, ou seja, “a assistente social como a mocinha boazinha que o governo paga para ter dó dos pobres” (ESTEVÃO, 2006, p. 7). Monitoramento e Avaliação em Serviço Social São deveres do assistente social nas suas relações com os usuários (CFESS, 1993). Destaque para alguns dos deveres: contribuir para a viabilização da participação efetiva da população usuárianas decisões institucionais; democratizar as informações e o acesso aos programas disponíveis no espaço institucional, como um dos mecanismos indispensáveis à participação dos usuários; fornecer à população usuária, quando solicitado, informações concernentes ao trabalho desenvolvido pelo Serviço Social e as suas conclusões, resguardando o sigilo profissional; Esclarecer aos usuários, ao iniciar o trabalho, sobre os objetivos e a amplitude de sua atuação profissional. Monitoramento e Avaliação em Serviço Social Avaliações qualitativas geralmente são mais pragmáticas no sentido de não aspirarem grandes representações e costumam ser desenvolvidas na forma de: a) Divulgação de resultados. b) Pesquisa bibliográfica. c) Estudos de casos. d) Pesquisa exploratória. e) Pesquisa participante. Interatividade Avaliações qualitativas geralmente são mais pragmáticas no sentido de não aspirarem grandes representações e costumam ser desenvolvidas na forma de: a) Divulgação de resultados. b) Pesquisa bibliográfica. c) Estudos de casos. d) Pesquisa exploratória. e) Pesquisa participante. Resposta Referências BAPTISTA, M. V. Planejamento social: intencionalidade e instrumentação. São Paulo: Veras, 2000. BRASIL. Ministério de Desenvolvimento Social e Combate à Fome. Secretaria Nacional de Assistência Social. Política Nacional de Assistência Social (PNAS): Norma Operacional Básica (NOB/SUAS). Brasília, 2008. ESTEVÃO, A. M. O que é Serviço Social. São Paulo: Brasiliense, 2006. (Coleção Primeiros Passos). FONSECA, A. Avaliação de políticas sociais: o desafio de fazer, analisar e corrigir simultaneamente. Campinas, [s.d.]. Disponível em: www.enap.gov.br/downloads/ec43ea4favaliacao_poli_sociais. pdf. Acesso em: 27 nov. 2012. MAGALHÃES, S. Avaliação e linguagem: relatórios, laudos e pareceres. São Paulo: Veras, 2003. MAGALHÃES, S. Serviço Social & Sociedade. São Paulo, ano 20, n. 62, p. 5-34, mar. 2000. ATÉ A PRÓXIMA!
Compartilhar