Baixe o app para aproveitar ainda mais
Prévia do material em texto
CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO 2 Capacitando, Assista ao vídeo Apresentação do Módulo 6. MÓDULO 6 – MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO MUNICIPAL DE SANEAMENTO BÁSICO Bem-vindo, mais uma vez, caro capacitando! Agora que já vimos os diversos passos para a elaboração de um Plano de Saneamento Básico, chegou a hora de refletirmos sobre como iremos avaliar os resultados da implantação das novas políticas de saneamento básico no seu município. Assim, a “avaliação” constitui-se em passo fundamental para que se tenha o mínimo de controle em qualquer processo de gestão. É fazendo uso de instrumentos de avaliação que o gestor pode de fato buscar o que se denomina de melhoria contínua. Nesse sentido, desde a elaboração do Plano, os agentes municipais responsáveis pela execução devem estar atentos a critérios de avaliação e indicadores que sejam os mais objetivos possíveis. Desenvolver mecanismos que avaliem a efetividade do plano significa trabalhar para que os objetivos e metas propostos estejam alinhados com a realidade do município, tendo um sistema de indicadores que permita, ao final do processo, identificar se o Plano atingiu seu objetivo primordial, que é a melhoria da qualidade de vida da população. A partir disso, esperamos que ao final deste módulo, você esteja apto a: Compreender os conceitos de: Eficácia, Eficiência e Efetividade, e sua importância na avaliação do Plano; Elaborar um Sistema de Avaliação e Revisão do Plano de Saneamento Básico; Desenvolver um Sistema de Indicadores para o seu município; e Estabelecer mecanismos para divulgação do Plano de Saneamento Básico. Bons estudos! MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO 3 SUMÁRIO 1. AVALIAÇÃO DE POLÍTICAS PÚBLICAS: IMPORTÂNCIA, CONCEITOS E TIPOS .................... 4 1.1. O que é avaliar? ................................................................................................................... 7 1.2. O que vai ser avaliado? Qual é o objetivo da avaliação? .................................................... 8 1.3. Quais são os princípios da avaliação? Quais princípios de política pública a avaliação deve observar? ................................................................................................................................ 9 1.4. Quem avalia? Quais são os sujeitos do processo de avaliação? ....................................... 11 1.5. Como avaliar? .................................................................................................................... 13 1.6. Quando avaliar? ................................................................................................................. 15 1.7. Quanto custa avaliar? ........................................................................................................ 17 2. AS DIMENSÕES DE MONITORAMENTO E AVALIAÇÃO ................................................. 19 2.1. Cenários ............................................................................................................................. 19 2.2. Metas ................................................................................................................................. 22 2.3. Indicadores auxiliares ........................................................................................................ 25 2.4. Diretrizes e estratégias ...................................................................................................... 27 2.5. Programas .......................................................................................................................... 27 3. MECANISMOS DE DIVULGAÇÃO ANUAL DO PLANO .................................................... 28 4. SÍNTESE DE PRÁTICAS NA AVALIAÇÃO E MONITORAMENTO DO PLANO ...................... 29 REFERÊNCIAS ........................................................................................................................... 32 CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO 4 RECURSOS - Meios utilizados para a realização da atividade. Eles podem ser materiais, humanos, tecnológicos e/ou financeiros. 1. AVALIAÇÃO DE POLÍTICAS PÚBLICAS: IMPORTÂNCIA, CONCEITOS E TIPOS A avaliação das políticas públicas, embora recente no Brasil, é uma prática já consolidada, tendo início na década de 1960. Com vistas a superar essa crise, foram desenvolvidos diversos processos para avaliação das políticas públicas, definindo-se três grandes classes de indicadores para nortear a avaliação: eficácia, eficiência e efetividade (BRASIL, 2011a). A Figura 1 ilustra esses conceitos de forma geral. Figura 1 – Classes de indicadores para avaliação de políticas públicas Até há pouco tempo quando falávamos em avaliação, abordava-se somente a eficácia como indicador, ou seja, importava basicamente que fossem alcançadas as metas propostas. Porém, esse primeiro indicador não engloba os custos de atendimento, podendo levar à falsa sensação de “dever cumprido”, sem considerar se o custo para atender essas metas foi justo ou não. Evoluiu- se, assim, para o conceito de eficiência, o qual considera, além do atendimento das metas, que estas sejam alcançadas consumindo a menor quantidade possível dos recursos disponíveis, tais como: dinheiro, tempo, pessoas, espaço, etc. Infelizmente, mesmo a avaliação da eficiência de um processo, às vezes, nos fornece um cenário incompleto. Isso ocorre quando a proposta de ação é cumprida com um gasto compatível de recursos, mas os resultados não se manifestam na prática. Um caso comum são as diversas obras de drenagem realizadas sem o devido estudo técnico, as quais acabam sendo executadas, mas não se mostram suficientes para resolver os problemas de alagamentos. Assim, se as metas estiverem aquém do objetivo a ser atingido, o resultado obtido, mesmo que cumprida a meta, poderá ser insatisfatório. Nesse sentido, desenvolveu-se a avaliação de efetividade. MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO 5 Busca-se assim, descobrir se o problema que existia inicialmente foi de fato resolvido. Ou seja, o estudo não se restringe a verificar se as técnicas escolhidas para resolver determinada situação foram empregadas, mas sim verificar se a sua implantação resolveu o problema realmente. Isso é importante porque muitas vezes o gestor envolve-se de tal forma no processo de implantação de uma tecnologia – a construção de uma barragem, por exemplo – que esquece que essa tecnologia está sendo implantada para suprir um objetivo maior, qual seja: resolver, nesse caso, o problema de falta d’água. Na Figura 2 você pode conferir um exemplo das diferenças entre as análises de eficácia, eficiência e efetividade para um projeto de ampliação de rede de água em um município, podendo ser estendido para os diversos ramos do planejamento público. Figura 2 - Avaliação da eficácia, eficiência e efetividade na implantação de um projeto de ampliação de rede de água Assim, tendo esses conceitos em mente, sempre é importante lembrar que a avaliação de uma política pública deve verificar o atendimento das metas propostas (eficácia), os recursos utilizados (eficiência) e os efetivos impactos sociais da sua implantação (efetividade). A lista de perguntas (checklist) apresentada no Quadro 1 serve para ajudar a avaliar os reais efeitos das políticas aplicadas. Dessa forma, você pode utilizar este checklist para iniciar a avaliação de eficiência, eficácia e efetividade dos programas, projetos e ações previstos no Plano de Saneamento Básico de seu município. Você pode ainda estender seu uso para outros objetos de planejamento. CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO 6 ATENÇÃO Avalie bem seus recursos (financeiros, técnicos, humanos e de infraestrutura)durante o planejamento da sua avaliação. Muitas vezes é preferível uma avaliação mais simples e bem executada a uma avaliação complexa, mas superficial. Quadro 1 – Checklist para avaliação de políticas públicas QUESTIONAMENTO RESPOSTA Sim Não EFICÁCIA O conteúdo da política ou programa traçado e realizado foi adequado para alcançar os objetivos pretendidos? A política ou programa foi desenvolvido conforme o planejamento inicial? Os objetivos e metas foram atingidos? EFICIÊNCIA Os recursos financeiros investidos foram devidamente aplicados? Os recursos financeiros investidos foram compatíveis com os objetivos e metas atingidos? O processo atendeu a um cronograma de execução factível? O programa foi implementado segundo princípios de justiça social, de moralidade e de probidade administrativa? EFETIVIDADE A política ou o programa foi capaz de alterar a realidade? A política ou o programa contribuiu para a aproximação ou o afastamento da realidade social desejada? Fonte: Adaptado de Borja (2011) Complexo, não? A avaliação de uma política pública é um processo que exige muito planejamento, e por isso sugerimos a elaboração de um sistema de avaliação. Primeiramente, é preciso estabelecer os objetivos e a forma segundo a qual será realizada a avaliação, levando-se sempre em conta a equipe disponível (quantidade e qualificação dos membros da equipe), o tempo, as técnicas de pesquisa e o custo envolvido. Tenha em mente, ainda, que a avaliação deve concentrar-se nos efeitos que o Plano Municipal de Saneamento Básico exercerá sobre a sociedade. Dessa forma, não basta o cumprimento dos indicadores. Deve-se avaliar também como o Plano influiu na saúde e qualidade de vida da população, na economia e, ainda, sobre o meio ambiente do local avaliado. Na avaliação da efetividade, esses elementos devem receber destaque. Levando em conta esses apontamentos, podemos começar a traçar um sistema de avaliação. Consideramos que, quando bem elaborado, um sistema de avaliação deve ser capaz de responder a sete perguntas básicas, conforme apresentado na Figura 3. MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO 7 Figura 3 - Perguntas sobre o sistema de avaliação Fonte: Adaptado de Brasil (2011a) Como você pode ver, são várias as questões que precisam ser respondidas na elaboração de um sistema de avaliação. Nos próximos capítulos, com a intenção de levá-lo a refletir sobre o que compreende um processo de avaliação de política pública, vamos fornecer elementos para que você possa delinear uma resposta para cada uma dessas perguntas básicas. 1.1. O que é avaliar? Primeiramente, vamos falar sobre o processo de avaliação propriamente dito. Avaliar significa, em suma, realizar a aprovação, ou desaprovação, de um objeto de estudo, apoiando-se em dados científicos, porém, baseando-se também em valores políticos, culturais e morais (BRASIL, 2011a). Por mais que dados técnicos sejam utilizados, a avaliação acaba sendo um processo em parte subjetivo, não sendo neutro e nem totalmente técnico. Como afirmado por Arretche (1998, p. 29): “Não existe possibilidade de que qualquer modalidade de avaliação ou análise de políticas públicas possa ser apenas instrumental, técnica ou neutra.” Paralelamente, Fleury (1994) aponta que o grande dilema junto às políticas sociais refere-se ao fato de não haver um critério lógico-científico para definição de justiça, havendo sempre, desse modo, uma margem para discussões acerca do que é justo e do que não é. Em resumo, podemos dizer que toda avaliação de política ou programa possui intrinsecamente um caráter subjetivo, orientado por valores e visões dos sujeitos participantes do processo. Diante disso, recomenda-se que os grupos avaliadores sejam compostos por diversos sujeitos sociais, com CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO 8 visões distintas, que possam se completar e produzir um processo participativo. Um processo de avaliação com visões múltiplas tende a gerar melhores resultados, permitindo avaliar de forma mais clara os reais impactos da política aplicada. Ele será justo, sensato, prudente se for suficientemente capaz de determinar os reais efeitos da intervenção sob os diversos pontos de vista da sociedade, e assim permitir aos gestores decidir se essa política deve ser mantida, modificada ou interrompida. 1.2. O que vai ser avaliado? Qual é o objetivo da avaliação? Para que possamos avaliar um plano, devemos primeiramente definir com clareza qual é o objetivo a ser alcançado com essa avaliação. Para isso, é necessário que tenhamos domínio do assunto. Afinal, de que forma poderemos nos tornar avaliadores se não possuirmos conhecimento da área estudada? Lembremos que, no campo do saneamento básico, com base na Lei nº 11.445/07 e no Decreto nº 7.217/10, que regulamenta a lei, são definidas quatro áreas temáticas que devem ser contempladas pelo Plano: abastecimento de água, esgotamento sanitário, manejo dos resíduos sólidos e manejo das águas pluviais. Não podemos esquecer, entretanto, que o saneamento básico existe como uma política social, ou seja, ele é um direito estabelecido pela Constituição como medida de: promoção à saúde; proteção ambiental; infraestrutura e desenvolvimento urbano; cidadania. Tradicionalmente, o saneamento básico é caracterizado, apenas, como medida de prevenção à saúde. Mais recentemente, porém, ele vem sendo considerado uma medida de promoção à saúde, sob a denominação de saneamento promocional (SOUZA; FREITAS, 2006). Em suma, quando falamos em medidas de prevenção à saúde, estamos falando em tornar nossa sociedade livre de doenças que possam ser inibidas graças à implementação de políticas de saneamento. Se em algum momento essas políticas forem interrompidas, haverá o retorno a uma situação anterior a da implantação delas. No âmbito do saneamento básico tomado em seu sentido usual, a prevenção é realizada por meio de ações do próprio órgão público, com ênfase na implantação de estruturas físicas, havendo pouca participação da sociedade. Em contrapartida, o saneamento promocional possui uma abrangência maior, englobando não apenas estruturas físicas relativas a água, esgoto, resíduos sólidos, etc., mas também ações para promover a educação dos usuários, políticas que estabeleçam direitos e deveres dos prestadores e usuários, além de meios capazes de interligar o setor do saneamento com os demais setores relacionados à saúde e ao meio ambiente (SOUZA, 2007). Ou seja, no saneamento promocional, o órgão de saneamento atua de forma interligada com os demais órgãos da administração pública e com a população atendida, favorecendo a promoção do saneamento nos diversos âmbitos da sociedade. É importante destacar que ações no campo do saneamento básico, cujas finalidades sejam exclusivamente de prevenção à saúde, podem facilmente ser ineficazes se não forem MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO 9 acompanhadas de ações efetivas afinadas com o saneamento promocional. Por exemplo, investir na construção de ecopontos para a coleta de resíduos não necessariamente resulta na garantia de que não serão mais gerados focos de lixo em ruas e encostas. Sem as devidas políticas de educação ambiental junto à população, há o risco de tal iniciativa ser completamente ignorada pelos usuários e o investimento perdido, por consequência. E no seu município, predomina a visão de saneamento básico como medida de prevenção à saúde ou de promoção à saúde? Para responder a essa questão, leve em conta as características desses dois tipos de saneamento que acabamos de abordar. Lembre-se dos tópicos referentes a efetividade, eficácia e eficiência em face dos programas, projetos e ações propostos no Plano de Saneamento Básico de seu município.1.3. Quais são os princípios da avaliação? Quais princípios de política pública a avaliação deve observar? Quando falamos em avaliação de uma política pública, devemos obrigatoriamente nos perguntar: Quais são os princípios de política pública a serem observados durante a avaliação? Em primeiro lugar, não temos como falar em implantação de políticas públicas sem antes definirmos o que exatamente queremos alcançar. Assim, é importante destacar que a implantação de políticas públicas baseia-se no atendimento de alguns princípios, dos quais o avaliador dessas políticas deve ter ciência, de modo que possa determinar a correspondência que existe entre eles e os efetivos resultados de tais políticas. No que diz respeito aos princípios, podemos tomar como referência a Lei nº 11.445/07. O atendimento aos princípios fundamentais da Lei do Saneamento Básico consiste em um excelente ponto de partida para qualquer política de saneamento. Vamos recordar esses princípios, já vistos nos Módulos 1 e 2. CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO 10 Figura 4 ilustra resumidamente esses princípios. Figura 4 - Princípios da Lei do Saneamento Básico Fonte: Elaborado pelos autores com base na lei 11.445/07 Apesar de seguirmos essa orientação básica para os princípios que irão delinear a política de CONTROLE SOCIAL - Conjunto de mecanismos e procedimentos que garantam à sociedade informações e participação nos processos de formulação, implementação e avaliação das políticas públicas (BRASIL, 2010b). São processos que garantem a participação de comunidades, movimentos e entidades da sociedade civil em processos de decisão. Como exemplo, citam-se audiências públicas, consultas, conferências, grupos de trabalho, comitês, conselhos e seminários. MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO 11 saneamento dos municípios, é importante lembrar que diferentes comunidades possuem diferentes características socioeconômicas. Assim, é decisivo em um processo de avaliação de política levar em consideração essas disparidades, o que significa que comunidades distintas deverão possuir políticas distintas. Assim, caso você tenha interesse em aplicar alguma política pública que foi efetiva em outro município, é importante primeiro analisar as diferenças culturais, sociais e econômicas que existem entre esse município e o seu. Por tal motivo, recomenda-se sempre utilizar como referência locais que possuam características semelhantes ao seu município. Tome, porém, muito cuidado com as diferenças culturais. Muitas vezes, a reação da população acaba por ser fator determinante para o sucesso que certa política pública poderá ou não alcançar. Já vimos que os princípios são de suma importância para estabelecer estratégias de planejamento acerca do saneamento do município. Você viu também que, a partir deles, com base nos diagnósticos e nos prognósticos, são estabelecidas diretrizes que, por sua vez, se desdobram em diversos programas, projetos e ações para efetivar o plano de saneamento propriamente dito. Assim, tenha em mente que, para a avaliação da eficácia, da eficiência e da efetividade de cada ação, projeto ou programa, os chamados “princípios” são os elementos de base que orientarão esse caminho. 1.4. Quem avalia? Quais são os sujeitos do processo de avaliação? Dando sequência à formulação de um modelo de avaliação para o município, temos ainda uma pergunta fundamental a ser respondida: Quem são os responsáveis pela avaliação da política pública? Avaliar uma política pública consiste num processo multidisciplinar. Por isso, deve-se necessariamente envolver de forma crítica e ativa os diversos agentes sociais, de modo que assumam o papel de sujeitos do processo de avaliação. Quando falamos em agentes sociais, estamos englobando todos os sujeitos que influenciam de alguma forma as políticas públicas, como governantes, técnicos do Estado, segmentos sociais, setores empresariais que representam a iniciativa privada e setores políticos, entre outros. Apresentamos a Figura 5 para ilustrar este processo. Figura 5 - Componentes do processo de decisão de políticas públicas CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO 12 A Constituição Federal de 1988 prevê a participação da sociedade na tomada de decisões de políticas públicas. Setores como educação, meio ambiente, saúde, recursos hídricos, entre outros, possuem instrumentos próprios para assegurar a participação da comunidade no processo de formulação das políticas. Amparada por esses instrumentos, a sociedade é estimulada a participar direta e indiretamente desse processo ao exercer sua atribuição de acompanhamento e fiscalização. É interessante destacar que a participação da sociedade na tomada de decisões não é exclusividade das políticas de saneamento básico. No caso da Lei do Saneamento Básico, os princípios que garantem a atuação da sociedade estão bem claros no artigo 47, o qual define que, para o controle social dos serviços de saneamento, estão asseguradas as representações destacadas a seguir. MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO 13 Assim, o seu desafio, caro capacitando, é o de realizar a avaliação da sua política pública por meio do empreendimento de processos de avaliação transparentes, democráticos e participativos. Esses processos podem ocorrer mediante a efetivação de conselhos, comitês de acompanhamento e avaliação e/ou audiências e reuniões públicas. Nesse sentido, é importante lembrar-se dos conceitos vistos durante o Módulo 3. Assim, se superado esse desafio, o resultado é um sistema político integrado com os diversos membros da sociedade, podendo enfim alcançar os princípios propostos na Lei nº 11.445/07. 1.5. Como avaliar? A prática tem mostrado que a avaliação está intrinsicamente relacionada à ação de medir. Esta ação consiste em um instrumento indispensável para permitir a operacionalização de políticas de desenvolvimento, ajudando tanto os gestores, quanto os cidadãos comuns a definir objetivos, estudar alternativas, fazer escolhas e ajustar dinamicamente as políticas e objetivos com base na avaliação de seu estado atual (BOLLMANN, 2001). Por tal motivo, existe um esforço muito grande na construção de sistemas de indicadores para avaliação de políticas públicas. Países como Alemanha, Japão, Canadá, Estados Unidos, entre outros, além da Organização das Nações Unidas, vêm desenvolvendo estudos nessa área. Se antes os indicadores abordavam somente a questão econômica, hoje eles evoluíram e tomaram proporções mais completas e complexas, envolvendo as mais diversas áreas. CONTROLE SOCIAL SEGUNDO A LEI DO SANEAMENTO BÁSICO (LEI FEDERAL Nº 11.445/07) Art. 47. O controle social dos serviços públicos de saneamento básico poderá incluir a participação de órgãos colegiados de caráter consultivo, estaduais, do Distrito Federal e municipais, assegurada a representação: I – dos titulares dos serviços; II – de órgãos governamentais relacionados ao setor de saneamento básico; III – dos prestadores de serviços públicos de saneamento básico; V – de entidades técnicas, organizações da sociedade civil e de defesa do consumidor relacionadas ao setor de saneamento básico. CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO 14 Basicamente, os indicadores existem como instrumento para prover as políticas públicas de informações sobre o seu desempenho, permitindo assim a efetiva tomada de decisões. Ao mesmo tempo, um bom conjunto de indicadores permite aos gestores trabalhar no âmbito de previsões, fornecendo-lhes condições de estimar como os resultados de uma determinada política evoluirão no curso do tempo. Levando em conta que, na maior parte das vezes, nem todos os indicadores necessários podem ser obtidosde forma objetiva, é importante haver uma distinção clara daqueles de caráter subjetivo, uma vez que estes terão metodologias de coleta bem distintas. Sensações qualitativas como conforto, bem-estar, satisfação do cidadão, etc. são informações ditas subjetivas, as quais requerem um tipo diferenciado de análise. Nesse sentido, deve-se tomar um cuidado especial com o fato de informações subjetivas variarem dependendo das características da população entrevistada, ou seja, uma mesma situação pode ser avaliada por dois grupos populacionais de forma completamente diferente. Isso pode ocorrer devido a diferenças econômicas, sociais e culturais entre essas populações, podendo também sofrer a influência de eventos recentes significativos, como surtos de doenças e períodos de estiagens extremas, por exemplo. Desta forma, tendo em vista a complexidade da realidade contemporânea e a dificuldade de mensurá-la por métodos puramente quantitativos, muitos pesquisadores recomendam a incorporação de técnicas interativas que estimulem a interdisciplinaridade, permitam consultas a experts e a participação dos cidadãos. Algumas dessas técnicas você conheceu nos Módulos 3 e 4. Com relação a forma como os resultados dos indicadores serão expressos, estes podem ser forma quantitativa, ou seja, por meio de números, ou então de forma qualitativa. Assim, elementos como capacidade da gestão pública ou inovação tecnológica, os quais são difíceis de serem quantificados, podem ser expressos de forma qualitativa. Ainda, em muitos casos, mesmo quando a coleta ocorre de forma objetiva, desenvolvida com métodos técnico-científicos, pode ser interessante apresentar os resultados também de forma qualitativa. Um exemplo comum de indicador qualitativo em políticas de saneamento básico é a satisfação da população, a qual pode ser levantada, por exemplo, tanto de forma quantitativa, por meio de uma escala de satisfação, quanto qualitativa, com a coleta de depoimentos. Na Figura 6, você pode ver, a título de exemplo, uma comparação entre coleta de dados quantitativa e coleta de dados qualitativa no contexto de uma comunidade após a implantação de um sistema de drenagem. ATENÇÃO Uma avaliação de política pública não se limita a um conjunto de indicadores. Estes servem somente para apontar a direção a ser seguida, sendo apenas um dos componentes da avaliação da política. De fato, o termo indicador vem do latim indicare, que significa “indicar, apontar”. MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO 15 Figura 6 - Comparação entre um sistema de coleta de dados quantitativo e um qualitativo para avaliação da satisfação da população Por fim, cabe destacar que, devido ao elevado grau de complexidade, existem limitações em todos os modelos de sistemas de indicadores. Sendo assim, é importante, durante a elaboração do modelo, definir o escopo e quais serão as limitações do sistema de indicadores, evitando desse modo futuras surpresas durante a análise dos resultados. Portanto, tenha sempre em mente que todo sistema de indicadores possui limitações, pois é uma representação da realidade e não a realidade em si. É importante destacar: O fato dos sistemas de indicadores possuírem limitações não os torna menos importantes, uma vez que a sua função é estabelecer uma aproximação da realidade, e não uma reprodução exata dela. Assim, tenta-se obter o cenário mais próximo possível do real dentro das limitações financeiras, temporais e metodológicas. Nesse sentido, busque sempre trabalhar, como explicado, com métodos objetivos (coleta, tratamento e análise de dados) e subjetivos (entrevistas) em conjunto, uma vez que um indicador ajuda a complementar as deficiências do outro. 1.6. Quando avaliar? Quando falamos em avaliação dos Planos de Saneamento Básico, podemos resumir sua utilização em três grandes áreas, conforme a Figura 7. Figura 7 - Áreas monitoradas pelos indicadores CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO 16 Fonte: Elaborado pelos autores Primeiramente, o sistema de indicadores tem como objetivo avaliar os resultados do Plano Municipal de Saneamento Básico. Assim, a sua eficácia, eficiência e efetividade são avaliadas, de modo a verificar se ele está atendendo ao que foi proposto durante o planejamento. É fundamental que exista esse acompanhamento, e é igualmente importante verificar, caso aconteça, o motivo pelo qual não houve atendimento ao proposto. Assim, locais considerados mais críticos ou vulneráveis devem ser monitorados com maior frequência. É natural, então, por exemplo, haver um controle maior sobre os indicadores de alagamento e saúde pública em áreas com histórico de enchentes, sendo possível, inclusive, o desenvolvimento de indicadores exclusivos para essas áreas. Com o passar dos anos, diversos aspectos podem mudar no contexto de um município, tais como: aumento ou redução da população, ocorrência de êxodo rural, implementação de inovações tecnológicas, mudanças no panorama estadual, nacional e internacional, etc. É fundamental, então, que o município esteja bem informado, de maneira que disponha de tempo para fazer mudanças no seu planejamento. A avaliação deve ocorrer também no caso de situações de emergência e contingência. Situações extremas, como a ruptura de redes adutoras de água, devem ser rapidamente informadas aos setores responsáveis. Da mesma forma, o sistema deve ser capaz de acompanhar a correção do problema e o andamento do plano de contingência. Isso é importante, pois nem sempre o plano de contingência é desenvolvido para operar por períodos muito longos. No caso de redes adutoras, a existência de reservatórios ou a ligação com outros subsistemas muitas vezes evita o desabastecimento por algumas horas, porém, se o problema não puder ser resolvido a tempo, pode ocorrer o desabastecimento municipal. Como se pode perceber, existem diversas situações, as quais você pode decidir monitorar. Porém, por questões de custos, dificilmente o gestor público consegue adotar todos os indicadores que gostaria. Assim, é importante avaliar bem seu sistema de indicadores. Por fim, é importante destacar que a avaliação ocorrerá necessariamente quando da revisão do Plano Municipal de Saneamento Básico, em prazo não superior a quatro anos da sua aprovação. MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO 17 1.7. Quanto custa avaliar? Conforme o esquema apresentado na Figura 3, falta agora responder a última pergunta para formular o sistema de avaliação: qual o custo de avaliar? Vamos começar esta conversa com a seguinte afirmação: todo processo de avaliação gera algum custo ao gestor, direta ou indiretamente, decorrente do emprego de pessoas e/ou materiais. Assim, os indicadores devem ser propostos com o objetivo de atender a necessidades bem específicas, evitando-se a utilização de indicadores que pouco ou nada agregam ao município. Alguns destes custos são mais óbvios em termos de retorno financeiro, em especial aqueles que envolvem a utilização de indicadores para acompanhamento. Por exemplo, monitorar o índice de perdas de água auxilia na redução de custos com o sistema de abastecimento de água potável. Em contrapartida, outros, como a composição do resíduo municipal, podem não ser tão evidentes em termos financeiros diretos, apesar de serem estratégicos para decisões em projetos futuros. Em um sistema de avaliação adequado, seus indicadores muitas vezes podem se tornar um sistema complexo e de grandes proporções. Vale ressaltar, porém, que a elaboração de um grande sistema de indicadores não resultará, necessariamente, num bom sistema de avaliação. A seleção dos indicadores depende muito da capacidade do gestor de analisá-los, sendo que, sem a devida análise, os indicadores implicam em um aumento de custos desnecessário. Assim, vamos verificar no Quadro 2 quaissão os principais custos que podem ser gerados pelo sistema de indicadores. Quadro 2 - Principais custos gerados pelo sistema de indicadores PRINCIPAIS CUSTOS GERADOS PELO SISTEMA DE INDICADORES Treinamento Alguns indicadores podem exigir treinamento específico, como quando é preciso utilizar um equipamento ou software novo, ou quando é necessário um conhecimento técnico indisponível na prefeitura, a exemplo das técnicas de geoprocessamento, que exigem um grande domínio nessa área. Coleta dos dados É uma etapa fundamental. Além dos custos decorrentes de equipamentos/insumos, apresentados nos respectivos itens, tem-se o custo de mão de obra. Em muitos casos, como no monitoramento de corpos hídricos, existe também a necessidade de deslocamento da equipe, sendo preciso contabilizar os gastos consequentes do uso de veículo (despesas com combustível, desgaste veicular, motorista, etc.), ou até adquirir veículos com características específicas, como caminhonetes. Análises dos dados A grande dificuldade da análise de dados é que ela, na maior parte das vezes, precisa ser realizada por profissionais especializados, os quais possuem salários mais elevados. Assim, apesar de utilizar menos profissionais que a coleta de dados, a análise pode alcançar custos significativos. Importante destacar que tanto na análise, quanto na coleta, é fundamental avaliar a disponibilidade da equipe existente, podendo ser necessária a contratação de novos profissionais. Análises laboratoriais Muitos indicadores demandam análises de laboratório. Isso é muito comum em ETAs, ETEs e também para avaliar a qualidade da água de rios e córregos. Cabe ao município avaliar se é mais vantajoso desenvolver e encaminhar as análises para um laboratório próprio, ou então terceirizar a análise laboratorial. CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO 18 PRINCIPAIS CUSTOS GERADOS PELO SISTEMA DE INDICADORES Aquisição e instalação de equipamentos Muitas vezes, é necessário adquirir equipamentos para realizar o monitoramento de indicadores. Exemplos comuns são as balanças rodoviárias em aterros sanitários e estações de transbordo, as estações fluviométricas, os sistemas de micromedição, entre outros. Também é comum a aquisição de equipamentos de menor porte, como GPS, decibelímetros, molinetes, Estações Totais, etc. Software/ hardware Alguns indicadores podem demandar a aquisição de softwares específicos para sua análise. Uma situação comum são os softwares de GIS e CAD para elaboração de mapas, porém, diversos softwares comerciais vêm sendo desenvolvidos para prefeituras dentro da área de saneamento. Da mesma forma, pode ser necessária a atualização/substituição de computadores para suportar essas novas demandas. Uniformes e Equipamentos de Proteção Individual (EPI) Com relação a todo indicador que requer trabalho de campo, em particular aqueles que envolvem contato com comunidades, os funcionários responsáveis precisam ser devidamente identificados. Do mesmo modo, caso precisem atuar em locais de risco, devem ser fornecidos os devidos EPIs. Energia elétrica É importante avaliar o consumo de energia dos novos equipamentos e verificar a existências de alternativas comerciais de menor consumo. Além da quantidade, precisa ser avaliada a necessidade de implantação de novas linhas, instalação de transformadores, etc. Insumos diversos Indicadores podem necessitar da mais variada gama de insumos. Isso pode ser desde uma planilha e uma caneta para anotações, até reagentes químicos e frascos especiais para coletas. Assim, avalie bem quais necessidades aquele indicador irá gerar em termos de insumos com o decorrer do tempo. Manutenção/ calibração/ substituição Equipamentos demandam rotineiramente calibração e manutenção. Existe uma resistência quanto à realização da calibração dos equipamentos devido ao custo associado, porém um equipamento não calibrado irá apresentar resultados incorretos, os quais não possuem utilidade. Ainda, todo equipamento/material possui uma vida útil, e por isso é importante que esteja prevista a sua substituição futura, uma vez que esse custo pode ser bem significativo. Compra/aluguel de imóveis e terrenos Apesar de não ser uma situação comum, existem casos em que se faz necessária a aquisição de imóveis e/ou terrenos. Isso pode se dar, por exemplo, quando houver instalações distantes da sede, como estações fluviométricas, ou então em municípios com áreas muito grandes, onde pode ser mais econômico manter equipes em locais fixos. Esse tipo de situação também ocorre durante a construção de grandes obras de saneamento, como barragens, nas quais é preciso um acompanhamento mais constante. Fonte: Elaborado pelos autores Assim, caro capacitando, são diversas as formas pelas quais um indicador pode gerar custos à prefeitura. Evidentemente, é importante avaliar sempre a relevância da implantação de cada indicador e como ele irá auxiliar na gestão do serviço de saneamento. Logo, da mesma forma que é importante definir escalas de prioridades para programas e ações, você pode definir escalas de prioridades para indicadores, avaliando a importância da informação, da ação que ele está monitorando e do custo desse indicador. Ainda, como já explicado, verifique se não existem dois ou mais indicadores gerando a mesma informação. Isso tende a acontecer com mais frequência entre órgãos distintos. Um exemplo comum é quando o órgão gestor de meio ambiente e a companhia de abastecimento de água descobrem que ambos estão monitorando a qualidade de água dos rios. 19 MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO 2. AS DIMENSÕES DE MONITORAMENTO E AVALIAÇÃO A avaliação de políticas públicas deve estar focada na verificação do atendimento dos objetivos propostos inicialmente. Visto que diversos fatores, tanto internos quanto externos, podem afetar essa proposta, é importante que a verificação seja realizada em diversas escalas, avaliando tanto a eficiência, eficácia e efetividade dos programas implantados, propriamente ditos, quanto os cenários, metas e estratégias adotadas inicialmente. A seguir veja cada um desses elementos do Plano no contexto da etapa de avaliação. 2.1. Cenários Conforme visto no Módulo 5, um Plano Municipal de Saneamento Básico precisa ser desenvolvido tendo em mente as diversas possibilidades de ocorrência de eventos externos. Desta forma, todo processo de decisão intrinsicamente possui um determinado grau de incerteza, tendo em vista que não é plenamente conhecido pelo planejador municipal a situação futura de questões como: disponibilidade de recursos, prioridades da administração, crescimento populacional, sistema econômico municipal, dentre diversos outros. Porém, ao final do processo, é necessário que seja selecionado um cenário base, o qual é considerado o mais provável de ocorrer, e que servirá para todo o processo de tomada de decisões. Ocorre, porém que, como mencionado, seleciona-se neste momento aquele cenário mais provável, havendo então a possibilidade deste não se concretizar. Exemplos de instabilidades nos cenários políticos e econômicos no decorrer da história são vários: a quebra da bolsa de Nova York em 1929, a crise do petróleo em 1973 e, mais recentemente, a crise econômica de 2008, são apenas alguns dos vários exemplos possíveis. Da mesma forma, as variações podem ocorrer de forma positiva. A aprovação da Política Nacional de Saneamento Básico em 2007 e da Política Nacional de Resíduos Sólidos (PNRS) em 2010 representam dois marcos recentes no Saneamento Básico do Brasil, os quais culminaram não apenas na necessidade de elaboração dos respectivos planos, mas com o comprometimento do poder federal em fornecer subsídios às esferas estaduais e municipais para o cumprimento das metas estabelecidas nessas diretrizes legais. Isso resultou na capacitação detécnicos, através de cursos como este que você está realizando, e no aumento da disponibilização de recursos para realização de investimentos em saneamento básico. Da mesma forma, essas políticas trouxeram novas diretrizes que precisam ser seguidas pelos municípios. Um dos exemplos mais evidentes foi a aprovação dos sistemas de logística reversa, trazida pela PNRS (Lei nº 12.305, de 2 de agosto de 2010). Esta nova forma de gestão de resíduos sólidos difere de todos os outros sistemas legais existentes até o momento, sendo então necessário que os municípios se adequem a este sistema através de da elaboração ou modificação dos programas de gerenciamento de seus resíduos sólidos. Desta forma, um cenário de planejamento de gerenciamento de resíduos sólidos municipais elaborado antes de 2010 provavelmente não está mais adequado ao cenário legal atual. Essas são apenas algumas das várias instabilidades, às quais o planejamento está sujeito. Sendo 20 CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO assim, torna-se fundamental que existam ferramentas por parte do município para avaliar as possíveis variações no cenário adotado para a execução do plano. A utilização de indicadores é particularmente importante nesse sentido, uma vez que esses permitem não só avaliar a situação atual, mas também, através de análises estatísticas, prever tendências futuras. A Figura apresenta um exemplo de variação de um indicador genérico com o passar do tempo. Repare que no momento inicial da análise, com 10 anos de dados, existe uma tendência de redução no crescimento do indicador, porém, aos 15 anos já se observa uma tendência diferenciada, de crescimento. Com 20 anos de informações já fica claro que a estimativa inicial não é adequada. Figura 8 - Variação dos indicadores com o tempo Esse tipo de situação é observada com o crescimento populacional em diversos municípios, uma vez que existe a tendência de estabilização da população com o passar do tempo. Porém, eventos externos, como a construção de sistemas de locomoção como rodovias, ferrovias e portos, ou a vinda de uma empresa de grande porte, podem alavancar o crescimento novamente. Para realizar esta avaliação das condições externas em relação ao cenário previsto, recomenda-se a criação de uma equipe de controle, responsável por avaliar os indicadores utilizados na elaboração do Plano. Um conhecimento avançado de estatística e de análise de mercado é recomendável nesta etapa, visto que mesmo durante a avaliação, busca-se projetar as tendências futuras dos cenários. Tenha em mente que as variações dos indicadores nem sempre ocorrem de forma tão sutil como verificado na Figura . Veja, por exemplo, o caso do crescimento do Produto Interno Bruto (PIB) per capita brasileiro na Figura . 21 MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO Figura 9 - PIB per capita no Brasil Fonte: Brasil Economia e Governo (2013) Neste caso, a identificação de padrões e tendências é muito mais difícil, podendo em alguns casos transparecer uma quase aleatoriedade. Porém, uma análise estatística permite identificar que o PIB per capita brasileiro vem, em média, crescendo desde 2004 (linha verde). Este crescimento, porém, é questionável, tendo em vista que nos anos de 2011 e 2012 houve uma redução neste índice. Assim, neste caso, torna-se importante que os gestores públicos dediquem uma maior atenção a este indicador, uma vez que ele apresenta sinais de variação em relação ao padrão previamente projetado. Esse tipo de raciocínio pode ser adotado para a avaliação de cada indicador, e, ao final do processo, da relação entre estes indicadores, objetivando então avaliar o andamento dos cenários municipal, estadual, nacional e mundial, conforme a pertinência. Importante destacar que quanto antes as tendências forem identificadas, mais rapidamente, e facilmente, poderão ser feitas as devidas alterações no planejamento. Ainda, cabe aqui trazer, que nem toda tendência é verificada diretamente com indicadores. Diretivas legais, planos governamentais e mesmo grandes eventos (como a Copa do Mundo de 2014) são conhecidos muito antes destes se manifestarem em qualquer indicador, podendo então as adequações no planejamento ser feitas com antecedência. Em contrapartida, outros eventos ocorrem sem aviso, como é o caso de fenômenos climáticos extremos, ou mesmo certas manifestações sociais. Nesses casos, é importante que após serem realizadas as medidas emergenciais, os responsáveis se reúnam para avaliar as alterações que serão necessárias para a execução do Plano. Capacitando, tenha sempre em mente que a alteração nos cenários leva necessariamente a alterações nas metas e, consequentemente, nas diretrizes e estratégias e nos programas, gerando assim um efeito cascata. Desta forma, a modificação destes deverá vir acompanhada de novas alterações no Plano, sendo através de alterações nos programas existentes ou mesmo a criação de 22 CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO novos, conforme ilustrado na Figura . O processo de alteração nas demais etapas estará sendo discutido no decorrer deste módulo. Figura 10 - Ajuste do plano devido a situações não previstas Fonte: Elaborado pelos autores 2.2. Metas Da mesma forma que existe a necessidade de avaliação de cenários, é importante que sejam reavaliadas as metas definidas originalmente, com vistas a avaliar se as mesmas estão atendendo ao seu objetivo. Lembre-se que os cenários contemplam um contexto mais amplo, que subsidiou a elaboração das diretrizes e estratégias, que, por sua vez, foram desdobradas nos diversos programas, projetos e ações, conforme detalhado no Módulo 5. Já as metas, estão mais diretamente vinculadas com os objetivos que servem de baliza e controle para a efetivação dos programas, projetos e ações. Nesse sentido, devemos ter sempre em mente que uma meta contempla naturalmente certo grau de dificuldade para ser alcançada, induzindo assim aos gestores e executores que se esforcem para alcançar a mesma. Esta, então, não deve ser impossível, uma vez que isso iria desmoralizar os responsáveis pelas ações, ou então muito fácil, pois nesse caso ela perderia seu sentido. Desta forma, tendo em vista que a capacidade do município para atender uma meta depende também de valores externos, tais como: recursos disponíveis, expansão populacional, prioridades políticas, etc.; a avaliação das metas está diretamente associada ao cenário atual adotado pelo Plano. Caso este cenário sofra alterações e seja revisto, conforme visto no item 2.1, as metas também poderão sofrer alterações para se adequarem a esta nova realidade. No caso de alterações negativas nos cenários previstos, como na ocorrência de crises econômicas, podem-se revisar as metas para baixo. Muito cuidado, porém, nesses casos. Como dito anteriormente, as metas possuem a função de desafiar a gestão no sentido proativo, com vistas a melhoria contínua. Sendo assim, se a cada dificuldade houver uma redução das metas, as mesmas perdem o seu objetivo maior. Também, a redução de metas não é vista com bons olhos pela 23 MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO população e pelos órgãos de fiscalização, sendo, por vezes, necessária uma justificativa com forte embasamento técnico quando houver alguma redução. Ainda, antes de proceder para a flexibilização das metas, deve-se reavaliar programas e projetos, de forma a identificar a possibilidade de alterações nestes que possam se adequar ao novo cenário. Um exemplo seria o aumento abrupto da população do município devido ao início de uma obra de grande porte, como uma barragem ou uma mineradora. Em um primeiro momento, pode parecer que essas obras irão impactar negativamente os indicadores de saneamento do município, porém, é possível através de programas de educação ambiental, relocação de recursose acordos com as empreiteiras, mitigar essas questões ao ponto que o atendimento às metas seja novamente possível e até maximizado. No caso de alterações positivas nos cenários, como o aumento na arrecadação municipal, devem- se reavaliar as metas de forma a torná-las mais rigorosas, condizentes com a situação prevista. Tenha em mente, porém, que a reavaliação de metas, quer ela seja positiva ou negativa, deve ser feita com cuidado. Como observamos na avaliação de cenários, nem sempre as tendências são tão claras, então a reavaliação de metas ocorre apenas quando existe convicção acerca das alterações não previstas inicialmente. Existe também a possibilidade de as metas estabelecidas originalmente serem muito rígidas ou muito leves. Nesses casos, em que houve um equívoco no planejamento, pode-se igualmente alterar as metas no decorrer do tempo, preferencialmente, tornando-as mais rígidas, sempre que possível. A Figura 1111 apresenta um fluxograma resumindo o processo de reavaliação de metas na gestão pública. Figura 11 - Reavaliação de metas 24 CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO Fonte: Elaborado pelos autores Ao reavaliar metas, deve-se apenas tomar cuidado com o fato de que nem todos os indicadores possuem um crescimento constante, podendo transparecer a impressão de que o atendimento ao mesmo está atrasado ou adiantado. Exemplo disso é o índice de residências com tratamento de esgotos, associado a necessidade de contração de ETEs. A construção de uma ETE pode representar desde 10 % até mesmo a quase totalidade do tratamento de efluentes na área urbana, como no caso de pequenos municípios. Caxias do Sul, no Rio Grande do Sul, por exemplo, aumentou de 15 % para 86 % a taxa de esgoto tratado em um período inferior três anos (SAMAE, 2013). Uma avaliação preliminar poderia, ao início desse período, considerar impossível atender a meta de tratamento de esgotos, visto que ao final do primeiro ano o índice de tratamento de efluentes ainda estaria em 15 %. Da mesma forma, uma avaliação posterior poderia dar a impressão de que atingir 100 %, tendo em vista o crescimento até o momento, seria uma tarefa fácil. Isso também seria uma inverdade, uma vez que neste momento seriam necessários diversos estudos, projetos, licenças e financiamentos para permitir a construção de novas ETEs. Sendo assim, esse crescimento inconstante pode ser problemático na avaliação do atendimento a metas caso a equipe designada não possua conhecimento suficiente sobre o andamento dos programas que estão sendo realizados. Por este motivo, é importante que toda reunião de reavaliação de metas seja acompanhada por profissionais técnicos ou gestores que estejam 25 MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO ATENÇÃO Em muitos casos a dificuldade de planejamento ocorre devido a problemas nos indicadores adotados, os quais não refletem adequadamente a realidade. Nesses casos, deve-se proceder não apenas na reavaliação das metas, mas também dos indicadores utilizados para acompanhá-la. familiarizados com o andamento dos programas propostos, assim como as dificuldades encontradas na execução destes. Importante destacar que as metas dos Planos municipais devem estar, sempre que possível, em consonância com as metas estabelecidas pelo Plansab. Nesse sentido, revisões nas metas federais poderão impactar nas metas municipais, havendo então a necessidade de revisá-las após ocorrerem revisões no Plansab. Além do Plano Nacional, alguns municípios também poderão estar subordinados a metas estabelecidas por Planos Estaduais. É sempre importante verificar esta condição para ajustar as metas dos municípios de forma a alinharem-se proativamente às metas regionais, estaduais e nacionais, quando for o caso. Assim como já destacado no Módulo 5, o município delinear suas metas tomando por base os mesmos indicadores estabelecidos pelo Plansab colabora para que cada ente da federação contribua com a sua parcela à universalização dos serviços de saneamento no País. Este entendimento colabora, sem dúvidas, para que se alcancem melhores índices de qualidade de vida para todos. 2.3. Indicadores auxiliares Além dos indicadores-padrão adotados pelo Plansab, outros indicadores podem ser de interesse para o município. O próprio Plansab já indica que além dos 23 estabelecidos como prioritários, outros podem ser úteis para certas situações. Primeiramente, é importante considerar aqueles a serem adotados pelo Sistema Nacional de Informações em Saneamento Básico (SINISA), o qual terá como base o atual Sistema Nacional de Informações sobre Saneamento (SNIS), mas trabalhará em conjunto com o Sistema Nacional de Informações em Recursos Hídricos (SNIRH) e o Sistema Nacional de Informações em Meio Ambiente (SINIMA), englobando então um expressivo conjunto de indicadores de natureza operacional e gerencial. Ainda, destaca-se que o Plansab está também vinculado a compromissos brasileiros em escala global, como, por exemplo, aqueles firmados junto às Nações Unidas. Da mesma forma, outros indicadores podem ser de relevância ao Plano Municipal, dependendo da realidade local. Exemplo disso são os municípios em consórcio, os quais terão metas próprias regionais a serem atendidas. Situação semelhante é verificada nos comitês de bacia hidrográfica, regulamentados pela Lei nº 9.433/97, os quais possuem metas próprias que também podem ser 26 CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO contempladas pelo Plano. Ainda, o Plano Estadual de Saneamento Básico poderá trazer exigências e metas particulares às quais dependerão de ações a nível municipal para seu atendimento. Desta forma, conforme estas metas estaduais são revistas e atualizadas, o Plano Municipal poderá se adequar. A Figura 8 apresenta um resumo dos principais planos que precisam estar interconectados aos Planos Municipais. Nesse sentido, é necessário que estes planos possuam objetivos coincidentes e complementares, de forma a todos trabalharem no atendimento de metas comuns. Sendo assim, torna-se importante que a rede de indicadores utilizada para o monitoramento do Plano Municipal de Saneamento Básico esteja o máximo possível em sincronia com os indicadores utilizados pelos demais planos. Figura 82 - Principais planos que devem estar conectados ao plano municipal de saneamento básico Fonte: Elaborado pelos autores 27 MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO 2.4. Diretrizes e estratégias Conforme vimos no Módulo 5, as diretrizes e estratégias irão ditar a elaboração dos programas desenvolvidos para o atendimento dos objetivos e metas. Sendo assim, a avaliação do desempenho destas ocorre em decorrência do atendimento ou do não das metas. Mudanças nos cenários ou nas metas irão requerer a reavaliação de diretrizes e estratégias. Como vimos, essas mudanças podem decorrer tanto de alterações no contexto político-econômico até modificações nas esferas legais. Da mesma forma, a má formulação de cenários, metas, diretrizes e/ou estratégias durante a elaboração do Plano irá refletir na necessidade de reavaliação deste item. A avaliação da eficácia, eficiência e efetividade dos programas consiste no principal alicerce do processo avaliativo. Uma avaliação bem fundamentada dos programas previstos permitirá não apenas averiguar se os mesmos estão cumprindo com o seu papel de melhoria dos serviços de saneamento básico, e consequentemente de melhoria na qualidade de vida da população, mas também conferir a qualidade dos gastos públicos e indicar eventuais ajustes e correções que precisem ser realizadas. Desta forma, é importante saber identificar quando existe a necessidade de revisão de programas e quando precisam ser revistas as diretrizes e/ou estratégias. Em determinados casos os problemas residemda má elaboração ou execução de programas, enquanto que em outros pode existir um erro estratégico. Assim, antes de qualquer tomada de decisões é importante avaliar se os problemas de eficácia, eficiência e efetividade são oriundos de qual destas situações, e só então atuar na reavaliação, se for o caso, das diretrizes e estratégias. Ressalta-se apenas que a maioria dos programas gera resultados a médio e longo prazo. Sendo assim, alterações contínuas em diretrizes e estratégias não são interessantes, sendo importante que exista uma continuidade nas ações desenvolvidas, caso contrário existe um risco de não atendimento às metas devido à ineficácia de programas que são constantemente iniciados e, logo após, encerrados. 2.5. Programas Enquanto as metas e as diretrizes são gerais, os programas precisam ser direcionados e específicos, possuindo então, um elevado grau de detalhamento. Como resultado, as probabilidades destes possuírem possibilidades de serem melhorados são muito maiores. Isso significa que a revisão de programas consiste numa atividade comum, devendo estar previstos encontros entre as equipes para reavaliações periódicas dos mesmos. Alterações nos programas podem ocorrer tanto por questões técnicas quanto financeiras, sendo que a primeira consiste na situação mais comum. Todo programa é desenvolvido com um fim específico, devendo então atender a um objetivo claro. Por exemplo, um programa de educação ambiental que busque reduzir o consumo de água pela população deve, necessariamente, resultar na redução do indicador de consumo per capita de água. Caso isso não ocorra torna-se necessário reavaliar o programa dentro dos três eixos: eficácia, eficiência e efetividade. A escolha sobre se o 28 CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO mesmo deverá ser reestruturado ou substituído por um novo programa consiste numa decisão a ser tomada pelos gestores e técnicos responsáveis. É importante ressaltar que a continuidade ou não de um programa deve levar em conta os impactos decorrentes de seu encerramento a curto e longo prazo, levando em conta principalmente os efeitos do encerramento do programa sobre a população. Destaca-se aqui que as revisões dos programas podem estar direcionadas tanto a pequenas ações operacionais quanto à completa reestruturação destes. Em níveis de planejamento, porém, geralmente a atuação se dá no segundo caso, sendo os aspectos técnicos e operacionais tratados a parte pelos profissionais responsáveis pela parte técnica. No caso da constatação de dificuldades financeiras, é fundamental realizar estudos para avaliar a possibilidade de continuação dos programas. Quando falamos em saneamento deve-se ter em mente, porém, que a maior parte dos programas trará benefícios indiretos. Programas de tratamento de efluentes, por exemplo, irão resultar na redução de custos nas áreas da saúde, visto a redução do número de pessoas infectadas com doenças relacionadas ao saneamento. Assim, a avaliação financeira deve considerar que muitos programas, quando vistos individualmente, podem erroneamente dar a impressão de serem insustentáveis, quando na realidade os benefícios deveriam estar sendo avaliados em escala municipal. Isso significa que apesar de ocorrer uma redução de custos em termos globais para o município, em termos setoriais isso não ocorre, sendo que o órgão de saneamento acaba por arcar com os custos e o órgão de saúde com os benefícios. Por tal motivo, é importante que o orçamento municipal preveja essas dissonâncias de forma a fazer a alocação correta de recursos, prevendo os gastos oriundos desses programas. Destaca-se ainda que as reavaliações podem ser feitas com o intuito de melhorar a efetividade dos programas e também da gestão de recursos, atuando então de forma preventiva e não apenas corretiva. De fato, recomenda-se que sejam feitas reavaliações constantes, no mínimo anuais, dos programas implantados, com vistas a avaliar os efeitos dos mesmos sobre a sociedade e como é possível para a equipe melhorar sua efetividade. Essas avaliações são particularmente importantes no início da implantação dos programas, uma vez que nesse momento tendem a surgir o maior número de problemas, sendo que reuniões mensais ou mesmo semanais são interessantes neste primeiro momento. De fato, o principal benefício oriundo da avaliação de programas se dará através da verificação de falhas nos mesmos, seja através do não atendimento às metas propostas, seja pela verificação de que os objetivos propostos não estão sendo alcançados. 3. MECANISMOS DE DIVULGAÇÃO ANUAL DO PLANO Conforme estabelecido no Artigo 51 da Lei 11.445/07 a elaboração e revisão dos Planos deverão ser acompanhadas da divulgação dos mesmos junto à sociedade: 29 MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO A internet pode ser utilizada também como canal de interação, através de fóruns, e-mails, consultas públicas e outros mecanismos que permitam à população opinar acerca do Plano. Atualmente existem vários dispositivos para permitir o acesso ao Plano pela população. Primeiramente, é fundamental que exista pelo menos uma cópia física junto à prefeitura disponível para acesso a todos os interessados. Da mesma forma que demais documentos públicos de caráter não sigiloso, a população pode solicitar cópias parciais ou totais do Plano, sendo que a cobrança ou não do serviço fica a critério de cada município. Ao mesmo tempo, é recomendada a disponibilização do Plano através da internet, preferencialmente no site da prefeitura. Atualmente, a internet consiste numa ferramenta valiosa para divulgação de informações e documentos de caráter público. Deve-se apenas tomar cuidado em relação ao tamanho dos arquivos disponibilizados. Visto que o Plano costuma possuir um número considerável de figuras e mapas, muitas vezes o tamanho total do arquivo acaba sendo significativo, podendo impactar negativamente no tráfego de dados do órgão. Sendo assim, recomenda-se em determinados casos disponibilizar os arquivos em formatos compactados, separados em diferentes partes (em especial os anexos) ou com menor resolução de imagens, desde que não comprometa a sua visualização. Outros mecanismos de divulgação incluem jornais e revistas, radio, televisão, folders, cartazes, e- mails e divulgação em sites. A escolha dos sistemas mais apropriados irá depender da infraestrutura disponível e da possibilidade de acesso pela população local, sendo fundamental que a metodologia adotada assegure à população o acesso ao Plano assim como a possibilidade de opinar e debater acerca de eventuais alterações no plano. É importante prever, ainda, um relatório anual de monitoramento do Plano, para dar transparência às ações realizadas ao longo de cada ano, com síntese dos índices e indicadores adotados, assim como uma avaliação crítica acerca dos resultados obtidos e, quando necessário, das mudanças que terão de ser adotadas. 4. SÍNTESE DE PRÁTICAS NA AVALIAÇÃO E MONITORAMENTO DO PLANO Caro capacitando, com vistas a auxiliá-lo na avaliação do Plano Municipal de Saneamento Básico está apresentado a seguir, resumo com os principais elementos a serem considerados durante o processo avaliativo. Art. 51: “O processo de elaboração e revisão dos planos de saneamento básico deverá prever sua divulgação em conjunto com os estudos que os fundamentarem, o recebimento de sugestões e críticas por meio de consulta ou audiência pública e, quando previsto na legislação do titular, análise e opinião por órgão colegiado...” 30 CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO RESUMO DE PRÁTICAS PARA MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO MUNICIPAL DE SANEAMENTO BÁSICO O processo de avaliação tem como uma de suas características principais a interdisciplinaridade. Assim, recomenda-se que o executivo municipal possua uma entidade responsávelpor gerir e estimular a participação dos diversos setores da administração pública e da sociedade civil no campo do saneamento básico. Por meio dessa entidade, busca-se a promoção de discussões e posteriores definições do modelo de avaliação das políticas de saneamento básico. Recomenda-se que essa entidade esteja apoiada por um grupo técnico que venha a fornecer os subsídios intelectuais necessários para esse tipo de discussão. Antes de iniciar a avaliação de uma política, é fundamental que estejam bem estabelecidos os princípios norteadores dessa política, a fim de que possam ser verificados na avaliação. De fato, a própria Política Municipal de Saneamento Básico traz consigo uma série de princípios que devem ser utilizados quando forem estabelecidas as bases de determinada política. Da mesma forma, é necessário que também sejam definidos os princípios que serão utilizados na avaliação dos componentes do saneamento básico, como manejo de resíduos sólidos e manejo de águas pluviais. Devem ser avaliadas a eficácia, efetividade e eficiência do Plano Municipal de Saneamento Básico. O sistema de avaliação definido deve abranger todos os componentes do saneamento básico: abastecimento de água, esgotamento sanitário, manejo das águas pluviais e manejo dos resíduos sólidos. Tenha presente que um sistema de saneamento é composto por diversas fases, não se limitando à prestação de serviços. Assim, o Plano de Avaliação deve contemplar uma série de funções, como planejamento, prestação de serviços, regulação, fiscalização e controle social. Essa maior abrangência na avaliação é fundamental para permitir que o sistema seja capaz de encontrar as causas dos problemas identificados, de maneira que seja ultrapassada a mera atuação sobre suas consequências. Sugere-se que toda avaliação tenha como foco os efeitos do Plano Municipal de Saneamento Básico sobre a sociedade, ou seja, suas repercussões na saúde pública, no meio ambiente, nos cidadãos e na economia, atendendo assim os princípios da Lei nº 11.445/07. 31 MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO Na seleção de indicadores é necessário ter em mente que eles existirão principalmente como forma de avaliar os objetivos e metas propostas. Dessa forma, devem ser selecionados somente os indicadores que permitam avaliar se o Plano está atingindo seus resultados de fato. Também é importante que a avaliação ocorra tanto de forma quantitativa, pelo emprego de indicadores de desempenho, quanto qualitativa, por meio de processos participativos, entrevistas, grupos focais, etc.. Todo indicador possui um custo associado. Se não houver um custo direto, como uma análise laboratorial, verifique se não existem custos indiretos, como aqueles decorrentes de horas gastas com funcionários. Deve ser avaliado o contexto político, econômico e social tanto do município quanto da região e do país, com vistas a avaliar a validade do cenário utilizado para a elaboração do Plano. A sequência de planejamento Cenários → Objetivos e Metas Diretrizes e Estratégias → Programas, Projetos e Ações, deve ser seguida também na avaliação. Sendo assim, uma alteração, por exemplo, nos cenários requer que as metas, diretrizes, estratégias e programas também sejam revistos. Alterações nas ações planejadas somente devem ocorrer em casos de real necessidade, devidamente justifica pelo contexto local. Na linha sequencial de planejamento, apresentado no item anterior, deve se ter em mente que esta possibilidade de alteração deve ser o menos provável possível na mesma sequência apresentada. Ou seja, alterar um Cenário deve ser o menos provável e somente ocorrerá decorrente de fatores externos e internos fortemente justificados, até porque esta alteração implicará em alteração de todas as outras etapas que dele dependem. Já eventuais alterações em Ações, são relativamente comuns, desde que estejam comprometidas a cumprir com os objetivos do projeto que dependem delas e, consequentemente,do programa a que este projeto se vincula. Todo planejamento ocorre com vistas a obter resultados a curto, médio e longo prazo. Desta forma, o processo de revisão ocorre com vistas à melhoria de resultados, mas tendo sempre em mente que alterações constantes nos programas não são interessantes no que tange benefícios a longo prazo. É fundamental então que este processo ocorra sempre de forma planejada. 32 CURSO A DISTÂNCIA – PLANOS DE SANEAMENTO BÁSICO REFERÊNCIAS ARRETCHE, M. T. da S. Tendências no estudo sobre avaliação. In: RICO, E. M. (Org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez; Instituto de Estudos Especiais, 1998. BOLLMANN, H. A. et al. Indicadores ambientais: conceitos e aplicações. São Paulo: EDUC, 2001. BRASIL. Decreto Federal nº 7.2017, de 21 de junho de 2010. Regulamenta a Lei no 11.445, de 5 de janeiro de 2007, que estabelece diretrizes nacionais para o saneamento básico, e dá outras providências. DOU, Brasília, 2010a. Disponível em: <http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/Decreto/D7217.htm>. Acesso em: 26 out. 2012. . Lei nº 8.987, de 13 de fevereiro de 1995. Dispõe sobre o regime de concessão e permissão da prestação de serviços públicos previsto no art. 175 da Constituição Federal, e dá outras providências. DOU, Brasília, 1995. Disponível em: <http://www.planalto.gov.br/ccivil_03/leis/L8987cons.htm>. Acesso em: 24 out. 2012. . Lei nº 12.305, de 02 de agosto de 2010. Institui a Política Nacional de Resíduos Sólidos; altera a Lei nº 9.605, de 12 de fevereiro de 1998; e dá outras providências. DOU, Brasília, 2010a. Disponível em: <http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/lei/l12305.htm>. Acesso em: 25 out. 2012. . Ministério das Cidades. Peças técnicas relativas a planos municipais de saneamento básico. Brasília: Ministério das Cidades, 2011a. p. 87-115. Disponível em: <http://www.cidades.gov.br/images/stories/ArquivosSNSA/Arquivos_PDF/Pe%C3%A7as_Tecnicas _WEB.pdf>. . Ministério das Cidades. Secretaria Nacional de Saneamento Ambiental. Plano Nacional de Saneamento Básico – PLANSAB. Brasília, dez. 2013. Disponível em: < http://www.cidades.gov.br/images/stories/ArquivosSNSA/Arquivos_PDF/plansab_06-12-2013.pdf >. Acesso em: 10 jan. 2013. BRASIL ECONOMIA E GOVERNO. O crescimento de longo prazo da economia brasileira tem sido satisfatório? 2013. Disponível em: <http://www.brasil-economia-governo.org.br/wp- content/uploads/2013/05/o-crescimento-de-longo-prazo-da-economia-brasileira-tem-sido- satisfatorio.pdf>. Acesso em: 30 ago. 2013. Caro capacitando! Com esses apontamentos, encerramos este capítulo sobre monitoramento e avaliação do Plano de Saneamento Básico. Isso não significa, porém, que o assunto esteja esgotado. A utilização de indicadores para avaliação das políticas de saneamento básico consiste em assunto amplo. Dessa forma, recomendamos a você, capacitando, que busque complementar os assuntos aqui abordados, por meio das leituras complementares. http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/Decreto/D7217.htm http://www.planalto.gov.br/ccivil_03/leis/L8987cons.htm http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/lei/l12305.htm http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/lei/l12305.htm http://www.cidades.gov.br/images/stories/ArquivosSNSA/Arquivos_PDF/Pe%C3%A7as_Tecnicas http://www.cidades.gov.br/images/stories/ArquivosSNSA/Arquivos_PDF/Pe%C3%A7as_Tecnicas http://www.cidades.gov.br/images/stories/ArquivosSNSA/Arquivos_PDF/plansab_06-12-2013.pdf http://www.cidades.gov.br/images/stories/ArquivosSNSA/Arquivos_PDF/plansab_06-12-2013.pdf http://www.brasil-economia-governo.org.br/wp- http://www.brasil-economia-governo.org.br/wp- 33 MÓDULO 6 - MONITORAMENTO E AVALIAÇÃO DA IMPLEMENTAÇÃO DO PLANO DE SANEAMENTO BÁSICO FLEURY, S. Estado sem cidadãos.Rio de Janeiro: Fiocruz, 1994. IPEA - INSTITUTO DE PESQUISA ECONÔMICA APLICADA. Comércio exterior, difusão inter-regional da crise internacional no Brasil e as perspectivas. Comunicado da Presidência, n. 26, 13 ago. 2009. Disponível em: <http://www.ipea.gov.br/portal/images/stories/PDFs/comunicado/090813_comunicadoipea26.pd f>. Acesso em: 15 fev. 2012. SAMAE - SERVIÇO MUNICIPAL DE ÁGUA E ESGOTO DE CAXIAS DO SUL. Esgoto. Disponível em: <http://www.samaecaxias.com.br/esgoto>. Acesso em: 30 ago. 2013. SOUZA, C. M. N. Relação saneamento-saúde-ambiente: os discursos preventivista e da promoção da saúde. Saúde e Sociedade, São Paulo, v. 16, n. 3, p. 125-137, 2007. Disponível em: <http://dx.doi.org/10.1590/S0104-12902007000300012>. Acesso em: 14 ago. 2012. SOUZA, C. M. N; FREITAS, C. M. O saneamento na ótica da prevenção de doenças e da promoção da saúde. In: Congreso de la Asociacón Interamericana de Ingeniería Sanitária y Ambiental, 2006, Punta del Leste. Anais... Punta del Leste: AIDIS, 2006. http://www.ipea.gov.br/portal/images/stories/PDFs/comunicado/090813_comunicadoipea26.pd http://www.ipea.gov.br/portal/images/stories/PDFs/comunicado/090813_comunicadoipea26.pd http://www.samaecaxias.com.br/esgoto http://www.samaecaxias.com.br/esgoto http://dx.doi.org/10.1590/S0104-12902007000300012 http://dx.doi.org/10.1590/S0104-12902007000300012
Compartilhar