Baixe o app para aproveitar ainda mais
Prévia do material em texto
UDF - CENTRO UNIVERSITÁRIO CURSO: CIÊNCIA POLÍTICAS DISCIPLINA: AVALIAÇÃO DE POLÍTICAS PÚBLICAS Aula 1- Revisão e Análise de Políticas Públicas Bibliografia: RUA, Maria das Graças, “Análise de Políticas Públicas: conceitos básicos” in O Estudo da Política, Capítulos 11 A sociedade pode ser considerada como uma arena que está em constante conflito, a resolução de conflitos pode ser superada de duas formas: a) a coerção física, b) a política. ➢ A política pode ser definida como o conjunto de procedimentos formais e informais que expressam as relações de poder e que se destinam a resolução pacífica de conflitos quanto a bens públicos. ➢ A política pública são os resultados da atividade políticas. ➢ A política pública é diferente de decisão política. Uma política pública geralmente envolve mais de uma decisão e requer diversas ações estrategicamente selecionadas para implementar as decisões tomadas. Já decisão política corresponde a uma escolha, entre um leque de alternativas, conforme a hierarquia das preferências dos atores envolvidos e expressa uma certa adequação entre os fins pretendidos e os meios disponíveis. EMBORA UMA POLÍTICA PÚBLICA ENVOLVA UMA DECISÃO POLÍTICA NEM TODA DECISÃO POLÍTICA ENVOLVE UMA POLÍTICA PÚBLICA. AS POLÍTICAS PÚBLICAS SÃO PÚBLICAS E NÃO APENAS COLETIVAS E SÃO DEFINIDAS PELO SEU CARÁTER IMPERATIVO Meio Ambiente Meio Ambiente I Demandas O M Decisões e Ações U P T U Suporte P T U S T S Meio Ambiente Meio Ambiente | | |_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ | Tanto a decisão política como as políticas públicas sofrem interferências do meio ambiente. Grande parte da atividade dos governos está destinada a satisfação de demandas dos atores sociais ou dos próprios agentes políticos No que se refere às demandas existem demandas novas e recorrentes. As demandas novas são problemas que antes existiam somente como estado de coisas sem nunca chegar de modo específico ao sistema político, As demandas recorrentes são aquelas que constituem problemas não resolvidos ou mal resolvidos que sempre voltam a pressionar o sistema político. Os atores políticos nunca são genéricos, mas sim específicos e possuem características distintas. Existem atores públicos e privados. O Sistema Político Os atores públicos Os políticos são atores cuja posição resulta de mandatos eletivos. Por isso sua atuação é condicionada principalmente pelo cálculo eleitoral e pelo pertencimento a partidos políticos. Os burocratas devem a sua posição à ocupação de cargos que requerem conhecimento especializado e que se situam num sistema de carreira pública. Controlam principalmente recursos de autoridade e informação E preciso estar consciente que os burocratas também possuem projetos políticos e por isso é como existir conflito entre políticos e burocratas. Os atores privados são, por exemplo, os empresários, os trabalhadores etc. Como identificar que são os atores de uma política pública Uma sugestão é identificar quem tem alguma coisa em jogo na política em questão. Um estado de coisas geralmente transforma-se em problema ou questão política quando mobiliza ação política. Para um problema político tornar-se um item prioritário da agenda política é necessário que apresente ao menos uma das características: a) Mobilize ação política: expresse a ação coletiva de grande grupos, ou a ação coletiva de pequenos grupos dotados de fortes recursos de poder, ou a ação de atores individuais estrategicamente localizados. b) Constitua uma situação de crise, calamidade ou catástrofe onde o ônus de não resolver seja maior do que resolver. c) Represente uma situação de oportunidades. A formulação de alternativas é um dos momentos mais importantes do processo decisório é o momento onde se colocam as preferências e os interesses dos atores. Uma preferência é a alternativa de solução para um problema que mais beneficia um ator e depende do cálculo de custo benefício. As preferências giram em torno de questões issues. Para entender o processo de formulação e implementação é necessário identificar quais são os issues da política. Em função das preferências e das questões em jogo os atores fazem alianças entre si e entram em disputa Formam-se as arenas políticas e estas podem ser: a) Distributivas: mobilizam reduzido potencial de conflito, já que tratam da alocação de recursos, distribuição de benefícios. b) Regulatórias: estabelecem imperativos seletivos; quem pode e quem não pode ter ou fazer alguma coisa. c) Redistributivas: são por definição altamente conflituosas, pois para que certos sejam alocados, outros atores terão de arcar com perdas. O Ciclo de Política – Formulação Implementação Avaliação Uma vez definido o problema ou os problemas que tornar-se-ão prioridade governamental é iniciado o processo de formulação de alternativas. Existem diferentes formas de pensar a solução para uma demanda (input). Modelo incremental: Significa buscar solucionar problemas de maneira gradual, sem introduzir grandes modificações nas situações existentes e sem provocar rupturas de qualquer natureza. Decisão rápida. Analisa as alternativas buscando identificando qual delas é mais variável e que poderá contribuir para os resultados esperados A melhor decisão é aquela que assegura um acordo satisfatório entre os interesses envolvidos. O modelo incremental constata que: a) por mais adequada que seja a fundamentação técnica de uma alternativa, a decisão envolve relações de poder. b) Os governos democráticos não possuem, efetivamente, liberdade total na alocação de recursos. Modelo racional compreensivo: Geralmente envolve maior alcance e maior proporção de recursos alocados. Parte do pressuposto que é possível conhecer o problema de tal forma que se possa tomar decisões de grande impacto. Nesse modelo os decisores estabelecem os valores a serem maximizados e quais alternativas que melhor poderão levar aos resultados esperados. A seleção da alternativa baseia-se numa análise detalhada de cada alternativa e suas conseqüências. Decisão lenta e requer o levantamento de informações sobre o assunto. Modelo mixed-scanning: Distingue entre decisões ordinárias e incrementais e decisões fundamentais ou estruturantes. As decisões estruturantes são aquelas que estabelecem os rumos básicos das políticas públicas em geral e proporcionam o contexto para asdecisões incrementais. A partir das decisões e escolha de alternativas surge a mobilização dos atores. A mobilização assume alguns padrões definidos. a) Quando se tem políticas distributivas, o padrão costuma ser pluralista (atores equivalentes). b) Quando se tem políticas regulatórias o padrão poder ser pluralista, mas também pode ser elitista (resultados são previamente definidos pelos interesses das elites). c) Quando se tem políticas redistributivas o padrão tende a ser de soma zero. Esses padrões significam: ➢ A forma assumida pelas relações de poder e por isso são modelos de decisão. ➢ O formato assumido pelos mecanismos de representação de interesses, tanto do ponto de vista formal quanto informal. Uma vez definida a alternativa como se comportam os atores? 1- De modo racional, buscando a solução perfeita para o problema. Neste modelo o governo é visto como um ator unitário que trata o problema estrategicamente. Baseia-se na idéia de concorrência perfeita que no induz a idéia de informação perfeita. Este modelo tem problemas pois a racionalidade humana não dá conta de todas as informações. 2- A partir da análise organizacional. Os atores consideram o estado como um conglomerado de organizações dotadas de vida mais ou menos autônomas, as políticas públicas são outputs organizacionais. Ignora o jogo político de barganha e negociação. Lideras de organizações são indivíduos com projetos próprios de política. 3- Modelo burocrático: Supõe que os interesses dos atores geram linhas cruzadas em diferentes políticas. É preciso identificar os interesses dos atores. Não existe vínculo entre a tomada de decisão e a implementação, nem entre o conteúdo da decisão e a implementação. Além disso, esta abordagem considera que o jogo político não se dá apenas entre unidades institucionais e coletivas: há todo tipo de ator. O que move o jogo do poder não é a lógica de um curso de ação, nem as rotinas organizacionais, nem a excelência técnica de cada alternativa, mas o poder efetivo e as habilidades políticas dos proponentes e adversários de uma alternativa para negociar, barganhar até obter uma solução satisfatória para um determinado problema político. Esta abordagem permite lidar, inclusive com as situações de falta de informação e de informação incompleta, permitindo entender situações nas quais: (a) ocorre a cooperação universal porque todos os atores são solidários; ou seja, todos acreditam que ganham com uma solução. (b) não ocorre nenhuma cooperação, porque cada um quer levar vantagem em tudo; (c) alguns atores não cooperam e tiram vantagem do fato de todos os outros atores estarem cooperando; (d) alguns atores cooperam enquanto todos os outros só buscam suas vantagens individuais. É a partir disso que as decisões são tomadas quando se trata de políticas públicas A rigor, uma decisão em política pública representa apenas um amontoado de intenções sobre a solução de um problema, expressas na forma de determinações legais: decretos, resoluções, etc, etc... Nada disso garante que a decisão se transforme em ação e que a demanda que deu origem ao processo seja efetivamente atendida.. Não existe um vínculo ou relação direta entre o fato de uma decisão ter sido tomada e a sua implementação. E também não existe relação ou vínculo direto entre o conteúdo da decisão e o resultado da implementação. IMPORTANTE !!! O que é que garante que uma decisão se transforme em ação em regimes democráticos? A efetiva resolução de todos os pontos de conflito envolvidos naquela política pública A IMPLEMENTAÇÃO A implementação pode ser compreendida como o conjunto de ações realizadas por grupos ou indivíduos de natureza pública ou privada, as quais são direcionadas para a consecução de objetivos estabelecidos mediante decisões anteriores quanto a políticas. Os dez itens que podem indicar a implementação efetiva de uma política pública Assim, há estudos que indicam dez pré-condições necessárias para que haja uma implementação perfeita: 1) As circunstâncias externas à agência implementadora não devem impor restrições que a desvirtuem; 2) O programa deve dispor de tempo e recursos suficientes; 3) Não apenas não deve haver restrições em termos de recursos globais, mas também, em cada estágio da implementação, a combinação necessária de recursos deve estar efetivamente disponível; 4) A política a ser implementada deve ser baseada numa teoria adequada sobre a relação entre a causa (de um problema) e o efeito (de uma solução que está sendo proposta); 5) Esta relação entre causa e efeito deve ser direta e, se houver fatores intervenientes, estes devem ser mínimos; 6) Deve haver uma só agência implementadora, que não depende de outras agências para ter sucesso; se outras agências estiverem envolvidas, a relação de dependência deverá ser mínima em número e em importância; 7) Deve haver completa compreensão e consenso quanto aos objetivos a serem atingidos e esta condição deve permanecer durante todo o processo de implementação; 8) Ao avançar em direção aos objetivos acordados, deve ser possível especificar, com detalhes completos e em seqüência perfeita, as tarefas a serem realizadas por cada participante; 9) E' necessário que haja perfeita comunicação e coordenação entre os vários elementos envolvidos no programa; 10) Os atores que exercem posições de comando devem ser capazes de obter efetiva obediência dos seus comandados. Neste tipo de abordagem, a responsabilidade por uma política cabe, claramente, aos agentes situados no topo do processo político, e são quatro as variáveis mais importantes: a) a natureza da política: não pode admitir ambigüidades; b) a estrutura de implementação: os elos da cadeia devem ser mínimos; c) a prevenção de interferências externas; d) o controle sobre os atores envolvidos na implementação. É preciso ter em mente que os implementadores nem sempre estão situados em posições decisivas de comando e por isso é preciso levar em consideração as percepções daqueles que implementam a política. Isso gera a falta que conhecimento da política, por exemplo, dos objetivos a serem alcançados. O estudo e o acompanhamento da implementação enfrentam a dificuldade de identificar o que é que efetivamente está sendo implementado, porque as políticas públicas são fenômenos complexos. Por isso, o acompanhamento e controle das políticas publicas requer que se tenha em mente que: a) muitas políticas representam compromissos entre valores e objetivos conflitantes; b) mudanças políticas envolvem compromissos com interesses poderosos dentro da estrutura de implementação; c) muitas políticas envolvem compromissos com interesses poderosos sobre quem será afetado pela implementação; d) muitas políticas são formuladas sem que tenha sido dada a atenção necessárias ao modo pelo qual forças poderosas (particularmente as forças econômicas) poderão impossibilitar a sua implementação. UDF - Centro Universitário Curso: Gestão em Políticas Públicas Disciplina: Avaliação de Políticas Públicas Aula- 1a MELO, Marcus André, “O processo de implementação de políticas públicas no Brasil: Características e determinantes da avaliação de programas e projetos”, NEPP-Unicamp Caderno 48. Implementação e Avaliação Os problemas de implementação têm sido entendidos como uma das dimensões cruciais para explicação do insucesso dos governos em atingir os objetivos estabelecidos no desenho das políticas públicas. O que se propõe é que as avaliações de políticas públicas devem focar de forma privilegiada o processo de implementação. A implementação a partir de uma abordagem tradicional constitui uma das fases do policy cicle e corresponde as atividades que permitem que ações sejam implementadas com vistas a obtenção de metas definas. O texto discute um conjunto de conceitos analiticamente relevantes para a compreensão do ciclo de política em particular o processo de implementação de políticas,compreendido como o elo perdido da ação governamental. Neste sentido o trabalho também busca detalhar um marco conceitual para entender a implementação de políticas públicas no contexto brasileiro, que é marcado por uma forte diferenciação funcional e problemas de coordenação e cooperação governamentais. Dessa maneira a implementação é o elo perdido nas discussões sobre a eficiência e a eficácia das políticas governamentais. Nesse sentido, o surgimento de problemas não antecipados pode representar obstáculos intransponíveis para implementação de políticas de públicas. As visões tradicionais do processo de implementação Baseada em um diagnóstico prévio e um sistema adequado de informações na fase de formulação são definidos não só as metas, mas também os recursos e o horizonte temporal da atividade de planejamento. Definidos estes dois parâmetros pode-se aferir a eficiência dos programas ou políticas e seu grau de eficiência. Em outras palavras não considera a implementação como um processo. A implementação é entendida como um jogo de uma só rodada, onde a ação governamental é um processo que ocorre de cima para baixo. Formulação de políticas --------------------> implementação de políticas | | | | | | Retroalimentação/Monitoramento Essa visão clássica do ciclo de política não considera aspectos relativos à implementação e seus efeitos retroalimentadores sobre a formulação da política. Numa perspectiva menos simplista em que o processo de formulação e implementação de políticas é visto como um processo. a implementação também é vista como uma dimensão importante. EM SUA VERSÃO NORMATIVA ESSA PERSPECTIVA PROPÕE QUE O MONITORAMENTO E A AVALIAçÃO DE POLíTICAS PÚBLICAS SEJAM CONSIDERADOS COMO INSTRUMENTOS PARA CORREçÃO DE ROTA. OS PROBLEMAS DE IMPLEMENTAçÃO dE: SÃO DE NATUREZA VARIADA QUE RESULTAM 1- Capacidade institucional dos agentes implementadores 2- Problemas de natureza política na implementação das políticas públicas 3- Resultam de boicotes realizados por grupos ou setores afetados negativamente pela máquina pública. Dessa forma o ciclo de política ainda é visto como um como processo simples e linear, mas apresenta uma evolução em relação ao modelo anterior. No entanto ainda está assentada em premissa equivocadas: 1- Esta perspectiva da ênfase excessiva a formulação que é tida como etapa livre de problemas. Essa perspectiva assume que: i) A formulação está sempre correta; ii) O formulador dispõe de todas as informações e o formulador dispõe de um modelo causal válido. Esse aspecto é importante, pois para os Formulação de políticas ----------------------- implementação de políticas (visão clássica do ciclo de política) Muitas vezes os modelos causais não se relacionam ao fenômeno em si, mas em relação ao efeito de determinados fatores sobre sua redução. Exemplo: O nível de escolaridade das mães é um dos determinantes da presença ou ausência do fenômeno da mortalidade infantil, sendo assim uma intervenção voltada para as mães teria impacto significativo em termos de redução da mortalidade. Isso se chama hipótese de intervenção A visão proposta de implementação, nos dois modelos vistos acima possuem sérios problemas no que se refere aos seus pressupostos. Pois, coloca em questão superficialmente a avaliação e o monitoramento na implementação Continua a ver a implementação como um processo de cima para baixo. Exemplos: estudantes de políticas públicas é preciso saber que as políticas públicas, de certo modo, são hipóteses e pressupostos sobre determinados eventos sociais. a) Políticas de mercado de trabalho estão ancoradas num modelo causal a respeito do desemprego e suas manifestações específicas para as classes trabalhadoras, segundo ocupação, gênero ou idade; b) Política pública a respeito da mortalidade infantil está ancorada num modelo causal sobre esse tipo de mortalidade e sobre o papel de variáveis ambientais e nutricionais, bem como avaliação dos perfis de morbidade que provocam a mortalidade infantil. Este tipo de hipótese é distinto daquele do modelo causal, pois esse não se relaciona diretamente com o fenômeno social em si, mas com os instrumentos de uma possível intervenção. Estas duas visões concebem a implementação de um ponto de vista ingênuo, onde a administração pública aparece como um mecanismo operativo perfeito. Burocracia perfeita Possibilidade de assegurar a fidelidade da implementação. Essa visão da burocracia perfeita concebe que o meio ambiente é caracterizado por informação perfeita, recursos ilimitados, coordenação perfeita, controle, hierarquia, clareza de objetivos, regras perfeitas e uniformes, linhas únicas de comando e autoridade, legitimidade política e consenso. A implementação como jogo: Redes, aprendizado, institucional A implementação no mundo real revela um padrão muito diferente onde prevalece a troca, a negociação, a barganha, o dissenso e a contradição. A coordenação é limitada, como os recursos e a informação. Essas novas contribuições rejeitam a ideia de que a implementação é uma etapa posterior a formulação. Nesta perspectiva a implementação é vista como um processo autônomo onde as decisões cruciais são tomadas e não só implementadas. Conflitos interjuridicionais entre órgão e instituições, brechas e ambiguidades legais, omissões de normas operacionais permitem que os burocratas (fiscais, auditores, supervisores) tenham capacidade de influir nas políticas. A política pública deve ser vista como uma engenharia social. A partir disso o ciclo de política deve ser visto como um campo estratégico no qual se observa a indistinção entre formuladores e implementadores. A análise de políticas públicas revela que os formuladores operam num ambiente carregado de incertezas a) Os fenômenos sociais são complexos e escapam a capacidade de cognição dos formuladores. b) Os formuladores não controlam o futuro e as incertezas c) Os planos e programas delimitam apenas um limitado conjunto de cursos de ação e decisões que devem seguir e tomar. d) Os formuladores expressam suas preferências individuais ou coletivas através de programas Contribuições recente sobre a implementação enfatizam os elementos de aprendizagem, evolução, adaptação, e da implementação como decisão política. Outro aspecto importante é a ideia de visão estratégica dos problemas de implementação incorporando questões críticas como a viabilidade política de determinadas políticas públicas e os problemas de coordenação entre as agências. A implementação, desta forma, cria políticas. A própria implementação implica em tomada de decisões e constitui-se em fonte de informações para a formulação de políticas Para o autor a avaliação como instrumento para a correção de políticas pode ser substituída pelo aprendizado na implementação de políticas públicas A implementação e a avaliação de políticas públicas devem ser entendidas como testes de modelos causais sujeitos a corroboração ou ao abandono. Para estudar este campo estratégico vários conceitos têm sido utilizados e o mais importante é o de redes de implementação, pois esta quase nunca está a cargo de um único indivíduo ou instituição. O ciclo de política visto como um jogo essencial da vida democrática e fundamental para o controle da ação do governo. Neste sentido muitas das análises colocam foco nos grupos envolvidos pelas políticas. Quando o ciclo de políticas ocorre num ambiente organizacional em que agentes de mercado, atores estatais, e instituições não governamentais interagem fortemente as noções de hierarquia e controle fazem pouco sentido. Elas dão lugar a barganha e a troca enquanto princípios organizadores da implementação. As contribuições recentes da literatura têm enfatizado a dimensão política do processo de implementação. A estratégia tecnocrática de se eliminar ou insular a política pública tem se mostrado pouco eficaz e pouco democrática. O desenho estratégico das políticas deve incluir os atoresque dão sustentabilidade as políticas. Dessa forma, o ciclo de política não pode ser concebido como linear Este momento de crise representa o processo de aprendizado na dinâmica do programa. Dessa forma, a implementação está imbricada em estruturas de governança. Governança entendida como regras do jogo e arranjos institucionais que dão sustentação a cooperação, a coordenação e a negociação. A visão da implementação como aprendizado é empiricamente mais consistente que as outras perspectivas discutidas Portanto, a visão do processo de implementação e avaliação como parte integrante do ciclo de politica deve informar as reflexões sobre os determinantes centrais da intervenção estatal e que devem ser considerados numa estratégia de metodológica de avaliação dirigida ao gestor de programas sociais no Brasil UDF - CENTRO UNIVERSITÁRIO CURSO: CIÊNCIA POLÍTICAS DISCIPLINA: AVALIAÇÃO DE POLÍTICAS PÚBLICAS Aula 2- Avaliação de Políticas Públicas e Programas Governamentais Bibliografia: AVALIAÇÃO DE POLÍTICAS PÚBLICAS E PROGRAMAS GOVERNAMENTAIS: tendências recentes e experiências no Brasil – Carla Giane Soares da Cunha A aula de hoje enfocará conceitos básicos de avaliação tendo como suporte o texto de Carla Giane. Vamos tentar definir o que é avaliação e suas características ➢ A Primeira pergunta a fazer quando se pensa em avaliação de qualquer ação humana é: PARA QUE AVALIAR? ➢ Outra questão que se coloca e que tem caráter originário para a nossa discussão é: O QUE É AVALIAÇÃO? No contexto das políticas públicas AVALIAÇÃO é um instrumento pode subsidiar o planejamento e a formulação das intervenções governamentais, o acompanhamento de sua implementação, suas reformulações e ajustes, assim como as decisões sobre a manutenção ou interrupção das ações. Para além disso, a AVALIAÇÃO é importante para a melhoria da eficiência do gasto público, da qualidade da gestão e do controle sobre a efetividade da ação do Estado, bem como para a divulgação de resultados de governo. Um aspecto que deve ficar claro para o estudante/pesquisador é que a AVALIAÇÃO é um juízo de valor e deste modo a opção por avaliar e as formas pelas quais isso se realiza sempre são escolhas/decisões que envolvem por vezes visões de mundo, interesses, ideologias. Nesse sentido podemos entender que a avaliação certamente constitui-se de caráter de mensuração objetiva, mas não descarta aspectos qualitativos constituindo-se em um julgamento sobre o valor das intervenções governamentais por parte dos avaliadores internos ou externos, bem como por parte dos usuários ou beneficiários. Esse aspecto é muito relevante não só para a avaliação, mas também para a própria análise de políticas públicas, pois ao se decidir pela aplicação de recursos em determinados projetos isso significa a atribuição de valor e legitimidade aos objetivos pretendidos. A AVALIAÇÃO COMO PRÁTICA A AVALIAÇÃO de políticas públicas é uma prática longeva em países europeus (seja de forma isolada, seja no âmbito da União Europeia), nos Estados Unidos da América e no Canadá. No Brasil a AVALIAÇÃO de políticas públicas constituiu-se num campo de interesse de agentes governamentais e não governamentais principalmente a partir do processo de democratização. A diferentes formas de pensar a Avaliação de Políticas Públicas: Uma delas é a avaliação acadêmica, mais formal, com interesse no estudo da efetividade das políticas, seus impactos e benefícios. Outra forma é a avaliação promovida durante o período de implementação das políticas e programas governamentais, com foco na análise de sua eficiência e eficácia. É importante para o estudante observar as formas pelas quais é possível pensar a avaliação. No nosso contexto, o acadêmico, as análises sobre impacto, benefícios e legitimidade são parte integrante da avaliação A análise de políticas públicas nos permite trabalhar dimensões específicas como a percepção do beneficiário, aspectos democrático participativos do processo de implementação. Mas não se pode perder de vista a questão voltada muito para a gestão pública da eficiência e da eficácia. POR QUE E PARA QUE AVALIAR? Essas duas questões são importantes para compreender a avaliação de politicas públicas como um instrumentos para a gestão, transparência e democratização das políticas públicas, mas que, por outro lado, surge, principalmente na América Latina, num contexto político peculiar nos finais dos anos de 1980/1990. “Hoje há quase um consenso na literatura de que os motivos para realizar estudos de avaliação de políticas e programas públicos estão relacionados à transformação da Administração Pública em uma administração mais moderna e eficiente, mesmo que em alguns países isto ainda seja apenas um desejo” Nas décadas de 1980 e 1990 devido a crise fiscal do Estado com o colapso do Welfare State na Europa e a profunda crise fiscal norte-americana ocasionada pela Guerra do Vietnã levaram vários países a buscar alternativas para a superação desses problemas, sendo que grande parte das propostas para superação do colapso do Estado estavam no campo das teorias neoliberais. “A despeito do entusiasmo inicial, a possibilidade de existência do Estado mínimo mostrou-se irrealista, principalmente para os países em desenvolvimento, onde as políticas públicas desempenham um papel estratégico para aliviar a pobreza e torná-los mais compatíveis com uma economia de mercado” É neste período que surgem as propostas de Reforma do Estado, tendo em vista a impossibilidade de substituir o Estado pelo Mercado. No lugar da velha administração pública burocrática, emergiu uma nova forma de administração – a administração pública gerencial -, que tomou emprestado do setor privado os imensos avanços práticos e teóricos ocorridos no século XX na administração de empresas, sem, contudo perder sua característica específica: a de ser uma administração que não está orientada para o lucro, mas para o atendimento do interesse público Administração Pública Gerencial = orientação para o cidadão + obtenção de resultados A gestão para resultados que aproxima definitivamente a administração gerencial da avaliação. AS FUNÇÕES DA AVALIAÇÃO Essas três funções estão associadas as fases do processo de constituição das políticas pública como campo. INFORMAÇÃO: Durante a década de 1960 os países que impulsionaram a atividade estavam mais interessados na informação. Para eles, as questões principais a serem respondidas seriam: Como funcionam as políticas? Que efeitos produzem? Como se pode melhorá-las?, ALOCAÇÃO: Durante os anos 80, e ainda hoje predomina e tem por objetivo a alocação ou dotação orçamentária mais racional. As questões básicas a que se propõe são: Que programas podem ser cortados a partir de resultados negativos? Quais são as consequências da privatização de certas atividades públicas? Como os programas podem ser reorganizados para atingir mais resultados com o mesmo montante? LEGITIMAÇÃO: legitimação não pode ser identificada a uma fase temporal, tendo sempre desempenhado papel importante no contexto político, ao menos para os países desenvolvidos da América do Norte e Europa que o autor examina Para muitos autores a avaliação seria um mecanismo para a melhoria da tomada de decisão, pois geraria informações úteis acerca do desenrolar e dos resultado de uma política. Os motivos para a AVALIAÇÃO O primeiro seria o interesse pela avaliação de atividades de governo seria a preocupação com a efetividade, isto é, com a aferição dos resultados esperados e não-esperados alcançados pela implementação dos programas. O segundo motivo seria o de entender o processo pelo qual os programas alcançaram ou não esses resultados, analisando a dinâmica da intervenção estatal e os problemas concretos advindos da implementação. Assim, as questões imediatas e centrais a serem respondidas pelos estudos de avaliação seriam: Em que medida os objetivos propostos na formulaçãodo programa são ou foram alcançados na implementação? Como o programa funciona e quais os motivos que levam ou levaram a atingir ou não os resultados? No contexto brasileiro a avaliação constitui-se em uma demanda nas últimas década em decorrência de: d) A crise fiscal brasileira diminuiu a capacidade de gasto dos governos e aumentou a pressão por maior eficiência. e) O aprofundamento da democracia trouxe novos atores sociais e reivindicações aos governos. f) A longa crise econômica brasileira aumentou a desigualdade social e a busca pelos programas sociais do governo. g) A desestruturação da função de planejamento, que deixou os governantes sem elementos de informação e avaliação Em seguida são apresentados os conceitos básicos de relacionados à avaliação, considerando sua inserção no ciclo de políticas públicas. Política - estágio onde as propostas de ação pública ganham forma e estatuto, recebendo tratamentos formais mínimos, ao serem definidos metas, objetivos e recursos. As políticas transformam-se em programas quando é explicitada a estratégia de implementação e, por uma ação de autoridade, são criadas as condições iniciais para sua implementação (SILVA, 2002, p. 18). Plano - é o conjunto de programas que buscam objetivos comuns. O plano ordena os objetivos gerais e os desagrega em objetivos específicos, que serão os objetivos gerais dos programas. O plano organiza as ações programáticas em uma seqüência temporal, de acordo com a racionalidade técnica e as prioridades de atendimento. (COHEN e FRANCO, 2004, p.86) Programa – é um conjunto de atividades organizadas para serem realizadas dentro de cronograma e orçamento específicos disponíveis para a implementação de políticas ou para a criação de condições que permitam o alcance de metas políticas desejáveis. (ALA- HARJA e HELGASON, 2000, p.8). Projeto – é um instrumento de programação para alcançar os objetivos de um programa, envolvendo um conjunto de operações, limitadas no tempo, das quais resulta um produto final que concorre para a expansão ou aperfeiçoamento da ação do governo. Quando essas operações se realizam de modo contínuo ou permanente, são denominadas de Atividades. (GARCIA, 1997, p. 6) Objetivo – é a situação que se deseja obter ao final da implementação do programa, mediante a aplicação dos recursos e da realização das ações previstas (COHEN e FRANCO, 2004, p.88). Meta – é a dimensão quantitativa, temporal e espacial do objetivo. Produto – é o resultado concreto das atividades desenvolvidas pelo programa, podendo ser tanto bens, quanto serviços. Efeito – é o que decorre da influência do programa. O objetivo está localizado temporalmente antes do início do programa. Os efeitos são resultados das ações do programa e podem ser intermediários, ocorrendo durante o programa, ou finais, que são os que perduram após o programa. Os efeitos podem ser procurados, quando foram estabelecidos como objetivos, ou não procurados, quando decorrem de um programa, sem prévia intenção formalizada. Impacto – é o resultado do programa que pode ser atribuído exclusivamente às suas ações, após a eliminação dos efeitos externos. É o resultado líquido do programa. Eficácia – é a relação entre alcance de metas e tempo. Em outras palavras, é o grau em que se alcançam os objetivos e metas do programa, em um determinado período de tempo, sem considerar os custos implicados. Eficiência – é a relação entre custos e benefícios, onde se busca a minimização do custo total para uma quantidade de produto ou a maximização do produto para um gasto total previamente fixado. Efetividade – é a relação entre os resultados e o objetivo. “É a medida do impacto ou do grau de alcance dos objetivos” (COHEN e FRANCO, 2004, p.107). Indicador – é a quantificação que permite a mensuração de uma dimensão do programa. Segundo Jannuzzi (2003, p. 15), “É um recurso metodológico, empiricamente referido, que informa algo sobre um aspecto da realidade social ou sobre mudanças que estão se processando na mesma”. O UDF - CENTRO UNIVERSITÁRIO CURSO: CIÊNCIA POLÍTICAS DISCIPLINA: AVALIAÇÃO DE POLÍTICAS PÚBLICAS Aula 2- Avaliação de Políticas Públicas e Programas Governamentais Bibliografia: AVALIAÇÃO DE POLÍTICAS PÚBLICAS E PROGRAMAS GOVERNAMENTAIS: tendências recentes e experiências no Brasil – Carla Giane Soares da Cunha A aula de hoje enfocará os tipos de avaliação tendo como suporte o texto de Carla Giane. Vamos tentar definir o que é avaliação e suas características Tipos de Avaliação Avaliação externa – realizada por pessoas de fora da instituição responsável pelo programa, em geral com experiência neste tipo de atividade. Avaliação interna – realizada dentro da instituição responsável, com maior colaboração das pessoas que participam do programa.. Avaliação mista – procura combinar os tipos de avaliação anteriores, fazendo com que os avaliadores externos tenham contato estreito com os participantes do programa a ser avaliado. Avaliação participativa – usada principalmente para pequenos projetos, prevê a participação dos beneficiários das ações no planejamento, na programação, execução e avaliação dos mesmos.. Avaliações formativas – estão relacionadas à formação do programa. Adotadas durante a implementação, são voltadas para a análise e produção de informação sobre as etapas de implementação. Geram informações para os que estão diretamente envolvidos com o programa, com o objetivo de fornecer elementos para a realização de correções de procedimentos para melhorar o programa Avaliações somativas – estão relacionadas à análise e produção de informações sobre etapas posteriores. São realizadas quando o programa está sendo implementado há algum tempo ou após a sua implementação, para verificar a sua efetividade e fazer o julgamento do seu valor geral... Quando se leva em conta o momento de sua realização, as avaliações podem ser identificadas como (COHEN e FRANCO, 2004): Avaliação ex-ante – realizada ao começo de um programa, com o fito de dar suporte à decisão de implementar ou não a proposta e ordenar os vários projetos segundo sua eficiência para alcançar os objetivos determinados. O elemento central da avaliação ex- ante é o diagnóstico, que auxilia na alocação dos recursos disponíveis de acordo com os objetivos propostos. Para esta avaliação, podem ser utilizadas as técnicas de Análise Custo-Benefício e Análise Custo-Efetividade, mais afeita aos programas sociais. Avaliação ex-post – realizada durante a execução de um programa ou ao seu final, quando as decisões são baseadas nos resultados alcançados. Neste tipo de avaliação, julga-se se um programa em execução deve continuar ou não, com base nos resultados obtidos até o momento. Se a resposta for positiva, julga-se se deve cabe manter a formulação original ou sofrer modificações. Por sua vez, quando o programa já foi concluído, julga-se a pertinência do uso futuro da experiência, ou seja, se o mesmo tipo de programa deve ser implementado novamente ou não. A avaliação ex-post é a mais desenvolvida metodologicamente e a que tem tido maior aplicação.. UDF - CENTRO UNIVERSITÁRIO CURSO: CIÊNCIA POLÍTICAS DISCIPLINA: POLÍTICAS PÚBLICAS, MONITORAMENTO E AVALIAÇÃO Aula #- Avaliação de Políticas Públicas : Uma Revisão Teórica de Um campo em Construção Bibliografia: AVALIAÇÃO DE POLÍTICAS PÚBLICAS: UMA REVISÃO TEÓRICA DE UM CAMPO EM CONSTRUÇÃO Andrei Pittol Trevisan & Hans Michael Van Bellen O artigo que vamos abordar hoje resgata algumas informações do conteúdo tratado na aula anterior, mas oferece, de outro lado, algumas contribuições para refletir o substrato teórico da avaliação e também o próprio “fazer” da atividade ➢ A Primeira pergunta a fazer quando se pensa em avaliação de qualquer ação humana é: PARA QUE AVALIAR? ➢ Outra questão que se coloca e que tem caráter originário para a nossa discussão é: O QUE É AVALIAÇÃO? As duas questões acima estão presentes neste artigo, contudo o enfoque será dadonos substratos teóricos da AVALIAÇÃO de políticas públicas como uma subárea da Ciência Política e de modo mais específico tendo como referência o Brasil. No Brasil os estudos sobre políticas públicas são bem recentes. Sendo que a ênfase recai ou sobre a análise das estruturas e instituições ou enfoca caracterização dos processos de negociação das políticas setoriais específicas. De certo modo e respondendo o questionamento do “por que” da necessidade de AVALIAR: “A fase da avaliação é imprescindível para o desenvolvimento e a adaptação contínua das formas e instrumentos de ação pública”. No Brasil a avaliação, como campo de estudos e prática, teve uma forte expansão a partir dos anos de 1980/1990 em razão da mudança de “agendas” com a instauração de um regime democrático, a necessidade de elevar a análise e avaliação das políticas sociais a outro patamar tendo em vista os desafios que este campo impõe e pelas discussões acerca do papel do Estado nos anos de 1990/2000 cujo eixo foi a abordagem neo-liberal. Mas um ponto que nos interessa e que é ressaltado por este artigo é o aspecto metodológico para a produção de análises e, por consequência, avaliações de políticas públicas “(...) a área ainda apresenta um uso excessivo de narrativas pouco pautadas por modelos ou tipologias de políticas públicas, por teorias próximas do objeto de análise e que mantêm uma leveza metodológica exagerada”. Deve-se levar em conta que o artigo que analisamos é relativamente antigo, mas certamente esses problemas apontados ainda persistem, além disso o foco das análises/avaliações concentra-se: “excessivamente nos fracassos, pouco preocupada com as questões políticas e fortemente assentada no pressuposto de que a formulação e a implementação de políticas públicas são processos exclusivamente racionais e lineares, desvinculados dos processos políticos.” Dessa forma, de modo prático, o que se propõe é que os estudos no campo das políticas públicas e mais precisamente, na avaliação tentem(...) “seguir na direção do desenvolvimento de tipologias analíticas, e concentrar-se na identificação das variáveis que causam impactos sobre os resultados das políticas. Isso implica na superação da dicotomia dos estudos em se analisar sucessos ou fracassos para um estágio onde se enfatize o melhor entendimento dos próprios resultados” Essa é a proposta para a avaliação das políticas públicas no decorrer do nosso curso. “(...) a abordagem que melhor expressa o quadro real das políticas públicas é a que a considera um processo contínuo de decisões que, se de um lado pode contribuir para ajustar e melhor adequar as ações ao seu objeto, de outro, pode alterar substancialmente uma política pública.” Para se pensar na prática avaliativa deve-se então ter uma noção clara do que é a avaliação, especialmente, no campo das políticas públicas e nesse sentido uma das concepções mais importantes e que auxiliará a reflexão sobre a prática avaliativa e a que se segue: “A avaliação deve proporcionar informação que seja crível e útil para permitir a incorporação da experiência adquirida no processo de tomada de decisão.”. A avaliação deve ser vista como um mecanismo de melhoria no processo de tomada de decisão, a fim de garantir melhores informações, sobre as quais eles possam fundamentar suas decisões e melhor prestar contas sobre as políticas públicas (Ala-Harja e Helgason, 2000) Como visto anteriormente a AVALIAÇÃO tem impactos significativos para os agentes governamentais. Quanto ao uso, AVALIAÇÃO pode apresentar quatro variantes: INSTRUMENTAL — depende não apenas da qualidade da avaliação, mas também da adequada divulgação de seus resultados, sua inteligibilidade e da factibilidade das recomendações propostas; CONCEITUAL — as descobertas da avaliação podem alterar a maneira como esses técnicos entendem a natureza, o modo de operação e o impacto do programa que implementam. Nenhuma decisão ou ação é esperada, pelo menos não imediatamente INSTRUMENTO DE PERSUASÃO — quando a avaliação é utilizada para mobilizar o apoio para a posição que os tomadores de decisão já têm sobre as mudanças necessárias na política ou programa; “ESCLARECIMENTO” — “acarreta, pela via do acúmulo de conhecimento oriundo de diversas avaliações, impacto sobre as redes de profissionais, sobre os formadores de opinião e sobre as advocacy coalitions, bem como alterações nas crenças e na forma de ação das instituições” (Faria, 2005:103), orientando a agenda governamental. (Essas variantes podem ajudar a definir aspectos de nosso trabalho) A metodologia de avaliação de políticas públicas A avaliação tem sido classificada “em função do seu timing (antes, durante ou depois da implementação da política ou programa), da posição do avaliador em relação ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto, insumos, processo e resultados)”. 1) A avaliação antes (ex ante) sempre foi muito estimulada e induzida nos programas financiados pelos organismos multilaterais de financiamento, especialmente aqueles voltados à infra-estrutura econômica e ao desenvolvimento urbano. 2) A avaliação intermediária, também chamada de formativa, é conduzida durante a implementação de um programa como meio de se adquirir mais conhecimento quanto a um processo de aprendizagem para o qual se deseja contribuir. 3) As avaliações posteriores à implementação do programa são chamadas ex post ou somativas, e visam trabalhar com impactos e processos, portanto, estuda-se a eficácia e o julgamento do valor geral do programa É importante para o estudante observar que a avaliação é um instrumento de transparência e democratização das ações governamentais. COMO AVALIAR? Avaliação é uma forma de mensuração, de julgamento de valor, e dessa forma é preciso estabelecer, antes de tudo, os critérios de avaliação, e nesse ponto não há consenso sobre aspectos metodológicos e conceituais. A lista de critérios é longa e a escolha de um, ou vários deles, depende do que se deseja privilegiar na avaliação: eficiência, eficácia, impacto (efetividade), sustentabilidade, análise custo-efetividade, satisfação do usuário, equidade “Para avaliar é preciso que o avaliador construa/utilize indicadores que devem ser entendidos como um parâmetro, ou valor derivado de parâmetros que forneçam informações sobre o estado de um fenômeno, com uma extensão significativa Levando em consideração que sabemos, em alguma medida, o que é avaliação é possível considerar que os padrões de referência para guiar a avaliação podem ser classificados em: ➢ ABSOLUTOS (as metas estabelecidas são consideradas como o padrão a ser alcançado), históricos (comparação dos resultados ao longo do tempo), ➢ NORMATIVOS (comparação do desempenho com programas similares ou semelhantes), ➢ TEÓRICOS (estabelecidos na própria elaboração do programa, sob a hipótese da obtenção dos resultados planejados), ➢ NEGOCIADOS OU DE COMPROMISSO (baseiam-se em algum procedimento específico para sua fixação, normalmente decorrente de consensos entre as partes envolvidas na gestão e os formuladores). A metodologia do quadro lógico A metodologia do marco lógico parte da concepção de políticas públicas como processos articulados e estabelece os recursos que configuram a política pública, seus programas e projetos, e encadeiam as etapas de um mesmo programa, desde o diagnóstico da população-alvo até a definição de critérios para intervenção. A ferramenta de base se estrutura em forma de uma matriz de organização: de um lado ficam os objetivos, indicadores, meios de aferição e fatores externos a influenciar os resultados do programa; de outro, a especificação dos objetivos geral e específicos, componentes e atividades “A metodologia do marco lógico se destaca pela clareza na distinção dos conceitos de avaliação e das atividades necessárias para seu desenvolvimento, bem como na proposiçãode dimensões para avaliação, “possibilitando resultados analíticos baseados em uma interpretação integrada do comportamento dos agentes, das atribuições das instâncias de implementação e da interação com as populações potencial e beneficiária”. De outro lado podemos pensar os objetivos de uma avaliação que podem ser: ➢ A avaliação de metas tem como propósito mensurar o grau de êxito que um programa alcança. ➢ A avaliação de processo visa detectar defeitos na elaboração dos procedimentos, acompanhar e avaliar a execução dos procedimentos de implantação dos programas, identificar barreiras e obstáculos à sua implementação e gerar dados para sua reprogramação, por meio do registro de intercorrências e de atividades ➢ A avaliação de impacto, “é aquela que focaliza os efeitos ou impactos produzidos sobre a sociedade e, portanto, para além dos beneficiários diretos da intervenção pública, avaliando-se sua efetividade social” UDF - Centro Universitário UDF - CENTRO UNIVERSITÁRIO CURSO: CIÊNCIA POLÍTICAS DISCIPLINA: POLÍTICAS PÚBLICAS, MONITORAMENTO E AVALIAÇÃO Aula 3a Indicadores para Diagnóstico, Monitoramento e Avaliação de Programas Sociais. Esse texto tem como objetivo mostrar como a disseminação dos indicadores e dados acerca das políticas públicas e programas pode ser utilizado para diversos tipos de análise. O que são indicadores: São medidas usadas para a operacionalização de um conceito abstrato ou de uma demanda de interesse programático. Os indicadores: apontam, indicam, aproximam, traduzem em termos operacionais as dimensões sociais de interesse definidas a partir de escolhas teóricas ou políticas feitas anteriormente. Os indicadores prestam a subsidiar as atividades de planejamento público e a formulação de políticas sociais. Permitem monitorar, por exemplo, as condições de vida, transformações sociais e etc. ➢ Taxa de Analfabetismo ➢ Rendimento Médio do Trabalho ➢ Taxa de desemprego ➢ Taxa de mortalidade ➢ Proporção de crianças matriculadas nas escolas A construção de indicadores: Essa construção ocorre a partir da explicitação da demanda de interesse programático, tais como a proposição de um programa para ampliação do atendimento à saúde, a redução do déficit habitacional, o aprimoramento do desempenho escolar e a melhoria das condições de vida de uma comunidade. Uma vez estabelecida a política pública é possível fazer seu acompanhamento (eficácia, eficiência, impacto social) por meio de dados administrativos (gerados no âmbito dos programas ou em outros cadastros oficiais) e estatísticas públicas (produzidas pelo IBGE e outras instituições), que, reorganizados na forma de taxas, proporções, índices ou mesmo em valores absolutos, transformam-se em indicadores sociais (Figura 1). Os indicadores guardam, pois, relação direta com o objetivo programático original, na forma operacionalizada pelas ações e viabilizada pelos dados administrativos e pelas estatísticas públicas disponíveis. A construção de indicadores ou o uso de indicadores já construídos deve ter aderência (relação) com o tema, com a política e com o programa a ser estudado ou analisado. Os indicadores devem ser relevantes e isso é um exercício de reflexão em torno daquilo que é necessário para a análise. RELEVÂNCIA: A relevância para a agenda político-social é a primeira e uma das propriedades fundamentais de que devem gozar os indicadores escolhidos em um sistema de formulação e avaliação de programas sociais específicos. VALIDADE: Validade é outro critério fundamental na escolha de indicadores, pois é desejável que se disponha de medidas tão “próximas”quanto possível do conceito abstrato ou da demanda política que lhes deram origem. Em um programa de combate à fome, por exemplo, indicadores antropométricos ou do padrão de consumo familiar de alimentos certamente gozam de maior validade que uma medida baseada na renda disponível, como a proporção de indigentes. Afinal, índice de massa corpórea, baixo peso ao nascer ou quantidade de alimentos efetivamente consumidos estão mais diretamente relacionados à nutrição adequada e à desnutrição que à disponibilidade de rendimentos. CONFIABILIDADE: Confiabilidade da medida é outra propriedade importante para legitimar o uso do indicador. Na avaliação do nível de violência em uma comunidade, por exemplo, indicadores baseados nos registros de ocorrências policiais ou mesmo de mortalidade por causas violentas tendem a ser menos confiáveis. A boa prática da pesquisa social recomenda que os procedimentos de construção dos indicadores sejam claros e transparentes, que as decisões metodológicas sejam justificadas, que as escolhas subjetivas – invariavelmente freqüentes – sejam explicitadas de forma objetiva. 1 UDF - CENTRO UNIVERSITÁRIO CURSO: CIÊNCIA POLÍTICAS DISCIPLINA: AVALIAÇÃO DE POLÍTICAS PÚBLICAS Aula- 5 - Em direção às melhores práticas de avaliação, Revista do Serviço Público, Ano 51 Número 4 Out-Dez 2000 Marjukka Ala-Harja & Sigurdur Helgason A avaliação é uma ferramenta que visa oferecer informações quanto aos resultados obtidos por organizações e programas. Este artigo se refere principalmente à avaliação de programas. Este texto é um exemplo de como a avaliação é vista pelas principais agências multilaterais, como OCDE, e quais são os seus princípios norteadores. Nesse sentido, a avaliação pode ser definida como uma análise sistemática de aspectos importantes de um programa e seu valor, visando fornecer resultados confiáveis e utilizáveis. A avaliação de programa deve ser vista como mecanismo de melhoria no processo de tomada de decisão, a fim de garantir melhores informações aos governantes, sobre as quais eles possam fundamentar suas decisões e melhor prestar contas sobre as políticas e os programas públicos. O uso apropriado dos resultados das avaliações não constitui tarefa fácil. Historicamente, as avaliações representam um universo de muitas promessas que não chegam a se realizar. O que é avaliação Avaliação pode ser conceituada de várias formas e em alguns casos podem até ser contraditórios. A- Avaliações Somativas Conduzidas, freqüentemente, quando o programa já está implementado há algum tempo (avaliação ex post) para o estudo de sua eficácia e o julgamento de seu valor geral. Essas avaliações são tipicamente utilizadas como meio de assistir a alocação de recursos ou na promoção de mais responsabilidade. Os clientes geralmente são externos, tais como políticos e outros agentes de decisão. A objetividade e a confiabilidade geral das constatações são consideradas importantes. Essas avaliações geralmente são conduzidas por avaliadores externos. As questões quanto ao resultado ou relevância geral do programa devem ser abordadas. B- Avaliações Formativas Geralmente adotadas durante a implementação de um programa (avaliação intermediária) como meio de se adquirir mais conhecimento quanto a um processo de aprendizagem para o qual se deseja contribuir. O propósito é o de apoiar e melhorar a gestão, a implementação e o desenvolvimento do programa. Os avaliadores, assim como os clientes, geralmente são internos, e, freqüentemente, os gerentes do programa em questão (auto-avaliação). O artigo vai focar a avaliação de programas e é preciso ter em mente o que é um programa: 2 Por programa entende-se, geralmente, um conjunto de atividades organizadas para realização dentro de cronograma e orçamento específicos do que se dispõe para a implementação de políticas, ou seja, para a criação de condições que permitam o alcance de metas políticas desejáveis O termo pode comportar atividades relativamente menos abrangentes ou programas de amplo escopo. Além disso, a avaliação de programas compreende a avaliação dos resultados de um programa em relação aos objetivos propostos. Atenção, a avaliação nem sempre pode ser confundida com outros instrumentos que oferecem feedback para as políticaspúblicas, deste modo a análise de políticas explora as opções disponíveis e seus prováveis efeitos, a avaliação estuda os efeitos reais e busca um juízo de valor das políticas em si. Nos termos do artigo quais seriam os objetivos da avaliação? Oferecer entendimento e uma visão justificada dos programas de implementação de políticas. A avaliação ajuda a identificar os meios mais eficientes e eficazes de se alcançar os resultados desejados e de manipular os gastos, de modo a facilitar o desenvolvimento de novas áreas de prioridade. A avaliação pode melhorar a transparência e a responsabilidade para o parlamento e o público em geral ao tornar mais claro o impacto das atividades governamentais. Daí pode-se fortalecer a legitimidade dos programas que se encontram em andamento e garantir a sustentabilidade dos resultados. 3 A avaliação também pode ajudar os cidadãos a tomarem conhecimento do que está sendo feito com seu dinheiro e considerar alternativas às políticas implementadas. É necessário ressaltar a diferença entre AUDITORIA e AVALIAÇÃO. Auditoria: procura evidências de que as regras estabelecidas, os regulamentos, os procedimentos e objetivos foram cumpridos. A autonomia das instituições de auditoria lhes permite apresentar pareceres e opiniões de grande credibilidade. Avaliação: é usada mais como uma ferramenta para o gerenciamento do programa do que para o estabelecimento de responsabilidade pública É necessário ressaltar a diferença entre AVALIAÇÃO e GESTÃO DE DESEMPENHO A gestão de desempenho envolve a reforma dos processos centrais de gerenciamento, sendo, portanto, de responsabilidade dos gerentes em cada organização, ao passo que a avaliação é vista como um método especializado, freqüentemente aplicado por especialistas ou unidades de avaliação externas. 4 Metodologia de avaliação Abordagens e métodos Problemas metodológicos Problemas relacionados à causalidade, por exemplo, são comuns a todas as ciências sociais, uma evidência conclusiva das relações de causa e efeito é dificilmente possível e raramente pode ser estabelecida, uma vez que o controle de todas as variáveis é relevante. A avaliação experimental geralmente é lenta e dispendiosa, chegando mesmo a ser impossível de se aplicar na prática. Mesmo que se utilize o formato de avaliação experimental, a generalização para condições além daquelas contidas no experimento costuma envolver algum grau de incerteza. Utilidade da Avaliação Uma outra grande questão, além dos problemas metodológicos, é o uso apropriado das avaliações. A avaliação não visa conhecimento como um fim em si mesmo, mas como um meio para a ação. É importante que o material de avaliação seja usado em processos de tomada de decisão. Caso contrário, a administração logo perderá o interesse, e a avaliação se tornará um exercício inútil. A utilização pode envolver melhorias concretas, mas também menos concretas, tais como melhor compreensão do programa, aprendizado organizacional ou estabelecimento de responsabilidades. Uma vez que a avaliação é praticada em um contexto político, o problema da determinação do uso jamais será completamente resolvido. A avaliação é apenas uma fonte de informações e compete com diversos 5 outros fatores que têm influência sobre a tomada de decisão. É praticamente impossível descobrir a extensão exata em que os resultados tenham influenciado as decisões. Como melhorar as práticas de Avaliação 1 UDF - CENTRO UNIVERSITÁRIO CURSO: CIÊNCIA POLÍTICAS DISCIPLINA: AVALIAÇÃO DE POLÍTICAS PÚBLICAS Aula- 5 – Indicadores Sintéticos no Processo de Formulação e Avaliação de Políticas Públicas: Limites e Legitimidades - Trabalho apresentado no XIV Encontro Nacional de Estudos Populacionais, ABEP, realizado em Caxambú- MG – Brasil, de 20- 24 de Setembro de 2004 José Ribeiro Soares Guimarães Paulo de Martino Jannuzzi Em nosso último encontro partimos da premissa que a avaliação de políticas públicas é uma ação que deve valer-se de informações críveis e úteis para informar não apenas o público em geral, mas sobretudo os tomadores de decisão. Mas uma avaliação crível e útil está diretamente relacionada com seu objetivo, com as metodologias empregadas e com os indicadores utilizados para construir uma métrica analítica, seja ela qual forma, para a produção de informações que possam ser objeto de escrutínio e comparação pelos decisores e público em geral. Dessa forma, para além das metodologias empregadas é preciso conhecer e reconhecer a consistência dos indicadores que são usados para proceder uma avaliação. Dessa forma, a aula de hoje abordará o artigo de Guimarães & Jannuzzi a respeito do uso de indicadores (sintéticos) na formulação e avaliação de políticas públicas O referido artigo parte de um objetivo: debater a mitificação e hegemonia dos indicadores tradicionais de mensuração do desenvolvimento humano - e outras variantes sob a qualidade de vida e exclusão social – bem como de sua pretensa neutralidade, como retratos inexoráveis da realidade social, e de sua eficácia como balizadores de políticas públicas. O contexto da avaliação e a relação com os indicadores Nos finais da década de 1980 cada vez mais a questão das desigualdades sociais ocupou lugar privilegiado, ao menos no discurso, nas agendas dos tomadores de decisão no Brasil. Esse debate é fortemente dependente da produção de informações e nas últimas décadas o que percebemos, tanto na academia quanto nos centros de pesquisa públicos ou privados é a produção de mapas, relatórios, Atlas ou Índices de exclusão social, desigualdade social, vulnerabilidade social. Além disso o interesse crescente do poder público em dispor de instrumentos técnicos para focalizar a ação social, em um quadro de recursos mais escassos e demandas públicas cada vez mais organizadas, contribuiu para dinamizar a produção de trabalhos aplicados em Indicadores Sociais e Políticas Públicas, O debate acerca do IDH O surgimento do Índice de Desenvolvimento Humano – IDH - no início dos anos 1990 e seu “sucesso de mídia” ofereceu impulso importante para multiplicação de estudos na área, sobretudo os de caráter mais descritivo, voltados a propor e construir medidas-resumo – indicadores sintéticos – da realidade social vivenciada pela população brasileira. 2 Os autores argumentam que parece haver um certo deslumbramento com o uso de indicadores sintéticos (resumo) como sua própria disponibilidade melhorasse a gestão de determinadas políticas. O Índice de Desenvolvimento Humano ao que parece se insere nessa discussão como um exemplo importante. O IDH surge como resposta aos indicadores de primeira geração como PIB e PIB-per capta que são da década de 1950. A insatisfação sobretudo com o PIB – per capta que era o único indicador de bem-estar de uma população. O fato é que não existe relação direta entre aumento do crescimento econômico e bem- estar. As limitações do PIB – per capta se revelam sua incapacidade de refletir a distribuição da renda interna em cada unidade territorial, o fato de ser sensivelmente afetado pela variação cambial e o seu caráter unidimensional, ou seja, não capta outros aspectos essenciais, tais como a educação, saúde, meio ambiente, IDH como indicador sintético Para o Programa das Nações Unidas para o Desenvolvimento o conceito de desenvolvimento humano: “(...) se diferencia de outros enfoques previamente existentes. Primeiramente, não compartilha com as teorias do capital humano nas quais se considera que as pessoas sejam meio de produção e não objetivos finais. Em segundo lugar, também se diferencia dos enfoques de bem-estar que consideram as pessoas como beneficiárias do desenvolvimento e não como participantes. Adicionalmente, o conceito de desenvolvimento humano vai além do enfoquede necessidades básicas, já que este se centra mais na provisão de bens básicos do que no tema das possibilidades de escolha. A utilização do IDH possui vantagens: 1 - A sua composição tem número reduzido de dimensões utilizados na construção do índice (renda per capta, escolarização e expectativa de vida) tem servido para manter a simplicidade de entendimento do mesmo, o que tem se constituído num fator muito importante de sua transparência e de simplicidade para transmitir seu significado a um público amplo e diversificado. 2 - IDH guarda relação com o fato de que os dados relativos aos componentes do índice são acessíveis em quase todos os países do mundo, possibilitando, portanto, a comparação dos níveis de desenvolvimento humano entre os países e a consequente elaboração do “ranking mundial de desenvolvimento humano”. “O alcance do progresso não é sinônimo exclusivo de crescimento econômico, ou seja, de exclusivamente incrementar a produção de bens e serviços” Apesar das vantagens é preciso observar que o uso do indicador pode apresentar questões relevantes: Uma importante limitação do IDH, estreitamente vinculada ao plano das políticas públicas, guarda relação direta com um superdimensionamento desse índice, geralmente lastreado num processo de negligenciamento do entendimento que um indicador nada mais é do que a medida operacional do conceito 3 Para muitos autores parece estar se consolidando em uma prática corrente a substituição do conceito indicado pela medida supostamente criada para operacionalizá-lo, sobretudo no caso de conceitos abstratos complexos como desenvolvimento humano e condições de vida. Atenção, “acaba produzindo uma inversão, mediante a qual o indicador — medida operacional do conceito — acaba por deslocar e ocupar o lugar do conceito”. Efetua-se, dessa forma, a substituição do todo — o desenvolvimento humano considerado em suas múltiplas e complexas dimensões — pela parte — restrita às três dimensões contempladas pelo IDH O que é preciso observar é os indicadores sintéticos tem em sua construção, como qualquer conceito, categoria ou índice, caráter arbitrário, por exemplo no IDH cada componente tem peso de 1/3 para a composição do valor a ser mensurado. O principal defeito do IDH é que ele resulta da média aritmética de três índices mais específicos que captam renda, escolaridade e longevidade. Mesmo que se aceite a ausência de outras dimensões do desenvolvimento para as quais ainda não há disponibilidade de indicadores tão cômodos – como a ambiental, a cívica, ou a cultural – é duvidoso que seja essa média aritmética a que melhor revele o grau de desenvolvimento atingido por uma determinada coletividade (neste caso o município). Um dos problemas do IDH guarda relação com o fato de que no processo de construção do índice são misturados indicadores de estoque – alfabetização e esperança de vida – com indicadores de fluxo – escolaridade bruta e PIB per capita. Um outro conjunto de limitações vinculado ao IDH relaciona-se ao fato de que o processo de medição do desenvolvimento humano é baseado em grandes médias nacionais que terminam por ocultar as disparidades existentes no interior de cada país. Uma outra séria limitação do IDH consiste em ocultar mais do que revelar, principalmente no concernente ao superdimensionamento do que se costumou chamar de “progresso”. A problemática reside no fato de que o “avanço” termina sendo refletido exclusivamente por evoluções estritamente quantitativas dos indicadores, sem nenhuma alusão ao padrão qualitativo de desenvolvimento efetivo do país. Avaliação de algumas experiências de desenvolvimento de indicadores sintéticos no Brasil Os autores mostram que ao longo da década de 1990 inúmeros Estados brasileiros, sob inspiração do IDH, tentaram desenvolver indicadores sintéticos para monitorar e, possivelmente, avaliar as condições socioeconômicas, mas também as políticas públicas. 4 Indicadores sintéticos – exemplos – Brasil Desta variedade de indicadores os autores ressaltam o esforço em torno de indicadores sintéticos que parte da análise de uma noção normativa que é o DÉFICIT SOCIAL 5 DEFICIT SOCIAL é o nível de carência da população no usufruto ou consumo de bens públicos, bens privados e serviços sociais entendidos como básicos e necessários segundo uma agenda de compromissos político- sociais definidos em diferentes fóruns da sociedade, no âmbito do Estado, da Sociedade Civil e outras arenas de representação política. O Déficit Social não é, pois um conceito abstrato, mas sim um conceito normativamente construído, definido segundo prioridades, escolhas e compromissos politicamente assumidos no campo da educação, saúde pública, habitação popular, complementação de renda, proteção contra o desemprego, etc. Para construir uma medida operacional para dimensionar o Déficit Social – isto é, para se chegar a um indicador que aponte o nível da demanda efetiva ou potencial não atendida de serviços sociais considerados fundamentais ou desejáveis- é preciso definir qual a agenda de compromissos sociais que se está tomando como referência. A escolha dessa agenda não é uma simples operação metodológica, mas uma decisão política com desdobramentos cruciais nas demais etapas de construção do indicador de Déficit Social. Tal agenda de compromissos pode ser mais ou menos abrangente dependendo do(s) documento(s) ou declarações normativas que se toma como referência, como por exemplo a Constituição de 1988, a Lei de Diretrizes Básicas da Educação, as regulamentações de atendimento do Sistema Único de Saúde, o Plano Nacional de Direitos Humanos, o Estatuto da Cidade, ou ainda as metas especificadas nos Planos Plurianuais de Investimentos. Os Autores abordam as possibilidades de construir indicadores sintéticos a partir desta perspectiva normativa de déficit social. Além disso, mostram como o uso de indicadores sintéticos pode mascaram situações especificas principalmente quando voltados para políticas públicas que possuem, por exemplo, critérios de elegibilidade para acesso a recursos de todo tipo. Em que pesem as mais diversas limitações metodológicas, conceituais e inadequações de uso de Indicadores Sintéticos e do IDH no âmbito das políticas públicas, não se pode deixar de reconhecer os efeitos positivos – e não antecipados- que a criação, proposição e uso dos mesmos tem gerado nas esferas técnicas e políticas no país. Nesses últimos 15 anos a cultura de uso de indicadores sociais certamente se fortaleceu no país, conferindo legitimidade de diversas naturezas aos Indicadores Sintéticos. 1 UDF - CENTRO UNIVERSITÁRIO CURSO: CIÊNCIA POLÍTICAS DISCIPLINA: AVALIAÇÃO DE POLÍTICAS PÚBLICAS Aula- 6 – Considerações sobre o uso, mau uso e abuso na Formulação e Avaliação de Políticas Públicas Paulo de Martino Jannuzzi Em nosso último encontro discutimos um artigo que foi escrito posteriormente a este que será objeto de nossa aula, mas que de certa forma irá complementar aquilo que estamos chamando a atenção do estudante ao estudar a avaliação de políticas públicas. Este artigo procura, portanto, trazer à discussão alguns aspectos acerca dos usos, maus usos e abusos dos indicadores sociais nas atividades relacionadas ao planejamento público. A demanda por informações sociais e demográficas para a formulação de políticas públicas municipais no país tem sido crescente na última década, no contexto da descentralização administrativa e tributária em favor dos municípios e da institucionalização do processo de planejamento público em âmbito local determinado pela Constituição de 1988. Os indicadores sociais, no contexto dos municípios e estados são usados para; Subsidiar a elaboração de planos diretores de desenvolvimento urbanoe planos plurianuais de investimentos; Avaliar os impactos socio-ambientais decorrentes da implantação de grandes projetos. Justificar o repasse de verbas federais para a implementação de programas sociais; Atender à necessidade de disponibilizar equipamentos ou serviços sociais para públicos específicos, por exigência legal (para portadores de deficiência, por exemplo) ou por pressão política da sociedade local (melhoria dos serviços de transporte urbano, por exemplo). Sem dúvida, o conhecimento do significado, dos limites e potencialidades dos indicadores sociais pode ser de grande utilidade para os diversos agentes e instituições envolvidos na definição das prioridades sociais e na alocação de recursos do orçamento público. Se bem empregados, os indicadores sociais podem enriquecer a interpretação empírica da realidade social e orientar de forma mais competente a análise, formulação e implementação de políticas sociais. Na negociação das prioridades sociais, esses indicadores podem contribuir no dimensionamento das carências a atender nas diversas áreas de intervenção. Nesse sentido é preciso debater o uso de indicadores no campos de avaliação das políticas públicas 1- Um primeiro e fundamental lembrete: indicador social apenas indica, não substitui o conceito que o originou 2 Um indicador social é uma medida em geral quantitativa, dotada de significado social substantivo, usado para substituir, quantificar ou operacionalizar um conceito social abstrato, de interesse teórico (para pesquisa acadêmica) ou programático (para a formulação de políticas). É um recurso metodológico, empiricamente referido, que informa algo sobre um aspecto da realidade social ou sobre mudanças que estão ocorrendo na mesma. Para a pesquisa acadêmica, o indicador social é, pois, o elo entre os modelos explicativos da teoria social e a evidência empírica dos fenômenos sociais observados. De uma perspectiva programática, o indicador social é um instrumento operacional para monitoramento da realidade social, para fins de formulação e reformulação de políticas públicas A assertiva “indicador social apenas indica” parece tão óbvia que alguém poderia questionar sua pertinência neste artigo. Ainda que haja indicadores cuja identificação com o conceito é quase tautológica, como no caso dos indicadores de mortalidade, este não é o caso geral nas ciências sociais aplicadas. No entanto, parece estar se consolidando em uma prática corrente a substituição do conceito indicado pela medida supostamente criada para “operacionalizá-lo” PROBLEMA!!!: os conceitos são operacionalmente banalizados, como se os indicadores e índices criados fossem a expressão exata, mais válida ou ideal dos conceitos indicados. Há situações em que, inclusive, primeiro se define a medida para depois inferir o conceito indicado, uma deturpação flagrante da boa prática metodológica no campo das ciências sociais aplicadas. A “reificação” da medida em detrimento do conceito tem outro desdobramento muito preocupante sobre o campo da formulação de políticas, que é o de reforçar a tendência de encará-la como isenta de valores ideológicos ou políticos. 2- Há critérios para se escolher um indicador social em função de suas propriedades Para seu emprego na pesquisa acadêmica ou na formulação e avaliação de políticas públicas, o indicador Social deve gozar de uma série de propriedades. 1 - Ter um grau de cobertura populacional adequado aos propósitos a que se presta. 2 - Ser sensível a políticas públicas implementadas; 3 - Ser específico a efeitos de programas setoriais; 4 - Ser inteligível para os agentes e públicos-alvo das políticas; 5 - Ser atualizável periodicamente, a custos razoáveis 6 - Ser amplamente desagregável em termos geográficos, sociodemográficos e socioeconômicos 7 - Gozar de certa historicidade para possibilitar comparações no tempo “De uma perspectiva aplicada, dadas as características do sistema de produção de estatísticas públicas no Brasil, é muito raro dispor de indicadores sociais que gozem plenamente de todas estas propriedades, cabendo ao analista avaliar os trade-offs do uso das diferentes medidas que podem ser construídas.” A seleção de indicadores é uma tarefa delicada, pois não existe uma teoria formal que permita orientá-la com estrita objetividade. Em tese, fundamentalmente, é preciso 3 garantir que existe, de fato, uma relação recíproca entre indicando (conceito) e os indicadores propostos. 3- A avaliação de políticas públicas requer indicadores de diferentes naturezas Uma classificação bastante relevante para a análise e formulação de políticas sociais é a diferenciação dos indicadores sociais quanto à natureza do ente indicado (Carley, 1985): se recurso (indicador-insumo), realidade empírica (indicador-produto) ou processo (indicador-processo). Os indicadores-insumo (input indicators) correspondem às medidas associadas à disponibilidade de recursos humanos, financeiros ou equipamentos alocados para um processo ou programa que afeta uma das dimensões da realidade social. número de leitos hospitalares por mil habitantes, o número de professores por quantidade de estudantes, o gasto monetário per capita nas diversas áreas de política social. Os indicadores-produto (outcome ou output indicators) são aqueles mais propriamente vinculados às dimensões empíricas da realidade social, referidos às variáveis resultantes de processos sociais complexos ou mesmo das condições de vida da população a esperança de vida ao nascer, proporção de crianças fora da escola, nível de pobreza. São medidas representativas das condições de vida, saúde, nível de renda da população, indicativas da presença, ausência, avanços ou retrocessos das políticas sociais formuladas Os indicadores-insumo quantificam os recursos disponibilizados nas diversas políticas sociais, 4 Os indicadores-produto retratam os resultados efetivos das políticas sociais. Os indicadores-processo ou fluxo (throughput indicators) são indicadores intermediários, que traduzem em medidas quantitativas o esforço operacional de alocação de recursos humanos, físicos ou financeiros (indicadoresinsumo) para obtenção de melhorias efetivas de bem-estar (indicadores-produto), como número de consultas pediátricas por mês, merendas escolares distribuídas diariamente por aluno ou, ainda, homens-hora dedicados a um programa social A diferenciação entre indicadores de estoque e indicadores de performance ou fluxo também costuma ser empregada no campo da avaliação de políticas sociais. Tal diferenciação diz respeito à temporalidade do processo analisado: indicador-estoque refere-se à medida de uma determinada dimensão social em um momento específico, como os anos de escolaridade; indicador de performance ou fluxo procura abarcar mudanças entre dois momentos distintos, como o aumento dos anos de escolaridade. Outro sistema de classificação de especial interesse na formulação de políticas é aquele que diferencia os indicadores segundo os três aspectos relevantes da avaliação dos programas sociais: i) indicadores para avaliação da eficiência dos meios e recursos empregados, ii) indicadores para avaliação da eficácia no cumprimento das metas; iii) indicadores para avaliação da efetividade social do programa, isto é, indicadores para avaliação dos efeitos do programa em termos de justiça social, de contribuição para aumento da sociabilidade e engajamento político, enfim, dos efeitos do programa em termos mais abrangentes de bem-estar para a sociedade 5 Existem muitas fontes de dados, quando se pensa em políticas públicas sociais seja para a implementação seja para a avaliação e o quadro abaixo mostra algumas fontes em relação as políticas públicas municipais.
Compartilhar