Prévia do material em texto
FORMULAÇÃO, GESTÃO E AVALIAÇÃO DE POLITICAS PÚBLICAS 2 SUMÁRIO INTRODUÇÃO ............................................................................................................ 4 POLÍTICAS PÚBLICAS .............................................................................................. 6 O PAPEL DOS GOVERNOS ...................................................................................... 8 MODELOS DE FORMULAÇÃO E ANÁLISE DE POLÍTICAS PÚBLICAS ................ 9 O tipo da política pública ........................................................................................ 9 Incrementalismo .................................................................................................... 10 O ciclo da política pública .................................................................................... 10 Coalizão de defesa ................................................................................................ 12 Arenas sociais ....................................................................................................... 13 Modelo do "equilíbrio interrompido" ................................................................... 13 Modelos influenciados pelo "novo gerencialismo público" e pelo ajuste fiscal .................................................................................................................................. 14 OS SISTEMAS DE INDICADORES DE MONITORAMENTO NO CICLO DE POLÍTICAS E PROGRAMAS ................................................................................... 16 AVALIAÇÃO DE POLÍTICAS PÚBLICAS ................................................................ 27 Breve histórico sobre a avaliação de políticas públicas ................................... 28 Do “estado do campo” de avaliação de políticas públicas ............................... 30 Metodologia de avaliação de políticas públicas ................................................. 33 A avaliação como instrumento de gestão ........................................................... 41 CONSIDERAÇÕES FINAIS ...................................................................................... 43 REFERÊNCIAS ......................................................................................................... 44 3 NOSSA HISTÓRIA A NOSSA HISTÓRIA, inicia com a realização do sonho de um grupo de empresários, em atender à crescente demanda de alunos para cursos de Graduação e Pós-Graduação. Com isso foi criada a INSTITUIÇÃO, como entidade oferecendo serviços educacionais em nível superior. A INSTITUIÇÃO tem por objetivo formar diplomados nas diferentes áreas de conhecimento, aptos para a inserção em setores profissionais e para a participação no desenvolvimento da sociedade brasileira, e colaborar na sua formação contínua. Além de promover a divulgação de conhecimentos culturais, científicos e técnicos que constituem patrimônio da humanidade e comunicar o saber através do ensino, de publicação ou outras normas de comunicação. A nossa missão é oferecer qualidade em conhecimento e cultura de forma confiável e eficiente para que o aluno tenha oportunidade de construir uma base profissional e ética. Dessa forma, conquistando o espaço de uma das instituições modelo no país na oferta de cursos, primando sempre pela inovação tecnológica, excelência no atendimento e valor do serviço oferecido. 4 INTRODUÇÃO Conforme revela a literatura internacional, assim como as experiências vivenciadas pelos gestores e técnicos públicos, o processo de estruturação de Sistemas de Monitoramento e Avaliação (SM&A) de Políticas, programas ou da ação governamental é um empreendimento complexo. Um Sistemas de Monitoramento e Avaliação (SM&A) pode ser entendido, em um sentido lato, como o conjunto de atividades, articuladas, sistemáticas e formalizadas, de produção, registro, acompanhamento e análise crítica de informações geradas na gestão de políticas públicas, de seus programas, produtos e serviços, por parte das organizações, agentes e público-alvo envolvidos, com a finalidade de subsidiar a tomada de decisão com relação aos esforços necessários para a melhoria da ação pública. Se trata, por tanto, de um conjunto de atividades inerentes ao ciclo de gestão e produção das Políticas Públicas, direcionadas à sistematização de informação acerca dos aspectos considerados críticos para o êxito dos programas, uma vez que a avaliação tem o propósito de subsidiar os gestores com essas informações sistematizadas. Além de prover informação para análise das entregas de produtos e serviços e para a correção de eventuais falhas da ação governamental, os SM&A também se destinam a gerar conhecimentos a respeito dos impactos das políticas e programas, assim como de custos de produção dos mesmos. Sistemas de M&A seriam, portanto, instrumentos importantes para garantir maior transparência da forma de utilização dos recursos públicos e para subsidiar decisões sobre o mérito e relevância das políticas e programas na repartição orçamentária. Dessa forma, a presente disciplina busca trazer alguma contribuição de natureza conceitual e metodológica para ajudar na compreensão dos sistemas de monitoramento e na especificação de pesquisas de avaliação que realmente se prestem ao objetivo de permitir o seguimento contínuo e aperfeiçoamento efetivo da ação governamental e, mais propriamente, a gestão de programas sociais, a partir da perspectiva de um Ministério setorial (ou órgão equivalente, voltado a um campo específico da Política Social). 5 Assim, faz-se uma exposição do ciclo de formulação e avaliação de políticas públicas e programas, para, em seguida, discutir as especificidade dos sistemas de indicadores de monitoramento e das pesquisas de avaliação; de como e devem se integrar. 6 POLÍTICAS PÚBLICAS Não existe uma única, nem melhor, definição sobre o que seja política pública. Mead (1995) a define como um campo dentro do estudo da política que analisa o governo à luz de grandes questões públicas e Lynn (1980), como um conjunto de ações do governo que irão produzir efeitos específicos. Peters (1986) segue o mesmo veio: política pública é a soma das atividades dos governos, que agem diretamente ou através de delegação, e que influenciam a vida dos cidadãos. Dye (1984) sintetiza a definição de política pública como "o que o governo escolhe fazer ou não fazer". A definição mais conhecida continua sendo a de Laswell, ou seja, decisões e análises sobre política pública implicam responder às seguintes questões: quem ganha o quê, por quê e que diferença faz. Outras definições enfatizam o papel da política pública na solução de problemas. Críticos dessas definições, que superestimam aspectos racionais e procedimentais das políticas públicas, argumentam que elas ignoram a essência da política pública, isto é, o embate em torno de ideias e interesses. Pode-se também acrescentar que, por concentrarem o foco no papel dos governos, essas definições deixam de lado o seu aspecto conflituoso e os limites que cercam as decisões dos governos. Deixam também de fora possibilidades de cooperação que podem ocorrer entre os governos e outras instituições e grupos sociais. No entanto definições de políticas públicas, mesmo as minimalistas, guiam o nosso olhar para o lócus onde os embates em torno de interesses, preferências e ideias se desenvolvem, isto é, os governos. Apesar de optar por abordagens diferentes, as definições de políticas públicas assumem, em geral, uma visão holística do tema, uma perspectiva de que o todo é mais importante do que a soma das partes e que indivíduos, instituições, interações, ideologia e interesses contam, mesmo que existam diferençasvisto que pressupõe a atribuição de valores a um conjunto de metas, definindo-se o êxito do programa em função de que tais metas tenham sido cumpridas. Algumas limitações desse tipo de avaliação são: dificuldade de especificar as metas de forma precisa; seleção de metas a serem incluídas no processo de avaliação; mudanças nas metas ao longo da própria execução do programa (Costa e Castanhar, 2003). A avaliação de processo visa detectar defeitos na elaboração dos procedimentos, acompanhar e avaliar a execução dos procedimentos de implantação dos programas, identificar barreiras e obstáculos à sua implementação e gerar dados para sua reprogramação, por meio do registro de intercorrências e de atividades. Essa avaliação se realiza concomitantemente ao desenvolvimento do programa, portanto, o uso adequado das informações produzidas permite incorporar mudanças ao seu conteúdo (Carvalho, 2003; Costa e Castanhar, 2003). Já a avaliação de impacto, conforme Carvalho (2003:186), ―é aquela que focaliza os efeitos ou impactos produzidos sobre a sociedade e, portanto, para além dos beneficiários diretos da intervenção pública, avaliando-se sua efetividade social. 40 Busca-se nessa avaliação detectar as mudanças que efetivamente ocorreram e em que medida as mudanças ocorreram na direção desejada. De acordo com a autora, dois pressupostos orientam a avaliação de impacto: o primeiro reconhece propósitos de mudança social na política em análise e, dessa forma, faz sentido configurar a investigação para mensurar seus impactos; o segundo pressuposto é o que estrutura a análise com base em uma relação causal entre o programa e a mudança social provocada. Não basta constatar a ocorrência de mudança, é preciso estabelecer a relação causa-efeito entre as ações de um programa e o resultado final obtido; entre essas e a ação pública realizada por meio da política (Garcia, 2001; Carvalho, 2003; Costa e Castanhar, 2003). Por sua natureza avaliativa ela é considerada ex post facto. Por fim, a avaliação, como instrumental de análise, pode-se valer também dos métodos próprios da pesquisa social. A sua escolha, entretanto, não é casual nem mesmo predeterminada, pois o pressuposto é que seja conforme os objetivos (explícitos ou implícitos) estabelecidos pela política (Carvalho, 2003). Um último comentário merece ser prestado aos estudos de avaliação de avaliações, ou metaavaliações. Segundo Henry (2001), em algum momento os avaliadores também serão responsabilizados (accountable) pelas suas decisões. Mais provavelmente, os avaliadores serão responsabilizados não apenas em adotar procedimentos-padrão, mas pelos seus resultados e pelos impactos de seus achados. Para esse autor, o futuro da metaavaliação passará a focar com mais intensidade as avaliações individuais — durante o processo, os critérios para definir o que é certo nas avaliações individuais serão melhorados, criticados, revisados e, talvez, aceitos. Conforme Henry (2001), o interesse em metaavaliações pode produzir duas linhas importantes de trabalhos para o campo. Em primeiro lugar, um resultado muito positivo poderia ser um conjunto de estudos empíricos que examinam os impactos verdadeiros das avaliações. A segunda contribuição das meta avaliações diz respeito às revisões de avaliações individuais. Henry (2001) assinala que os métodos para testar avaliações 41 específicas devem trazer à luz preconceitos e inclinações quando eles ocorrerem e devem fazer com que esses achados sejam acessíveis. A avaliação como instrumento de gestão Entre as inúmeras definições existentes pode-se sustentar que avaliação formal é (1) um julgamento (porque envolve valores) (2) sistemático (porque baseia-se em critérios e procedimentos previamente reconhecidos) (3) dos processos ou dos produtos de (4) uma política, programa ou projeto, tendo como referência (5) critérios explícitos, a fim de contribuir para (6) o seu aperfeiçoamento, a melhoria do processo decisório, o aprendizado institucional e/ou o aumento da accountability. Assim sendo, é possível reconhecer que a avaliação contém duas dimensões. A primeira é técnica, e caracteriza-se por produzir ou coletar, segundo procedimentos reconhecidos, informações que poderão ser utilizadas nas decisões relativas a qualquer política, programa ou projeto. A segunda é valorativa, consistindo na ponderação das informações obtidas com a finalidade de extrair conclusões acerca do valor da política, programa ou projeto. Ainda assim, a finalidade da avaliação não é necessariamente distinguir as intervenções de qualquer natureza segundo sejam, boas ou más, exitosas ou fracassadas. Muito mais importante e proveitoso é apropriar-se da avaliação como um processo de apoio a um aprendizado contínuo, de busca de melhores decisões e de amadurecimento da gestão. A avaliação formal permite julgar processos e produtos de vários modos. Primeiro, levantando questões básicas tais como os motivos de certos fenômenos (por exemplo: o que causa os elevados índices de morte violenta entre os jovens brasileiros?). Este tipo de avaliação pode focalizar relações de causa e efeito com a finalidade de recomendar medidas para lidar com o problema. Em segundo lugar, a avaliação formal pode ser usada como instrumento de acompanhamento de políticas ou programas de longo prazo. Nesses casos são realizadas várias avaliações em estágios-chave da política ou programa, a fim de prover dados confiáveis sobre os seus impactos e sobre como podem ser estes mitigados ou melhorados. 42 Em terceiro, ao final de um programa ou projeto a avaliação pode indicar o seu sucesso na consecução dos seus objetivos e permitir avaliar a sua sustentabilidade, ou seja, a possibilidade da sua continuidade através do tempo. A avaliação formal pode contribuir para aperfeiçoar a formulação de políticas e projetos especialmente tornando mais responsável a formulação de metas, e apontar em que medida os governos se mostram responsivos frente às necessidades dos cidadãos. Pode mostrar se as políticas e programas estão sendo concebidos de modo coordenado ou articulado; e em que medida estão sendo adotadas abordagens inovadoras na resolução de problemas que antes pareciam intratáveis. Pode indicar como vão sendo construídas as parcerias entre governo central e local, entre os setores público, privado e terceiro setor, identificar as condições de sucesso ou fracasso dessas parcerias e apontar como podem ser aperfeiçoadas a fim de ganharem abrangência e se tornarem estratégias nacionais das políticas de desenvolvimento. Os modelos contemporâneos de formulação de políticas enfatizam a importância dos objetivos compartilhados em lugar das estruturas organizacionais ou das funções existentes. Mas a articulação de políticas/programas não se resume a abordagens compartilhadas de questões comuns. A articulação horizontal entre agências ou organizações requer melhor coordenação entre os gestores e melhor articulação vertical entre os que tomam as decisões e os que os implementam. Isto não é um fim em si mesmo, mas deve estar presente onde agrega valor, e é especialmente importante quando as políticas ou programas se dirigem às questões socialmente perversas. Nesses casos, avaliação formal permite aprender e incorporar lições à implementação de novas políticas/programas. 43 CONSIDERAÇÕES FINAIS A ampliação do gasto social no Brasil e a diversificação dos programas voltados a atender às diversas demandas públicas vêm pressionando o setor público a aprimorar suas práticas de gestão. Nesse sentido, a preocupação com o aprimoramento técnico na elaboração de diagnósticos e nas atividades de monitoramento e avaliação de programas vem crescendo. Estruturar melhor os sistemas de indicadores de monitoramento e especificarpesquisas de avaliação mais consistentes são desafios que precisam ser rapidamente enfrentados nos três níveis de governo – federal, estadual e municipal –, sob pena de estender, por mais tempo ainda, a superação das iniquidades sociais no país e sob o risco de se perder a crença de que os programas públicos podem ser vetores impactantes da mudança social no Brasil. Este texto procurou mostrar que tais instrumentos precisam ser especificados, respondendo às demandas de informação do gestor nas diferentes fases da política pública Não existe uma receita única, pronta e acabada para desenhar esses instrumentos. Existem experiências, recomendações e boas práticas. 44 REFERÊNCIAS ALMEIDA, A. C. Como são feitas as pesquisas eleitorais e de opinião. Rio de Janeiro: FGV, 2002. ARROW, Kenneth. Social Choice and Individual Values. New Haven: Yale University Press. 1951. ATKINSON, T. et al. Social Indicators: the EU and Social Inclusion. Oxford: Oxford Univ. Press, 2005. BABBIE, E. Metodos de pesquisa de Survey. Belo Horizonte: Ed.UFMG, 1999. BACHRACHB, P. e BARATZ, M. S. "Two Faces of Power", American Science Review 56: 947-952. 1962. BAUGARTNER, Frank e JONES, Bryan. Agendas and Instability in American Politics. Chicago: University of Chicago Press. 1993 BENNETT,C. A . ; LUMSDAINE, A .A . Evaluation and experiment: some critical issues in assessing social programs. New York: Academic Press, 1975. BUENO, Luciano. "A Aplicação da Advocacy Coalition Framework (ACF) na Análise da Evolução da Política Pública de Controle de Armas no Brasil". Trabalho apresentado no GT Políticas Públicas do XXIX Encontro Anual da ANPOCS, 25-29 de outubro, Caxambu: MG. 2005. CAIDEN, N. e WILDAVISKY, A. Planning and Budgeting in Developing Countries.New York: John Wiley. 1980. CANO, I. Avaliação de programas sociais. Rio de Janeiro: FGV, 2002. CAPELLA, Cláudia Niedhardt. "Formação da Agenda Governamental: Perspectivas Teóricas". Trabalho apresentado no GT Políticas Públicas do XXIX Encontro Anual da ANPOCS, 25-29 de outubro, Caxambu: MG. 2005 CAREY,G. W. Government. Encyclopedia Americana. Danburry: Scholastic, 2006. p. 127-131. CARVALHO, S. N. Avaliação de programas sociais: balanço das experiências. São Paulo em Perspectiva, São Paulo, v. 17, n. 3-4, p. 185-197, 2003. COHEN, Ernesto; FRANCO, Rolando. Avaliação de projetos sociais. Petrópolis, RJ: Vozes, 1999. COHEN, Michael, MARCH, James e OLSEN, Johan. "A Garbage Can Model of Organizational Choice", Administrative Science Quarterley 17: 1-25. 1972. COTTA, T. C. Metodologias de avaliação de programas e projetos sociais: análise de resultados e impacto. Revista do Serviço Público, Brasília, v. 49, n. 2, p. 103-124, 1998. 45 COUTINHO, R. G. Subsídios para organizar avaliações da Ação Governamental. Textos para discussão, Brasília, n. 776: IPEA, 2001. DYE, Thomas D. Understanding Public Policy. Englewood Cliffs, N.J.: Prentice-Hall. 1984. EASTONE, D. A Framework for Political Analysis Englewood. Cliffs: Prentice Hall. 1965. EVANS, Peter, RUESCHEMEYER, D. e SKOCPOL, Theda. Bringing the State Back In. Cambridge: Cambridge University Press. 1985. FARIA, Carlos Aurélio Pimenta. "Idéias, Conhecimento e Políticas Públicas: Um Inventário Sucinto das Principais Vertentes Analíticas Recentes", Revista Brasileira de Ciências Sociais 18 (51): 21-30. 2003. FIGUEIREDO, Marcus e FIGUEIREDO, Argelina C. "Avaliação Política e Avaliação de Políticas: Um Quadro de Referência Teórica", Revista Fundação João Pinheiro: 108-129. 1986. FREY, Klaus. Políticas Públicas: Um debate conceitual e reflexões referentes à prática da análise de políticas no Brasil. Planejamento e Políticas Públicas, 21. Brasília: IPEA, 2002. FUCKS, Mario. "Arenas de Ação e Debate Públicos: Conflitos Ambientais e a Emergência do Meio Ambiente Enquanto Problema Social no Rio de Janeiro", Dados 41 (1): 230-245. 1998. GENERAL ACCOUNTING OFFICE. Social research and development of limited use to national policymakers: Report to the congress. Washington: 1977. GOODIN, R. e KLINGEMANN, H-D. (eds.). New Handbook of Political Science. Oxford: Oxford University Press. 1998. GUIMARÃES, J. R. S; JANNUZZI, P. M. IDH. Indicadores sintéticos e suas aplicações em políticas públicas: uma análise crítica. Revista Brasileira. Est. Urbanos e Regionais, Salvador, v. 7, n. 1, p. 73-89, 2005. HALL, Peter (1998) "The Movement from Keynsianism to Monetarism: Institutional Analysis and British Economic Policy in the 1970s", In STEIMO, S., THELEN, K. e LONGSTRETH, F. (eds.) Structuring Politics: Historial Institutionalism in Comparative Perspective, pp. 90-113. Cambridge: Cambridge University Press. 1998. HOWLETT, M.; RAMESH, M. Studying public policy: policy cycles and policy subsystems. DonnMills: Oxford University Press, 2003. JANN, W.; WEGRICH, K. Theories of the policy cycle. FISCHER, F. et al. Handbook of public policy analysis: theory, politics and methods. Boca Raton: CRC Press, 2007, p. 43-62. 46 JANNUZZI, P. M. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público, Brasília, v. 56, n. 2, p. 137- 160, Abr./Jun. 2005. JANNUZZI, P. M. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicações. Campinas: Alínea, 2004. JANNUZZI, P. M., MIRANDA, W. L. Pradin e Monit: ferramentas para tomada de decisão no ciclo de políticas públicas. Boletim de Estatísticas Públicas, Salvador , n.4, p.62-73, 2008. JANNUZZI, P. M., MIRANDA,W. L., SILVA, D. S. G. da. Análise Multicritério e Tomada de Decisão em Políticas Públicas: Aspectos Metodológicos, Aplicativo Operacional e Aplicações. Revista Informática Pública, Belo Horizonte, ano II, p. 69-87, 2009. KINGDON, John. Agendas, Alternatives, and Public Policies. Boston: Little, Brown. 1984 LASWELLLaswell, H.D. Politics: Who Gets What, When, How Cleveland, Meridian Books. 1936/1958. LAVILLE, C.; DIONNE, J. A construção do saber. Porto Alegre: Artmed/ED.UFMG, 1999. LEVI, Margaret. "A Model, a Method, and a Map: Rational Choice in Comparative and Historical Analysis", In: LICHBACH, M. e ZUCKERMAN, A. (eds.) Comparative Politics: Rationality, Culture, and Structure, pp. 19-41. Cambridge: Cambridge University Press. 1997. LINDBLOM, C. Todavía tratando de salir del paso. SARAVIA, E.; FERRAREZI, E.(orgs.) Políticas públicas: coletânea. Brasília: ENAP, 2006, p.99-122. LINDBLOM, Charles E. "Still Muddling, Not Yet Through", Public Administation Review 39: 517-526. 1979. LINDBLOM, Charles E. "The Science of Muddling Through", Public Administration Review 19: 78-88. 1959. LOWI, Theodor. "American Business, Public Policy, Case Studies and Political Theory", World Politics, 16: 677-715. 1964 LOWI, Theodor. "Four Systems of Policy, Politics, and Choice". Public Administration Review, 32: 298-310. 1972. LYNNLynn, L. E. Designing Public Policy: A Casebook on the Role of Policy Analysis. Santa Monica, Calif.: Goodyear. 1980 MADEIRA, F. R. A improvisação na concepção de programas sociais: muitas convicções, poucas constatações – o caso do primeiro emprego. São Paulo em Perspectiva, São Paulo, v. 18, n. 2, p. 78-94, 2004. 47 MARCH, James G. e OLSEN Johan P. Democratic Governance New York: The Free Press. 1995. MARQUES, Eduardo C. Estado e Redes Sociais: Permeabilidade e Coesão nas Políticas Urbanas no Rio de Janeiro. São Paulo: FAPESP; Rio de Janeiro: Revan. 2000. MCDAVID, J. HAWTHORN.L. Program Evaluation and Performance Measurement: An Introduction to Practice. Thousand Oaks: Sage, 2006. MEAD, L. M. "Public Policy: Vision, Potential, Limits", Policy Currents, Fevereiro: 1-4. 1995. MELO, Marcus André. "Estado, Governo e Políticas Públicas". In: MICELI, S. (org.). O que Ler na Ciência Social Brasileira (1970-1995): Ciência Política São Paulo/Brasília: Sumaré/Capes. 1999. MILLER, D.C. Handbookof research design and social measurement. Nwebury Park: Sage, 1991. MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME. Metodologias e instrumentos de pesquisas de avaliação de programas do MDS: Bolsa Família, Assistência Social, Segurança Alimentar e Nutricional. Rômulo Paes-Sousa; Jeni Vaitsman (orgs.). Brasília, DF: MDS; SAGI, 2007. MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Guia metodológico para construção de indicadores para o PPA. Brasília, 2009. MOHR, L.B. Impact analysis for program evaluation. Thousand Oaks: Sage, 1995. NASCIMENTO, B. A reforma universitária de 1968: origem, processo e resultados de uma política pública para o ensino superior. 1991. Tese (Doutorado) – UFRJ, Rio de Janeiro. OLSON, Mancur. The Logic of Collective Action Cambridge, Mass.: Harvard University Press. 1965. OSTROM, Elinor. "An Assessment of the Institutional Analysis and Development Framework". In: SABATIER, Paul (ed.). Theories of the Policy Process. Boulder: Westview Press. 1999. OWEN, J.M. Program evaluation: forms and approaches. New York: Guilford Press, 2007. PARADA, E. L. Política y políticas públicas. SARAVIA, E.; FERRAREZI, E. (orgs.) Políticas públicas: coletânea. Brasília: ENAP, 2006. p.67-95. PARSONS, Wayne. Public Policy: An Introduction to the Theory and Practice of Policy Analysis Cheltenham: Edward Elgar. 1997. 48 PETERS, B. G. "Review: Understanding Governance: Policy Networks, Governance, Reflexivity and Accountability by R. W. Rhodes", Public Administration 76: 408-509. 1998. PETERS, B. G. American Public Policy. Chatham, N.J.: Chatham House. 1986. PETERS, B. G. The Politics of Bureaucracy. White Plains: Longman Publishers. 1995. REZENDE, L. M. e JANNUZZI, P. M. Monitoramento e Avaliação do PDE: IDEB e painel de indicadores. Revista do Serviço Público, Brasília, v. 59, n. 2, p. 121-150, 2008. RICHARDSON, R. J et al. Pesquisa social: métodos e técnicas. São Paulo: Atlas, 2002. ROSSI, P. H. et al. Evaluation: a systematic approach. Thousand Oaks: Sage, 2004. RUA, M.G. A avaliação no ciclo da gestão pública. Apostila do curso de Especialização em políticas públicas da Educação com Ênfase em monitoramento e Avaliação – MPA. ENAP. MIMEO, 2004. RUA, M.G. Algumas considerações preliminares sobre política e políticas públicas. In: RUA, Maria das Graças e CARVALHO, M. I. V. (orgs). O estudo da política: tópicos selecionados. Brasília: Paralelo 15, 1998. SARAVIA, E. Introdução à teoria da política pública. In: SARAVIA, E.; FERRAREZI, E.(orgs.) Políticas públicas: coletânea. Brasília: ENAP, 2006. p. 21-42. SARAVIA, E.; FERRAREZI, E.(orgs.) Políticas públicas: coletânea. Brasília: ENAP, 2006. SCANDAR NETO, W. et al. Sistemas de indicadores ou indicadores sintéticos: do que precisam os gestores de programas sociais. In: HENRIQUES, R. et al (Org). Educação na diversidade : como indicar as diferenças? (Coleção Educação para Todos, Série Avaliação). Brasília: MEC/Unesco, n. 8, v. 25, p. 16-34. 2006. TRIBUNAL DE CONTAS DA UNIÃO. Avaliação do TCU sobre o Programa Nacional Biblioteca na Escola. Brasília: TCU, 2002. VIEIRA, Fabiola Sulpino. Qualificação dos serviços farmacêuticos no Brasil: aspectos inconclusos da agenda do Sistema Único de Saúde. Revista Panamericana de Salud Pública, v. 24, n. 2, p. 91-100, 2008. VILLANUEVA, L. F. A. Estudio introdutório. SARAVIA, E.; FERRAREZI, E.(orgs.) Políticas públicas: coletânea. Brasília: ENAP, 2006, p.43-65. WEISS,C. Evaluation research. New Jersey: Prentice Hall, 1972. WORTHERN, B. R. et al. Avaliação de programas: concepções e práticas. São Paulo: EdUsp/Gente, 2004.sobre a importância relativa destes fatores. Assim, do ponto de vista teórico-conceitual, a política pública em geral e a política social em particular são campos multidisciplinares, e seu foco está nas explicações sobre a natureza da política pública e seus processos. Por isso, uma teoria geral da política pública implica a busca de sintetizar teorias construídas no campo da sociologia, da ciência política e da economia. As políticas públicas repercutem na economia e nas sociedades, daí por que qualquer teoria da política 7 pública precisa também explicar as inter-relações entre Estado, política, economia e sociedade. Tal é também a razão pela qual pesquisadores de tantas disciplinas economia, ciência política, sociologia, antropologia, geografia, planejamento, gestão e ciências sociais aplicadas partilham um interesse comum na área e têm contribuído para avanços teóricos e empíricos. Pode-se, então, resumir política pública como o campo do conhecimento que busca, ao mesmo tempo, colocar o governo em ação‖ e/ou analisar essa ação (variável independente) e, quando necessário, propor mudanças no rumo ou curso dessas ações (variável dependente). A formulação de políticas públicas constitui-se no estágio em que os governos democráticos traduzem seus propósitos e plataformas eleitorais em programas e ações que produzirão resultados ou mudanças no mundo real. 8 O PAPEL DOS GOVERNOS Debates sobre políticas públicas implicam responder à questão sobre o espaço que cabe aos governos na definição e implementação de políticas públicas. Não se defende aqui que o Estado (ou os governos que decidem e implementam políticas públicas ou outras instituições que participam do processo decisório) reflete tão- somente as pressões dos grupos de interesse, como diria a versão mais simplificada do pluralismo. Também não se defende que o Estado opta sempre por políticas definidas exclusivamente por aqueles que estão no poder, como nas versões também simplificadas do elitismo, nem que servem apenas aos interesses de determinadas classes sociais, como diriam as concepções estruturalistas e funcionalistas do Estado. No processo de definição de políticas públicas, sociedades e Estados complexos como os constituídos no mundo moderno estão mais próximos da perspectiva teórica daqueles que defendem que existe uma autonomia relativa do Estado, o que faz com que o mesmo tenha um espaço próprio de atuação, embora permeável a influências externas e internas (Evans, Rueschmeyer e Skocpol, 1985). Essa autonomia relativa gera determinadas capacidades, as quais, por sua vez, criam as condições para a implementação de objetivos de políticas públicas. A margem dessa autonomia e o desenvolvimento dessas capacidades, dependem, obviamente, de muitos fatores e dos diferentes momentos históricos de cada país. Apesar do reconhecimento de que outros segmentos que não os governos se envolvem na formulação de políticas públicas, tais como os grupos de interesse e os movimentos sociais, a maior ou menor influência dependem do tipo de política formulada e das coalizões que integram o governo. 9 MODELOS DE FORMULAÇÃO E ANÁLISE DE POLÍTICAS PÚBLICAS Dentro do campo específico da política pública, alguns modelos explicativos foram desenvolvidos para se entender melhor como e por que o governo faz ou deixa de fazer alguma ação que repercutirá na vida dos cidadãos. Muitos foram os modelos desenvolvidos e aqui serão mapeados apenas os principais. O tipo da política pública Theodor Lowi (1964; 1972) desenvolveu a talvez mais conhecida tipologia sobre política pública, elaborada através de uma máxima: a política pública faz a política. Com essa máxima Lowi quis dizer que cada tipo de política pública vai encontrar diferentes formas de apoio e de rejeição e que disputas em torno de sua decisão passam por arenas diferenciadas. Para Lowi, a política pública pode assumir quatro formatos. O primeiro é o das políticas distributivas, decisões tomadas pelo governo, que desconsideram a questão dos recursos limitados, gerando impactos mais individuais do que universais, ao privilegiar certos grupos sociais ou regiões, em detrimento do todo. O segundo é o das políticas regulatórias, que são mais visíveis ao público, envolvendo burocracia, políticos e grupos de interesse. O terceiro é o das políticas redistributivas, que atinge maior número de pessoas e impõe perdas concretas e no curto prazo para certos grupos sociais, e ganhos incertos e futuro para outros; são, em geral, as políticas sociais universais, o sistema tributário, o sistema previdenciário e são as de mais difícil encaminhamento. O quarto é o das políticas constitutivas, que lidam com procedimentos. Cada uma dessas políticas públicas vai gerar pontos ou grupos de vetos e de apoios diferentes, processando-se, portanto, dentro do sistema político de forma também diferente. 10 Incrementalismo A visão da política pública como um processo incremental foi desenvolvida por Lindblom (1979), Caiden e Wildavsky (1980) e Wildavisky (1992). Baseados em pesquisas empíricas, os autores argumentaram que os recursos governamentais para um programa, órgão ou uma dada política pública não partem do zero e sim, de decisões marginais e incrementais que desconsideram mudanças políticas ou mudanças substantivas nos programas públicos. Assim, as decisões dos governos seriam apenas incrementais e pouco substantivas. A visão incrementalista da política pública perdeu parte do seu poder explicativo com as profundas reformas ocorridas em vários países, provocadas pelo ajuste fiscal. No entanto os que trabalham nos governos e os que pesquisam os orçamentos públicos conhecem bem a força do incrementalismo, que mantém intactos estruturas governamentais e recursos para políticas públicas que deixaram de estar na agenda dos governos. Mas é do incrementalismo que vem a visão de que decisões tomadas no passado constrangem decisões futuras e limitam a capacidade dos governos de adotar novas políticas públicas ou de reverter a rota das políticas atuais. O ciclo da política pública Esta tipologia vê a política pública como um ciclo deliberativo, formado por vários estágios e constituindo um processo dinâmico e de aprendizado. Figura 1: o ciclo da política pública é constituído dos seguintes estágios 11 O ciclo da política pública é constituído dos seguintes estágios: definição de agenda, identificação de alternativas, avaliação das opções, seleção das opções, implementação e avaliação. Esta abordagem enfatiza sobremodo a definição de agenda (agenda setting) e pergunta por que algumas questões entram na agenda política, enquanto outras são ignoradas. Algumas vertentes do ciclo da política pública focalizam mais os participantes do processo decisório, e outras, o pro cesso de formulação da política pública. Cada participante e cada processo pode atuar como um incentivo ou como um ponto de veto. À pergunta de como os governos definem suas agendas, são dados três tipos de respostas. A primeira focaliza os problemas, isto é, problemas entram na agenda quando assumimos que devemos fazer algo sobre eles. O reconhecimento e a definição dos problemas afeta os resultados da agenda. A segunda resposta focaliza a política propriamente dita, ou seja, como se constrói a consciência coletiva sobre a necessidade de se enfrentar um dado problema. Essa construção se daria via processo eleitoral via mudanças nos partidos que governam ou via mudanças nas ideologias (ou na forma de ver o mundo), aliados à força ou à fraqueza dos grupos de interesse. Segundo esta visão, a construção de uma consciência coletiva sobre determinado problema é fator poderoso e determinante na definição da agenda. Quando o ponto departida da política pública é dado pela política, o consenso é construído mais por barganha do que por persuasão, ao passo que, quando o ponto de partida da política pública encontra-se no problema a ser enfrentado, dá-se o processo contrário, ou seja, a persuasão é a forma para a construção do consenso. A terceira resposta focaliza os participantes, que são classificados como visíveis, ou seja, políticos, mídia, partidos, grupos de pressão, etc. e invisíveis, tais como acadêmicos e burocracia. Segundo esta perspectiva, os participantes visíveis definem a agenda e os invisíveis, as alternativas. 12 O modelo "garbage can" O modelo garbage can ou “lata de lixo” foi desenvolvido por Cohen, March e Olsen (1972), argumentando que escolhas de políticas públicas são feitas como se as alternativas estivessem em uma “lata de lixo”. Ou seja, existem vários problemas e poucas soluções. As soluções não seriam detidamente analisadas e dependeriam do leque de soluções que os decisores (policy makers) têm no momento. Segundo este modelo, as organizações são formas anárquicas que compõem um conjunto de ideias com pouca consistência. A compreensão do problema e das soluções é limitada, e as organizações operam em um sistema de tentativa e erro. Em síntese, o modelo advoga que soluções procuram por problemas. As escolhas compõem um reconhecimento de vários tipos de problemas e soluções são colocados pelos participantes (apoio político) à medida que eles aparecem. Esta abordagem foi aplicada por Kingdon (1984), combinando também elementos do ciclo da política pública, em especial a fase de definição de agenda (agenda setting), constituindo o que se classifica como outro modelo, o de multiple streams, ou múltiplas correntes em português múltiplos fluxos. Coalizão de defesa O modelo da coalizão de defesa (advocacy coalition), de Sabatier e Jenkins- Smith (1993), discorda da visão da política pública trazida pelo ciclo da política e pelo garbage can por sua escassa capacidade explicativa sobre por que mudanças ocorrem nas políticas públicas. Segundo estes autores, a política pública deveria ser concebida como um conjunto de subsistemas relativamente estáveis, que se articulam com os acontecimentos externos, os quais dão os parâmetros para os constrangimentos e os recursos de cada política pública. Contrariando o modelo do garbage can, Sabatier e Jenkins-Smith defendem que crenças, valores e ideias são importantes dimensões do processo de formulação de políticas públicas, em geral ignorados pelos modelos anteriores. Assim, cada subsistema que integra uma política pública é composto por um número de coalizões de defesa que se distinguem pelos seus valores, crenças e ideias e pelos recursos de que dispõem (BUENO, 2005). 13 Arenas sociais O modelo de arenas sociais vê a política pública como uma iniciativa dos chamados empreendedores políticos ou de políticas públicas. Isto porque, para que uma determinada circunstância ou evento se transforme em um problema, é preciso que as pessoas se convençam de que algo precisa ser feito. É quando os policy makers do governo passam a prestar atenção em algumas questões e a ignorar outras. Existiriam três principais mecanismos para chamar a atenção dos decisores e formuladores de políticas públicas: (a) divulgação de indicadores que desnudam a dimensão do problema; (b) eventos tais como desastres ou repetição continuada do mesmo problema; e (c) feedback, ou informações que mostram as falhas da política atual ou seus resultados medíocres. Esses empreendedores constituem a policy community, comunidade de especialistas, pessoas que estão dispostas a investir recursos variados esperando um retorno futuro, dado por uma política pública que favoreça suas demandas. Eles são cruciais para a sobrevivência e o sucesso de uma ideia e para colocar o problema na agenda pública. Esses empreendedores podem constituir, e em geral constituem, redes sociais. Redes envolvem contatos, vínculos e conexões que relacionam os agentes entre si e não se reduzem às propriedades dos agentes individuais. As instituições, a estrutura social e as características de indivíduos e grupos são cristalizações dos movimentos, trocas e "encontros" entre as entidades nas múltiplas e intercambiantes redes que se ligam ou que se superpõem. O foco está no conjunto de relações, vínculos e trocas entre entidades e indivíduos e não, nas suas características. Este método e referencial teórico partem do estudo de situações concretas para investigar a integração entre as estruturas presentes e as ações, estratégias, constrangimentos, identidades e valores. As redes constrangem as ações e as estratégias, mas também as constroem e reconstroem continuamente. A força deste modelo está na possibilidade de investigação dos padrões das relações entre indivíduos e grupos (MARQUES, 2000). Modelo do "equilíbrio interrompido" O modelo do "equilíbrio interrompido" (punctuated equilibium) foi elaborado por Baumgartner e Jones (1993), baseado em noções de biologia e computação. Da biologia veio a noção de "equilíbrio interrompido", isto é, a política pública se 14 caracteriza por longos períodos de estabilidade, interrompidos por períodos de instabilidade que geram mudanças nas políticas anteriores. Da computação e dos trabalhos de Simon, vem a noção de que os seres humanos têm capacidade limitada de processar informação, daí por que as questões se processam paralelamente e não, de forma serial, ou seja, uma de cada vez. Os subsistemas de uma política pública permitem ao sistema político-decisório processar as questões de forma paralela, ou seja, fazendo mudanças a partir da experiência de implementação e de avaliação, e somente em períodos de instabilidade ocorre uma mudança serial mais profunda. Este modelo, segundo os autores, permite entender por que um sistema político pode agir tanto de forma incremental, isto é, mantendo o status quo, como passar por fases de mudanças mais radicais nas políticas públicas. Fundamental ao modelo é a construção de uma imagem sobre determinada decisão ou política pública (policy image), e a mídia teria papel preponderante nessa construção. Modelos influenciados pelo "novo gerencialismo público" e pelo ajuste fiscal A partir da influência do que se convencionou chamar de "novo gerencialismo público" e da política fiscal restritiva de gasto, adotada por vários governos, novos formatos foram introduzidos nas políticas públicas, todos voltados para a busca de eficiência. Assim, a eficiência passou a ser vista como o principal objetivo de qualquer política pública, aliada à importância do fator credibilidade e à delegação das políticas públicas para instituições com "independência" política. Estes novos formatos, que guiam hoje o desenho das políticas públicas mais recentes, ainda são pouco incorporados nas pesquisas empíricas. A ênfase na eficiência nasceu da premissa de que as políticas públicas e suas instituições estavam fortemente influenciadas por visões redistributivas ou distributivas, na linguagem de Lowi, desprezando-se a questão da sua eficiência. As razões para tal reconhecimento estão na crise fiscal e ideológica do Estado, aliadas ao declínio do sonho pluralista que caracterizou a visão norte-americana sobre políticas públicas em décadas passadas. O primeiro grande ataque às possibilidades das ações coletivas e no qual decisões sobre políticas públicas podem ser situadas, veio de Olson (1965), ao afirmar que interesses comuns, os quais, em princípio, guiariam o processo decisório que afetam os indivíduos, não resultam 15 necessariamente em ação coletiva e sim em free riding, pois os interesses de poucos têm mais chances de se organizarem do que os interesses difusos de muitos. Existe, segundo Olson, um interesse público que não é a soma dosinteresses dos grupos. Assim, a "boa" política pública não poderia resultar da disputa entre grupos, mas de uma análise racional. Como consequência, embora indireta, do influente trabalho de Olson, passou-se a enfatizar a questão da eficiência/racionalidade das políticas públicas, que seria alcançada por novas políticas voltadas, por exemplo, para a desregulamentação, privatização e para reformas no sistema social, as quais, afirma- se, poderiam diminuiriam os riscos da ação coletiva. O elemento credibilidade das políticas públicas também ganhou importância, ou seja, a prevalência de regras pré-anunciadas seria mais eficiente do que o poder discricionário de políticos e burocratas, contido nas políticas públicas. O fator credibilidade passou a ser fundamental para políticas como a monetária, mas também influenciou o novo desenho das políticas públicas em várias outras áreas. A credibilidade baseia-se na existência de regras claras em contraposição à discricionariedade dos decisores públicos e burocratas, a qual levaria à inconsistência. Além do mais, a discricionariedade gera altos custos de transação. Assim, a discricionariedade, de acordo com esta visão, seria minimizada ou eliminada, delegando poder a instituições bem desenhadas e "independentes" do jogo político e fora da influência dos ciclos eleitorais. A delegação para órgãos "independentes" nacionais, mas também internacionais, passou a ser outro elemento importante no desenho das políticas públicas. Mas por que os políticos (governantes e parlamentares) abririam mão do seu poder? A resposta estaria na credibilidade desses órgãos "independentes" devido à experiência técnica de seus membros e para que as regras não fossem, aqui também, submetidas às incertezas dos ciclos eleitorais, mantendo sua continuidade e coerência. Concorrendo com a influência do "novo gerencialismo público" nas políticas públicas, existe uma tentativa, em vários países do mundo em desenvolvimento, de implementar políticas públicas de caráter participativo. Impulsionadas, por um lado, pelas propostas dos organismos multilaterais e, por outro, por mandamentos constitucionais e pelos compromissos assumidos por alguns partidos políticos, várias 16 experiências foram implementadas visando à inserção de grupos sociais e/ou de interesses na formulação e acompanhamento de políticas públicas, principalmente nas políticas sociais. No Brasil, são exemplos dessa tentativa os diversos conselhos comunitários voltados para as políticas sociais, assim como o Orçamento Participativo. Fóruns decisórios como conselhos comunitários e Orçamento Participativo seriam os equivalentes políticos da eficiência. Apesar da aceitação de várias teses do "novo gerencialismo público" e da experimentação de delegação de poder para grupos sociais comunitários e/ou que representam grupos de interesse, os governos continuam tomando decisões sobre situações-problema e desenhando políticas para enfrentá-las, mesmo que delegando parte de sua responsabilidade, principalmente a de implementação, para outras instâncias, inclusive não-governamentais. Das diversas definições e modelos sobre políticas públicas, podemos extrair e sintetizar seus elementos principais: • A política pública permite distinguir entre o que o governo pretende fazer e o que, de fato, faz. • A política pública envolve vários atores e níveis de decisão, embora seja materializada através dos governos, e não necessariamente se restringe a participantes formais, já que os informais são também importantes. • A política pública é abrangente e não se limita a leis e regras. • A política pública é uma ação intencional, com objetivos a serem alcançados. • A política pública, embora tenha impactos no curto prazo, é uma política de longo prazo. • A política pública envolve processos subsequentes após sua decisão e proposição, ou seja, implica também implementação, execução e avaliação. OS SISTEMAS DE INDICADORES DE MONITORAMENTO NO CICLO DE POLÍTICAS E PROGRAMAS A formulação de políticas configura-se como um processo que envolve a interação de muitos agentes, com diferentes interesses. É marcada por apoios 17 entusiasmados de alguns, resistências legítimas ou não de outros. Está repleta de avanços e retrocessos, com desdobramentos não necessariamente sequenciais e não plenamente antecipáveis. Contudo, na visão de Howlett & Ramesh (2003), o ciclo de políticas públicas como modelo de representação tem a grande virtude de facilitar o entendimento do processo complexo de interação de diversos agentes, nos múltiplos estágios por que passa a formulação de políticas públicas, oferecendo um marco metodológico geral para análises isoladas de cada etapa do processo ou das relações de cada uma com as demais, à frente ou à jusante. Esse modelo seria também suficientemente geral para ser aplicado no entendimento do processo na maioria dos âmbitos e contextos de formulação de políticas e programas– em nível federal, estadual, local e mesmo setorial. Jann & Wegrich (2007) acrescentam ainda que o sucesso e a “resiliência” desse modelo clássico às críticas de pesquisadores acadêmicos é que ele parece como um modelo prescritivo ideal a ser adotado, em que gestores eleitos governam com corpos burocráticos com boa capacidade de diagnóstico de problemas, com posturas ativas e inovadoras na formulação de programas, operando com racionalidade técnica na tomada de decisões, com controle efetivo das atividades na implementação dos programas públicos e objetividade na avaliação desses. Dessa forma, a presente disciplina utilizará o modelo mencionado para dar prosseguimento às explicações necessárias. A preocupação com a construção de indicadores de monitoramento da ação governamental é tão ou mais antiga que a própria avaliação de programas públicos, se forem consideradas as medidas de performance mais geral do setor público baseadas na entrega de obras e produtos e na computação de indicadores de custos de serviços, a partir da execução orçamentária. Os autores citam as iniciativas de alguns governos locais nos EUA, antes da 2ª Guerra Mundial, na elaboração de relatórios com computação regular de medidas de eficiência dos serviços públicos então oferecidos, como a construção e manutenção das ruas e rodovias, distribuição de água e recolhimento de lixo. Os produtos e 18 serviços disponibilizados pelo setor público municipal eram bastante simples e tangíveis, assim como a contabilização dos custos para sua produção. Mas é a introdução das técnicas de programação orçamentária por programas no Governo Kennedy que marcaria um momento de maior aprimoramento na medição do desempenho, expresso por indicadores de eficiência e efetividade, na esfera federal americana. Ao propor a estruturação do orçamento segundo conjunto de atividades e programas afins, agora bem mais complexos que os oferecidos pelos municípios na primeira metade do século XX, e não segundo as agências e organizações que as executavam, esperava-se conseguir apurar resultados e custos mais consistentes dos serviços públicos disponibilizados e, portanto, medidas de eficiência mais precisas. (MCDAVID; HAWTHORN, 2006). Em que pesem o fracasso na implementação do orçamento-programa – na vinculação entre recursos-produtos ao nível de programas, e o contexto de crise fiscal do estado, comentam os autores que a orientação voltada à medição dos resultados ganhou força nos anos 1970 e na década seguinte, Os governos conservadores desse período, em especial na Inglaterra, com Tatcher, e nos EUA, com Reagan, imprimem reformas no setor público, que vieram a ser conhecidas como o movimento da Nova Administração Pública, preconizando a adoção de instrumentos de controle e gestão de resultados do setor privado. Sem entrar na discussão acerca dos excessos, limitações e aspectosmeritórios de tal movimento, debate esse já empreendido no Brasil por vários autores, com muito mais competência, autoridade e espaço, do que o disponível para este texto, o legado de preocupação com a transparência e responsabilização pública criou oportunidades para aprimoramento da gestão de programas, seja para a estruturação de sistemas de indicadores de monitoramento, seja para a realização das pesquisas de avaliação. Neste tópico do texto, discute-se o primeiro desses instrumentos de gestão: os sistemas de monitoramento. O modelo idealizado de ciclo de vida‖ de políticas e programas apresentado anteriormente é uma referência conceitual interessante para ilustrar como os sistemas de indicadores de monitoramento podem ser estruturados e como as pesquisas de 19 avaliação podem ser especificadas de forma a potencializar seu emprego na gestão dos programas. A proposta básica desta seção é mostrar a importância de se dispor de indicadores relevantes e periodicamente atualizados para acompanhar as atividades e a produção de serviços dos programas, que permitam corrigir desvios, reprogramar atividades ou mesmo especificar pesquisas de avaliação para entender por que determinados processos não estão se encaminhando no sentido idealizado originalmente. As atividades de cada etapa do ciclo apoiam-se em um conjunto específico de indicadores. Na definição da agenda, os indicadores são recursos valiosos para dimensionar os problemas sociais, servindo como instrumentos de advocacy e pressão de demandas sociais não satisfeitas. Indicadores produzidos pelas instituições oficiais de estatísticas sobretudos os computados a partir de censos demográficos e pesquisas amostrais regulares prestam-se bem a esse papel, pela legitimidade que gozam perante diferentes públicos. No Brasil, o relatório, Síntese de Indicadores Sociais, publicado anualmente pelo IBGE, é uma referência importante nesse sentido, provocando grande interesse na mídia quando de sua divulgação. O Índice de Desenvolvimento Humano (IDH) computado para países, municípios, mulheres e negros é outro bom exemplo de como uma medida simples pode mobilizar os veículos de comunicação e recolocar anualmente o debate sobre desigualdade social e os impactos das políticas públicas na mídia e nas esferas de governo. Na elaboração dos diagnósticos para formulação de programas, os indicadores são imprescindíveis para qualificar os públicos-alvo, localizá-los e retratá-los de modo tão amplo e detalhado quanto possível. É preciso adequar as intervenções às características e necessidades dos demandantes dos programas. De modo geral, na elaboração de diagnósticos socioeconômicos propositivos para programas públicos empregam-se indicadores de várias áreas temáticas analíticas ou de atuação governamental. Para desenvolver programas no campo da educação básica, por exemplo, é preciso conhecer não apenas as condições de acesso à escola, a infraestrutura escolar, o desempenho dos alunos, mas também aspectos relacionados 20 às condições de vida dos estudantes, como moradia, nível de pobreza e rendimento familiar, acesso a serviços de saúde, escolaridade dos pais, fatores esses que certamente podem afetar ou potencializar as ações programáticas específicas. Indicadores construídos a partir dos censos demográficos são particularmente úteis nessa fase, pela amplitude do escopo temático investigado e pela possibilidade de desagregação territorial ou por grupos sociodemográficos específicos. Na seleção de alternativas programáticas idealizadas para atender à questão pública colocada na agenda e eleger prioridades de intervenção, é preciso dispor de indicadores que operacionalizem os critérios técnicos e políticos definidos. Indicadores sintéticos, como o já citado Índice de Desenvolvimento Humano, o Índice de Desenvolvimento da Educação Básica, o Índice da Pegada Humana (Footprint Index) ou as classificações geradas por técnicas de análise multicritério podem ser úteis para apoiar decisões nessa fase do ciclo, como discutido em Scandar et al. (2006) e Jannuzzi et al. (2009). Para acompanhar a implementação dos programas e, posteriormente, para gestão, quando eles entrarem em plena operação, são necessários indicadores que permitam acompanhar regularmente as ações programadas, do previsionamento e alocação do gasto à produção dos serviços e, idealmente, aos eventuais resultados e impactos esperados quando da idealização dos programas. São os indicadores que estruturam processos formais de monitoramento, entendido, nas palavras de Coutinho (2001, p.11) como um processo sistemático e contínuo que, produzindo informações sintéticas e em tempo eficaz, permite rápida avaliação situacional e a intervenção oportuna que confirma ou corrige as ações monitoradas. Dispostos em painéis ou em sistemas informatizados, os indicadores de monitoramento devem ser atualizados com regularidade e tempestividade adequada à tomada de decisão. Idealmente, esses indicadores devem ser específicos e sensíveis às ações programadas, a fim de se tornarem, de fato, úteis para inferir se o programa está sendo implantado conforme planejado ou para permitir as correções 21 de rumo (aspectos que só poderão ser comprovados mais precisamente por meio de pesquisas de avaliação específicas, durante ou após a implantação). Para isso, esses painéis ou sistemas de indicadores de monitoramento devem se valer dos dados continuamente atualizados nos cadastros e registros administrados pelos gestores e operadores envolvidos nos programas. Devem estar interligados aos sistemas informatizados de gestão do programa, no qual são registrados atendimentos prestados, informações dos agentes que o operam, características dos beneficiários, processos intermediários, que produzirão os efeitos idealizados pelo programa. Diferentemente do que se passa nas pesquisas de avaliação, na estruturação de sistemas de monitoramento não se prevê levantamentos primários de dados. Pode ser necessário criar rotinas de coleta de dados que operem fora dos círculos normais de produção de serviços dos programas, mas é preciso fazer esforços para aproveitar as informações geradas no âmbito de operação cotidiana dos programas. A criação de mais uma rotina para registro de informação, pelo beneficiário do programa ou pelo agente envolvido na implementação, pode implicar atrasos indesejados e, pior, declarações mal preenchidas que acabam não se prestando à sua finalidade original. Vale observar que, em geral, as informações compiladas e enviadas para atualização dos registros de acompanhamento do Plano Plurianual, no Ministério do Planejamento, Orçamento e Gestão, são somente a ponta do iceberg de dados armazenados em planilhas eletrônicas e gavetas nos escritórios da administração pública. Aliás, é curioso que, nas médias e altas gerências do setor público: prefeituras, secretarias de estados ou ministérios, reclame-se de falta de informação para gestão em meio a tanta informação continuamente produzida nas unidades de prestação de serviços públicos (escolas, postos de saúde, delegacias, centros de referência da assistência social, postos de intermediação de mão de obra, agências do INSS etc). Para superar esse paradoxo da, escassez na abundância, é preciso aprimorar os processos de gestão da informação nos escritórios em que se planejam e 22 coordenam as políticas e programas públicos. Os fluxos de informação, os processos de tratamento, validação, classificação e, naturalmente, de armazenamento precisam ser pensados de forma articulada, valendo-se de aplicativos e ferramentas de integração de dados (e não dos custosos, em planejamento, tempo é dinheiro, sistemas informatizados de 4ª, 5ª ou enésima geração propostos por consultorias experientes em automação de processos nainiciativa privada, mas pouco conhecedoras da complexidade operacional da gestão de programas públicos). É possível que algumas informações produzidas pelas agências estatísticas, no caso brasileiro, o IBGE, o Datasus, o Inep, a Secretaria de Avaliação do Ministério de Desenvolvimento Social, entre outros, possam ser úteis para a construção de indicadores de monitoramento de programas, sobretudo de natureza universal ou com público-alvo numeroso. Em geral, essas fontes proveem informações para avaliações de políticas ou para um conjunto de políticas e macro ações governamentais, mais adequadas para composição de mapas estratégicos da ação governamental, e não para os propósitos de monitoramento de programas específicos, em função da escala territorial de desagregação dos dados ou do tempo que levam para serem produzidas. Não só se poderá dispor de um escopo mais amplo de estatísticas e indicadores sociais divulgados mais regularmente ao longo do ano, como também referidos para domínios territoriais e grupos sociodemográficos bem mais diversos. Aos indicadores mensais de emprego, hoje restritos às seis principais regiões metropolitanas, somar-se-ão muitos outros indicadores educacionais, habitacionais, de rendimentos etc., divulgados em base trimestral (semestral ou anual) para todos os estados brasileiros. Mediante o emprego de métodos estatísticos avançados, usando informação combinada dessas pesquisas com outras fontes de dados, pesquisadores de centros de análise de políticas públicas e universidades poderão estimar indicadores sociais com bom grau de precisão para domínios territoriais ainda mais específicos. Um bom sistema de indicadores de monitoramento não é necessariamente composto de grande quantidade de informação, mas sim um sistema em que a 23 informação foi selecionada de diferentes fontes e está organizada de forma sintetizada e mais adequada ao uso analítico pelos diferentes gestores. Figura 2: Sistema de Indicadores de Monitoramento É preciso encontrar um ponto de equilíbrio entre o caos informacional, potencialmente gerado pela estruturação de sistemas de monitoramento construídos de baixo para cima em que participam inicialmente técnicos e gestores da base e depois de níveis táticos e mais estratégicos, e a pobreza analítica das propostas desenvolvidas de cima para baixo. Um sistema de indicadores de monitoramento não é um sistema de gestão operacional do programa, que provê acesso aos incontáveis registros diários e individuais de operação de convênios, prestação de serviços, recursos transferidos, projetos e atividades concluídas. Um sistema de monitoramento vale-se do(s) sistema(s) de gestão dos programas para buscar informações, integrá-las segundo unidades de referência comum, município, escola etc., sintetizá-las em indicadores e conferir-lhes significado analítico. Ao apresentar informações sintetizadas na forma de indicadores, que podem ser analisados no tempo, por regiões e públicos-alvo, ou que podem ser comparados com metas esperadas, os sistemas de monitoramento permitem ao gestor avaliar se 24 os diversos processos e inúmeras atividades sob sua coordenação estão se somando no sentido preconizado. Um sistema de monitoramento não é, pois, um conjunto exaustivo de medidas desarticuladas, mas uma seleção de indicadores de processos e ações mais importantes. Um sistema que não provê acesso orientado às centenas de indicadores disponíveis talvez não se preste ao propósito de monitoramento ainda que possa ser útil como base de dados para estudos avaliativos a posteriorio. Também não se presta ao monitoramento um sistema em que a informação não está organizada segundo o nível de relevância operacional-estratégica do gestor usuário. Ao gerente de processos operacionais básicos, deve estar disponível a informação essencial para o bom desempenho das atividades de seus coordenados. Ao gestor mais estratégico, devem estar disponíveis indicadores que lhe permitam acompanhar os macroprocessos segundo o modelo lógico do programa. Para um e para outro gestor, os indicadores devem ser os pertinentes à sua esfera de decisão, ajustados à referência temporal e territorial que lhes compete e interessa. As novas ferramentas de integração de dados permitem construir painéis de indicadores de forma customizada, possibilitando, inclusive, acesso a informação mais detalhada se assim o gestor o desejar. Podem-se construir painéis em camadas explicativas, isto é, organizando indicadores segundo uma estrutura nodal, em que um primeiro conjunto reduzido de indicadores estratégicos seja acompanhado de um segundo conjunto mais amplo de indicadores mais específicos, que ajudem a entender o comportamento e a evolução dos primeiros, e assim por diante. Na realidade, trata-se de um sistema de monitoramento que reúne informações sintéticas para análise de tendências gerais das atividades estratégicas e informações analíticas para entendimento mais aprofundado das tendências Chave de integração de dados: municípios, CPF, CNIS Pesquisas do IBGE Cadastros públicos Dados de execução orçamentária Registros de gestão dos programas Indicadores de recursos Indicadores de processos Registros de outros ministérios Sistema de Indicadores de Monitoramento Indicadores de resultados Indicadores de impactos Indicadores de 25 contexto Indicadores estratégicos Indicadores referentes a processos operacionais Ferramentas para análise comparativa no tempo e espaço Indicadores de eficiência qualidade observadas. A proposta de acompanhamento das metas de inclusão social nos países da Comunidade Europeia segue essa lógica de estruturação, dispondo os indicadores em três painéis articulados (ATKINSON et al., 2005), como se vê no diagrama abaixo: Figura 3: Organização de painéis de indicadores em SM&A Tal proposta de organizações vem acompanhada de algumas premissas básicas para escolha de indicadores que parece oportuno resgatar neste texto, pois podem ser úteis em outras aplicações. Vale registrar que tal escolha deveria se orientar também pela análise da aderência dos indicadores às propriedades de relevância social, validade de constructo, confiabilidade, periodicidade, sensibilidade às mudanças, especificidades das ações programadas, como discutido em Jannuzzi (2005). Figura 4: Quadro 1: premissas para escolha de indicadores de monitoramento da inclusão/exclusão social na Comunidade Europeia 26 Se o programa foi especificado segundo as boas práticas e técnicas de planejamento de projetos, deve haver um desenho lógico de encadeamento de atividades e etapas. Tal sistema deve conseguir oferecer evidências acerca da execução do gasto, da produção, eficiência e qualidade dos serviços, do consumo e usufruto por parte do público-alvo e, se possível, antecipar dimensões impactadas pelo programa. Isto é, um bom sistema de monitoramento deve prover indicadores de insumo, processo, resultado e possíveis impactos do programa. Exemplificando, tal sistema deve permitir monitorar, simultaneamente: o dispêndio realizado por algum tipo de unidade operacional prestadora de serviços ou subprojeto; o uso dos recursos humanos, financeiros e físicos; a geração de produtos e a percepção dos efeitos gerados pelos programas. Em Resende e Jannuzzi (2008), é apresentado o exemplo de Painel de Indicadores de Monitoramento do Plano de Desenvolvimento da Educação (PDE) estruturado na lógica insumo-processo- resultado-impacto. 27 AVALIAÇÃO DE POLÍTICAS PÚBLICAS Avaliar significa determinar a valia de algo, atribuir um valor (Ferreira, 1999) e outras línguas, incluindo o espanhol e o inglês, coincidem na associação de avaliação como atribuição de valor (Mokate, 2002; Garcia, 2001). No entanto, Ala-Harja e Helgason (2000) advertem,de início, que não existe consenso quanto ao que seja avaliação de políticas públicas, pois o conceito admite múltiplas definições, algumas delas contraditórias. Esse fato se explica justamente porque a área de políticas públicas é perpassada por uma variedade de disciplinas, instituições e executores, abrangendo diversas questões, necessidades e pessoas. Ala-Harja e Helgason (2000:8) definem avaliação em termos simples, afirmando que o termo compreende a avaliação dos resultados de um programa em relação aos objetivos propostos‖. Combinando contribuições de diversos autores, Garcia (2001:31) define avaliação: Avaliação é uma operação na qual é julgado o valor de uma iniciativa organizacional, a partir de um quadro referencial ou padrão comparativo previa mente definido. Pode ser considerada, também, como a operação de constatar a presença ou a quantidade de um valor desejado nos resultados de uma ação empreendida para obtê-lo, tendo como base um quadro referencial ou critérios de aceitabilidade pretendidos. O Comitê de Assistência ao Desenvolvimento da OCDE assinala que o propósito da avaliação é determinar a pertinência e alcance dos objetivos, a eficiência, efetividade, impacto e sustentabilidade do desenvolvimento. A avaliação deve proporcionar informação que seja crível e útil para permitir a incorporação da experiência adquirida no processo de tomada de decisão. A avaliação deve ser vista como um mecanismo de melhoria no processo de tomada de decisão, a fim de garantir melhores informações, sobre as quais eles possam fundamentar suas decisões e melhor prestar contas sobre as políticas públicas (Ala-Harja e Helgason, 2000). 28 Thoenig (2000) declara que o uso da avaliação é orientado para ação, assim, a prioridade dela é fornecer informação. Contudo, Mokate (2002) acautela que diversas definições, inclusive a do comitê, falham em resgatar explicitamente o conceito de valor ou de mérito, pois se centram na verificação do cumprimento de um plano e análise do atingimento de objetivos, supondo que o plano e os objetivos correspondentes têm um valor já reconhecido e aceito em si. Não obstante a grande utilidade das informações provindas da avaliação, esta é muito pouco utilizada. No caso das reformas do setor público, Thoenig (2000:55) observa que nenhuma iniciativa foi lançada para avaliar as reformas; pelo contrário, pode-se encontrar um relativo ceticismo para com a avaliação, particularmente, entre praticantes bem-informados e experientes em reforma da gestão pública, alguns até mesmo expressam uma resistência à avaliação que parece predominar no seu próprio governo. As avaliações podem ser um problema‖ para os governantes, executores e gerentes de projetos porque os resultados podem causar constrangimentos públicos. As informações e resultados das avaliações podem ser usados pelo público e pela imprensa para criticar os governos, da mesma forma que, em caso de boas notícias‖, os governos podem usá-las para legitimar as próprias políticas, como ganho político etc. Breve histórico sobre a avaliação de políticas públicas Os esforços e estudos de avaliação de políticas públicas se desenvolveram em diversas fases. De acordo com a literatura sobre o assunto, Faria (2005) afirma que existe uma diversidade de maneiras de se pensar a evolução do papel atribuído à pesquisa avaliativa, desde o boom da avaliação de políticas públicas nos Estados Unidos, principalmente após a década de 1960. Uma classificação é fornecida por Derlien (2001). Ele parte da distinção das três funções básicas atribuídas à avaliação informação, realocação e legitimação para dividir em três as fases evolutivas das pesquisas de avaliação, dos anos 1960 aos anos de 1990. Nos anos 1960, a ênfase política sobre a avaliação de políticas públicas preponderou sobre a função de informação. 29 O foco era a melhoria dos programas, e os gerentes tinham interesse em usar a avaliação como mecanismo de feedback. A função (re)alocação foi predominante nos anos 1980, durante a segunda etapa de institucionalização, a qual estava claramente destinada a promover uma alocação racional de recursos no processo orçamentário (Derlien, 2001; Ala-Harja e Helgason, 2000). Durante a década de 1990, a tônica política na avaliação de políticas passa a ser a função de legitimação. Esse deslocamento, segundo Derlien (2001) e Faria (2005), teria sido causado por fatores político-econômicos específicos, havendo também uma mudança dos atores dominantes. A influência da nova administração pública é percebida na década de 1990, quando os avaliadores se convertem em auditores que privilegiam a medição dos resultados. Assim, a avaliação é substituída (novos mercados internos surgem como avaliadores intrínsecos), complementada (a regulamentação de monopólios privatizados cria uma enorme demanda por avaliações) e aplicada a novas questões (novas ferramentas de avaliação, como os contratos) (Faria, 2005; Ala-Harja e Helgason, 2000). A partir dos anos 1990, na América Latina, ocorre um questionamento crescente sobre o tamanho e a eficiência do setor público. Daí surgiram novas iniciativas para desenhar e pôr em marcha processos de avaliação (Mokate, 2002). Para Faria (2005), nas décadas de 1980 e 1990, a avaliação das políticas públicas foi posta a serviço da reforma do setor público, entretanto, a avaliação não se circunscreve a um tipo específico de Estado ou cultura administrativa. A coprodução de serviços considera o envolvimento de atores públicos, sociais e privados no processo de formulação, produção e/ou avaliação de serviços públicos. Faria (2005:99) assinala que o desenho das reformas do setor público privilegiou dois supostos básicos: A adoção de uma perspectiva de contenção dos gastos públicos, de busca de melhoria da eficiência e da produtividade, de ampliação da flexibilidade gerencial e da capacidade de resposta dos governos, bem como de maximização da transparência da gestão pública e de responsabilização dos gestores, em um processo no qual o ―consumidor‖ dos bens e serviços públicos estaria, supostamente, em primeiro 30 plano. O segundo propósito ou expectativa é de que tais reformas pudessem contribuir para uma reavaliação da pertinência das organizações governamentais preservarem todo o seu leque tradicional de atribuições, prevalecendo um contexto de valorização do modelo de provisão privada de bens e serviços. Assim, a avaliação ganha centralidade porque se esperava que garantisse a credibilidade do processo de reforma e sustentabilidade política das diretrizes de desregulamentação e de diminuição do tamanho do governo, seja pelo deslocamento das funções e dos serviços para as esferas subnacionais, quer pela via da privatização (Ala-Harja e Helgason, 2000; Faria, 2005). Do “estado do campo” de avaliação de políticas públicas Como já descrito, a avaliação tem um papel de destaque nas reformas do setor público, assim como tem estado cada vez mais presente nos processos de análise das políticas públicas. Cabe destacar, contudo, que tal como no caso do movimento da nova administração pública, as avaliações de políticas passam atualmente por uma fase de críticas ao gerencialismo de suas concepções. Wiesner Duran (citado por Mokate, 2002:90) chama a avaliação de proxy do mercado na administração pública‖. Tal como apontado por Misoczky (2004), Faria (2005) reconhece a hegemonia inconteste da perspectiva gerencialista nas discussões sobre políticas públicas (no geral) e avaliação de políticas (em específico). De acordo com esse autor, a nova ênfase dada à avaliação de políticas públicas passa quase que despercebida (pelo menos sem interesse acadêmico equivalente) pelas áreas de sociologia e ciência política, no sentido de se abrirem novos campos de pesquisa. Por outro lado, no campoda administração pública o tema é frequente e pode ser consultado, por exemplo, em periódicos nacionais como a Revista do Serviço Público e Revista de Administração Pública. Apesar disso, a escassez de estudos pós-decisão (Faria, 2003, 2005) pode ser explicada tanto pela frágil institucionalização da área no Brasil (o que faz com que a análise de políticas públicas continue imersa nas questões analíticas tradicionalmente 31 valorizadas pela ciência política), quanto pela debilidade do campo de estudos da administração pública no país (Faria, 2003:22). Assim, une-se à crítica esposada a notória carência de estudos dedicados aos processos e às metodologias de avaliação, que é atribuída por Faria (2003) à rara utilização da avaliação, como instrumento de gestão, pelo setor público do Brasil nas três esferas de governo. Nessa linha, se a própria avaliação tem sido relegada, o papel das ideias e do conhecimento no processo das políticas públicas tem passado praticamente em branco no país (Faria, 2003). Se, como reverbera na literatura em políticas públicas, a avaliação tem o condão de aumentar a eficiência e eficácia do setor público, é relevante mencionar que a avaliação ainda não logrou um papel significativo ou estratégico dentro do trabalho de desenhar e implementar estratégias, programas ou projetos‖ (Mokate, 2002:90). Em outras palavras, apesar do reconhecimento da avaliação como importante ferramenta, ela não se converteu em um processo indispensável que tome parte do processo de gestão (Cotta, 2001; Garcia, 2001; Mokate, 2002; Faria, 2005). Conforme Ala-Harja e Helgason (2000), as avaliações são malvistas porque representam um universo de muitas promessas e poucas realizações. Para alguns setores, a avaliação corresponde a um novo modismo, gerador de burocracia e poucos resultados. Cotta (2001) reconhece que o simples fato de realizar uma avaliação não significa, automaticamente, que as informações produzidas serão utilizadas. Dessa forma, para essa autora, uma resposta à posição apresentada por Ala- Harja e Helgason (2000) é que o principal motivo pelo qual a avaliação geralmente não atende às expectativas que cria é a presunção de que as condições para o aproveitamento desse tipo de informação estão dadas. Ocorre justamente o contrário: a avaliação é uma atividade que, por suas próprias características, exige que essas condições sejam intencional e meticulosamente criadas, sob pena de comprometer todo o esforço despendido (Cotta, 2001:94). Faria (2005:102) aponta outros possíveis fatores que podem interferir na utilização dos resultados da avaliação: existência de crenças e interesses conflitantes 32 na organização que gerencia o programa; ocorrência de conflitos de interesses entre as distintas unidades do programa; mudanças no pessoal encarregado (exemplo, novatos têm prioridades diferentes daquelas vigentes no início da avaliação); eventual inflexibilidade das regras e dos padrões operacionais da organização, que pode impedir a adoção das recomendações feitas quando da avaliação; mudanças nas condições externas, tais como cortes orçamentários e alterações no ambiente político. Uma vez superados os fatores impeditivos da utilização da avaliação, Faria (2005) distingue quatro tipos de uso da avaliação: • Instrumental — depende não apenas da qualidade da avaliação, mas também da adequada divulgação de seus resultados, sua inteligibilidade e da factibilidade das recomendações propostas; • Conceitual — as descobertas da avaliação podem alterar a maneira como esses técnicos entendem a natureza, o modo de operação e o impacto do programa que implementam. Nenhuma decisão ou ação é esperada, pelo menos não imediatamente; • Instrumento de persuasão — quando a avaliação é utilizada para mobilizar o apoio para a posição que os tomadores de decisão já têm sobre as mudanças necessárias na política ou programa; • “Esclarecimento” — acarreta, pela via do acúmulo de conhecimento oriundo de diversas avaliações, impacto sobre as redes de profissionais, sobre os formadores de opinião e sobre as advocacy coalitions, bem como alterações nas crenças e na forma de ação das instituições (Faria, 2005:103), orientando a agenda governamental. Referente aos usos da avaliação, além dos diretamente envolvidos nos programas, diversos outros usuários podem se valer das descobertas da avaliação: gerentes de programas similares e/ou de diferentes níveis governamentais; agentes do governo e representantes de fundações, interessados em conhecer projetos bem- sucedidos que mereçam financiamento ou preocupados em aprimorar os programas dos quais são responsáveis; membros do Legislativo interessados na melhoria de programas existentes ou na elaboração de novas propostas; cientistas sociais e outros 33 avaliadores que buscam aprender com as descobertas e com as metodologias empregadas (Faria, 2005). Por fim, o interessado final é o público em geral ou a sociedade civil, a qual o governo deve ser accountable for. Dessa forma, os relatórios das avaliações podem servir tanto para divulgação, quanto para fomento do debate público em torno das alternativas de intervenção governamental em uma dada realidade social. Metodologia de avaliação de políticas públicas De acordo com Faria (2005), parte significativa dos estudos sobre os processos de avaliação de políticas públicas desde a década de 1960 refere-se às questões de ordem metodológica e/ou às distintas maneiras de se classificar a avaliação. Para Cotta (2001:91), a avaliação tem sido classificada, em função do seu timing (antes, durante ou depois da implementação da política ou programa), da posição do avaliador em relação ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto, insumos, processo e resultados). Sem ordem de principalidade, uma das primeiras observações remete à diferenciação entre o timing da avaliação. A avaliação antes (ex ante) sempre foi muito estimulada e induzida nos programas financiados pelos organismos multilaterais de financiamento, especialmente aqueles voltados à infraestrutura econômica e ao desenvolvimento urbano. Essas avaliações consistem em análises de custo-benefício, de custo-efetividade, das taxas de retorno econômico dos investimentos previstos (Lobo, 1998). A avaliação intermediária, também chamada de formativa, é conduzida durante a implementação de um programa como meio de se adquirir mais conhecimento quanto a um processo de aprendizagem para o qual se deseja contribuir. O objetivo é dar suporte e melhorar a gestão, a implementação e o desenvolvimento do programa. A ênfase é dada à aplicabilidade direta dos resultados (Ala-Harja e Helgason, 2000). As avaliações posteriores à implementação do programa são chamadas ex post ou somativas, e visam trabalhar com impactos e processos, portanto, estuda-se a eficácia e o julgamento do valor geral do programa. 34 A objetividade e a credibilidade dos achados são mais importantes que a aplicabilidade direta dos resultados (Lobo, 1998; Ala-Harja e Helgason, 2000). No que diz respeito à posição do avaliador ante o objeto avaliado, Arretche (1998) defende que, porque destinadas a exercer controle sobre as intervenções públicas, seja dos cidadãos sobre o governo, seja do governo sobre si mesmo, as avaliações precisam ser conduzidas por órgãos independentes. O ponto em questão é a neutralidade da avaliação. Para a autora, é muito difícil que avaliações realizadas pelas próprias equipes governamentais encarregadas da execução de uma dada política sejam críveis e isentas (embora a neutralidade absoluta seja impossível). Há uma série de incentivos para que tais avaliações concluam pelo sucesso do programa ou, pelo menos, que tendam a minimizar seus elementos de fracasso.Tais razões vão desde a manutenção dos próprios empregos até o interesse das burocracias em aumentar suas margens de poder e de gasto. Por isso, é mais difícil que tais avaliações tenham em geral valor avaliativo, ainda que possam ser bons instrumentos de pesquisa para estudos de avaliação, mais particularmente avaliações de eficácia (Arretche, 1998:3738). É impossível prevenir erros em julgamentos ou tendências na forma como o homem pensa ou age. Em vista disto, Henry (2002) defende que o ide al é tornar as decisões transparentes e identificar os participantes nas decisões e suas afiliações ideológicas. Com essas informações em mãos as tendências podem ser confrontadas. O mesmo deve valer para os resultados de avaliações que, além da transparência, devem ser amplamente disponíveis, com descrição do desenho do estudo e os processos. Henry (2002) oferece pelo menos duas razões para transparência dos processos de avaliação de políticas públicas. O primeiro motivo é o aprendizado decorrente do trabalho de outros pesquisadores, substantiva e metodologicamente. A segunda razão apontada é demonstrar mais sistematicamente os benefícios de processos específicos que podem ser usados para selecionar indicadores de sucesso, como diálogos deliberativos, negociações com os usuários ou stakeholders. 35 As avaliações podem ser discutidas em uma arena pública, onde os cidadãos têm pleno acesso às informações, à metodologia empregada e aos resultados alcançados. A avaliação torna-se, assim, um verdadeiro instrumento democrático de controle sobre a ação dos governos (Arretche, 1998). Arretche (1998) assevera que a literatura de avaliação de políticas públicas costuma distingui-la em termos de sua eficácia, eficiência e efetividade, recurso analítico destinado a separar aspectos distintos dos objetivos, da abordagem e dos métodos e técnicas de avaliação. Uma postura mais abrangente sobre a metodologia de avaliação de políticas públicas é exposta por Costa e Castanhar (2003). Os autores partem do pressuposto que se avaliação é uma forma de mensuração, de julgamento de valor, é preciso estabelecer, antes de tudo, os critérios de avaliação, e nesse ponto não há consenso sobre aspectos metodológicos e conceituais. O que existe é um autêntico emaranhado conceitual. A lista de critérios é longa e a escolha de um, ou vários deles, depende do que se deseja privilegiar na avaliação. Co Castanhar (2003:973) listam os mais comuns: eficiência, eficácia, impacto (efetividade)m fulcro no manual da Unicef, Costa e, sustentabilidade, análise custo- efetividade, satisfação do usuário, equidade. No entanto, a aplicação dos critérios depende de operacionalização para identificação e quantificação dos resultados obtidos. A operacionalização pode ser feita, segundo Costa e Castanhar (2003), por meio de indicadores. O termo indicador é derivado da palavra latina indicare, que significa tornar patente; demonstrar, revelar, denotar; expor‖ (Ferreira, 1999). Para a OCDE, um indicador deve ser compreendido como um parâmetro, ou valor derivado de parâmetros que forneçam informações sobre o estado de um fenômeno, com uma extensão significativa (van Bellen, 2005). Tendo em mente os critérios e indicadores a serem utilizados, resta fazer as comparações com o referencial, tal como aludido por Garcia (2001). Os padrões de referência para guiar a avaliação podem ser classificados em: absolutos (as metas estabelecidas são consideradas como o padrão a ser alcançado), 36 históricos (comparação dos resultados ao longo do tempo), normativos (comparação do desempenho com programas similares ou semelhantes), teóricos (estabelecidos na própria elaboração do programa, sob a hipótese da obtenção dos resultados planejados), negociados ou de compromisso (baseiam-se em algum procedimento específico para sua fixação, normalmente decorrente de consensos entre as partes envolvidas na gestão e os formuladores) (Costa e Castanhar, 2003). O desenho de um programa público pode ser sintetizado em uma sequência de definições correspondentes a graus sucessivos de agregação de objetivos. A tradição brasileira costuma organizar, segundo Costa e Castanhar (2003), de maneira hierarquizada, a sequência de compromissos de um programa público da seguinte forma: Figura 5: Sequências de definições de graus sucessivos de agregação de objetivos Atualmente maior atenção tem sido dada a uma metodologia de estruturação de políticas públicas chamada metodologia do marco lógico. Esta metodologia parte da concepção de políticas públicas como processos articulados e estabelece os recursos que configuram a política pública, seus programas e projetos, e encadeiam as etapas de um mesmo programa, desde o diagnóstico da população-alvo até a definição de critérios para intervenção (Carvalho, 2003). A ferramenta de base se estrutura em forma de uma matriz de organização: de um lado ficam os objetivos, indicadores, meios de aferição e fatores externos a influenciar os resultados do programa; de outro, a especificação dos objetivos geral e específicos, componentes e atividades (Carvalho, 2003). Outra forma de se estruturar a matriz lógica é dada por Costa e Castanhar (2003): começa-se pela identificação dos objetivos gerais e específicos do programa e dos indicadores pelos quais o programa será avaliado, assim como a identificação das fontes de dados que serão usadas para as mensurações, comparações e análises. Num segundo momento volta-se para a identificação dos recursos (financeiros, humanos, infraestrutura) alocados ao programa, as atividades previstas, PROPÓSITO OBJETIVO META ATIVIDADE 37 os resultados esperados e as relações causais que a teoria por trás do programa pressupõe que podem ser atingidas. Um exemplo de modelo lógico, para primeira etapa descrita por esses autores, relacionando objetivo do projeto, variáveis operacionais, indicadores, informação necessária e forma de obtenção dos dados são apresentadas na Figura 6, da tabela 1. Figura 6: Tabela 1 - Exemplo parcial da primeira etapa do modelo lógico A identificação de recursos do programa, as atividades e os resultados esperados (imediatos, médio e longo prazos) pode ser visualizada no exemplo da Figura 7 da Tabela 2. 38 Figura 7: Tabela 2 - Exemplo da segunda etapa do modelo lógico em projetos de agricultura irrigada fatores contextuais Os fatores contextuais dizem respeito aos aspectos que estão fora do controle da equipe de planejamento e gestão do programa, porém podem exercer impacto positivo ou negativo sobre os resultados, tais como: • Características empreendedoras dos beneficiários, • Perfis de gerentes envolvidos na execução do projeto, • Características e atuação dos líderes comunitários. 39 Conforme Carvalho (2003:193), a metodologia do marco lógico se destaca pela clareza na distinção dos conceitos de avaliação e das atividades necessárias para seu desenvolvimento, bem como na proposição de dimensões para avaliação, possibilitando resultados analíticos baseados em uma interpretação integrada do comportamento dos agentes, das atribuições das instâncias de implementação e da interação com as populações potencial e beneficiária‖. Diante dos diversos objetivos de uma avaliação de política pública, podem-se distinguir três modalidades de avaliação: avaliação de metas, avaliação de processos e avaliação de impacto (Garcia, 2001; Carvalho, 2003; Costa e Castanhar, 2003). A avaliação de metas tem como propósito mensurar o grau de êxito que um programa alcança. As metas de um programa são os resultados mais imediatos que dele decorrem (número de pessoas atendidas em centros de saúde, número de horas de aula, número de leitos hospitalares). Trata-se, pois, de uma avaliação ex post facto,