Baixe o app para aproveitar ainda mais
Prévia do material em texto
ANÁLISE E AVALIAÇÃO DE POLÍTICAS PÚBLICAS: ASPECTOS CONCEITUAIS Autores Maurício Corrêa da Silva Doutor em Ciências Contábeis (UnB/UFPB/UFRN – 2014/2016). Mestre em Ciências Contábeis (UnB/UFPB/UFRN/UFPE – 2004/2005). Professor Adjunto do Departamento de Ciências Contábeis da UFRN. E-mail: prof.mauriciocsilva@gmail.com Romildo de Araújo da Silva Mestre em Ciências Contábeis. Analista de Finanças e Controle Externo do Tribunal de Contas do Distrito Federal (TCDF). Professor do Centro Universitário de Brasília (UniCEUB). E-mail: romildoaraujo1@gmail.com José Dionísio Gomes da Silva Doutor em Controladoria e Contabilidade (FEA-USP). Professor Titular do Departamento de Ciências Contábeis da UFRN. E-mail: dionisio@ufrnet.br RESUMO Análise e avaliação aparecem como sinônimos nos dicionários e de modo geral, também, são abordados de forma semelhante nas divulgações acadêmicas. Esta investigação tem o objetivo central de abordar aspectos conceituais sobre análise e avaliação de políticas públicas a partir de uma literatura selecionada. Como objetivos específicos: 1) identificar os critérios da avaliação de políticas públicas; 2) conceituar índices e indicadores sociais; 3) entender o processo de avaliação de políticas públicas; 4) destacar contribuições acadêmicas sobre avaliação de políticas públicas. O estudo foi realizado através das pesquisas bibliográfica e qualitativa, utilizando o método da análise de conteúdo. Foi observado que o termo análise de políticas públicas trata do processo de elaboração. Seu estudo requer um olhar explicativo detalhado. As avaliações de políticas públicas representam uma das fases do processo de elaboração das políticas públicas e ocorrem de forma sintética, ou seja, são utilizados indicadores como artifícios (proxies) para operacionalizar os critérios de avaliação. Palavras-chave: Análise de Políticas Públicas; Avaliação de Políticas Públicas. 1 INTRODUÇÃO Análise e avaliação aparecem como sinônimos nos dicionários e de modo geral, também, são abordados de forma semelhante nas divulgações acadêmicas (teses, dissertações, artigos etc.): análise e/ou avaliação dos gastos públicos com saúde, educação, saneamento etc. Contudo, quando se trata do processo de políticas públicas são necessárias cuidados com os conceitos. Para Souza (2006), Melazzo (2010), Dias e Matos (2012) e Secchi (2013), o próprio conceito de políticas públicas ainda não apresenta consenso. Para Souza (2006), não existe uma única, nem melhor, definição sobre o que seja política pública. Pode- se resumir política pública como o campo do conhecimento que busca, ao mesmo tempo, “colocar o governo em ação” e/ou analisar essa ação e, quando necessário, propor mudanças no rumo ou curso dessas ações (SOUZA, 2006). O conceito de políticas públicas não está isento de controvérsias que revelam visões de mundo diferenciadas e, em alguns casos, opostas. A política pública pode ser compreendida como um campo de investigação que nasce da ciência política, como seriam as investigações em torno do estudo de governos, administração pública, relações internacionais e comportamento político (MELAZZO, 2010). Dias e Matos (2012) esclarecem que de forma sucinta as políticas públicas tratam da gestão dos problemas e das demandas coletivas através da utilização de metodologias que identificam as prioridades, racionalizando a aplicação de investimentos e utilizando o planejamento como forma de se atingir os objetivos e metas predefinidos. Segundo Secchi (2013), qualquer definição de política pública é arbitrária. O autor afirma que política pública é um conceito abstrato que se materializa por meio de instrumentos variados (projetos, leis, campanhas publicitárias, esclarecimentos públicos, decisões judiciais, gasto público direto, contratos formais) e que a forma mais didática de esclarecer um conceito é utilizar exemplos. Assim, são exemplos de operacionalizações de políticas públicas nas diversas áreas de intervenção: saúde; educação; segurança, gestão; meio ambiente; saneamento; habitação; previdência social etc. (SECCHI, 2013). O processo de elaboração de políticas públicas também não apresenta consenso quanto ao número de fases, etapas ou o seu ciclo, consoante as alegações de Viana (1996), Dias e Matos (2012) e Secchi (2013). 1435 Boletim Governet de Administração Pública e Gestão Municipal - nº 61 – outubro/2016 – p. 1434-1444 - ISSN 2237-8006 – volume único. Viana (1996) argumenta que são as seguintes fases: 1) construção da agenda (elaboração da agenda; especificação de alternativas; escolha de uma alternativa pelo Presidente, Legislativo ou autoridade competente e implementação da decisão); 2) formulação de políticas (três subfases: primeira, quando uma massa de dados se transforma em informações relevantes; segunda, quando valores, ideais, princípios e ideologias se combinam com informações factuais para produzir conhecimento sobre ação orientada; e última, quando o conhecimento empírico e normativo é transformado em ações públicas, aqui e agora); 3) implementação de políticas (definição do problema quanto aos seus aspectos normativos e causais; decomposição do problema em suas partes constitutivas; demonstração de que é possível tratar partes do problema e identificação de soluções alternativas; estimativas brutas; e definição das estratégias de implementação); 4) avaliação de políticas (avaliação de impacto - mede a efetividade da política; avaliação da estratégia de implementação - qual foi mais produtiva; monitoramento - mede a eficiência gerencial e operacional). Segundo Dias e Matos (2012) não há um consenso sobre o número de fases ou estágios. Em pesquisa realizada com quatorze autores, as fases variam entre quatro etapas básicas, chegando a setes fases ou estágios. As fases mais abordadas foram: identificação de um problema; formulação de soluções; tomada de decisões; implementação e avaliação. Já Secchi (2013) esclarece que o ciclo das políticas públicas apresenta as seguintes fases: 1) identificação do problema (discrepância entre o status quo e uma situação ideal possível); 2) formação da agenda (conjunto de problemas ou temas entendidos como relevantes); 3) formulação de alternativas (momento em que são elaborados os métodos, programas, estratégias ou ações que poderão alcançar os objetivos estabelecidos); 4) tomada de decisão (momento em que os interesses dos atores são equacionados e as intenções de enfrentamento de um problema público são explicitadas); 5) implementação (momento em que regras, rotinas e processos sociais são convertidos de intenções em ações); 6) avaliação (processo de julgamentos deliberados sobre a validade de propostas para a ação pública); 7) extinção (quando as políticas públicas morrem, continuam vivas ou são substituídas por outras). Pode-se observar nas argumentações de Viana (1996), Matos e Dias (2012) e Secchi (2013) que a avaliação constitui uma das fases (etapas) das políticas públicas e a análise de política pública, de acordo com Serafim e Dias (2012), constitui um conjunto de elementos que possibilita um rico olhar explicativo normativo sobre o processo de elaboração de políticas públicas. Diante do exposto, surge o seguinte problema de pesquisa: Que aspectos conceituais devem ser abordados sobre análise e avaliação de políticas públicas? Assim, esta investigação tem o objetivo central de abordar aspectos conceituais sobre análise e avaliação de políticas públicas a partir de uma literatura selecionada. Para atender ao objetivo central, têm-se os seguintes objetivos específicos: 1) identificar os critérios da avaliação de políticas públicas; 2) conceituar índices e indicadores sociais; 3) entender o processo de avaliação de políticas públicas; 4) destacar contribuições acadêmicas sobre avaliação de políticas públicas. A relevância do estudo está na busca de contribuircom os esclarecimentos sobre políticas públicas. Os resultados das ações governamentais afetam diretamente a sociedade e os cidadãos (contribuintes) têm o direito de exercerem o controle social: participação da sociedade civil nos processos de planejamento, acompanhamento, monitoramento e avaliação das ações da gestão pública e na execução dos programas e políticas públicas. As pesquisas avaliativas realizadas pela academia podem contribuir no processo de avaliação de resultados de ações governamentais. Para atingir os objetivos propostos, este artigo está dividido em cinco seções. Após esta introdução, a seção dois traz a revisão da literatura. A seção seguinte, os procedimentos metodológicos. A quarta seção mostra contribuições acadêmicas sobre avaliações de políticas públicas. A quinta seção trata das discussões e considerações finais. 2 REVISÃO DA LITERATURA 2.1 Políticas públicas O termo “política”, no inglês, “politics”, faz referência às atividades políticas: o uso de procedimentos diversos que expressam relações de poder (ou seja, visam a influenciar o comportamento das pessoas) e se destinam a alcançar ou produzir uma solução pacífica de conflitos relacionados com as decisões públicas (RUA, 2009). As políticas públicas para Guba e Lincoln (2011), são as ações realizadas, predominantemente e direta ou indiretamente pelo Estado para atender a demanda dos diferentes grupos sociais, seja beneficiando alguns ou prejudicando outros. Dias e Matos (2012) argumentam que o conceito de política pública pressupõe que há uma área ou domínio da vida que não é privada ou somente individual, mas que existe em comum com outros. Essa dimensão comum é denominada propriedade pública, não pertence a ninguém em particular e é controlada pelo governo para propósitos públicos. 1436 Boletim Governet de Administração Pública e Gestão Municipal - nº 61 – outubro/2016 – p. 1434-1444 - ISSN 2237-8006 – volume único. Os destinatários das políticas públicas são os indivíduos, grupos e organizações para os quais a política pública foi elaborada. Também conhecidos como policytakers, os destinatários geralmente são rotulados como uma categoria passiva de atores, ou seja, uma categoria que mais recebe influência do que provoca no processo de elaboração de políticas públicas (SECCHI, 2013). A formulação de políticas públicas constitui-se no momento em que os governos democráticos traduzem seus propósitos e plataformas eleitorais em programas e ações que produzirão resultados ou mudanças no mundo real (SOUZA, 2006). Segundo Lima (2012), as políticas públicas representam um conjunto de decisões e não uma decisão isolada e que existem dois nomes para as mesmas: política pública estatal para as políticas cujo ator protagonista seja o Estado e a política privada de interesse público para as políticas, cujo ator protagonista não seja o estado, mas tenham o objetivo de enfrentar um problema da sociedade. As políticas públicas governamentais representam o conjunto organizado de ações e decisões governamentais, voltadas, em grande parte das vezes, para a solução de problemas da sociedade. 2.2 Análise de políticas públicas O estudo de Rua (2009) indica que a análise de política pode ter por objetivo tanto melhorar o entendimento acerca da política e do processo político, como apresentar propostas para o aperfeiçoamento das políticas públicas. De acordo com Souza (2009), existem diferenças entre avaliação de políticas públicas e análises de políticas públicas. As análises são estudos das causas e consequências das atividades do governo e avaliações se referem ao impacto ou o processo. Para Labra (1999), a análise da política pública é um campo complexo, dinâmico e mutante, exigindo do estudioso um cabedal de conhecimentos teóricos e de dados empíricos suficientes para que possa entender e explicar o que fazem os governos, como e por que o fazem. Esse tema, que está no âmago da ciência política e da análise das políticas, tem a ver com a capacidade do sistema político para tomar decisões que resolvam os inúmeros e contraditórios problemas colocados pela sociedade. Grisa (2010) esclarece que a análise de políticas públicas começou a receber o status de área do conhecimento e disciplina acadêmica nos Estados Unidos da América (EUA), a partir da segunda metade do século XX, sob o rótulo de “policy science”. A autora continua esclarecendo que a análise de políticas públicas envolve um complexo conjunto de elementos articulados, o que significa que, embora a ênfase em uma dimensão, as outras não devem ser ignoradas. No Brasil, segundo Souza (2009), os trabalhos iniciais mais importantes da análise de políticas públicas situam-se, no geral, no fim da década de 1970 e começo dos anos de 1980, vinculados principalmente aos grupos acadêmicos do eixo Minas Gerais - Rio de Janeiro. Contudo, o referido autor esclarece que as iniciativas individuais ou de grupos, as instituições, os temas, as trajetórias e os caminhos da análise de políticas no Brasil vão mostrar-se bastante diversificados. 2.3 Avaliação de políticas públicas A avaliação da política pública é a fase em que o processo de implementação e o desempenho da política pública são examinados com o intuito de conhecer melhor o estado da política e o nível de redução do problema que gerou. É o momento-chave para a produção de feedback sobre as fases antecedentes. A avaliação compreende a definição de critérios, indicadores e padrões (performances standards). O ciclo de política pública tem um fim no momento da sua morte ou extinção. Entretanto, algumas políticas públicas continuam vivas ou são substituídas por outras. As políticas do tipo redistributivo (por exemplo: décimo terceiro salário) são difíceis de serem extintas, como também as políticas do tipo distributivo (SECCHI, 2013). A avaliação de políticas públicas foi posta a serviço da chamada reforma do Estado nas décadas de 1980 e 1990. Contudo, há uma diversidade de maneiras de se pensar a evolução do papel atribuído à pesquisa avaliativa desde o início do boom da avaliação de políticas e programas públicos, ocorrido nos Estados Unidos na década de 1960 (FARIA, 2005). Cohen e Franco (2012) esclarecem que são estreitas as relações existentes entre avaliação e a pesquisa social, já que aquela supõe a utilização do conjunto de modelos, instrumentos e técnicas que constituem a chamada metodologia da pesquisa em ciências sociais. As pesquisas de avaliação de políticas públicas se enquadram em dois tipos básicos: a avaliação de processos e a avaliação de impactos. A primeira refere-se à aferição da eficácia: se o programa está sendo (ou foi) implementado de acordo com as diretrizes concebidas para a sua execução e o seu produto atingirá (ou atingiu) as metas desejadas. A segunda diz respeito aos efeitos do programa sobre a população alvo (FIGUEIREDO; FIGUEIREDO, 1986). 1437 Boletim Governet de Administração Pública e Gestão Municipal - nº 61 – outubro/2016 – p. 1434-1444 - ISSN 2237-8006 – volume único. Não há consenso quanto ao que seja avaliação. Ala-Harja e Helgason (2000) esclarecem que o conceito de avaliação admite múltiplas definições e variedades de disciplinas (economia, formulação de políticas e procedimentos administrativos, sociologia etc.) e clientes abrangidos no universo das avaliações. Para Cotta (2001), a avaliação é, por definição, pesquisa social aplicada: busca um equilíbrio entre o rigor metodológico e técnico de uma investigação social e o pragmatismo e flexibilidade necessários a um instrumento de apoio ao processo decisório. Avaliar significa formar um juízo de valor com base na comparação entre uma situação empírica e uma situação ideal. Segundo Thoenig (2000), a avaliação pode ser definida como um meio de aperfeiçoar a capacidade de aprender como conduzir mudanças bem-sucedidas e definir resultados alcançáveis noscampos da eficiência e eficácia públicas. Já Guba e Lincoln (2011) argumentam que não existe nenhuma forma correta de definir avaliação, pois, se fosse possível encontrar esse sentido, isso poria fim, de uma vez por todas à discussão acerca de como a avaliação deve ser conduzida e sobre quais são seus propósitos. A avaliação, tal como a democracia, é um processo que, em sua melhor forma, depende da utilização sábia e bem informada dos interesses pessoais. Quanto aos critérios de avaliação, Costa e Castanhar (2003) esclarecem que são medidas para a aferição do resultado obtido. Um dos critérios utilizados na avaliação dos resultados da gestão orçamentária, financeira e patrimonial das entidades públicas, determinado pela Constituição Federal de 1988 (BRASIL, 1988) é a eficiência (princípio). Caiden e Caiden (2001) e Costa e Castanhar (2003) esclarecem que os critérios mais comuns de avaliação são: eficiência; eficácia; impacto (ou efetividade); sustentabilidade; análise custo-efetividade; satisfação do beneficiário; equidade; insumos (inputs); carga de trabalho (workload); resultados (outputs); custos (costs) e qualidade e oportunidade dos serviços (service quality and timeliness). Secchi (2013) relaciona como os principais critérios: economicidade; produtividade; eficiência econômica; eficiência administrativa; eficácia e equidade. Arretche (2009) argumenta que a literatura de avaliação de políticas públicas costuma distingui-las em termos de sua efetividade, eficácia e eficiência, distinção esta que é basicamente um recurso analítico destinado a separar aspectos distintos dos objetivos e por consequência, da abordagem e dos métodos e técnicas de avaliação. Na avaliação de políticas públicas, Secchi (2013) esclarece que os indicadores são utilizados para operacionalizar os critérios de avaliação e funcionam como artifícios (proxies) que podem ser criados para medir input, output e outcome. Os indicadores de input (entradas do sistema) são relacionados a gastos financeiros, recursos humanos empregados ou recursos materiais utilizados. Indicadores de output são relacionados à produtividade de serviços/produtos, como a quantidade de buracos tapados nas estradas, quantidade de lixo coletado etc. Indicadores de outcome (resultados) são relacionados aos efeitos da política pública sobre os policytakers (cidadãos) e à capacidade de resolução ou mitigação do problema para o qual havia sito elaborado. Indicadores de resultados são operacionalizados por meio de médias ou percentuais de satisfação dos usuários/cidadãos, qualidade dos serviços, acessibilidade da política pública, número de reclamações recebidas, receitas geradas pela prestação de serviços etc. Os indicadores de input medem esforços e os indicadores de output e outcome medem realizações (SECCHI, 2013). De acordo com Siche et al. (2007), pode-se conceituar índice como sendo um dado mais apurado que provém da agregação de um jogo de indicadores ou variáveis e que pode interpretar a realidade de um sistema e indicador normalmente é utilizado como um pré-tratamento aos dados originais. Para Santagada (2007), os termos são utilizados com o mesmo significado, quando tratam de fornecer elementos para a elaboração e o acompanhamento do planejamento social (indicadores sintéticos ou índices sociais). Para a Fundação para o Prêmio Nacional da Qualidade (FPNQ), um indicador de desempenho é uma relação matemática que mede, numericamente, atributos de um processo ou de seus resultados, com o objetivo de comparar esta medida com metas numéricas pré-estabelecidas (FPNQ, 1994). O termo indicadores sociais surgiu no início da década de 1960 no contexto da corrida espacial norte- americana (LAND, 1983). Em termos acadêmicos, Land, Michalos e Sirgy (2012) esclarecem que Ogburn e seus colaboradores na Universidade de Chicago tiveram um papel fundamental no desenvolvimento da pesquisa com indicadores sociais na década de 1960 e 1970. De acordo com Jannuzzi (2002), os indicadores sociais se prestam a subsidiar as atividades de planejamento público e formulação de políticas sociais nas diferentes esferas de governo, possibilitam o monitoramento, por parte do poder público e da sociedade civil, das condições de vida e bem-estar da população e permitem o aprofundamento da investigação acadêmica sobre a mudança social e os determinantes dos diferentes fenômenos sociais. Para a pesquisa acadêmica, o indicador social é, pois, o elo entre os modelos explicativos da teoria social e a evidência empírica dos fenômenos sociais observados. As propriedades de um indicador para seu emprego na pesquisa acadêmica ou na formulação e avaliação de políticas públicas, deve: 1) ter um grau de cobertura populacional adequado aos propósitos a que se 1438 Boletim Governet de Administração Pública e Gestão Municipal - nº 61 – outubro/2016 – p. 1434-1444 - ISSN 2237-8006 – volume único. presta; 2) ser sensível a políticas públicas implementadas; 3) ser específico a efeitos de programas setoriais; 4) ser inteligível para os agentes e públicos-alvo das políticas; 5) ser atualizável periodicamente, a custos razoáveis; 6) ser amplamente desagregável em termos geográficos, sociodemográficos e socioeconômicos; e 7) gozar de certa historicidade para possibilitar comparações no tempo (JANNUZZI, 2002). Guimarães e Jannuzzi (2005) argumentam que por mais rigorosas e criteriosas que aparentem serem as metodologias e práticas estatísticas utilizadas na construção de um tipo de índice composto, como no caso do Índice de Desenvolvimento Humano (IDH), suas hipóteses são muito mais arbitrárias. A operação de sintetização de indicadores sociais em um único índice é raramente apoiada em alguma teoria ou marco metodológico consistente. Silva, Silva e Borges (2015) esclarecem os procedimentos necessários para elaborar índices de desempenho no setor público com a utilização da Análise de Componentes Principais (ACP), além de identificarem os requisitos da pesquisa avaliativa no setor público, bem como demonstram a partir de um exemplo prático como elaborar índices de desempenho no setor público. Destaque-se, também, o estudo de Brunet, Bertê e Borges (2007), que estabeleceram um índice de qualidade do gasto público (IQGP), a fim de avaliar o retorno obtido pela população, a partir do quociente entre o índice de bem-estar e o índice de insumo, o primeiro constituído pela ponderação dos indicadores sociais e o segundo, pela quantidade de recursos financeiros alocados nas funções dos orçamentos selecionadas. 3 PROCEDIMENTOS METODOLÓGICOS O presente estudo foi realizado através das pesquisas bibliográfica e qualitativa, utilizando o método da análise de conteúdo. De acordo com Rodrigues (2006), a pesquisa bibliográfica é realizada a partir de fontes secundárias: artigos, dissertações e teses etc. A pesquisa descritiva estuda as relações entre as variáveis de um determinado fenômeno (RODRIGUES, 2006). A análise de conteúdo é um método que pode ser aplicado na investigação qualitativa para verificar a presença ou a ausência de uma dada característica de conteúdo ou de um conjunto de características num determinado fragmento de mensagem que é levado em consideração (SILVA; GOBBI; SIMÃO, 2005). 4 CONTRIBUIÇÕES ACADÊMICAS SOBRE AVALIAÇÕES DE POLÍTICAS PÚBLCAS O Quadro 1 apresenta nove contribuições acadêmicas sobre o tema avaliação de políticas públicas. Autor Tipo de Comunicação Programa/área de conhecimento Tema Nobre (2010) Tese Saúde Pública Prestação de contas de gestão municipal de saúde. Melo (2010) Tese Ciência Política Corrupção e políticas públicas Diniz (2012) Tese Ciências Contábeis Transferências intergovernamentais para a educação fundamental. Borges (2007) Dissertação Administração Construção de índice de desenvolvimento local para o município de São José do Rio Preto Silva (2009) Dissertação EconomiaFinanças públicas antes e depois da Lei de Responsabilidade Fiscal - LRF. Anjos (2010) Dissertação Administração Investimento em saúde e desenvolvimento dos estados brasileiros. Valdevino et al. (2010) Artigo Saúde Pública Relação de endemias e serviços de saneamento básico. Silva, Silva e Borges (2015) Artigo Contabilidade Pública Avaliação da execução orçamentária por funções de governo em municípios com a utilização de índices de desempenho. Cardoso e Ribeiro (2015) Artigo Economia Pública Elaboração de índice relativo de qualidade de vida para os municípios de Minas Gerais. A seguir uma síntese das comunicações acadêmicas constantes do Quadro 1. Nobre (2010) utilizou a técnica da entrevista com os gestores municipais (Estado do Ceará) que tiveram suas contas julgadas com irregularidades na aplicação de recursos na área da saúde para verificar as causas das desaprovações das contas pelo Tribunal de Contas dos Municípios do Estado do Ceará. Os resultados apontaram: 1439 Boletim Governet de Administração Pública e Gestão Municipal - nº 61 – outubro/2016 – p. 1434-1444 - ISSN 2237-8006 – volume único. desconhecimento sobre os processos licitatórios; excesso de atividades; sobrecarga de trabalho do gestor de saúde; falta de integração entre os setores e ingerência alheia no setor. Melo (2010) mensurou a corrupção na área da educação com a utilização da regressão do modelo Tobit. As variáveis utilizadas foram: professor com 3º grau; fracasso do ano anterior; moradia precária; saneamento básico; taxa de trabalho infantil; taxa de aprovação; taxa de reprovação; taxa de abandono escolar; IDEB; nota de matemática; nota de português. Os resultados do modelo indicaram relação estatisticamente significativa com maior corrupção relacionados a menor aprovação e maior taxa de alunos abandonando a escola, baixas notas de proficiência em matemática e português e notas inferiores no IDEB. Diniz (2012) com base nos recursos transferidos pelo Fundo de Manutenção e Desenvolvimento da Educação Básica (FUNDEB) e o Fundo Nacional de Desenvolvimento da Educação (FNDE), utilizou a regressão para verificar se afetam positivamente ou não a eficiência dos gastos públicos no ensino fundamental. Como resultados da tese foi verificado que as transferências afetam negativamente a eficiência dos gastos públicos no ensino fundamental. Borges (2007) utilizou a técnica da Análise de Agrupamentos (clusters) para avaliar o desenvolvimento local do município de São José do Rio Preto com base nos impactos gerados pelo Programa dos Minidistritos Industriais e de Serviços. A autora argumenta que o conceito de desenvolvimento ainda é questionado e neste sentido definiu como variáveis do estudo: renda dos chefes de família; rendimento das mulheres; nível de escolaridade; densidade habitacional; abastecimento de água; coleta de lixão; esgoto. Os resultados da dissertação classificaram os setores em quatro agrupamentos (clusters 1 a 4) e apontaram as suas diferenças: os setores onde são localizados os minidistritos são os mais carentes de renda e educação e possuem maior aglomeração populacional. Silva (2009) utilizou o modelo linear simples para dados em painel para avaliar a situação das finanças antes (período de 1997 até 2000) e depois (2001 até 2005) da LRF dos municípios do Estado do Rio Grande do Norte com base em variáveis fiscais (receitas e despesas). Os resultados empíricos demonstram que a LRF trouxe melhores condições às finanças públicas municipais potiguares, além da garantia de tendências estabilizadoras e sustentáveis a longo prazo. Anjos (2010) avaliou a relação entre investimento em saúde e desenvolvimento dos Estados Brasileiros medido pelo Índice de Desenvolvimento Humano (IDH) com a utilização da tecnologia de produção denominada de FDH (Free Disposal Hull – Fronteira com livre descarte de recursos). Os resultados da dissertação permitiram considerações sobre a eficiência em alocação de recursos nos diferentes ativos de saúde e indicaram que os Estados do Amapá, Distrito Federal, Paraná, Santa Catarina, Mato Grosso do Sul, Mato Grosso e Rondônia foram eficientes nas abordagens estudadas. Já os Estados de São Paulo, Rio Grande do Sul, Goiás, Amazonas, Espírito Santo e Maranhão foram ineficientes. Os Estados de Minas Gerais, Rio de Janeiro, Pará, Tocantins, Piauí, Ceará, Alagoas e Roraima apresentaram ineficiência em duas das oito abordagens. Os Estados do Rio Grande do Norte, Pernambuco, Sergipe e Acre foram ineficientes em três das oito abordagens. O Estado da Bahia e da Paraíba foram ineficientes em quatro abordagens. As abordagens estudadas foram: indicadores demográficos; mortalidade; socioeconômicos; morbidade; fatores de risco; recurso; saneamento e cobertura. Valdevino et al. (2010) avaliaram a eficiência dos municípios do Estado de Tocantins no combate a determinadas endemias a partir dos serviços de saneamento básico com a utilização da técnica da Análise Envoltória de Dados (DEA). As variáveis utilizadas foram: ligações totais (ativas e inativas) de água; volume de água produzido; despesa com produtos químicos; investimentos com recursos próprios de prestação de serviços; doenças causadas pela ingestão de água contaminada; doenças causadas pelo contato com água contaminada; doenças transmitidas por insetos que se desenvolve na água (dengue e malária). Os resultados obtidos apontaram para uma realidade caracterizada pela precariedade dos serviços de saneamento básico. Os municípios de Arrais, Paranã, Palmeirante, Bernardo Sayão, Maurilândia do Tocantins, Sandolândia, Rio da Conceição, São Bento do Tocantins e Piraquê foram considerados eficientes nas condições avaliadas. Silva, Silva e Borges (2015) construíram índices de desempenho dos 50 municípios mais populosos no ano de 2012 com base de alocação de recursos financeiros (inputs): índice de desempenho de funções administrativas (legislativa; judiciária; administração etc.); de funções sociais (assistência social; previdência social; saúde; educação; cultura etc.) e de funções de infraestrutura (urbanismo; habitação; saneamento; indústria etc.). Foi utilizada a técnica da Análise de Componentes Principais (ACP). Os resultados apontaram que o município de Campos dos Goytacazes (RJ) teve o melhor desempenho nas funções administrativas e infraestrutura e o município de São Bernardo do Campo (SP) nas funções sociais. Cardoso e Ribeiro (2015) construíram o Índice Relativo de Qualidade de Vida (IRQV) de municípios do Estado de Minas Gerais com a técnica da Análise Fatorial (AF). Utilizaram as seguintes variáveis: atendimento à saúde (esperança de vida ao nascer; percentual de óbitos etc.); renda (renda per capita; empregados do setor formal etc.); educação (taxa de atendimento escolar de crianças e adolescentes; percentual da população de 25 anos ou mais com curso superior etc.); habitação e acesso a bens e serviços; segurança pública; vulnerabilidade (razão entre a renda média dos 20% mais ricos e os 40% mais pobres; percentual de extremamente pobres etc.); cultura, esporte e lazer. Os resultados indicaram o município de Belo Horizonte como o mais desenvolvido 1440 Boletim Governet de Administração Pública e Gestão Municipal - nº 61 – outubro/2016 – p. 1434-1444 - ISSN 2237-8006 – volume único. relativamente aos demais, e no extremo oposto o município de São João das Missões. O trabalho ainda sugere a divisão do estado mineiro segundo aspectos socioeconômicos em Norte (menos desenvolvido) e Sul (mais desenvolvido). 5 DISCUSSÕES E CONSIDERAÇÕES FINAIS O tema “Políticas Públicas” não apresenta ainda um consenso na literatura sobre o conceito ou definição, por este ser ainda um campo recente da ciência política. Uma política pública pode ser elaborada pelo Estado ou por instituições privadas, desde que se refiram a “coisa pública” e podem beneficiar quantoprejudicar parte da sociedade. As políticas públicas vão além das políticas governamentais, se considerarmos que o governo não é a única instituição a promover políticas públicas e, nesse caso, o que define uma política pública é o “problema público”. Os conhecimentos produzidos na área de políticas públicas vêm sendo largamente utilizado por pesquisadores, políticos e administradores que lidam com problemas públicos em diversos setores de intervenção e nas mais diferentes áreas: ciência política, sociologia, economia, administração pública, contabilidade pública, direito, saúde pública etc. O tema é multidisciplinar. O universo das políticas públicas inclui inúmeras variáveis ideológico partidárias, institucionais e econômicas: problema; agenda; alternativas; propostas; decisões; interesses; conflitos; dados; estimativas; análises de custo-benefício; custo-eficiência e de risco; sustentação do crescimento econômico; restrições orçamentárias; agenda de fortalecimento do empreendedorismo; grau de investimento local; atuação de lobbies; atração de capital externo e exploração de parcerias; limites discricionários de gastos; limites constitucionais de gastos; qualificação de mão de obra e políticas de remuneração e por resultados; políticas de admissão e treinamento de pessoal; custos de proteção ambiental etc. No caso das políticas públicas governamentais, as soluções dos problemas públicos passam obrigatoriamente e legalmente pelos instrumentos de planejamento do setor público: Plano Plurianual (PPA); Lei de Diretrizes Orçamentárias (LDO) e Lei Orçamentária Anual (LOA). As variáveis do universo das políticas públicas se referem ao processo de sua elaboração. Para entender esse processo é necessário realizar análises e não apenas avaliações. As avaliações constituem apenas uma das etapas do ciclo das políticas públicas. Infelizmente ou felizmente (inviabilidade) não é possível realizar avaliações do todo (universo). As avaliações são realizadas como aproximações (proxies) do universo. A política educacional pública do ensino fundamental público é avaliada pelo Índice de Desenvolvimento da Educação Básica (IDEB). O indicador é calculado a partir dos dados sobre aprovação escolar e das médias de desempenho nas avaliações (provas), o que o torna sintético. A avaliação não deveria incluir as condições das escolas, dos professores, dos funcionários, da alimentação, do transporte etc.? A qualidade do ensino pode ser avaliada pelo IDEB? O desenvolvimento humano pode ser avaliado com indicadores apenas de três dimensões: longevidade, educação e renda? O Índice de Desenvolvimento Humano Municipal (IDHM) avalia exatamente estas três dimensões, ou seja, sintetiza sua avaliação nessas dimensões. O IDEB e o IDHM são exemplos de avaliações sintéticas em que o Governo trabalha para reorientar suas políticas. As pesquisas avaliativas acadêmicas também contribuem no processo de avaliação das políticas públicas, mas somente podem ser realizadas utilizando proxies. Não é possível nas comunicações acadêmicas (artigos, dissertações, teses etc.) avaliar as mudanças de governo, os limites de gastos (discricionários e constitucionais), mudanças de orientação dos instrumentos de planejamento do setor público de vários anos etc. A sugestão de melhorias para a gestão pública no processo avaliativo das pesquisas são realizadas por proxies. Óbvio, que as análises de políticas públicas possuem mais elementos para apontarem por melhorias na gestão pública, mas como fazer por pesquisa avaliativa? Seriam necessários anos de estudos para analisar as políticas públicas, principalmente as elencadas como funções de governo: saúde; saneamento; cultura; assistência social; previdência social etc. A correlação de gastos públicos com reeleição de prefeitos pode ser realizada nas pesquisas avaliativas. Contudo, devem ser verificadas o maior número possível de variáveis que compõem este processo que podem ser medidas e as demais que não podem ser medidas ou verificadas de imediato serão consideradas ruídos (atípicas), como por exemplo, as escolhas dos cidadãos. Quanto aos objetivos específicos da pesquisa, observa-se que foram cumpridos. Os critérios da avaliação de políticas públicas mais comuns (primeiro objetivo específico) são: eficiência; eficiência alocativa; eficiência econômica; eficiência administrativa; eficácia; impacto (ou efetividade); efetividade social; efetividade institucional; sustentabilidade; análise custo-efetividade; satisfação do beneficiário; equidade; insumos (inputs); carga de trabalho (workload); resultados (outputs); custos (costs); qualidade e oportunidade dos serviços (service quality and timeliness); economicidade e produtividade. O segundo objetivo específico trata dos conceitos de índices e indicadores sociais. Os indicadores/índices são medidas utilizadas para traduzirem conceitos abstratos e são utilizados para informar 1441 Boletim Governet de Administração Pública e Gestão Municipal - nº 61 – outubro/2016 – p. 1434-1444 - ISSN 2237-8006 – volume único. determinados aspectos da realidade social, para fins de pesquisa (acadêmcia) ou para avaliação de programas e políticas públicas. Os indicadores/índices são utilizados para operacionalizar os critérios de avaliação e funcionam como artifícios (proxies) que podem ser criados para medir input, output e outcome. As avaliações ocorrem de maneira sintética, ou seja, são estabelecidas as variáveis mais significativas e que apresentem condições teóricas e materiais de serem medidas. Sempre haverá variáveis que não podem ser medidas e neste caso serão consideradas erros de estimativas. O ato de avaliar é subjetivo. O avaliador precisa deixar de lado o juízo de valor e realizar comparações entre uma situação empírica (real, que pode ser medida) e uma situação ideal. A mensuração quantitativa auxilia no processo de avaliação para diminuir ou excluir o subjetivismo. O processo de avaliação de políticas públicas (terceiro objetivo específico) se refere a uma das etapas do processo de sua elaboração. Não há consenso quanto ao número de etapas que constitui o processo de elaboração das políticas públicas. Entretanto, o ponto inicial é a existência de um problema público (por exemplo: uma catástrofe natural). O universo das políticas públicas possui um número elevado de variáveis e a avaliação é apenas uma delas. As análises de políticas públicas tratam do todo (universo de variáveis). Para atender ao quarto objetivo específico foram destacadas nove contribuições acadêmicas sobre avaliação de políticas públicas. As teses, dissertações e artigos possuem limitações nas quantidades de páginas para serem divulgadas e prazos para serem elaborados. Desse modo, o acadêmico deve delimitar seu estudo e quando for utilizar métricas matemáticas e estatísticas, deve escolher variáveis que podem ser medidas, mesmo que não reflitam a totalidade, ou seja, são possíveis de aproximar da realidade e as demais serão consideradas ruídos (atípicos), erros de estimativas. As contribuições apontaram o despreparo dos administradores públicos para lidarem com processos licitatórios na área da saúde; a transferência de recursos para a educação com resultados negativos, a precariedade dos serviços de saneamento básico e a falta de pessoal especializado na administração pública. A corrupção afeta o bem-estar dos cidadãos ao diminuir os investimentos públicos na área da educação, da saúde, do saneamento etc. Como medir a corrupção? Na área da educação foi possível medir, definindo variáveis e achando correlação entre menor aprovação e maior taxa de alunos abandonando a escola, baixas notas de proficiência em matemática e português e notas inferiores no IDEB. A Lei de Responsabilidade Fiscal trouxe maior responsabilidade na aplicação dos recursos públicos, mas existem muitas variáveis que afetam as finanças públicas de um município:situação econômica mundial; situação econômica do país; catástrofes naturais; momento político etc. A avaliação possível é determinar algumas variáveis. O conceito de desenvolvimento de uma entidade e ainda mais do desenvolvimento humano é complexo. Ao conceituar se realiza uma síntese e assim escolhe, ou seja, determina quais variáveis serão utilizadas (não todas e sim algumas). A elaboração de índices de desempenho com base na alocação de recursos financeiros por funções de governo traduz o retorno de recursos para os contribuintes em uma avaliação comparativa entre as entidades públicas. As condições que contribuem para o bem físico e espiritual dos indivíduos em sociedade, ou seja, a qualidade de vida é um conceito abstrato e depende do interlocutor. Uma condição pode ser considerada boa para uma pessoa e para outra não. A mensuração quantitativa com base em variáveis de saúde; renda; habitação, acesso a bens e serviços; segurança pública, escola; transporte público; cultura podem ser consideradas em uma avaliação por aproximação. Convém registar que devem ser utilizadas teorias para respaldar as argumentações nas comunicações acadêmicas. No setor público, destacam as teorias: Escolha Pública; Ciclos Político-econômicos; Burocracia; Institucional; Contingência; Stakeholders dentre outras. Os seguintes temas não foram abordados na presente investigação: tipo e estilos de políticas públicas; instituições e atores no processo de políticas públicas; modelos de análises e de avaliação de políticas públicas. Recomendam-se outros estudos para contemplar esses temas. Finalizando o estudo, pode-se concluir que o objetivo central foi atendido. Foi observado que o termo análise de políticas públicas trata do processo de elaboração. Seu estudo requer um olhar explicativo detalhado. As avaliações de políticas públicas representam uma das fases do processo de elaboração das políticas públicas e ocorrem de forma sintética, ou seja, são utilizados indicadores como artifícios (proxies) para operacionalizar os critérios de avaliação. REFERÊNCIAS ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direção às melhores práticas de avaliação. Revista do Serviço Público, Ano 51, Número 4, Out-Dez 2000. ANJOS, Rafael Madureira. Relação entre investimento em saúde e desenvolvimento dos estados brasileiros. 2010. 125 f. Dissertação (Mestrado em Administração). Programa de Pós-graduação em Administração de Organizações. Universidade de São Paulo (USP), 2010. 1442 Boletim Governet de Administração Pública e Gestão Municipal - nº 61 – outubro/2016 – p. 1434-1444 - ISSN 2237-8006 – volume único. ARRETCHE, Marta Teresa da Silva. Tendências nos estudos sobre avaliação. In: RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em debate. 6. ed. São Paulo, Cortez, 2009. BORGES, Claudia Moreira. Desenvolvimento local e avaliação de políticas públicas: análise da viabilidade para construção de um índice de desenvolvimento local para o município de São José do Rio Preto. 2007. 219 f. Dissertação (Mestrado em Administração). Programa de Pós-graduação em Administração. Universidade de São Paulo (USP), 2007. BRASIL. Constituição da República Federativa do Brasil, de 05 de outubro de 1988. Diário Oficial [da] República Federativa do Brasil, Brasília-DF, 05 de outubro de 1988. BRUNET, Júlio Francisco Gregory; BERTÊ, Ana Maria de Aveline; BORGES, Clayton Brito. Estudo comparativo das despesas públicas dos estados brasileiros: um índice de qualidade do gasto público. Brasília: ESAF, 2007. CARDOSO, Débora Freire. RIBEIRO, Luiz Carlos de Santana. Índice relativo de qualidade de vida para os municípios de Minas Gerais. Planejamento e Políticas Públicas - PPP, n. 45, jul./dez. 2015. CAIDEN; Gerald E.; CAIDEN, Naomi J. Enfoques y lineamientos para el seguimiento, la medición y la evaluación del desempeño en programas del sector público. Revista do Serviço Público. Ano 52, Número 1, Jan-Mar, 2001. COHEN, Ernesto; FRANCO, Rolando. Avaliação de projetos sociais. 10. ed. Petrópolis: Vozes, 2012. COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. Avaliação de programas públicos: desafios conceituais e metodológicos. RAP, Rio de Janeiro 37 (5): 969-92, set./out. 2003. COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (SAEB). Revista do Serviço Público, Ano 52, Número 4, out.- dez. 2001. DIAS, Reinaldo; MATOS, Fernanda. Políticas públicas: princípios, propósitos e processos. São Paulo: Atlas, 2012. DINIZ, Josedilton Alves. Eficiência das transferências intergovernamentais para a educação fundamental de municípios brasileiros. 2012. 176 f. Tese (Doutorado em Ciências Contábeis). Programa de Pós-graduação em Ciências Contábeis. Universidade de São Paulo (USP), 2012. FARIA, Carlos Aurélio Pimenta. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais - RBCS – São Paulo - vol. 20 nº 59, out. 2005. FIGUEIREDO, Marcus Faria; FIGUEIREDO, Argelina Maria Cheibub. Avaliação política e avaliação de políticas: um quadro de referência teórica. Análise & Conjuntura, Belo Horizonte, 1 (3): 107 – 127, set./dez. 1986. FUNDAÇÃO PARA O PRÊMIO NACIONAL DA QUALIDADE (FPNQ). Indicadores de desempenho. São Paulo: FPNQ, 1994. GRISA, Catia. Diferentes olhares na análise de políticas públicas: considerações sobre o papel do Estado, das instituições, das ideias e dos atores sociais. Sociedade e Desenvolvimento Rural on line - v.4, n. 1, jun. 2010. GUBA G. Egon; LINCOLN, Yvonna S. Avaliação de quarta geração. Tradução de Beth Honorato. Campinas: Editora da Unicamp, 2011. GUIMARÃES, José Ribeiro Soares; JANNUZZI, Paulo de Martino. IDH, indicadores sintéticos e suas aplicações em políticas públicas: uma análise crítica. R. B. Estudos Urbanos e Regionais, v. 7, n. 1 / maio 2005. JANNUZZI, Paulo de Martino. Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. RAP, Rio de Janeiro 36(1):51-72, J an. /Fev. 2002. 1443 Boletim Governet de Administração Pública e Gestão Municipal - nº 61 – outubro/2016 – p. 1434-1444 - ISSN 2237-8006 – volume único. LABRA, Maria Eliana. Análise de políticas, modos de policy-making e intermediação de interesses: uma revisão. PHYSIS: Rev. Saúde Coletiva, Rio de Janeiro, 9(2): 131-166, 1999. LAND, Kenneth C. Social Indicators. Ann. Rev. Sociol., Palo Alto, v. 9, p.1–26, 1983. DOI: 10,1146 / annurev.so.09.080183.000245. LAND, Kenneth C.; MICHALOS, Alex C.; SIRGY, M. Joseph. (Ed.). Handbook of social indicators and quality‐of‐life research. Dordrechet, Netherlands: Springer Publishers, 2012. LIMA, Waner Gonçalves. Política pública: discussão de conceitos. Interface (Porto Nacional), Edição número 05, out. 2012. MELAZZO, Everaldo Santos. Problematizando o conceito de políticas públicas: desafios à análise e à prática do planejamento e da gestão. Tópos, v. 4, n. 2, p. 9 - 32, 2010. MELO, Clóvis Alberto Vieira. Corrupção e políticas públicas: uma análise empírica dos municípios brasileiros. 2010. 231 f. Tese (Doutorado em Ciência Política). Programa de Pós-graduação em Ciência Política. Universidade Federal de Pernambuco (UFPE), 2010. NOBRE, Leni Lúcia Leal. Análise dos julgamentos do Tribunal de Contas dos Municípios do Estado do Ceará: um olhar sobre a prestação de contas dos sistemas municipais de saúde. 2010. 198 f. Tese (Doutorado em Saúde Pública). Programa de Pós-graduação em Saúde Pública. Universidade de São Paulo (USP), 2010. RODRIGUES, Auro de Jesus. Metodologia científica. São Paulo: Avercamp, 2006. RUA, Maria das Graças. Políticas públicas. Florianópolis: Departamento de Ciências da Administração da UFSC. Brasília: CAPES: UAB, 2009. SANTAGADA, Salvatore. Indicadoressociais: uma primeira abordagem social e histórica. Pensamento Plural, Pelotas [01]: 113 - 142, jul./dez. 2007. SECCHI, Leonardo. Políticas públicas: conceitos, esquemas de análise, casos práticos. 2. Ed. São Paulo: Cengage Learning, 2013. SERAFIM, Milena Pavan; DIAS, Rafael de Brito. Análise de política: uma revisão da literatura. Cadernos Gestão Social, V.3, n.1, p.121-134, jan./jun. 2012. SICHE, Raúl; AGOSTINHO, Feni; ORTEGA, Enrique; ROMEIRO, Ademar. Índices versus indicadores: precisões conceituais na discussão da sustentabilidade de países. Ambiente & Sociedade, Campinas v. X, n. 2, p. 137-148, jul.-dez. 2007. SILVA, Cristiane Rocha; GOBBI, Beatriz Christo, SIMÃO, Ana Adalgisa. O uso da análise de conteúdo como uma ferramenta para a pesquisa qualitativa: descrição e aplicação do método. Organ. Rurais Agroind., Lavras, v. 7, n. 1, p. 70-81, 2005. SILVA, Maurício Corrêa; SILVA, José Dionísio Gomes; BORGES, Erivan Ferreira. Análises de Componentes Principais para elaborar índices de desempenho no setor público. Revista Brasileira de Biometria. São Paulo, v. 33, n. 3, p. 291-309, 2015. SILVA, Maurício Corrêa; SILVA, José Dionísio Gomes; BORGES, Erivan Ferreira. Avaliação da execução orçamentária por funções de governo em municípios com a utilização de índices de desempenho. RMC, Revista Mineira de Contabilidade, v. 16, n. 1, art. 1, p. 5-17, jan./abr. 2015. SILVA, William Gledson. Finanças públicas na nova ordem constitucional brasileira: uma análise comportamental dos municípios potiguares, nos anos antecedentes e posteriores à Lei de Responsabilidade Fiscal – LRF. 2009. 131 f. Dissertação (Mestrado em Economia. Programa de Pós-graduação em Economia. Universidade Federal do Rio Grande do Norte (UFRN), 2009. SOUZA, Celina. Políticas Públicas: uma revisão da literatura. Sociologias. Porto Alegre, ano 8, nº 16, jul./dez. 2006, p. 20-45. 1444 Boletim Governet de Administração Pública e Gestão Municipal - nº 61 – outubro/2016 – p. 1434-1444 - ISSN 2237-8006 – volume único. SOUZA, Lincoln Moraes. Políticas públicas: introdução às atividades e análise. Natal: EDUFRN, 2009. THOENIG, Jean-Caude. A avaliação como conhecimento utilizável para reformas de gestão pública. Revista do Serviço Público, Ano 51, Número 2, abr.-jun. 2000. VALDEVINO, Adriano Araújo Firmino; MEDEIROS, Júlio César Lima; NASCIMENTO, Adriano Paixão; PESSÔA, Aurélio Picanço. Avaliação da eficiência dos serviços de saneamento básico no combate às endemias nos municípios do Estado do Tocantins. Informe Gepec, Toledo, v. 14, n. 2, p. 166-181, jul./dez. 2010. VIANA, Ana Luiza. Abordagens metodológicas em políticas públicas. RAP, Rio de Janeiro, 30 (2): 543. mar./abr. 1996.
Compartilhar