Baixe o app para aproveitar ainda mais
Prévia do material em texto
Avaliação Ex-Post de Políticas Públicas Análise da Implementação e Governança da Política Pública3 M ód ul o 2Enap Fundação Escola Nacional de Administração Pública Enap, 2020 Enap Escola Nacional de Administração Pública Diretoria de Educação Continuada SAIS - Área 2-A - 70610-900 — Brasília, DF Fundação Escola Nacional de Administração Pública Presidente Diogo Godinho Ramos Costa Diretor de Desenvolvimento Profissional Paulo Marques Coordenador-Geral de Produção de Web Carlos Eduardo dos Santos Conteudista José Luiz Pagnussat, 2021. Curso desenvolvido no âmbito da Diretoria de Desenvolvimento Profissional – DDPRO. 3Enap Fundação Escola Nacional de Administração Pública 1. Objetivos de Aprendizagem........................................................................................ 5 1.1. Objetivos da avaliação da implementação.................................................................... 5 1.2 Levantamento dos processos envolvidos na execução da política................................ 6 1.3 Passo a passo da avaliação de implementação............................................................. 7 1.4 Gestão de riscos de implementação da política............................................................ 8 1.5 Questões orientadoras para a análise de implementação da política........................... 10 2. Análise da Estrutura de Governança da Política Pública.............................................. 14 2.1. Conceitos e princípios da governança pública............................................................. 14 2.2. Modelo de avaliação de governança proposta no guia.................................................. 16 2.3. Passo a passo da avaliação da governança.................................................................... 18 2.3. Passo a passo da avaliação da governança.................................................................... 19 Sumário 4Enap Fundação Escola Nacional de Administração Pública 5Enap Fundação Escola Nacional de Administração Pública 1. Análise da Implementação da Política Pública Ao final desta unidade, você será capaz de identificar os procedimentos de análise da implementação da política pública. A implementação de políticas públicas compreende os esforços de execução da ação governamental, incluída a alocação de recursos e o desenvolvimento dos processos organizacionais previstos para isso (CGU, 2015, apud BRASIL, 2018, p. 175). É o momento de realização das ações que resultam na entrega para os cidadãos dos produtos e serviços da política pública. A avaliação da implementação analisa os processos, no sentido de buscar aperfeiçoá-los e garantir os resultados esperados para a política. “A abordagem proposta para definição da estratégia de avaliação guia-se pela técnica da gestão de riscos, com a finalidade de trazer para a avaliação os pontos mais relevantes que permitam o atingimento dos objetivos almejados para a política” (BRASIL, 2018, p. 175). A avaliação da implementação procede à análise de riscos internos e externos da política pública, verifica como ocorre o gerenciamento dos riscos e se os bens ou serviços são entregues aos beneficiários elegíveis. 1.1. Objetivos da avaliação da implementação A avaliação da implementação tem como objetivo avaliar se a política é executada conforme o seu desenho, identificando se os elos entre os insumos, os processos organizacionais e os produtos estão condizentes com o esperado, ou se podem ser aprimorados (BRASIL, 2018, p. 175). Em termos específicos os objetivos da avaliação da implementação são: I) verificar a correspondência do executado com o que está pactuado, ou seja, verificar se a execução está ocorrendo conforme o desenho; e II) definir subprocessos que não estão regulamentados no nível macro do desenho da política. Por vezes, ao final de uma avaliação de implementação, pode-se concluir sobre inadequabilidade do desenho M ód ul o Análise da Implementação da Política Pública3 6Enap Fundação Escola Nacional de Administração Pública ante o contexto atual – limitação de recursos, avanços tecnológicos, dentre outros, forçando que o desenho e o planejamento da política em avaliação sejam rediscutidos (BRASIL, 2018, p. 175) As políticas falham na implementação porque são lançadas sem uma clara definição de quem faz o quê, com que grau de autonomia, com que formas de monitoramento e controle. Além disso, os processos podem não estar estruturados de forma eficiente para a produção dos bens e serviços para atacar as causas do problema e os riscos internos e externos, que normalmente ocorrem na fase da implementação, não foram identificados ou não são gerenciados adequadamente. A avaliação é a única forma de provisão de conhecimento acerca da boa ou má implementação de uma política ou programa público, oferecendo aos gestores de política o conhecimento necessário para alterações ou mudanças de direção nos programas e projetos. O conhecimento sobre a implementação permite o aprimoramento da política no seu desenho, nos seus processos, na sua governança, seus resultados e impactos. Pressman e Wildavsky (1984, apud QUEIROZ, 2016, p. 20) relacionam a implementação, a aprendizagem organizacional e a avaliação das políticas públicas. Para esses autores, a aprendizagem organizacional constituiria a chave tanto para a implementação quanto para a análise de programas e de políticas públicas, sendo a implementação a finalidade que conteria ambas, já que “nós avaliamos para aprender e nós aprendemos para implementar” (PRESSMAN; WILDAVSKY, 1984, apud QUEIROZ, 2016, p. 20). 1.2 Levantamento dos processos envolvidos na execução da política O guia ex post no capítulo 6, sobre avaliação de implementação, destaca que “a avaliação de implementação contempla o levantamento e a descrição dos diferentes processos envolvidos na execução da política pública, necessários para a transformação dos insumos nos produtos a serem entregues para a sociedade” (BRASIL, 2018, p. 175). A avaliação de implementação é essencialmente uma avaliação de processos. Inclui a análise tanto dos diversos processos que produzem os bens e serviços que se destinam ao público alvo, como também, processos relacionados a atividades específicas, como por exemplo (BRASIL, 2018, p. 175): • processo de seleção dos beneficiados (no caso de políticas com critérios de elegibilidade); • processo de verificação periódica sobre se os beneficiados ainda são elegíveis, ou seja, se está mantida a regra de elegibilidade depois do período do processo de seleção; • processo de compra e contratação de produtos e de serviços, entre outros. 7Enap Fundação Escola Nacional de Administração Pública A avaliação da implementação verifica a eficiência na utilização dos recursos financeiros, humanos, materiais, como instalações e equipamentos, e os recursos organizacionais utilizados na execução da política pública. Verifica se os processos (ações) combinam adequadamente os recursos disponíveis para produzir os bens e serviços, e se estão direcionados para atacar as causas do problema público. 1.3 Passo a passo da avaliação de implementação O capítulo 6 do Guia de Avaliação Ex-Post (pp. 175-213) apresenta o passo a passo da Avaliação da Implementação da Política Pública. Primeiro Passo Definição do objetivo da avaliação Inclui as etapas de identificação e avaliação dos riscos da política e estruturação das questões de avaliação (questões e subquestões). Segundo passo Definição de critérios de performance Descrevem o estado desejado (o que deve ser) para a política pública avaliada (GAO, 2011, apud BRASIL 2018, p. 163). São referenciais e padrões nacionais ou internacionais utilizados para avaliar se a política atende às expectativas definidas. Por exemplo, o atendimento das normas técnicas para o produto ou serviço. Terceiro passo Definição de escopo e avaliação da necessidade de amostragem Na delimitação do escopo, deve-se levar em consideraçãoos recursos disponíveis, o que inclui o tempo, a expertise e os dados necessários para concluir a avaliação. De forma esquemática, ante 8Enap Fundação Escola Nacional de Administração Pública os recursos de que o avaliador dispõe e o objetivo definido para avaliação, o escopo compreende a definição das seguintes questões: O quê? Quem? Onde? E quando? O quê? Se refere às dimensões e as etapas da política pública relacionadas ao objetivo da avaliação. Quem? Os agentes envolvidos nos processos avaliados. Onde? O espaço geográfico da avaliação Quando? O período coberto na avaliação. Quarto passo Definição de técnicas e de instrumentos de avaliação Inclui definir as técnicas e os instrumentos de coleta de dados necessários para obter evidências que suportarão as conclusões da avaliação Quinto passo Execução (da avaliação É a fase na qual os avaliadores aplicam técnicas e instrumentos para a obtenção de evidências para a emissão de opinião, de modo a responder às questões avaliativas. Sexto passo Recomendações São feitas a partir d o resultado fi nal da avaliação e se referem às possíveis ne cessidades de ajustes no processo de implementação da política pública avaliada. 1.4 Gestão de riscos de implementação da política Verificar se há gestão de riscos na execução da política e se essa gestão observa a Instrução Normativa Conjunta MP/CGU nº 1/2016, além de outras instruções normativas da CGU que explicitam riscos e controles que devem ser observados na implementação das políticas públicas. 9Enap Fundação Escola Nacional de Administração Pública Saiba mais A Instrução Normativa Conjunta MP/CGU nº 1/2016 determina aos órgãos e entidades do Poder Executivo federal a adoção de medidas para a sistematização de práticas relacionadas à gestão de riscos, aos controles internos e à governança. Riscos (IN conjunta MP/CGU n°01/ 2016) Risco: possibilidade de ocorrência de um evento que venha a ter impacto no cumprimento dos objetivos. O risco é medido em termos de impactos e de probabilidade. Gerenciamento de riscos: processos cuja finalidade consiste em identificar, avaliar, administrar e controlar potenciais eventos ou situações, para fornecer razoável certeza quanto ao alcance dos objetivos da organização. Mensuração de risco: significa estimar a importância de um risco e calcular a probabilidade e o impacto de sua ocorrência. Política de gestão de riscos: declaração das intenções e diretrizes gerais de uma organização relacionadas à gestão de riscos. Risco inerente: risco a que uma organização está exposta sem considerar quaisquer ações gerenciais que possam reduzir a probabilidade de sua ocorrência ou seu impacto. A análise da gestão de riscos ao longo da execução da política pública, deve avaliar a identificação dos riscos, sua probabilidade e impacto, as estratégias de mitigação, gerenciamento e controle. O guia PMBOK de gerenciamento de projetos destaca que: “O gerenciamento dos riscos do projeto inclui os processos de planejamento, identificação, análise, planejamento de respostas e controle de riscos de um projeto. Os objetivos do gerenciamento dos riscos do projeto são aumentar a probabilidade e o impacto dos eventos positivos e reduzir a probabilidade e o impacto dos eventos negativos no projeto” (PMI, 2013. p. 309) Entre as técnicas de identificação de riscos se destaca a matriz SWOT, com a análise do ambiente interno: forças e fraquezas; e análise do ambiente externo; ameaças e oportunidades; o brainstorming (lista dos riscos realizada pela equipe do projeto e especialistas); a técnica Delphi (com especialistas); entrevistas (com participantes experientes do projeto); Diagrama de Causa e Efeito, entre outras. São relevantes para definir quais riscos e controles, tanto fatores de risco internos ao programa 10Enap Fundação Escola Nacional de Administração Pública ou à instituição quanto externos, contextuais. A natureza do programa e dos produtos a serem entregues por ele influi diretamente sobre os tipos de riscos a serem considerados, devendo levar em conta o impacto destes sobre os custos e cronograma da política. 1.5 Questões orientadoras para a análise de implementação da política. As questões orientadoras para a análise da implementação da política pública, propostas para a avaliação executiva, no Guia de Avaliação Ex Post de Políticas Públicas, são as apresentadas no quadro a seguir (BRASIL, 2018, p. 62): Questões orientadoras para a análise da implementação da política • Os bens ou serviços são efetivamente entregues aos beneficiários? Como isso tem sido acompanhado pela gestão da política? • Quais são os instrumentos normativos e os procedimentos usados para a compra dos insumos utilizados na execução da política? Há transparência sobre esses procedimentos? • Existem mecanismos de supervisão da execução da política para garantir o alcance de sua finalidade? • Se a política possuir restrição de acesso, há mecanismos de controle da elegibilidade dos beneficiários? Esses mecanismos são efetivos? • Na divulgação da política, as informações são efetivamente direcionadas ao público- alvo? Como? • Há gestão de riscos na execução da política? Se sim, essa gestão observa a Instrução Normativa Conjunta MP/CGU no 1/2016? Essas são as questões que deverão ser respondidas na análise de implementação, na avaliação executiva da política pública. Saiba mais Para aprofundamento do tema, você pode ler o capítulo 6 do Guia de Avaliação Ex Post, que apresenta os principais elementos da avaliação de implementação da política pública e os casos da Avaliação da Lei de Informática e da Avaliação do Programa de Aquisição de Alimentos. Além disso, você pode rever o conteúdo resumido da Unidade no vídeo do professor José Luiz Pagnussat, disponível em: https://cdn.evg.gov.br/ cursos/561_EVG/videos/modulo03video01.mp4. https://cdn.evg.gov.br/cursos/561_EVG/videos/modulo03video01.mp4 https://cdn.evg.gov.br/cursos/561_EVG/videos/modulo03video01.mp4 11Enap Fundação Escola Nacional de Administração Pública Referências BRASIL. Casa Civil da Presidência da República et al. Capítulo 3: avaliação executiva (pp. 53-102). In: BRASIL. Casa Civil da Presidência da República et al. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brascia da República, 2018. Disponível em: https://www. gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view. Acesso em: 17 jul. 2021.ília: Casa Civil da Presidência BRASIL. Casa Civil da Presidência da República et al. Capítulo 6 - Avaliação de Implementação (pp. 175-186). In: BRASIL. Casa Civil da Presidência da República et al.. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília: Casa Civil da Presidência da República, 2018. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/ guiaexpost.pdf/view. Acesso em: 17 jul. 2021. BRASIL. Casa Civil da Presidência da República et al. Apêndice A: avaliação da lei de informática (pp. 187-196). In: BRASIL. Casa Civil da Presidência da República et al. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília: Casa Civil da Presidência da República, 2018. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/ guiaexpost.pdf/view, Acesso em: 17 jul. 2021. BRASIL. Casa Civil da Presidência da República et al. Apêndice B: Avaliação do Programa de Aquisições de Alimentos (pp. 197-213). In: BRASIL (Casa Civil da Presidência da República et al. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília: Casa Civil da Presidência da República, 2018. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de- conteudo/downloads/guiaexpost.pdf/view. Acesso em: 17 jul. 2021. Bibliografia Complementar: BRASIL. Casa Civil da Presidência da República et al. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília:Casa Civil da Presidência da República, 2018. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view. Acesso em: 17 jul. 2021. BRASIL. Casa Civil da Presidência da República et al. Avaliação de políticas públicas: guia prático de análise ex ante, volume 1. Brasília: Casa Civil da Presidência da República, 2018. Disponível em: https://www.ipea.gov.br/portal/images/stories/PDFs/livros/livros/180319_avaliacao_de_ politicas_publicas.pdf. Acesso em: 17 jul. 2021. BRASIL. Casa Civil da Presidência da República et al. Diretrizes gerais e guia orientativo para https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.ipea.gov.br/portal/images/stories/PDFs/livros/livros/180319_avaliacao_de_politicas_publicas.pdf https://www.ipea.gov.br/portal/images/stories/PDFs/livros/livros/180319_avaliacao_de_politicas_publicas.pdf 12Enap Fundação Escola Nacional de Administração Pública elaboração de Análise de Impacto Regulatório – AIR. Brasília: Presidência da República, 2018. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/diretrizes- gerais-e-guia-orientativo_final_27-09-2018.pdf/@@download/file/diretrizes-gerais-e-guia- orientativo_final_27-09.pdf. Acesso em: 17 jul. 2021. BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimentos Estratégicos - SPI. Indicadores - Orientações Básicas Aplicadas à Gestão Pública. Brasília: MP, 2012. Disponível em: http://www.gespublica.gov.br/sites/default/files/documentos/ indicadores_orientacoes_basicas_aplicadas_a_gestao_publica.pdf. Acesso em: 17 jul. 2021. BRASIL/MP. Ministério do Planejamento, Desenvolvimento e Gestão. Secretaria de Planejamento e Assuntos Econômicos. Indicadores – Orientações Básicas Aplicadas à Gestão Pública. 3ª Edição. Brasília: MP, 2018. Disponível em: https://www.gov.br/economia/pt-br/assuntos/ planejamento-e-orcamento/plano-plurianual-ppa/arquivos/ppas-anteriores/ppa-2016-2019/ guia_indicadores_ppa.pdf BROUSSELLE, A.; CHAMPAGNE, F., et al (Ed.). A Avaliação no Campo da Saúde: conceitos e métodos. Rio de Janeiro: Editora Fiocruz, 2013. CASSIOLATO, Martha; FERREIRA Helder; e GONZALEZ, Roberto. Uma experiência de Desenvolvimento Metodológico para Avaliação de Programas: O modelo lógico do Programa Segundo Tempo. Texto para Discussão nº 1369. Brasília: IPEA, 2008 (disponível em: http://www. ipea.gov.br/portal/images/stories/PDFs/TDs/td_1369.pdf) CASSIOLATO, Martha; GUERESI, Simone. Como elaborar Modelo Lógico: roteiro para formular programas e organizar avaliação. Nota Técnica nº 6. Brasília: IPEA, 2010. Disponível em: http:// www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=5134. Acesso em: 17 jul. 2021. CASSIOLATO, Martha; FERREIRA Helder; e GONZALEZ, Roberto. Como Elaborar Modelo Lógico de Programa: um roteiro básico. Nota Técnica nº 2. Brasília: IPEA, 2007. Disponível em: (http:// www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=605) HELMING, S.; GÖBEL, M. ZOOP - Planejamento de Projetos Orientado por Objetivos – Um Guia de Orientação para o Planejamento de Projetos Novos e em Andamento. GTZ - Deutsche Gesellschaft Für Technische Zusammenarbeit. Eschborn, 1998. JANNUZZI, Paulo de Martino. Monitoramento e avaliação de programas sociais: uma introdução https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/diretrizes-gerais-e-guia-orientativo_final_27-09-2018.pdf/@@download/file/diretrizes-gerais-e-guia-orientativo_final_27-09.pdf https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/diretrizes-gerais-e-guia-orientativo_final_27-09-2018.pdf/@@download/file/diretrizes-gerais-e-guia-orientativo_final_27-09.pdf https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/diretrizes-gerais-e-guia-orientativo_final_27-09-2018.pdf/@@download/file/diretrizes-gerais-e-guia-orientativo_final_27-09.pdf http://www.gespublica.gov.br/sites/default/files/documentos/indicadores_orientacoes_basicas_aplicadas_a_gestao_publica.pdf http://www.gespublica.gov.br/sites/default/files/documentos/indicadores_orientacoes_basicas_aplicadas_a_gestao_publica.pdf https://www.gov.br/economia/pt-br/assuntos/planejamento-e-orcamento/plano-plurianual-ppa/arquivos/ppas-anteriores/ppa-2016-2019/guia_indicadores_ppa.pdf https://www.gov.br/economia/pt-br/assuntos/planejamento-e-orcamento/plano-plurianual-ppa/arquivos/ppas-anteriores/ppa-2016-2019/guia_indicadores_ppa.pdf https://www.gov.br/economia/pt-br/assuntos/planejamento-e-orcamento/plano-plurianual-ppa/arquivos/ppas-anteriores/ppa-2016-2019/guia_indicadores_ppa.pdf http://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_1369.pdf http://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_1369.pdf http://www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=5134 http://www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=5134 http://www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=605 http://www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=605 13Enap Fundação Escola Nacional de Administração Pública aos conceitos técnicos. Campinas: Editora Alínea, 2016. PFEIFFER, Peter. O Quadro Lógico: um método para planejar e gerenciar mudanças. In: PAGNUSSAT, José Luiz e GIACOMONI, James. Coletânea de Planejamento e Orçamento. Brasília: ENAP, 2006 (disponível em: repositório.enap.gov.br). PMI. Um Guia do Conhecimento em Gerenciamento de Projetos (Guia PMBOK®). 5ª edição. PMI (Project Management Institute). Um Guia do Conhecimento em Gerenciamento de Projetos (Guia PMBOK®). 5ª edição. PMI: Pennsylvania, USA. 2013. Disponível em: http://www.teraits. com/pitagoras/marcio/gp/PMBOK_5aEdicao.pdf. Acesso em: 17 jul. 2021. SECCHI, Leonardo. Políticas públicas: conceitos, esquemas de análise, casos práticos. 2ª edição, São Paulo: Cengage Learning, 2014. QUEIROZ, Lucia de Fatima Nascimento de. Avaliação de políticas no setor público: o que explica a decisão de avaliar (ou não) resultados em políticas públicas de fomento à ciência, tecnologia e inovação em saúde? (Tese de Doutorado, orientador Ricardo Correa Gomes). Brasília: UnB, 2016. Disponível em: https://repositorio.unb.br/ bitstream/10482/19872/1/2016_L%c3%baciadeFatimaNascimentodeQueiroz.pdf. Acesso em: 17 jul. 2021. http://www.teraits.com/pitagoras/marcio/gp/PMBOK_5aEdicao.pdf. http://www.teraits.com/pitagoras/marcio/gp/PMBOK_5aEdicao.pdf. https://repositorio.unb.br/bitstream/10482/19872/1/2016_L%c3%baciadeFatimaNascimentodeQueiroz.pdf https://repositorio.unb.br/bitstream/10482/19872/1/2016_L%c3%baciadeFatimaNascimentodeQueiroz.pdf 14Enap Fundação Escola Nacional de Administração Pública 2. Análise da Estrutura de Governança da Política Pública Ao final desta unidade, você será capaz de identificar os procedimentos de análise da estrutura de governança da política pública. Segundo o TCU (2014, p 32) a “governança em políticas públicas se refere aos arranjos institucionais que condicionam a forma pela qual as políticas são formuladas, implementadas e avaliadas, em benefício da sociedade”. Os arranjos podem ser formais ou informais e envolvem, entre outros aspectos, “estruturas, processos, mecanismos, princípios, regras, normas que influenciam a governança em política pública” (p. 32).Parte significativa das definições sobre a gestão e a governança devem vir previamente institucionalizadas, ou seja, inscritas nos próprios normativos dos programas. As políticas são compostas por ações que envolvem procedimentos e interações. Tudo isso precisa ser definido, orientado, treinado e especificado antes – por meio dos normativos, dos planos e manuais – durante – treinamentos, capacitações e ajustes –, e depois – revisões e avaliações. Leis, decretos, portarias e instruções normativas estabelecem os órgãos responsáveis pelas decisões, os parceiros na gestão, os fundos de financiamento a serem provisionados, os mecanismos de controle e participação social, as rotinas de monitoramento, os mecanismos de transparência, etc. Na prática a governança da política pública envolve a definição clara dos papeis e responsabilidades na coordenação da política, os mecanismos de liderança, estratégia e controle da gestão: a coordenação organizacional e intersetorial; a coordenação intergovernamental; a articulação com atores e espaços não governamentais; a capacidade de internalizar e processar as demandas da sociedade e sua articulação com os processos de tomada de decisão; o gerenciamento dos conflitos e a capacidade de resolver controvérsias, etc. 2.1. Conceitos e princípios da governança pública O conceito de governança adotado no guia foi o definido no Decreto nº 9.203/2017, que dispõe sobre a política de governança no âmbito da administração pública federal direta, autárquica e fundacional. Conforme o Decreto (artigo 2º), governança pública é o “conjunto de mecanismos de liderança, estratégia e controle postos em prática para avaliar, direcionar e monitorar a gestão, com vistas à condução de políticas públicas e à prestação de serviços de interesse da sociedade” (BRASIL, 2018, p. 215). Para o Banco Mundial, “é o processo por meio do qual atores estatais e não estatais interagem para formular e implementar políticas dentro de um conjunto pré-definido de regras formais e informais que moldam e são moldadas pelo poder” (World Bank, 2017, p. 3) “A governança das políticas públicas é balizada por princípios e mecanismos que se entrelaçam formando uma complexa estrutura, composta por normativos, regulamentos, instituições e, 15Enap Fundação Escola Nacional de Administração Pública principalmente, indivíduos, que são os gestores ou executores das políticas públicas” (BRASIL, 2018, p. 215). Os princípios de governança pública propostos para a estrutura de governança da política são os definidos no artigo 3º do Decreto nº 9.203/2017 (capacidade de resposta, integridade, confiabilidade, melhoria regulatória, prestação de contas e responsabilidade, e transparência), além dos mecanismos previstos no artigo 5º (liderança, estratégia e controle) (BRASIL, 2018, p. 63). O avaliador deve observar se o mecanismo de liderança “é capaz de assegurar a existência das condições mínimas para o exercício da governança”; se a estratégia “conduz à geração e à entrega dos produtos, resultados e impactos previstos”; e se o mecanismo de controle “é capaz de mitigar os possíveis riscos da execução dos processos da política”. (BRASIL, 2018, p. 63). O artigo 5º do Decreto nº 9.203/2017 detalha os mecanismos para o exercício da governança pública, conforme segue: Art. 5º. São mecanismos para o exercício da governança pública: I - liderança, que compreende conjunto de práticas de natureza humana ou comportamental exercida nos principais cargos das organizações, para assegurar a existência das condições mínimas para o exercício da boa governança (integridade; competência; responsabilidade; e motivação). II - estratégia, que compreende a definição de diretrizes, objetivos, planos e ações, além de critérios de priorização e alinhamento entre organizações e partes interessadas, para que os serviços e produtos de responsabilidade da organização alcancem o resultado pretendido; e III - controle, que compreende processos estruturados para mitigar os possíveis riscos com vistas ao alcance dos objetivos institucionais e para garantir a execução ordenada, ética, econômica, eficiente e eficaz das atividades da organização, com preservação da legalidade e da economicidade no dispêndio de recursos públicos. O Guia da política de governança pública da Casa Civil da Presidência da República detalha os princípios e diretrizes de governança (BRASIL, 2018d, p. 37-53). A capacidade de resposta se refere “à competência de uma instituição pública de atender de forma eficiente e eficaz às necessidades dos cidadãos, inclusive antevendo interesses e antecipando aspirações” (p. 40). A integridade “representa a busca pela prevenção da corrupção e pelo fortalecimento dos padrões morais de conduta (p. 42). 16Enap Fundação Escola Nacional de Administração Pública A confiabilidade “representa a capacidade das instituições de minimizar as incertezas para os cidadãos nos ambientes econômico, social e político” (OCDE, 2017c, p. 24, apud BRASIL 2018d, p. 44). A melhoria regulatória “representa o desenvolvimento e a avaliação de políticas e de atos normativos em um processo transparente, baseado em evidências e orientado pela visão de cidadãos e partes diretamente interessadas” (p. 47). A prestação de contas e responsabilidade (accountability) “representa a vinculação necessária, notadamente na administração de recursos públicos, entre decisões, condutas e competências e seus respectivos responsáveis”. (p. 51). A transparência “representa o compromisso da administração pública com a divulgação das suas atividades, prestando informações confiáveis, relevantes e tempestivas à sociedade” (p. 53). O TCU (2014, p. 10) sintetiza que “a governança pública pode ser analisada sob quatro perspectivas de observação: (1) Estado e sociedade; (2) entes federativos, esferas de poder e políticas públicas; (3) órgãos e entidades; e (4) atividades intraorganizacionais”. Figura 9 - Perspectivas de observação da governança no setor público. Fonte: TCU (2014, p. 10). 2.2. Modelo de avaliação de governança proposta no guia O Guia de Análise Ex Ante (2018, p. 125) esclarece que os modelos de governança definem quem comanda, quem coordena, quem acompanha (supervisiona) e quem gera a política”. O Guia detalha ainda que “a governança de uma política define as competências e as atribuições de sua execução e a responsabilidade por seus ajustes. Um modelo estabelece quem pode o quê (competências) e quem faz o quê (atribuições)”. A avaliação da governança da política pública deve examinar a estrutura de governança da política, checando “se a política possui mecanismos de liderança, estratégia e controle que 17Enap Fundação Escola Nacional de Administração Pública permitam avaliar, direcionar e monitorar a gestão, com vistas à condução de políticas públicas e à prestação de serviços de interesse da sociedade”. Verificar se estão “claramente definidos e compreendidos os papéis e as responsabilidades na coordenação daquela determinada política” (BRASIL, 2018, p. 63). Nesse sentido, deve-se “estudar como se dá a institucionalização da política, verificando os seus aspectos formais ou informais, como a definição das normatizações, dos padrões e dos procedimentos que possibilitem a sua execução alinhada com os seus objetivos e resultados” (BRASIL, 2018, p. 64). O guia resume o referencial para avaliação de governança em políticas públicas, do Tribunal de Contas da União (TCU), que define que as boas práticas são (TCU, 2014, p. 44-45, apud BRASIL, 2018, p. 44): • institucionalização formal da política pública por meio de norma legal (lei, decreto, resolução etc.) apropriada, emitida por órgão dotado de legitimidade e competência para fazê-lo, e na qual normatize-se a atuação dos diversos órgãos, instituições e esferas de governo envolvidos; • definição clara e formal das competências das principais partes interessadas envolvidas na política pública (matriz de responsabilidades), de formaque seja possível a identificação dos objetivos, papéis, responsabilidades, recursos e obrigações de todos os envolvidos, incluindo-se abordagem para tratar resolução de conflitos, identificar e dividir riscos e oportunidades e estabelecer formas de revisão, avaliação e monitoramento; • institucionalização formal dos processos decisórios referentes à política pública; • existência de marco regulatório que não prejudique o desempenho da política pública pelo excesso de formalismo e de detalhamento. A figura a seguir resume os componentes do Modelo para Avaliação de Governança em Políticas Públicas do TCU (TCU, 2014, p. 41). Figura 10 - Componentes do Modelo do TCU para Avaliação de Governança em Políticas Públicas Fonte: TCU (2014, p. 41). 18Enap Fundação Escola Nacional de Administração Pública A boa governança em políticas públicas dependerá justamente da caracterização do ambiente de ação que envolve o ciclo de políticas públicas e do modo pelo qual, e em benefício de quem, esse ciclo é operacionalizado. 2.3. Passo a passo da avaliação da governança O capítulo 7 do Guia de Avaliação Ex Post (pp. 215-225) define apenas três passos para a avaliação da governança da política pública. A definição dos passos decorreu da escolha das premissas dos métodos multicritérios de apoio à decisão. Essa metodologia permite mensurar toda a complexidade e a subjetividade inerentes a avaliação de governança da política pública, “devido às suas características e à sua capacidade de absorver um vasto rol de aspectos importantes inerentes à governança” (BRASIL, 2018, p. 216). Figura 11 – Os três passos para a avaliação da governança da política pública Primeiro passo - estruturação da governança Inclui três elementos: a identificação do objetivo; a definição dos elementos de avaliação e dos pontos de vista dos decisores da política; e a definição dos descritores. A identificação do objetivo deve deixar claro que é avaliar a estrutura de governança, ou seja, “avaliar a definição, a clareza e a adequação da estrutura de papéis e responsabilidades de coordenação” da política. A definição dos elementos de avaliação e dos pontos de vista dos decisores da política, que se refere a alguns conceitos dos métodos de multicritérios referentes a informações primárias para a avaliação e os aspectos considerados como fundamentais pelos decisores, para avaliar as ações. A definição dos descritores se refere a um “conjunto de níveis de impacto que servem como base para descrever as performances plausíveis das ações potenciais” com base nos pontos de vistas fundamentais dos decisores. Segundo passo - execução da avaliação Com o modelo multicritério pronto, passa-se para a execução da avaliação, que inclui a avaliação dos descritores pelos participantes, a articulação das suas preferências e aplicação do modelo, se 19Enap Fundação Escola Nacional de Administração Pública possível com ampla participação, para eliminar vieses de seleção. Terceira passo - recomendações Com base nos resultados obtidos na aplicação do modelo, no sentido de direcionar os esforços de melhoria para aqueles elementos que obtiveram pior desempenho, buscando, por sua vez, intensificar os impactos daqueles bem avaliados. 2.3. Passo a passo da avaliação da governança As questões orientadoras para a análise da governança da política pública, propostas para a avaliação executiva, no Guia de Avaliação Ex Post de Políticas Públicas, são as apresentadas no quadro a seguir (BRASIL, 2018, p. 63): Questões orientadoras para a análise da governança da política pública • Os princípios previstos no artigo 3º do Decreto nº 9.203/2017 são observados na governança da política pública? • A estrutura de governança contribui para a atuação dos atores envolvidos com a política pública por meio da definição clara de suas competências e responsabilidades, e da articulação das instituições e dos processos, com vistas a gerar, preservar e entregar valor público? • A liderança exercida pelos gestores da política é capaz de assegurar a existência das condições mínimas para o exercício da boa governança? • A estrutura de governança permite participação social em algumas das etapas da sua execução? Essas são as questões que deverão ser respondidas na análise de governança, na avaliação executiva da política pública. Saiba mais Para aprofundamento do tema, você pode ler o capítulo 7 do Guia de Avaliação Ex Post, que apresenta os principais elementos da avaliação de governança da política pública e o caso da avaliação do Programa Bolsa Família. 20Enap Fundação Escola Nacional de Administração Pública Referências BRASIL. Casa Civil da Presidência da República et al. Capítulo 3: avaliação executiva (pp. 53- 102). In: BRASIL. Casa Civil da Presidência da República et al. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília: Casa Civil da Presidência da República, 2018. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/ guiaexpost.pdf/view. Acesso em: 19 de jul. 2021. BRASIL. Casa Civil da Presidência da República et al. Capítulo 7: avaliação de governança da política pública (pp. 215-232). In: BRASIL. Casa Civil da Presidência da República et al. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília: Casa Civil da Presidência da República, 2018. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/ downloads/guiaexpost.pdf/view. Acesso em: 19 de jul. 2021. BRASIL. Casa Civil da Presidência da República et al. Apêndice A: programa bolsa família (pp. 233- 239). In: BRASIL. Casa Civil da Presidência da República et al. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília: Casa Civil da Presidência da República, 2018. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/ guiaexpost.pdf/view. Acesso em: 19 de jul. 2021. Bibliografia Complementar: BRASIL. Casa Civil da Presidência da República et al. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília: Casa Civil da Presidência da República, 2018. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view. Acesso em: 19 de jul. 2021. BRASIL. Casa Civil da Presidência da República et al. Avaliação de políticas públicas: guia prático de análise ex ante, volume 1. Brasília: Casa Civil da Presidência da República, 2018b. Disponível em: https://www.ipea.gov.br/portal/images/stories/PDFs/livros/livros/180319_avaliacao_de_ politicas_publicas.pdf. Acesso em: 19 de jul. 2021. BRASIL. Casa Civil da Presidência da República et al. Diretrizes gerais e guia orientativo para elaboração de Análise de Impacto Regulatório – AIR. Brasília: Presidência da República, 2018c. Disponível em: https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/diretrizes- gerais-e-guia-orientativo_final_27-09-2018.pdf/@@download/file/diretrizes-gerais-e-guia- orientativo_final_27-09.pdf. Acesso em: 19 de jul. 2021. BRASIL. Casa Civil da Presidência da República. Guia da política de governança pública. Brasília: Casa Civil da Presidência da República, 2018d. 86 p. Disponível em: https://www.gov.br/casacivil/ pt-br/centrais-de-conteudo/downloads/guia-da-politica-de-governanca-publica. Acesso em: 19 https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guiaexpost.pdf/view https://www.ipea.gov.br/portal/images/stories/PDFs/livros/livros/180319_avaliacao_de_politicas_publicas.pdfhttps://www.ipea.gov.br/portal/images/stories/PDFs/livros/livros/180319_avaliacao_de_politicas_publicas.pdf https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/diretrizes-gerais-e-guia-orientativo_final_27-09-2018.pdf/@@download/file/diretrizes-gerais-e-guia-orientativo_final_27-09.pdf https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/diretrizes-gerais-e-guia-orientativo_final_27-09-2018.pdf/@@download/file/diretrizes-gerais-e-guia-orientativo_final_27-09.pdf https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/diretrizes-gerais-e-guia-orientativo_final_27-09-2018.pdf/@@download/file/diretrizes-gerais-e-guia-orientativo_final_27-09.pdf https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guia-da-politica-de-governanca-publica https://www.gov.br/casacivil/pt-br/centrais-de-conteudo/downloads/guia-da-politica-de-governanca-publica 21Enap Fundação Escola Nacional de Administração Pública de jul. 2021. BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimentos Estratégicos - SPI. Indicadores - Orientações Básicas Aplicadas à Gestão Pública. Brasília: MP, 2012. Disponível em: http://www.gespublica.gov.br/sites/default/files/documentos/ indicadores_orientacoes_basicas_aplicadas_a_gestao_publica.pdf. Acesso em: 19 de jul. 2021. BRASIL/MP. Ministério do Planejamento, Desenvolvimento e Gestão. Secretaria de Planejamento e Assuntos Econômicos. Indicadores – Orientações Básicas Aplicadas à Gestão Pública. 3ª Edição. Brasília: MP, 2018. Disponível em: https://www.gov.br/economia/pt-br/assuntos/ planejamento-e-orcamento/plano-plurianual-ppa/arquivos/ppas-anteriores/ppa-2016-2019/ guia_indicadores_ppa.pdf. Acesso em: 19 de jul. 2021. BROUSSELLE, A.; CHAMPAGNE, F., et al (Ed.). A Avaliação no Campo da Saúde: conceitos e métodos. Rio de Janeiro: Editora Fiocruz, 2013. CASSIOLATO, Martha; FERREIRA Helder; e GONZALEZ, Roberto. Uma experiência de Desenvolvimento Metodológico para Avaliação de Programas: O modelo lógico do Programa Segundo Tempo. Texto para Discussão nº 1369. Brasília: IPEA, 2008: Disponível em: http://www. ipea.gov.br/portal/images/stories/PDFs/TDs/td_1369.pdf. Acesso em: 19 de jul. 2021. CASSIOLATO, Martha; GUERESI, Simone. Como elaborar Modelo Lógico: roteiro para formular programas e organizar avaliação. Nota Técnica nº 6. Brasília: IPEA, 2010. http://www.ipea.gov. br/portal/index.php?option=com_content&view=article&id=5134. Acesso em: 19 de jul. 2021. CASSIOLATO, Martha; FERREIRA Helder; e GONZALEZ, Roberto. Como Elaborar Modelo Lógico de Programa: um roteiro básico. Nota Técnica nº 2. Brasília: IPEA, 2007. Disponível em: http:// www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=605. Acesso em: 19 de jul. 2021. HELMING, S.; GÖBEL, M. ZOOP - Planejamento de Projetos Orientado por Objetivos – Um Guia de Orientação para o Planejamento de Projetos Novos e em Andamento. GTZ - Deutsche Gesellschaft Für Technische Zusammenarbeit. Eschborn, 1998. JANNUZZI, Paulo de Martino. Monitoramento e avaliação de programas sociais: uma introdução aos conceitos técnicos. Campinas: Editora Alínea, 2016. PFEIFFER, Peter. O Quadro Lógico: um método para planejar e gerenciar mudanças. In: PAGNUSSAT, José Luiz e GIACOMONI, James. Coletânea de Planejamento e Orçamento. Brasília: Enap, 2006. Disponível em: repositório.enap.gov.br. PMI. Um Guia do Conhecimento em Gerenciamento de Projetos (Guia PMBOK®). 5ª edição. P PMI (Project Management Institute). Um Guia do Conhecimento em Gerenciamento de Projetos (Guia PMBOK®). 5ª edição. PMI: Pennsylvania, USA. 2013. Disponível em: http://www.teraits. http://www.gespublica.gov.br/sites/default/files/documentos/indicadores_orientacoes_basicas_aplicadas_a_gestao_publica.pdf http://www.gespublica.gov.br/sites/default/files/documentos/indicadores_orientacoes_basicas_aplicadas_a_gestao_publica.pdf https://www.gov.br/economia/pt-br/assuntos/planejamento-e-orcamento/plano-plurianual-ppa/arquivos/ppas-anteriores/ppa-2016-2019/guia_indicadores_ppa.pdf https://www.gov.br/economia/pt-br/assuntos/planejamento-e-orcamento/plano-plurianual-ppa/arquivos/ppas-anteriores/ppa-2016-2019/guia_indicadores_ppa.pdf https://www.gov.br/economia/pt-br/assuntos/planejamento-e-orcamento/plano-plurianual-ppa/arquivos/ppas-anteriores/ppa-2016-2019/guia_indicadores_ppa.pdf http://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_1369.pdf http://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_1369.pdf http://www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=5134 http://www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=5134 http://www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=605 http://www.ipea.gov.br/portal/index.php?option=com_content&view=article&id=605 http://www.teraits.com/pitagoras/marcio/gp/PMBOK_5aEdicao.pdf 22Enap Fundação Escola Nacional de Administração Pública com/pitagoras/marcio/gp/PMBOK_5aEdicao.pdf. Acesso em: 19 de jul. 2021. SECCHI, Leonardo. Políticas públicas: conceitos, esquemas de análise, casos práticos. 2ª edição, São Paulo: Cengage Learning, 2014. TCU - Tribunal de Contas da União. Referencial para avaliação de governança em políticas públicas. Brasília: TCU, 2014. 91 p. Disponível em: https://portal.tcu.gov.br/data/ files/61/86/7D/09/8CA1F6107AD96FE6F18818A8/Referencial_avaliacao_governanca_ politicas_publicas.PDF. Acesso em: 19 de jul. 2021. http://www.teraits.com/pitagoras/marcio/gp/PMBOK_5aEdicao.pdf https://portal.tcu.gov.br/data/files/61/86/7D/09/8CA1F6107AD96FE6F18818A8/Referencial_avaliacao_governanca_politicas_publicas.PDF https://portal.tcu.gov.br/data/files/61/86/7D/09/8CA1F6107AD96FE6F18818A8/Referencial_avaliacao_governanca_politicas_publicas.PDF https://portal.tcu.gov.br/data/files/61/86/7D/09/8CA1F6107AD96FE6F18818A8/Referencial_avaliacao_governanca_politicas_publicas.PDF 1. Objetivos de Aprendizagem 1.1. Objetivos da avaliação da implementação 1.2 Levantamento dos processos envolvidos na execução da política 1.3 Passo a passo da avaliação de implementação 1.4 Gestão de riscos de implementação da política 1.5 Questões orientadoras para a análise de implementação da política. 2. Análise da Estrutura de Governança da Política Pública 2.1. Conceitos e princípios da governança pública 2.2. Modelo de avaliação de governança proposta no guia 2.3. Passo a passo da avaliação da governança 2.3. Passo a passo da avaliação da governança
Compartilhar