Baixe o app para aproveitar ainda mais
Prévia do material em texto
INSTITUTO SERZEDELLO CORRÊA Auditoria operacional Unidade Introdução Aula 2 Ciclo de auditorias Aula 2 – Ciclo de auditorias 2 Aula 2 – Ciclo de auditorias Nesta aula você vai conhecer as principais etapas de realização de uma auditoria operacional, desde a seleção do objeto de auditoria até a fase de monitoramento das recomendações propostas. Essas etapas são as mesmas realizadas por diferentes Entidades de Fiscalização Superior (EFS), com exceção da etapa de apreciação do relatório de auditoria, típico das cortes de contas como o Tribunal de Contas da União, do que trataremos no capítulo 4. Fonte: adaptado de NAO, 1996. Para facilitar o estudo, esta aula está organizada da seguinte forma: AULA 2 – CICLO DE AUDITORIAS ----------------------------------------------------------------------------------------------------------------------- 2 1. SELEÇÃO DO OBJETO DE AUDITORIA ----------------------------------------------------------------------------------------------------------- 4 2. ETAPA DE PLANEJAMENTO ------------------------------------------------------------------------------------------------------------------------ 11 3. ETAPAS DE EXECUÇÃO, RELATÓRIO E COMENTÁRIOS DO GESTOR -------------------------------------------------------------- 29 4. ETAPA DE APRECIAÇÃO DO RELATÓRIO E DIVULGAÇÃO ----------------------------------------------------------------------------- 35 5. MONITORAMENTO -------------------------------------------------------------------------------------------------------------------------------------- 40 SÍNTESE --------------------------------------------------------------------------------------------------------------------------------------------------------- 54 REFERÊNCIAS BIBLIOGRÁFICAS ---------------------------------------------------------------------------------------------------------------------- 55 Aula 2 – Ciclo de auditorias 3 Ao final do Capítulo 1. Seleção do objeto de auditoria, esperamos que você tenha condições de: � Identificar os principais critérios que orientam as escolhas dos temas de auditoria � Identificar o instrumento utilizado para selecionar objetos de auditoria que apresentem maior potencial para aperfeiçoamento da gestão. Ao final do Capítulo 2. Planejamento, esperamos que você tenha condições de: Identificar as atividades desenvolvidas durante o planejamento e os produtos elaborados nessa fase do trabalho de auditoria Ao final do Capítulo 3. Etapas de execução e comentários do gestor, esperamos que você tenha condições de: � Identificar cada etapa da execução do trabalho de auditoria; � Identificar os procedimentos adotados para o registro dos comentários do gestor no relatório de auditoria; � Descrever a importância do registro do comentário do gestor no relatório de auditoria. Ao final do Capítulo 4. Etapa de apreciação do relatório e divulgação, esperamos que você tenha condições de: � Identificar os procedimentos de apreciação das auditorias operacionais no Tribunal de Contas da União; � Identificar os instrumentos de divulgação das auditorias operacionais usados pelo TCU. Ao final do Capítulo 5. Monitoramento, esperamos que você tenha condições de: � Definir monitoramento; � Identificar os instrumentos da sistemática de monitoramento; � Identificar a estrutura dos relatórios. Pronto para começar? Então, vamos! Aula 2 – Ciclo de auditorias 4 1. Seleção do objeto de auditoria Primeiramente, reflita por alguns instantes sobre as atividades desenvolvidas pela instituição em que você trabalha. Procure identificar as atividades prioritárias, defina critérios que justifiquem a sua escolha, ou seja, observe a importância dessas atividades consideradas prioritárias em relação às demais. Se você como auditor fosse designado para avaliar o desempenho das atividades desenvolvidas por sua instituição, por onde você começaria? Ao começar qualquer trabalho de auditoria, o primeiro passo é fazer a seleção do seu objeto. Mas como fazer essa seleção? Neste capítulo, vamos abordar a 1ª etapa da auditoria operacional: a seleção do objeto da auditoria. A importância da seleção está na identificação de oportunidade de realização de trabalhos que contribuam para o aperfeiçoamento da administração pública e para oferecer à sociedade informações que permitam um julgamento independente sobre o desempenho da atividade pública. Saiba mais... Segundo a ISSAI 3000, as EFS procuram atingir um ou mais dos seguintes objetivos com as ANOp: • proporcionar ao poder legislativo exame independente sobre a economicidade, eficiência ou efetividade dos recursos e dos arranjos utilizados para a implementação de políticas ou programas de governo; • proporcionar ao poder legislativo análise independente e ad hoc sobre a viabilidade e confiabilidade dos sistemas de mensuração do desempenho ou declarações ou auto-avaliações sobre desempenho que são publicadas por entidades executoras; • proporcionar ao poder legislativo a análise independente dos problemas de economia, eficiência e efetividade em atividades do governo e contribuir para melhorias; • proporcionar ao poder legislativo avaliações, com independência, sobre os impactos intencionais ou não intencionais, diretos e indiretos dos programas de governo bem como verificar se as metas declaradas ou objetivos têm sido alcançados e em que medida, ou razão de não terem sido alcançados. Assim, o método a ser aplicado na ANOp deve abranger os objetivos que se pretende atingir com os resultados do trabalho. Aula 2 – Ciclo de auditorias 5 Ao determinar a alocação de seus recursos, o órgão de controle deve priorizar atividades que precisam, por lei, ser completadas em certo prazo, a exemplo do relatório e pareceres prévios sobre as contas do Governo da República. Este capítulo não trata desses casos, mas dos cuidados que devem ser adotados ao se priorizar as auditorias de iniciativa própria. O modelo apresentado nesta aula tem por base as diretrizes a Intosai (ISSAI 3000/3.2, 2004) e do Tribunal de Contas da União (TCU), segundo as quais devem ser observadas as seguintes etapas para definição dos objetos de auditoria: • definir os possíveis temas de fiscalização a partir dos quais se selecionarão as áreas estratégicas para atuação da instituição; • estabelecer os critérios que serão empregados para a seleção de áreas. 1.1. Integração com o plano estratégico A ISSAI 3000 define que o processo de seleção de fiscalizações deve estar integrado ao planejamento estratégico e ao sistema de planejamento anual da EFS. Esta integração orientará escolhas que definirão: a) alocação de recursos como, por exemplo, programas de capacitação, ferramentas de trabalho e alocação de pessoal; b) diretrizes de atuação da EFS, relativamente às áreas de governo que serão examinadas prioritariamente. Após a definição da abordagem estratégica, inicia-se o plano operacional. 1.2. Critérios para selecionar objetos específicos de auditoria Os critérios de seleção podem ter maior ou menor peso no processo de escolha, dependendo do contexto. Os atributos do possível objeto de auditoria devem ser examinados em relação a cada um dos critérios listados abaixo para, em conjunto, construir uma escala de prioridades. Para saber mais... O modelo de gestão governamental, com a edição do Decreto nº 2.829/1998, que estabeleceu normas para a elaboração e execução do Plano Plurianual (PPA) e dos Orçamentos da União, introduziu na administração pública a gestão gerencial de planejamento e orçamento, voltada para a solução de problemas e obtenção de resultados por meio de programas. Nesse novo contexto, a alocação dos recursospúblicos deixou de ser orientada pela natureza da despesa e passou a ser focada no resultado da ação governamental. A efetiva e regular aplicação dos recursos públicos está, portanto, diretamente relacionada aos elementos que definem a qualidade do gasto público: Atenção! As escolhas realizadas devem ser justificadas e fundamentadas, ainda que prevaleça a opinião qualificada de um grupo de profissionais. O critério mais importante é a agregação de valor. Outros critérios podem ser usados, entre os quais se destacam os citados nos normativos da Intosai e do TCU: materialidade, relevância e vulnerabilidade. Aula 2 – Ciclo de auditorias 6 Agregação de valor Significa produzir novos conhecimentos e perspectivas sobre o objeto de estudo, a partir de algumas situações. As seguintes situações podem indicar a possibilidade de a auditoria agregar valor significativo: a) discussão sobre nova política pública ou mudança significativa na implementação de programa ou na organização de ente governamental; b) surgimento de novas ou urgentes atividades ou mudanças de condição; c) escassez de auditorias anteriores ou trabalhos de outros órgãos de pesquisa ou de controle sobre o objeto de auditoria; d) pouco conhecimento sobre a relação causa e efeito entre a ação de governo e a solução de problemas. Materialidade É a importância relativa ou representatividade do valor ou do volume de recursos envolvidos, em determinado contexto. O critério de materialidade indica que o processo de seleção deve levar em consideração os valores envolvidos no objeto de auditoria, pois a auditoria deve produzir benefícios significativos. Nem sempre benefícios das auditorias operacionais são financeiros, mas o aperfeiçoamento de processos em objetos de auditoria com alta materialidade tem grande possibilidade de gerar economia ou eliminar desperdícios. O volume de recursos disponíveis no orçamento é indicador de materialidade. No entanto, em ambientes orçamentários nos quais existe grande diferença entre o orçado, o contratado e o pago, o exame dos valores envolvidos em cada uma dessas fases da despesa pode ser necessário. Além disso, na fiscalização da área de regulação, a dimensão econômica do setor no qual se insere o objeto de auditoria deve ser levada em consideração. Relevância São questões de interesse da sociedade que estão em debate público e são valorizadas, a partir da opinião de vários setores da sociedade. Para avaliar a importância relativa do objeto de auditoria é necessário levantar informações mediante pesquisas nos sistemas disponíveis e entrevistas com stakeholders. Os meios que devem ser usados para aferir a relevância do possível objeto de auditoria são: • opinião de parlamentares, de técnicos das casas legislativas ou de institutos de pesquisa e de figuras proeminentes de diversos setores da sociedade; Aula 2 – Ciclo de auditorias 7 • declarações de prioridades nos planos e orçamentos públicos, como o Plano Plurianual, a Lei de Diretrizes Orçamentárias, a mensagem do Poder Executivo que encaminha o orçamento ao Poder Legislativo, os planos setoriais, a manifestação pública de priorização pelo governo; • relatos reiterados de desperdícios, erros, desobediência a procedimentos; • presença na mídia. Vulnerabilidade No contexto do processo de seleção, as vulnerabilidades são situações ou propriedades intrínsecas do objeto de auditoria que podem estar associadas à ocorrência de eventos adversos (ABNT, 2009). Conforme a natureza do objeto de auditoria que esteja sendo selecionado, é necessário investigar áreas específicas referentes à operação de programas de governo, organizações públicas ou mesmo municípios a serem auditados. Nesse último caso, podem ser examinadas características relacionadas ao desenvolvimento institucional local. Exemplos de situações que podem estar associadas à ocorrência de eventos adversos (ISSAI 3000/2.2, 2004): • Estruturas gerenciais complexas que envolvem diferentes organizações governamentais, de uma mesma esfera ou de esferas de governo diferentes, e organizações não-governamentais. • Falta de informações confiáveis ou atualizadas sobre o desempenho do objeto de auditoria, como alcance de metas, custos dos produtos, público atendido. • Problemas de estrutura, de planejamento, de controle. • Falta de clareza sobre objetivos, metas, responsabilidades, processos de tomada de decisão. • Problemas operacionais com sistemas informatizados. 1.3. Levantamento Para passar do planejamento estratégico para o plano operacional, é necessário obter informações atualizadas do objeto que se pretende auditar. Coletam-se informações sobre estrutura, funções e operações com objetivo de identificar áreas com alta materialidade, que apresentem vulnerabilidades e que tenham potencial para que a auditoria contribua para gerar melhorias na administração. Isto pode ser feito por meio de levantamento que é um tipo de instrumento de fiscalização. Aula 2 – Ciclo de auditorias 8 levantamento tem por objetivo servir como instrumento para selecionar futuros temas para auditorias e para decidir se é viável realizar auditorias específicas. Dependendo do objetivo e do conhecimento acumulado sobre a área em exame, o levantamento poderá ter escopo amplo ou restrito. Levantamento de escopo amplo Tem por objetivo conhecer a organização e o funcionamento das áreas que poderão ser fiscalizadas, mediante análise do geral para o particular e em perspectiva plurianual, bem como identificar objetos e instrumentos de fiscalização. Tendo em vista sua amplitude, ele pode identificar oportunidades de realizar tanto auditorias operacionais quanto de conformidade. Levantamento de escopo restrito Permite aprofundar o levantamento para estudar a viabilidade de realização da fiscalização, isto é, examinar se o objeto de auditoria indicado é auditável, o que corresponde a um dos possíveis objetivos do levantamento. Permite, também, verificar a questão da oportunidade de realização da auditoria. Como o levantamento de escopo amplo visa identificar objetos de auditoria no curto, médio e longo prazos, as mudanças de condição podem exigir a atualização de informações e a reavaliação dos critérios de seleção. Em geral, o estudo de viabilidade traz informações sobre os principais processos operacionais e produtos, de forma a esclarecer a forma de execução das ações. Além disso, examinam-se: a) a qualidade dos indicadores de desempenho já identificados, destacando oportunidades de melhoria; b) a disponibilidade de dados e sistemas de informações, abordando sua confiabilidade e abrangência; c) os relatórios gerenciais existentes e as avaliações anteriormente efetuadas; d) as limitações à execução da auditoria, e) a receptividade do gestor em participar da fiscalização; f) a necessidade de empregar habilidades especializadas na auditoria; g) os possíveis prejuízos aos objetivos do controle externo, caso a fiscalização não seja realizada. Para facilitar a seleção de possíveis áreas que possam ser objeto de fiscalização, o TCU aplica método de levantamento para identificação de eventos de riscos em organizações, programas ou atividades governamentais. Aula 2 – Ciclo de auditorias 9 Para a identificação de eventos de risco, consideram-se os conceitos da ABNT (ISO GUIA 73/2009), exceto quando indicado o contrário: Risco possibilidade de algo acontecer e ter impacto nos objetivos, sendo medido em termos de consequências e probabilidades (IN TCU 63/2010). Consequência resultado de um evento que afeta os objetivos. Probabilidade chance de algo acontecer. Evento ocorrência ou mudança em um conjunto específico de circunstâncias; incidente. Identificação de riscos processo de busca, reconhecimento e descrição de riscos.Análise de risco processo de compreender a natureza do risco e determinar o nível de risco. Avaliação de riscos processo de comparar os resultados da análise de riscos com os critérios de risco para determinar se o risco e/ou sua magnitude é aceitável ou tolerável. Resumo do método: 1. Coleta preliminar de informações 2. Aplicação de técnicas de diagnóstico (análise SWOT e DVR , Stakeholder e outras.) 3. Mapeamento de processos 4. Identificação de eventos de risco (principais aspectos que podem apontar para uma área de risco são (TCU, 2011): • relevância da área em relação aos objetivos da entidade; • inexistência de processos ou sistemas que permitam à gerência acompanhar o andamento de atividades relevantes para os objetivos; • potenciais falhas ou fragilidades nos controles; • existência de fatores externos de risco; • dificuldade de responder tempestivamente aos fatores externos; • incidência de falhas apontadas em trabalhos anteriores; Aula 2 – Ciclo de auditorias 10 5. Elaboração da matriz de risco – a matriz de risco contém as seguintes colunas (TCU, 2011): • Nome do processo mapeado • Objetivo: descrição sucinta do objetivo do processo mapeado • Descrição do evento: eventos de risco identificados pela equipe que podem impactar os objetivos do processo. Normalmente, em cada processo identificam-se vários riscos • Probabilidade • Consequências • Nível: magnitude de um risco, expressa em termos da combinação das consequências e probabilidade • Ações de controle: a partir dos riscos identificados, a equipe de levantamento deve propor ações de controle a serem realizadas pelo órgão de controle Algumas versões da matriz de riscos podem trazer ainda os Mecanismos de controle existentes, que podem contribuir para diminuir ou suprimir o risco. Aula 2 – Ciclo de auditorias 11 2. Etapa de planejamento Voltando ao ciclo dos trabalhos de ANOp, após definirmos o objeto, passamos à etapa de planejamento. Fonte: adaptado de NAO, 1996. Em ANOp, assim como em qualquer outro tipo de fiscalização, é imprescindível definir o escopo e as questões de auditoria. Na sua opinião, o que mais devemos definir na etapa de planejamento do ciclo de auditoria? Comentário do especialista Na etapa de planejamento, elabora-se um projeto de auditoria, por meio do qual são definidos e documentados os objetivos, a extensão, os procedimentos de coleta e de análise de dados, os recursos e o prazo da auditoria. O planejamento está sintetizado em uma matriz de planejamento, principal instrumento de apoio à elaboração do projeto de auditoria, pois contém as informações essenciais que o definem. Seu propósito é auxiliar a elaboração conceitual do trabalho e a orientação da equipe na fase de execução. É fundamental para facilitar a comunicação de decisões sobre o método e a condução dos trabalhos de campo. Como elaborar um projeto de auditoria operacional é o tema deste capítulo. Aula 2 – Ciclo de auditorias 12 No planejamento de uma auditoria, algumas atividades são fundamentais para que se tenha uma visão clara do direcionamento do trabalho e para garantir a sua qualidade. Veja as atividades da fase de planejamento de auditoria: O planejamento visa, portanto, delimitar o objetivo e o escopo da auditoria, definir o método a ser adotado para investigar as questões de auditoria e estimar os recursos, os custos e o prazo necessários à sua realização. O estabelecimento de boas relações com os gestores, desde o início dos trabalhos, é de suma importância para o sucesso da auditoria. Especial atenção deve ser dada à cuidadosa organização dos contatos com os gestores, desde a fase de planejamento. O contato inicial deve ser por telefone, seguido de uma reunião em que a equipe de auditoria, acompanhada do supervisor, apresenta os objetivos do trabalho para o gestor e sua equipe. Deve-se solicitar a presença do representante do controle interno. O objetivo desta reunião inicial, além das apresentações das equipes de auditoria e da instituição ou programa auditado, é esclarecer sobre a modalidade de auditoria que será realizada e sua finalidade, as principais dimensões de análise (economicidade, eficiência, eficácia e efetividade), as etapas e os prazos previstos para a realização do trabalho. É fundamental destacar a importância da colaboração do gestor e a garantia de sua participação em todas as fases do trabalho, ressaltando-se o envio de relatório preliminar para sua análise e comentários. A atitude da equipe de auditoria deve favorecer a confiança mútua e a interação produtiva ao longo de todo o trabalho, sem, entretanto, descuidar da observância de limites necessários à salvaguarda de sua independência na condução da auditoria (ISSAI 3000/4.4, 2004; ISSAI 200/2.25/2.29, 2001). Aula 2 – Ciclo de auditorias 13 Para evitar conflitos desnecessários, os auditores devem procurar entender a natureza específica do objeto de auditoria. Para isso, deverão considerá-lo a partir de diferentes perspectivas e adotar atitude aberta e objetiva diante de opiniões divergentes, esforçando-se para explicitá-las de maneira a construir uma visão final tão verdadeira e justa quanto possível (ISSAI 3000/4.4, 2004). Na fase de planejamento, é importante cumprir as seguintes etapas: • análise preliminar do objeto de auditoria; • definição do objetivo e escopo da auditoria; • especificação dos critérios de auditoria; • elaboração da matriz de planejamento; • validação da matriz de planejamento; • elaboração de instrumentos de coleta de dados; • teste-piloto; • elaboração do projeto de auditoria. Vamos examinar cada etapa. 2.1. Cronograma das atividades Para garantir a realização de todas as atividades listadas anteriormente, um cronograma deve ser elaborado no primeiro momento do planejamento. O cronograma deve conter: • a relação das tarefas a serem executadas; • os responsáveis pelas tarefas; • o prazo para execução das tarefas. Esse instrumento permite que a equipe planeje e organize suas atividades, para facilitar a alocação de seus membros de acordo com as tarefas necessárias e o tempo disponível. O cronograma deve ser acordado entre os membros da equipe e ser submetido ao supervisor, que o utilizará para o acompanhamento do desenrolar dos trabalhos. Para facilitar essa tarefa, também podem ser utilizados softwares específicos de acompanhamento de projetos. Compete ao coordenador da equipe assegurar que o trabalho seja planejado corretamente e que os demais membros da equipe e os gestores do objeto da auditoria estejam suficientemente informados acerca do propósito do planejamento. Aula 2 – Ciclo de auditorias 14 É importante que todos os membros da equipe estejam cientes do prazo final para conclusão de cada tarefa e que as informações levantadas sejam disseminadas entre todos. Os componentes da equipe de auditoria devem informar ao coordenador e, se necessário, ao supervisor as limitações ou entraves ao cumprimento dos prazos e tarefas acordados inicialmente. Reuniões curtas e periódicas são importantes e necessárias para que a equipe nunca deixe de interagir e tenha uniformidade de entendimento a respeito das conclusões de cada tarefa e da elaboração dos papéis de trabalho. Pontos de vista e posições antagônicas sempre vão existir. Deve-se procurar não perder tempo demais com discussões pouco importantes ou improdutivas; solucionar rapidamente impasses ou conflitos, e cumprir as atividades tempestivamente. A equipe deve repassar ao supervisor, nos prazos acordados, informações fundamentadas e conclusivas a respeito das atividades concluídas e seu impacto sobre os rumos da auditoria, em relação aos dados obtidos até aquele ponto do planejamento. Durante o planejamento, é importante que o coordenador da equipe avalieos prazos estimados inicialmente. Se houver necessidade de readequação, o coordenador da equipe deve submeter novo cronograma de atividades ao supervisor. Essa proposta deve ser feita logo que a necessidade for identificada, para que providências sejam encaminhadas em tempo hábil. 2.2. Análise preliminar do objeto auditado A análise preliminar do objeto da auditoria consiste no levantamento de informações relevantes sobre o objeto em estudo de modo a obter conhecimento necessário à formulação das questões que serão examinadas na auditoria. Objetivos Metas Responsáveis Histórico Aspectos orçamentários e financeiros Legislação Pontenciais beneficiários Processo de tomada de decisão Principais recursos Relevância Sistemas de controle Indicadores de desempenho Para saber mais... Consulte, na biblioteca do curso, o exemplo de um cronograma elaborado pela equipe responsável pelo planejamento de auditoria na Ação de Formação de Estoques Públicos em 2009. Aula 2 – Ciclo de auditorias 15 A compreensão do objeto da auditoria permite identificar os riscos e pontos críticos existentes. A extensão e o nível de detalhamento dos dados que serão coletados devem levar em consideração o tempo e recursos disponíveis, e os objetivos da auditoria. Apresentamos algumas das principais informações sobre o objeto de auditoria a serem levantadas e estudadas pela equipe: O objeto e seu contexto • objetivos (gerais ou parciais, dependendo da extensão do trabalho); • estratégia de atuação (ações desenvolvidas, metas fixadas, clientes atendidos, procedimentos e recursos empregados, bens e serviços ofertados e benefícios proporcionados); • estrutura organizacional (linhas de subordinação e de assessoramento e relação com as atividades desenvolvidas); • abrangência de atuação e metas dos órgãos, entidades, programas, projetos e atividades governamentais que atuam na mesma área; • fontes de financiamento e principais itens de custo e despesa (histórico da execução orçamentária); • situação no contexto das prioridades governamentais; • histórico (a partir da data de criação, as denominações anteriores e mudanças na sua concepção lógica em relação a objetivos, público-alvo e formas de implementação); • grupos de interesse e características do ambiente externo e interno; • natureza da atuação de outros órgãos ou programas governamentais que atuam na mesma área (linhas de coordenação). Funcionamento do objeto auditado • processos gerenciais; • bases de dados existentes; • ambiente de controle; • restrições enfrentadas (imposições legais e limitações impostas pela concorrência, pela tecnologia, pela escassez de recursos ou pela necessidade de cooperar com outras entidades). Dados sobre desempenho • procedimentos de coleta de dados sobre desempenho; • qualidade dos indicadores de desempenho usados; • uso de indicadores de desempenho no processo de tomada de decisões. Os dados de desempenho são fundamentais para a avaliação dos aspectos da economicidade, eficiência, eficácia e efetividade do objeto da auditoria. Aula 2 – Ciclo de auditorias 16 Veja as principais fontes para obter fontes de informações sobre o objeto auditado: - documentação legal e institucional que dá suporte ao objeto de auditoria; - legislação orçamentária (PPA, LDO e LOA); - missão declarada, planos estratégicos e relatórios de gestão; - pronunciamentos feitos e decisões tomadas pelas autoridades competentes; - organogramas, diretrizes internas e manuais operacionais; - atas de reuniões; - sistemas de informações gerenciais; - bases de dados informatizadas; - sistemas de informações da administração pública (SIAFI, SIGPlan, SIDOR, SIASG); - bibliografia especializada; - gestores e especialistas; - beneficiários de programas governamentais; - relatórios e estudos produzidos por fonte credenciada (relatórios do IPEA, INEP, FGV, UnB, INESC, Unicamp, por exemplo); - mídia especializada. - relatórios de fiscalizações realizadas por órgãos de controle externo (inquéritos legislativos e fiscalizações dos tribunais de contas, por exemplo). Atenção! As sugestões apresentadas não esgotam as possibilidades de inclusão de outros dados relevantes; também não se deve considerar obrigatória a investigação de todos esses aspectos, pois algumas informações são mais adequadas à avaliação de órgãos, e outras se aplicam à avaliação de programas e projetos. Atenção! Cuidado especial deve ser dedicado ao uso de revistas, jornais e outras publicações jornalísticas, bem como informações da internet que, embora possam oferecer informações de caráter geral e indicar a relevância de determinado tema, não são submetidas a revisões qualificadas, próprias de publicações científicas (revisão por pares). Outras publicações, mesmo de caráter oficial, devem ser interpretadas com reserva ante à possibilidade de apresentarem fatos seletivamente, de maneira a dar sustentação a determinado ponto de vista (LEE e LINGS, 2008). Aula 2 – Ciclo de auditorias 17 2.3. Aplicação de técnicas de diagnóstico Ainda na fase de análise preliminar podem ser utilizadas técnicas de diagnóstico para facilitar a interpretação sistemática das informações coletadas e a identificação dos principais problemas relativos ao desempenho do objeto selecionado. O quadro a seguir resume as principais técnicas de diagnóstico, seus objetivos e as informações que elas poderão fornecer ao auditor na fase de planejamento da auditoria. Técnica de diagnóstico Objetivo SWOT e Diagrama de Verificação de Risco • identificar as forças e fraquezas do ambiente interno do objeto da auditoria e as oportunidades e ameaças do ambiente externo; • identificar possíveis áreas a investigar; • identificar fatores de risco e conhecer a capacidade organizacional para o seu gerenciamento; • estimar os possíveis impactos de cada risco identificado Análise Stakeholder • identificar principais grupos de interesse (atores interessados); • identificar opiniões e conflitos de interesses e informações relevantes. Mapa de produtos e indicador de desempenho • conhecer os principais objetivos de uma entidade ou programa; • representar as relações de dependência entre os produtos; • identificar os responsáveis pelos produtos críticos; • desenvolver indicadores de desempenho. Mapa de processos • conhecer o funcionamento de processos de trabalho; • identificar boas práticas; • identificar oportunidades para racionalização e aperfeiçoamento de processos de trabalho. Aula 2 – Ciclo de auditorias 18 2.4. Especificação dos critérios de auditoria Dependendo do caso examinado, a fonte mais adequada para o critério de auditoria será ou a norma oficial, expressa em leis e regulamentos, ou a fundamentação científica, tendo como referência literatura especializada, ou normas profissionais e boas práticas. Nas auditorias operacionais, a escolha do critério de auditoria é mais flexível e frequentemente contém elementos de discricionariedade e de julgamento profissional. Entre as fontes que podem ser empregadas para a definição de critérios de auditoria, estão: • leis e regulamentos que regem o funcionamento da entidade auditada; • decisões tomadas pelos Poderes Legislativo ou Executivo; • referências a comparações históricas e comparações com a melhor prática; • normas e valores profissionais; • indicadores-chave de desempenho estabelecidos pela entidade auditada ou pela Administração; • opinião predominante de especialistas independentes; • critérios utilizados em auditorias similares ou empregados por outras entidades de fiscalização superior – EFS; • organizações que realizem atividades semelhantes ou tenham programassimilares; • bibliografia especializada. Confiabilidade Deve resultar em conclusões consistentes quando aplicado por outro auditor na mesma circunstância. Objetividade Deve ser livre de qualquer tendenciosidade por parte do auditor ou do gestor. Utilidade Deve resultar em achados e conclusões que atendam às necessidades de informação dos interessados. Atenção! Ao definir critérios de auditoria, a equipe deve assegurar que eles sejam razoáveis, exequíveis e relevantes para os objetivos da auditoria. Os critérios devem possuir, ainda, os seguintes atributos (ISSAI 3000/Apêndice 2, 2004): Aula 2 – Ciclo de auditorias 19 Clareza Deve ser enunciado de modo a não estar sujeito a interpretações significativamente diferentes. Comparabilidade Deve ser consistente com critérios utilizados para auditar programa ou atividade similar e com aqueles usados previamente para auditar o mesmo objeto de auditoria. Completude Deve incorporar as dimensões relevantes para avaliar o desempenho. Aceitabilidade Deve ter aceitação por parte de especialistas independentes, órgão ou entidade auditada, legislativo, mídia e público em geral. Como esses critérios balizarão as conclusões da auditoria, os gestores devem ser consultados acerca da sua pertinência. 2.5. Elaboração da matriz de planejamento Uma vez definidos o problema e as questões de auditoria, a equipe deve elaborar um quadro resumo, denominado matriz de planejamento, em que conste a proposta de trabalho da auditoria, com todos os elementos relevantes do que se pretende realizar durante a fase de execução. A matriz de planejamento possibilita ao auditor esquematizar de forma clara e concisa o que se deseja analisar, as informações que se deseja obter e como elas serão obtidas. Informações que deverão constar na matriz de planejamento: • problema de auditoria; • questões de auditoria; • informações requeridas para responder à questão de auditoria; • fontes de informação; • procedimentos de coleta de dados; • procedimentos de análise de dados; • limitações aos trabalhos de auditoria; • o que a análise vai permitir dizer. Aula 2 – Ciclo de auditorias 20 Veja um modelo de matriz de planejamento: É importante a revisão da matriz de planejamento nos seguintes pontos: • o problema de auditoria foi devidamente explicitado? • as questões de auditoria estão claramente formuladas? • existe relação clara e satisfatória entre as questões de auditoria e o problema a ser investigado? • os procedimentos (métodos de coleta e análise de dados) são adequados para responder às questões formuladas? • foram colocadas na matriz informações suficientes sobre as limitações e as conclusões esperadas (o que a análise vai permitir dizer) do trabalho de auditoria proposto? A matriz de planejamento será detalhada na Aula 6 – Matriz de planejamento, quando você terá a oportunidade de examinar um exemplo e exercitar sua elaboração. Matriz de planejamento Problema de auditoria: expressar, de forma clara e objetiva, aquilo que motivou a auditoria. Questão / subquestão de auditoria Informações requeridas Fontes de informação Procedi- mentos para coleta de dados Procedi- mentos de análise de dados Limitações O que a análise vai permitir dizer Especificar os termos-chave e o escopo da questão: • critério; • período de abrangência; • atores envolvidos; • abrangência geográfica. Identificar as informações necessárias para responder a questão de auditoria. Identificar as fontes de cada item de informação. Identificar as técnicas de coleta de dados que serão usadas e descrever os respectivos procedimen tos. Identificar as técnicas a ser empregadas na análise de dados e descrever os respectivos procedimen- tos. Especificar as limitações relativas: • à estratégia metodológica adotada; • ao acesso a pessoas e informações; • à qualidade das informações; •às condições operacionais de realização de trabalho. Esclarecer precisamente que conclusões ou resultados podem ser alcançados. Aula 2 – Ciclo de auditorias 21 2.6. Validação da matriz de planejamento O processo de validação da matriz passa por duas etapas: 1ª) realização do painel de referência; 2ª) apresentação da matriz aos gestores do objeto auditado. São objetivos do painel de referência: • conferir a lógica do projeto de auditoria e o rigor do método proposto, questionando as fontes de informação, a estratégia metodológica e o método de análise a ser utilizado, em confronto com os objetivos da auditoria. • orientar e aconselhar a equipe de auditoria sobre a abordagem a ser adotada pela auditoria. • prover um variado conjunto de opiniões especializadas e independentes sobre o objeto de auditoria. • assegurar a qualidade do trabalho e alertar a equipe sobre falhas no seu desenvolvimento/concepção. A organização do evento é de responsabilidade da equipe de auditoria. 2.7. Orientações para a organização e condução do painel de referência Ao longo da fase de planejamento • identifique os agentes cuja participação poderia agregar valor à discussão de aspectos técnicos e metodológicos do trabalho; • contate os agentes escolhidos, verificando a melhor data para a realização do evento. 5 dias antes do evento • providencie os arranjos de organização: reserva de sala, reserva de projetor, marcação de videoconferência, confecção de prisma de identificação dos participantes, solicitação de água e café; • providencie pedido de pagamento de passagens e diárias, papel e lápis/caneta para participantes, lista de presença com nome, cargo e contato dos participantes; • encaminhe aos participantes documento com a formalização do convite (com dia, hora, local e objetivo do encontro), documento com aspectos gerais da auditoria e a matriz de planejamento. O painel de referência deve ser organizado pela equipe com o objetivo de colher críticas e sugestões para o aprimoramento da matriz de planejamento. Além disso, constitui-se em oportunidade para promover o fortalecimento do controle social, ao informar os principais stakeholders sobre a natureza das ações de fiscalização do TCU, gerando expectativa sobre os resultados do trabalho e fortalecendo a imagem institucional. Portanto, a composição do painel deve favorecer o debate e refletir diferentes pontos de vista sobre o tema da auditoria. O painel poderá contar com a participação de especialistas convidados de universidades, centros de pesquisa e consultorias técnicas do Congresso com interesse no tema; representantes do controle interno e dos órgãos de planejamento e orçamento; representante do Ministro- Relator; auditores com reconhecida experiência no tema e representantes de organizações do terceiro setor, quando for o caso. O gestor poderá participar do painel de referência sempre que a equipe e o supervisor entenderem que a sua presença não trará prejuízo aos objetivos do painel. Aula 2 – Ciclo de auditorias 22 2 dias antes do evento • confirme o recebimento dos documentos enviados e a participação no evento; • prepare documento com a pauta da reunião e informações sobre os participantes, para ser entregue ao supervisor. No dia do painel de referência • inspecione o local da reunião, verificando se todos os instrumentos necessários à apresentação estarão disponíveis; • solicite água e café; • disponibilize lápis/caneta, papel e providenciar algumas cópias do material que será discutido. Na reunião • apresente todas as pessoas, citando nome e cargo/ocupação; • explique o objetivo da reunião, bem como o encaminhamento das conclusões; • apresente o trabalho de auditoria em linhas gerais; • abra a discussão, explicando qual será o procedimento adotado para a discussão da matriz deplanejamento; • ao final do encontro, agradeça aos presentes e defina como será dado o encaminhamento do resultado da reunião aos participantes. Após a reunião • encaminhe documento ao órgão dos convidados, se for o caso, agradecendo a participação. Depois de realizados os ajustes sugeridos no painel de referência, a matriz de planejamento deve ser apresentada aos gestores responsáveis pelo objeto de auditoria para colher sua apreciação crítica sobre o desenvolvimento dos trabalhos. Para a validação da Matriz de Planejamento com os gestores do órgão ou programa auditado, a equipe poderá realizar um workshop. 2.8. Elaboração de instrumentos de coleta de dados É importante registrar, organizar, documentar e referenciar os dados e informações obtidos durante todas as fases de auditoria, em forma de papéis de trabalho (ISSAI 3000, Anexo 3, 2004; GAO, 2007). Papéis de trabalho são os documentos relevantes coletados e gerados durante a auditoria. Devem ser suficientemente completos e detalhados para permitir que um auditor experiente, que não teve contato prévio com a auditoria, seja capaz de entender, a partir da documentação, a natureza e os resultados da auditoria realizada, os procedimentos adotados, as evidências obtidas e as conclusões alcançadas. Aula 2 – Ciclo de auditorias 23 Uma vez definidos os procedimentos de coleta de dados, devem-se elaborar os instrumentos de coleta a serem utilizados durante a execução da auditoria. As técnicas mais comumente usadas são: Entrevista A entrevista é um método de coleta de informações que consiste em uma conversação, individual ou em grupo, com pessoas selecionadas cuidadosamente, e cujo grau de pertinência, validade e confiabilidade é analisado na perspectiva dos objetivos da coleta de informações (KETELE, 1999). Em resumo, é uma sessão de perguntas e respostas para obter uma informação específica (ISSAI/Apêndice 1, 2004). Grande parte da auditoria operacional é baseada em entrevistas. Elas servem para: • ampliar o conhecimento sobre o objeto auditado; • obter a percepção de gestores, especialistas e beneficiários de programas governamentais sobre o aspecto examinado; • coletar informações preliminares, na fase de diagnóstico do problema, que serão usadas no desenho do projeto de auditoria; • auxiliar na interpretação de dados obtidos por meio do uso de outros métodos de coleta; • explorar possíveis recomendações (ISSAI/Apêndice 1, 2004). Questionário Possibilita coletar informações quantitativas ou qualitativas de uma ampla população, conhecer a opinião e o ponto de vista de beneficiários ou executores de programas, identificar a frequência de um dado evento (quando se tratar de amostra representativa da população) e testar hipótese de trabalho, por exemplo, investigar relações causais. Questionários enviados pelo correio ou por meio eletrônico são muito utilizados por apresentar as seguintes vantagens: baixo custo; não há necessidade de entrevistadores e de treinamento; não há necessidade de deslocamento de pessoal; pode-se obter informação de uma amostra numerosa e dispersa. Observação direta Registro presencial e sistemático de informações, predefinidas em roteiro. Requer treinamento e preparação específica em, por exemplo, técnicas de anotação de campo, bem como capacidade de concentração e percepção seletiva. Auxilia na compreensão da entidade auditada, em particular quando se pretende avaliar a prestação de serviço à população. O observador treinado deve ser capaz de coletar informações exatas, válidas e confiáveis. Para saber mais... Consulte: Tribunal de Contas da União (TCU). Técnica de Pesquisa para Auditorias. Brasília: TCU, 2010, na biblioteca do curso. Para saber mais... Consulte: Tribunal de Contas da União (TCU). Técnica de Entrevista para Auditorias. Brasília: TCU, 2010, na biblioteca do curso. Aula 2 – Ciclo de auditorias 24 A observação direta é muito empregada em avaliações de programa do tipo qualitativo, como estudos de caso. As vantagens desse método podem ser assim resumidas: • permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa; • permite que o observador use a abordagem indutiva (ao testemunhar os fatos, as impressões e opiniões do observador dependerão menos de percepções prévias sobre o programa); • permite que um observador treinado perceba aspectos que escapam aos participantes, rotineiramente envolvidos com o programa; • pode captar aspectos do programa sobre os quais os participantes não desejam falar numa entrevista, por ser um tema delicado ou embaraçoso; • traz para a análise as percepções do próprio observador, que, ao serem confrontadas com as percepções dos entrevistados, fornecem uma visão mais completa do programa estudado; • permite que o observador forme impressões que extrapolem o que é possível registrar, mesmo nas mais detalhadas anotações de campo, que podem auxiliar na compreensão do programa e dos seus participantes. Uso de dados existentes É possível agregar valor e extrair informações originais de dados existentes, identificando tendências e examinando-as de modo criativo. O uso de dados existentes requer cuidados especiais por parte da equipe de auditoria. Além da confiabilidade dos dados, outras questões devem ser consideradas: • Que tipo de dado está disponível? Ele se adapta à questão que se pretende investigar? • Os dados estão completos e o período de abrangência é suficiente para a análise? • De que forma o dado está armazenado? Quais as limitações relativas à forma dos dados e quais as dificuldades existentes para a sua obtenção? • Que atividades de coleta são realizadas regularmente? Foi realizada coleta de dados com objetivo específico? • Há outras fontes relevantes de dados para o tema a ser investigado? Para saber mais... Consulte: Tribunal de Contas da União (TCU). Técnica de Observação Direta em Auditoria. Brasília: TCU, 2010, na biblioteca do curso. Aula 2 – Ciclo de auditorias 25 Grupo focal Grupo Focal é uma técnica qualitativa de pesquisa que tem como fonte de coleta de dados discussões ocorridas entre participantes de um determinado grupo sobre o tema de interesse. Com a realização de Grupo Focal busca-se ouvir opiniões, perceber atitudes, motivações e preocupações de indivíduos com relação a determinado assunto. Não se busca consensos por meio desta técnica. O objetivo é reunir grupos, que variam de quatro a doze participantes, sob a condução de um moderador. Podem ser realizados de modo presencial ou à distância por meio de teleconferência. Cabe apenas cuidar para que o local da discussão seja neutro e reservado, pois não é admissível interferência de terceiros e interrupção das discussões. Algumas características são comuns a todos os grupos focais: • as reuniões são sempre conduzidas por um moderador, que funciona como um líder e estimula as discussões entre os participantes sem influenciar ou tentar dirigir as conclusões; • os grupos são compostos de forma homogênea (pessoas de um mesmo setor; profissionais envolvidos em uma mesma atividade); • as reuniões são, sempre que possível, gravadas para permitir o completo registro dos procedimentos. Ao se optar por uma técnica de coleta de dados, deve-se considerar, primeiramente, a conveniência de que sejam utilizados instrumentos que obedeçam ou não a um padrão pré-elaborado (estruturado). Entre as vantagens de um instrumento estruturado de coleta de dados, destacam-se as seguintes: a) atinge maior número de pessoas; b) possibilita a comparação das respostas; c) permite análise estatística e d) possibilita generalizar conclusões, no caso de amostras aleatórias. Atenção! A equipe deve atentar para o fato de que o desenvolvimento e o pré-testedos instrumentos de coleta são: • demorados; • podem requerer conhecimento especializado; e • é difícil garantir o rigor das informações prestadas. Aula 2 – Ciclo de auditorias 26 2.9. Teste piloto A equipe deve realizar teste piloto para validar e ajustar as tarefas e instrumentos de coleta de dados propostos. Muitas vezes, a complexidade e a falta de informações precisas a respeito do objeto da auditoria podem comprometer o resultado da auditoria operacional. Assim, torna-se recomendável a realização de teste piloto. O teste piloto permite conferir: • as premissas iniciais acerca do funcionamento do objeto auditado; • a estratégia metodológica proposta na matriz de planejamento; • a adequação dos instrumentos de coleta (questionários, roteiro de observação direta, roteiro de entrevista, roteiro de grupo focal); • a qualidade e a confiabilidade dos dados que se pretende coletar; entre outras verificações que a equipe julgar necessárias. Para realizar o teste piloto, a equipe deve escolher um local ou aspecto do objeto de auditoria que apresente dificuldades potenciais à condução dos trabalhos, o que permite à equipe antecipar as dificuldades que poderão ser enfrentadas durante a fase de execução. Isso permitirá ainda que a equipe conheça problemas que poderão ocorrer; ajustar o tamanho da amostra, caso seja necessário, e saber se a estratégia metodológica responderá satisfatoriamente às questões propostas pela auditoria. 2.10. Elaboração do projeto de auditoria Ao final do planejamento de auditoria, deve ser apresentado um projeto com a síntese dos dados coletados e as conclusões alcançadas, bem como a indicação do tipo de trabalho de auditoria que se pretende realizar. Este produto é denominado projeto de auditoria. Ele cumpre a função de documentar os principais aspectos do planejamento realizado, o que permite a verificação futura da qualidade e da robustez do trabalho. O principal instrumento de apoio à elaboração do relatório de planejamento de auditoria é a matriz de planejamento. O projeto, em sua essência, é a motivação para se investigar determinado problema de auditoria, sob particular aspecto e com a utilização de certo método. A matriz é a representação resumida do projeto de auditoria, daí a importância da discussão amadurecida da matriz antes de se iniciar a redação do projeto. O projeto de auditoria pode ser estruturado da seguinte maneira: Folha de rosto Contém os elementos necessários para identificação do relatório, entre os quais: objeto da auditoria, número dos autos do processo, objetivo da auditoria, período abrangido pela auditoria, período de realização do planejamento, equipe de auditoria. Para saber mais... Veja um exemplo de projeto de auditoria na biblioteca do curso. Aula 2 – Ciclo de auditorias 27 Introdução A introdução do programa é mais simplificada do que a introdução do relatório de auditoria e incorpora visão geral, também resumida. Compõe-se do seguinte: • identificação e características resumidas do objeto de auditoria, necessárias à compreensão do projeto. Alguns dos elementos da visão geral podem ser: objetivos, responsáveis, histórico, beneficiários, principais produtos, relevância, metas, aspectos orçamentários, processo de tomada de decisão, sistemas de controle; • antecedentes, que contemplam as razões que originaram a auditoria, a deliberação que a autorizou e a existência de fiscalizações anteriores no mesmo objeto; • processos conexos, onde se analisam relações com processos acerca de objetos que se referem a auditoria. Objetivo e escopo da auditoria Com base nas informações propiciadas pela análise preliminar do objeto de auditoria, expresse, de forma clara e objetiva, o "problema" que será enfocado e que norteará a concepção e execução da auditoria. O problema é a justificativa para a realização da auditoria sob o enfoque proposto. Nessa seção, justificam-se as questões de auditoria, isto é, o enfoque a ser adotado e as dimensões de desempenho a ser abordadas. A equipe deve acrescentar também informações sobre qual será o período de análise e sua base geográfica. Método No projeto de auditoria, o método é a descrição dos pontos a serem investigados, como se fará a investigação e quais as conclusões a que se deseja chegar. Essa seção é composta com base na matriz de planejamento, orientando-se por suas linhas. Na seção de método deve-se descrever o que a análise permitirá dizer e como se pretende chegar a essas conclusões. É fundamental destacar os resultados que se pretende alcançar com a realização da auditoria, indicando as oportunidades de aperfeiçoamento e, sempre que possível, de economia de recursos públicos, a fim de permitir análise de custo-benefício da auditoria. Compõem essa seção: questão de auditoria, o que a análise permitirá dizer, critérios, informações requeridas, fontes de informação, procedimentos de coleta de dados, procedimentos de análise de dados e limitações. Registram-se ainda a participação de especialistas e de outras unidades técnicas. Conclusão A conclusão deve trazer a manifestação da equipe sobre a oportunidade de realização da auditoria, com seu embasamento, expresso de forma bastante resumida. Devem-se destacar as possibilidades de melhoria de desempenho e possíveis áreas de recomendação, além de resumir os principais benefícios esperados. Sempre que for possível, os benefícios devem ser quantificados. Aula 2 – Ciclo de auditorias 28 Apêndice Os apêndices são informações produzidas pela equipe de auditoria durante a fase de planejamento e não incluídas no texto para evitar a descontinuidade da sua sequência lógica. Exemplos de apêndices em programas de auditoria são a tabela que registra a estimativa de custos, a matriz de planejamento, o cronograma das fases de execução e relatório. Além disso, os apêndices podem detalhar o método, expor estudos de caso e registrar os papéis de coleta de dados (questionários, roteiros de observação direta e outros) e os papéis de trabalho referentes a técnicas usadas para diagnóstico e análise do ambiente e do nível de desempenho do objeto da auditoria (mapa de processo, análise SWOT, DVR, análise RECI, análise stakeholder e outras). Referências Listagem das fontes bibliográficas utilizadas na produção do texto. Devem ser apresentadas conforme a norma NBR 6023, da ABNT. Atividade Antes de fazer a autoavaliação desse capítulo, consulte na biblioteca da aula 1 um exemplo de projeto de auditoria operacional. Sua leitura ajudará a fazer a conexão entre a teoria de auditoria e sua prática. Lembre-se é um exemplo real de trabalho de equipe de auditoria, não é um modelo de livro texto. Aula 2 – Ciclo de auditorias 29 3. Etapas de execução, relatório e comentários do gestor Agora que a auditoria foi planejada, chegou a hora de executá-la. 3.1. Duração Você saberia estimar o tempo de duração de uma auditoria operacional? A duração da auditoria operacional varia segundo vários fatores, entre os quais, o tamanho da equipe, a experiência de seus componentes, o escopo da auditoria e outros. Levantamento do TCU sobre 14 ANOp de grande porte realizadas em 2009/2010 revelou os seguintes prazos médios: • fases de planejamento, execução e relatório: 5 meses. • revisão do supervisor, comentários dos gestores, análise dos comentários e revisão final: 3 meses. Esses prazos também podem variar, considerando as demais atividades concorrentes da unidade técnica por ocasião do término da fase de relatório. Só então o documento será enviado ao Ministro-Relator, que o submeterá ao Plenário do Tribunal. 3.2. Competências da equipe A ANOp é normalmente realizada por uma equipe de dois a cinco auditores, os quais podem ser apoiados por outros auditores ou profissionais para orientaçãosobre temas específicos. A composição da equipe deve estar associada à complexidade do trabalho e ao prazo disponível. Aula 2 – Ciclo de auditorias 30 A necessidade de apoio externo pode estar relacionada à natureza especializada do objeto da auditoria ou à aplicação de técnicas ainda não dominadas pela equipe. Por exemplo: 1 – a equipe examina a qualidade da prestação de serviço de certo programa de assistência social. Conclui que precisará realizar grupos focais com beneficiários do programa. Propõem a participação de auditor de outra unidade técnica de coleta de dados para treinar a equipe e acompanhar sua aplicação em teste piloto. 2 – a equipe examina procedimentos de fiscalização de uma agência reguladora. Conclui que precisa de opinião profissional sobre a correção do plano amostral usado para selecionar os regulados que serão fiscalizados. Para isso, solicita apoio técnico da Secretaria de Métodos Aplicados e Suporte à Auditoria (Seaud) ou propõe a requisição de profissional especializado para emitir parecer estatístico. 3.3. Etapas da execução A execução consiste na obtenção de evidências apropriadas e suficientes para respaldar os achados e conclusões de auditoria. Achados são situações verificadas pelo auditor durante o trabalho de campo que serão usadas para responder às questões de auditoria. O processo lógico de identificação de achados consiste na comparação entre a situação existente ou condição (o que é) e o critério de auditoria (o que deveria ser). As discrepâncias identificadas, suas causas e seus efeitos constituem os demais atributos do achado de auditoria. A causa do achado servirá de base para as deliberações propostas e o efeito é a consequência da diferença encontrada entre situação encontrada e o critério. O efeito indica a gravidade da situação encontrada e determina a intensidade da ação corretiva. As principais atividades realizadas na fase de execução estão organizadas em 4 etapas: 1ª etapa: desenvolvimento dos trabalhos de campo O trabalho de campo consiste na coleta de dados e informações definidos no planejamento de auditoria. O tipo de dados a coletar e as fontes desses dados dependerão da estratégia metodológica e dos critérios estabelecidos. Os dados coletados devem ser precisos, completos e comparáveis. Normalmente, a coleta de dados é feita in loco e a equipe aplica os instrumentos desenvolvidos e testados na fase de planejamento. Os métodos de coleta de dados mais usados são entrevista, questionário, observação direta e uso de dados existentes. Aula 2 – Ciclo de auditorias 31 Estratégias metodológicas mais utilizadas em ANOp realizadas pelo TCU: Estudo de caso “Estudo de caso é um método usado para conhecer uma situação complexa, baseado em compreensão abrangente da situação, obtida a partir de sua ampla descrição e análise, considerada como um todo e no seu contexto.” [grifamos] (GAO, 1990, p. 14). Pesquisa documental Abrange o exame de toda espécie de registros administrativos, inclusive estatísticas oficiais. Além de material produzido pela instituição auditada, são pesquisados relatórios de auditorias anteriores do TCU e da CGU, assim como estudos realizados por outras instituições. Ao se realizar pesquisa documental é necessário avaliar a confiabilidade das informações divulgadas, assim como determinar a natureza, localização e disponibilidade dos documentos no início da auditoria. Pesquisa (ou survey) A pesquisa é uma estratégia metodológica que permite obter informações de caráter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados. Com frequência, é utilizada em conjunto com estudos de caso como suporte para as análises de caráter qualitativo, típicas dessa última estratégia. Quando a pesquisa for baseada em amostragem estatística, é possível generalizar as conclusões para toda a população. A pesquisa que tem como objetivo todos os membros de uma população é denominada censo. Situação complexa significa que muitos fatos podem influenciar os acontecimentos e que essas influências podem interagir não- linearmente, tornando muito difícil isolar os efeitos das variáveis sob estudo. Compreensão abrangente indica que os estudos de caso visam obter uma representação, a mais completa possível, do que está acontecendo e do porquê. Ampla descrição e análise refere- se ao emprego de informações ricas e completas, provenientes de várias fontes, particularmente de observações diretas. Ademais, a análise é ampla, comparando dados obtidos de diferentes tipos de fontes por meio do método denominado triangulação. O preenchimento da matriz de achados deve ser iniciado durante os trabalhos de campo, à medida que os achados são constatados. Os esclarecimentos que se fizerem necessários devem ser colhidos ainda em campo, para evitar mal-entendidos e eventuais novas solicitações de informações, com o consequente desperdício de esforços. Dica! Comentário do especialista Para o sucesso dos trabalhos de campo, é necessária a realização de diversas atividades operacionais. Antes da execução da auditoria, a equipe deve: a) agendar visitas de estudo, entrevistas e grupos focais; b) providenciar ofícios de apresentação; c) reservar passagens e hotéis; d) informar telefones de contato ao supervisor; e) preparar material necessário (cópias de questionários, roteiros de entrevistas e observação direta). Aula 2 – Ciclo de auditorias 32 2ª etapa: análise dos dados coletados Após a coleta de dados, a equipe inicia a fase de tratamento e análise, com o uso de ferramentas e técnicas adequadas. A definição do método de análise dependerá da estratégia metodológica adotada. O estágio final da análise de dados consiste em combinar os resultados obtidos de diferentes fontes. Não há método geral para fazer isto, mas é fundamental que o auditor trabalhe de forma cuidadosa e sistemática na interpretação dos dados e informações coletados. Para essa atividade, é necessário analisar argumentos e afirmações, consultar especialistas e fazer comparações. Também é vital que o auditor adote abordagem crítica e mantenha objetividade com relação às informações disponíveis. Ao mesmo tempo, ele deve ser receptivo a diferentes argumentos e pontos de vista (ISSAI 3000/4.2 e 4.5, 2004). 3ª etapa: elaboração da matriz de achados Nas ANOp, os achados de auditoria são registrados em uma matriz específica, por questão de auditoria. Os seguintes itens compõem a matriz: situação encontrada, critério, evidências e análises, causas, efeitos; boas práticas; recomendações e determinações; e benefícios esperados. A matriz de achados é instrumento útil para subsidiar e nortear a elaboração do relatório de auditoria, porque permite reunir, de forma estruturada, os principais elementos que constituirão os capítulos centrais do relatório. A matriz propicia compreensão homogênea dos achados e seus elementos constitutivos pelos integrantes da equipe de auditoria e demais interessados. Você estudará a matriz de achados na aula 7. 4ª etapa: validação da matriz de achados A validação da matriz de achados é feita por meio da realização do 2º Painel de Referência. O Painel de Referência é uma prática de controle de qualidade adotada pelo TCU desde 2001. Realiza-se essa atividade em dois momentos diferentes da auditoria: ao final da fase de planejamento e ao final dos trabalhos de campo. Atenção! É fundamental que você se atualize constantemente, pois novas técnicas de coleta e análise de dados estão sendo introduzidas nas auditorias operacionais. Atenção! As etapas da ANOp estão apresentadas aqui de forma sequencial, mas, na prática, a equipe de auditoria analisa dados desde seu início. A etapa de análise é apresentadaaqui como o momento no qual os dados coletados, conforme previsto no planejamento, estão disponíveis para serem trabalhados e tornarem-se evidências. Aula 2 – Ciclo de auditorias 33 Como vimos no capítulo 2, o objetivo do Painel de Referência realizado na fase de planejamento é verificar se o projeto de auditoria previa uma investigação consistente do problema e das questões de auditoria. A equipe organiza o segundo painel de referência, após o preenchimento da matriz de achados com o objetivo de testar a consistência das conclusões da auditoria. Nessa ocasião, os participantes são convidados a discutir com a equipe aspectos relevantes relacionados às conclusões apresentadas, suficiência das evidências coletadas, a adequação das análises realizadas e à pertinência das propostas de encaminhamento. Os procedimentos para a realização de painéis de referência, bem como os modelos de correspondência encaminhados aos integrantes dos painéis, podem ser consultados no capítulo 2. 3.4. Relatório de auditoria O relatório é o principal produto da auditoria. É o instrumento formal e técnico que é utilizado para apresentar o objetivo e as questões de auditoria, o método usado, os achados, as conclusões e a proposta de encaminhamento. Inicialmente, a equipe de auditoria elabora um relatório preliminar, o qual será encaminhado ao gestor, para que ele apresente seus comentários. No TCU, o relatório final de ANOp apresenta os comentários do gestor e a devida manifestação da equipe de auditoria sobre os itens comentados. O relatório final, após ser examinado pela supervisão, será encaminhado ao gabinete do Ministro-relator. Uma vez finalizados os relatórios, como o TCU aprecia e divulga os achados de auditoria e as propostas de encaminhamento? Após a etapa de execução, o orgão de controle ocupa-se da apreciação e da divulgação dos relatórios de auditoria. No TCU, a apreciação dos relatórios de ANOp é competência privativa do Plenário, conforme art. 15 do Regimento Interno do TCU. A divulgação dos relatórios de ANOp tem como objetivo dar maior transparência ao trabalho do órgão de controle e promover o debate público qualificado sobre os resultados alcançados pela Administração Pública. Esses dois temas serão tratados no próximo capítulo. Para saber mais... Veja um exemplo de relatório de auditoria na biblioteca do curso. Você encontrará orientações sobre a elaboração do relatório final na aula 8 deste curso. Aula 2 – Ciclo de auditorias 34 Curiosidades Você sabia que o Manual de ANOp trata da gestão da qualidade da ANOp? A auditoria operacional é submetida a processo de gestão da qualidade de modo a garantir que todas as etapas do ciclo de auditoria, o produto final e sua divulgação alcancem os níveis desejados de objetividade, confiabilidade, consistência e utilidade. A gestão da controle de qualidade é exercida com os seguintes objetivos: - assegurar a qualidade dos relatórios de auditoria; - identificar oportunidades de melhoria na condução de trabalhos futuros e evitar a repetição de deficiências; - localizar deficiências no desenvolvimento dos trabalhos e corrigi-las tempestivamente; - reduzir o tempo de tramitação dos processos das auditorias; - diminuir a necessidade de retrabalho para correção de deficiências; - evidenciar boas práticas na execução dos trabalhos que possam ser disseminadas; - contribuir para o desenvolvimento de competências por meio da identificação de necessidades de treinamento; - identificar a necessidade de revisão ou de elaboração de documentos técnicos que contenham orientações para a execução das atividades; - suprir a administração com informações sistemáticas e confiáveis sobre a qualidade dos trabalhos; - responder as necessidades de informação dos principais atores envolvidos. O acompanhamento das etapas da auditoria é realizado por meio de um cronograma, que discrimina as atividades, responsáveis e prazos de execução. Ao longo da auditora, coordenador e supervisor revisam os papéis de trabalho produzidos, alguns dos quais são validados por especialistas e auditados. As matrizes de planejamento e de achados são submetidos à supervisão e à crítica dos painéis de referência. O relatório de auditoria é comentado pelos auditados e também são submetidos à supervisão. Todos esses cuidados procuram contribuir para que o processo e o produto final alcancem os padrões desejados de qualidade. Aula 2 – Ciclo de auditorias 35 4. Etapa de apreciação do relatório e divulgação Vamos dar continuidade ao estudo do ciclo da auditoria operacional. As aulas anteriores trataram das etapas de planejamento e execução das ANOp. O produto dessas duas etapas foi o relatório de auditoria operacional, o qual incorpora os comentários dos gestores e as propostas de encaminhamento. O que você conseguiu perceber de diferença entre o processo de trabalho para a realização de uma ANOp e o processo utilizado para a realização de uma auditoria de conformidade? Em primeiro lugar, cabe ressaltar que o controle procedimental clássico, em geral, e a auditoria tradicional, em particular, são diferentes do controle por desempenho e da auditoria de desempenho sob diversos aspectos. Os modelos que caracterizam os conceitos dos dois tipos de fiscalização diferem, em variados graus, em pelo menos sete dimensões: as posições estratégicas adotadas pelas EFS; os critérios usados pelos auditores; as técnicas aplicadas; as habilidades necessárias aos auditores; o relacionamento entre o auditado e a EFS; as questões que se desejam responder e os incentivos para os gestores; o público interessado na informação (BARZELAY, 1997, p. 237-239). Logo, conferir tratamento igual aos dois tipos de trabalho seria inapropriado. Por exemplo, com relação ao relatório, em ANOp, normalmente não se espera que o auditor de forneça um parecer geral sobre a economicidade, eficiência e eficácia, de uma entidade auditada da mesma maneira que uma opinião sobre as demonstrações financeiras. Sempre que a natureza da auditoria permitir que isso seja feito em relação a áreas específicas das atividades de uma instituição, o auditor deve apresentar um relatório que descreve as circunstâncias e o contexto para chegar a Aula 2 – Ciclo de auditorias 36 uma conclusão específica ao invés de uma declaração padronizada. (ISSAI 3100/29). Pois bem, o que diferencia a auditoria de conformidade da auditoria operacional é a natureza e o objetivo da investigação. A auditoria de conformidade investiga a operacionalização das organizações dos programas e das ações de governo com base em critérios definidos em lei. Você se lembra da definição de matéria normativa em ANOp? Questões normativas são aquelas que tratam de comparações entre a situação existente e aquela estabelecida em norma, padrão ou meta, tanto de caráter qualitativo quanto quantitativo. Assim, as auditorias operacionais também examinam o aspecto da conformidade a leis e regulamentos, porém esse não é o foco do trabalho. Esse aspecto é examinado na medida em que afeta o desempenho do objeto de auditoria. Pode ocorrer também que os problemas legais sejam tão graves que afetem o resultado da auditoria e podem ensejar a realização de outro tipo de fiscalização. Vamos relembrar as principais dimensões examinadas em ANOp no diagrama abaixo: Veja o que a Intosai diz sobre a investigação de questões de conformidade em ANOp: Quando as leis, as regulamentações e outros requisitos de cumprimento relativos à entidade auditada são significativos para os objetivos da auditoria, os auditores têm que planejar a auditoria de maneira que proporcione uma segurança razoável do cumprimento de tais requisitos. Nas auditorias operacionais, os auditores devem estar alerta ante situaçõesou transações que podem ser indicativas de atos ilegais ou de abusos. O auditor necessita também determinar o grau em que tais atos afetam os resultados da auditoria (ISSAI 3000/3.3). Aula 2 – Ciclo de auditorias 37 Após a etapa de relatório, em que foram registradas as conclusões da auditoria, pergunta-se: o que fazer com o relatório? Passa-se agora às outras etapas do ciclo: apreciação e divulgação. 4.1. Apreciação A apreciação dos relatórios de auditoria operacional é uma competência privativa do Plenário. As ANOp devem ser apreciadas e votadas por todos os ministros do Tribunal, diferentemente dos outros processos de fiscalização que podem ser apreciados pela 1ª ou 2ª Câmara. O relatório final, após ser revisado pela supervisão do trabalho, será encaminhado ao gabinete do Ministro-Relator. O relatório encaminhado pela unidade técnica será utilizado como subsídio para o relatório e voto do Ministro-Relator a ser encaminhado ao Plenário para apreciação. Como sabemos, o produto final das ANOp é o relatório, que contém propostas de recomendações e determinações. O relatório visa contribuir para a accountability de desempenho e o aperfeiçoamento da gestão pública. Após a apreciação do relatório de ANOp, são expedidas cópias do Relatório e Voto do Ministro-relator e do Acórdão do TCU para os gestores responsáveis pelo objeto de auditoria, bem como para as autoridades e organizações indicadas no relatório da equipe. Você acha que a comunicação formal aos gestores é suficiente para promover a accountability de desempenho e contribuir para o aperfeiçoamento da gestão pública? As Câmaras do TCU são compostas por quatro ministros e um auditor. Aula 2 – Ciclo de auditorias 38 4.2. Divulgação As instituições de controle podem ter um papel indutor do desenvolvimento da responsabilização por desempenho e na melhoria da gestão por intermédio da produção e divulgação ampla de avaliações que revelem dados sobre o desempenho governamental de forma crítica. Essas informações devem ser apresentadas de modo que as entidades da sociedade civil organizada, a mídia e o Congresso Nacional possam usá-las para cobrar dos gestores o melhor desempenho dos programas públicos. Para que haja transparência das ações governamentais e para que as informações constantes nos relatórios de auditoria alcancem o maior número de pessoas e entidades possível, o TCU constatou a necessidade de seguir uma sistemática de divulgação ampla dos trabalhos realizados. Atualmente, assim que os relatórios de auditoria são finalizados, o coordenador da equipe elabora um folder com as informações mais relevantes sobre o trabalho e o sumário executivo. Após a apreciação do relatório, a assessoria de comunicação divulga as notas à imprensa. O TCU adotou a prática de divulgar na internet os relatórios de ANOp, alguns deles diagramados. Veja no Relatório de Avaliação do Sistema Nacional de Políticas Públicas sobre Drogas, disponível na biblioteca do curso, a diferença que o tratamento gráfico faz para a veiculação direcionada ao público externo. Você deve ter notado que há uma preocupação com a forma de apresentação dos instrumentos de divulgação, que são destinados a diversos públicos interessados. Lembre-se que o conteúdo é fundamental, mas a forma é fator decisivo para que a mensagem seja lida. Um dos muitos desafios do controle é o de acompanhar as inovações propostas para a Administração Pública, a fim de elevar os níveis de transparência, torná-la mais permeável à participação e ao controle dos cidadãos e mais eficaz e ágil no atendimento das demandas da sociedade. Folder: impresso de uma única folha, com duas ou mais dobras, de apresentação atraente, resumindo as principais informações da auditoria. O folder destina-se aos diferentes públicos interessados no tema e é uma forma de divulgação de baixo custo. Sumários executivos: são documentos que contêm informações resumidas dos trabalhos realizados e são distribuídos para órgãos públicos, organismos internacionais, bibliotecas, parlamentares, organizações não-governamentais e outras entidades relacionadas com o objeto da auditoria. Notas à imprensa: sob a orientação da unidade técnica responsável pela ANOp, a Secretaria de Comunicação do TCU disponibiliza notas de divulgação, logo que as auditorias são apreciadas. Veja um exemplo de folder, sumário executivo e nota à imprensa na biblioteca do curso. Instrumentos de divulgação das ANOp • publicação dos relatórios no Diário Oficial da União; • distribuição de folders; • notas à imprensa; • encaminhamento dos sumários executivos ao público interessado; • divulgação de relatórios de ANOp na internet; • participação dos servidores do TCU em eventos relacionados aos objetos de auditoria, por exemplo, em audiências no Congresso Nacional. Aula 2 – Ciclo de auditorias 39 É fundamental que a sociedade reconheça a importância do trabalho das instituições de controle. Isso ocorrerá se esse trabalho mostrar-se útil, tempestivo e capaz de contribuir para que as ações governamentais sejam efetivas. As democracias reservam papel de destaque ao controle externo: subsidiar o Parlamento e a sociedade civil com informações suficientes e fidedignas que lhes permitam exercer de modo efetivo o controle da atuação governamental. Aula 2 – Ciclo de auditorias 40 5. Monitoramento Para refletir... Recomendações, por si só, são insuficientes para produzir melhorias sugeridas pelas auditorias. Como verificar se as recomendações estão sendo implementadas? Como avaliar se a implementação das recomendações estão provocando o efeito esperado? É por meio do instrumento de fiscalização denominado “monitoramento” que se pode fazer essa verificação. Esse é o tema deste capítulo. Vamos conhecer a sistemática de monitoramento das auditorias operacionais, estudando o caso do Tribunal de Contas da União. Em primeiro lugar... O que é monitoramento? No ciclo dos trabalhos de ANOp, monitorar consiste na verificação do cumprimento das deliberações do órgão de controle e dos resultados delas advindos, com o objetivo de verificar as providências adotadas e aferir seus efeitos, de modo a aumentar a probabilidade de resolução dos problemas identificados durante a auditoria. Quem se beneficia do monitoramento? O monitoramento permite aos gestores e demais envolvidos acompanhar o desempenho do objeto auditado, pois atualiza o diagnóstico e oferece informações necessárias para verificar se as ações adotadas têm contribuído para o alcance dos resultados desejados. Para o órgão de controle, como ferramenta da gestão da qualidade, o monitoramento permite a identificação de oportunidades e aperfeiçoamento, de aprendizado e a qualificação de benefícios atribuíveis à auditoria. As informações obtidas podem, também subsidiar o processo de seleção de novos objetos de auditoria e o cálculo de Você deve estar se perguntando o que esta imagem tem a ver com o trabalho de auditoria. Aula 2 – Ciclo de auditorias 41 indicadores de efetividade da atuação do controle, como o percentual de implementação de deliberações e a relação custo/benefício da auditoria. O artigo 243 do Regimento Interno do Tribunal de Contas da União estabelece que “monitoramento é o instrumento de fiscalização utilizado pelo Tribunal para verificar o cumprimento de suas deliberações e os resultados delas advindos”. Como no decorrer da auditoria, a fase de monitoramento deve ser realizada em sintonia com os gestores responsáveis, de forma a maximizar a implementação das recomendações. Saiba mais... As recomendações visam à melhoria do desempenho do objeto de auditoria e, sem querer esgotar
Compartilhar