Apresentacao Modelagem de Operações e Auditoria Interna

Prévia do material em texto

<p>Aprimoramento da Previsão de Opiniões de Auditoria com</p><p>Metaheurísticas e XGBoost: Um Avanço Teórico e Prático</p><p>Desafios de Previsibilidade em Achados de Auditoria Interna com</p><p>Múltiplas Variáveis</p><p>Wedson Lierbth</p><p>10/07/2024</p><p>Artigo</p><p>Improving audit opinion prediction accuracy using metaheuristics-tuned XGBoost algorithm with interpretable results through SHAP value</p><p>analysis</p><p>Pesquisadores: Mihailo Todorovic, Nemanja Stanisic, Miodrag Zivkovic, Nebojsa Bacanin, Vladimir Simic, Erfan Babaee Tirkolaee</p><p>Cria um modelo de Machine Learning para prever opiniões em auditorias externas, utilizando o algoritmo XGBoost otimizado por</p><p>metaheurísticas, e fornece resultados interpretáveis através da análise de valores SHAP (Shapley Additive Explanations). O estudo demonstra</p><p>que a combinação de algoritmos de Machine Learning otimizados por metaheurísticas com análises interpretáveis pode melhorar</p><p>significativamente a precisão da previsão de opiniões de auditoria, fornecendo uma ferramenta valiosa para reduzir o risco de auditoria e</p><p>apoiar a tomada de decisões de stakeholders.</p><p>Publicado na Revista Applied Soft Computing Journal.</p><p>O periódico promove a integração de trabalhos em Soft Computing para resolver problemas do mundo real.</p><p>Universo da auditoria clássica</p><p>6.186</p><p>46.614</p><p>370.320</p><p>575.300</p><p>Subsidiárias</p><p>1. A previsibilidade de opiniões de auditoria enfrenta desafios devido à</p><p>complexidade e volume das variáveis envolvidas.</p><p>2. É essencial aprimorar a precisão das previsões para reduzir riscos e</p><p>melhorar a confiança dos stakeholders.</p><p>Integração de Metaheurísticas com XGBoost:</p><p>O artigo explora a combinação de seis algoritmos metaheurísticos para otimizar o modelo XGBoost.</p><p>Demonstra a eficácia dessas combinações na melhoria da precisão de previsões em auditorias.</p><p>Contribuições teóricas do estudo</p><p>Análise de SHAP Values:</p><p>Introdução e aplicação de SHAP values para</p><p>interpretar a importância das variáveis no</p><p>modelo de previsão.</p><p>Proporciona uma abordagem mais transparente</p><p>e compreensível para a tomada de decisões</p><p>baseada em modelos de machine learning.</p><p>Novos Cenários de Pesquisa:</p><p>Apresenta cenários distintos para a otimização de hiperparâmetros em</p><p>modelos de previsão.</p><p>Abre caminhos para futuras pesquisas sobre o uso de metaheurísticas em</p><p>outros contextos de machine learning.</p><p>Metaheuristicas</p><p>para Calibração</p><p>Como esse modelo pode resolver os problemas</p><p>das empresas?</p><p>Resultados das</p><p>Metaheuristicas</p><p>Previsão</p><p>Aprimoramento da Precisão de Previsões</p><p>O uso de XGBoost otimizado por metaheurísticas melhora significativamente a precisão das</p><p>previsões de achados de auditoria.</p><p>Isso permite uma análise mais confiável e detalhada, reduzindo os erros nas opiniões dos</p><p>auditores.</p><p>Redução de Riscos</p><p>Isso aumenta a confiança nos relatórios de</p><p>auditoria e permitem uma tomada de decisão</p><p>mais assertiva e tempestiva por parte dos</p><p>stakeholders</p><p>Com previsões mais precisas, a empresa pode</p><p>mitigar riscos e tomar decisões partindo de</p><p>insumos verificados e validados.</p><p>Atenção às variáveis mais significativas</p><p>A análise dos resultados SHAP proporciona uma interpretação clara e transparente das variáveis que influenciam as previsões..</p><p>Valores</p><p>SHAP</p><p>O modelo matemático utilizado é uma combinação de</p><p>metaheuristicas para calibrar os hiperparâmetros do modelo de</p><p>Machine Learning através da maximização da função objetivo</p><p>Coeficiente Kappa de Cohen k:</p><p>Po são os valores reais dados pelas informações auditadas</p><p>Pe são os valores esperados</p><p>Modelo Matemático</p><p>Parâmetros: são os parâmetros do modelo que devem ser determinados usando o conjunto de dados de treinamento. Estes</p><p>são os parâmetros ajustados, as variáveis consideradas e escolhidas para qualquer modelo.</p><p>Hiperparâmetros: São parâmetros ajustáveis que devem ser calibráveis para se obter um modelo com desempenho ótimo.</p><p>Os hiperparâmetros desenvolvidos, por sua vez, são</p><p>classificados de acordo com o tipo de variáveis:</p><p>25 parâmetros598 variáveis</p><p>4 grupos</p><p>Hiperparâmetros</p><p>Algoritmos utilizados:</p><p>IVSCA - ITERATIONS VARYING SCA</p><p>SCA - SINE COSINE ALGORITHM</p><p>ABC - ARTIFICAL BEE COLONY</p><p>FA - FIREFLY ALGORITHM</p><p>BA - BAT ALGORITHM</p><p>HHO - HARRIS HAWKS OPTIMIZATION</p><p>XGBoost</p><p>ABC HHOSCA</p><p>SOMA DAS</p><p>PREVISÕES</p><p>Cada iteração ajusta os hiperparâmetros do modelo.</p><p>O processo iterativo busca minimizar o erro de previsão.</p><p>Metaheurísticas guiam o processo de otimização.</p><p>FRAMEWORK PADRÃO DO MODELO E ALGORITMOS</p><p>Resultados Experimentais</p><p>MITIGAÇÃO DE RISCOS</p><p>TEMPESTIVIDADE NAS DECISÕES</p><p>DECISÕES BASEADAS EM DADOS</p><p>AUDIT BY DESIGN</p><p>O modelo XGBoost otimizado, especialmente a variante XG-IVSCA, pode</p><p>ajudar os auditores a planejar os seus trabalhos de forma mais eficaz e a</p><p>reduzir o risco de auditoria. Ao prever com precisão o tipo de opinião que</p><p>uma empresa provavelmente receberá, os auditores podem ajustar os</p><p>seus procedimentos de auditoria, concentrando-se mais em áreas de alto</p><p>risco.</p><p>Isto pode levar a uma redução do risco de emissão de uma opinião</p><p>imprópria, o que pode expor os auditores a ações judiciais e danos</p><p>à reputação, e ajudar as partes interessadas a tomar decisões</p><p>mais bem informadas.</p><p>Assertividade substancial entre</p><p>as opiniões emitidas pelos</p><p>auditores e aquelas previstas</p><p>pelos modelos</p><p>Desenvolvimento e</p><p>demonstração da importância e</p><p>relevância das variáveis de</p><p>previsão baseadas em dados.</p><p>Verificação da importância da</p><p>disponibilidade e padronização</p><p>de informações para</p><p>desenvolver os modelos de</p><p>previsão.</p><p>Conclusão</p><p>REDUÇÃO DOS RISCOS DA AUDITORIA</p><p>MELHORIA NA EFETIVIDADE DO PLANEJAMENTO DA AUDITORIA</p><p>MAIOR PRECISÃO NA AVALIAÇÃO DE DISTORCÕES E INCONFORMIDADES</p><p>MELHORIAS NA PRODUTIVIDADE DOS AUDITORES</p><p>Artigo</p><p>Fornecimento aos clientes da auditoria informações valiosas sobre os riscos</p><p>estratégicos dos escopos de trabalho, fortalecendo as capacidades de</p><p>consultoria da auditoria.</p><p>Melhoria a qualidade da auditoria e redução do risco de emissão de</p><p>opiniões de auditoria inadequadas com o apoio de modelos preditivos.</p><p>Incorporar os insights de modelos de previsão no processo de</p><p>planejamento de auditoria para otimizar a alocação de recursos e</p><p>a estratégia de execução de testes de auditoria</p><p>Análise de valores SHAP interpretáveis do modelo para</p><p>compreender os principais impulsionadores do risco de</p><p>achados de auditoria para cada escopo</p><p>Desempenho preditivo superior de modelos de</p><p>Machine Learning com a utilização de algoritmos</p><p>metaheuristicos para prever a probabilidade de</p><p>achados de auditoria</p><p>Problema Real</p>