AplicabilidadeRobAAlice-Santiago-2022

Prévia do material em texto

UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE 
CENTRO DE TECNOLOGIA 
DEPARTAMENTO DE ENGENHARIA CIVIL E AMBIENTAL 
 
 
 
 
 
 
 
 
 
 
 
 
GEOVANE SANTIAGO BISPO 
 
 
 
 
 
APLICABILIDADE DO ROBÔ ALICE 
(ANALISADOR DE LICITAÇÕES, CONTRATOS E 
EDITAIS) NO ÂMBITO DO TRIBUNAL DE CONTAS 
DO ESTADO DO RIO GRANDE DO NORTE 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
NATAL-RN 
2022 
Geovane Santiago Bispo 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Aplicabilidade do Robô ALICE (Analisador de Licitações, Contratos e Editais) no 
âmbito do Tribunal de Contas do Estado do Rio Grande do Norte 
 
Trabalho de Conclusão de Curso na modalidade 
Artigo Científico, submetido ao Departamento 
de Engenharia Civil e Ambiental da 
Universidade Federal do Rio Grande do Norte 
como parte dos requisitos necessários para 
obtenção do Título de Bacharel em Engenharia 
Civil. 
 
Orientador: Prof. Dr. Paulo Eduardo Vieira 
Cunha. 
Coorientador: Msc. Eng. José Rosenilton de 
Araújo Maracajá. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Natal-RN 
2022 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Seção de Informação e Referência 
Sistema de Bibliotecas - SISBI 
Catalogação da Publicação na Fonte. UFRN / Biblioteca Central Zila Mamede 
 
Elaborado por Ana Cristina Cavalcanti Tinoco - CRB-15/262 
 
 
 
 
 
Bispo, Geovane Santiago. 
 Aplicabilidade do robô Alice (Analisador de Licitações, 
Contratos e Editais) no âmbito do Tribunal de Contas do Estado 
do Rio Grande do Norte / Geovane Santiago Bispo. - 2022. 
 23 f.: il. 
 
 Artigo Científico (graduação) - Universidade Federal do Rio 
Grande do Norte, Centro de Tecnologia, Engenharia Civil. Natal, 
RN, 2022. 
 Orientador: Prof. Dr. Paulo Eduardo Vieira Cunha. 
 Coorientador: Msc. Eng. José Rosenilton de Araújo Maracajá. 
 
 
 1. Analisador de Licitações e Contratos (ALICE) - Artigo 
Científico. 2. Robô - Artigo Científico. 3. Licitação - Artigo 
Científico. 4. TCE/RN - Artigo Científico. 5. TCU - Artigo 
Científico. 6. CGU - Artigo Científico. I. Cunha, Paulo Eduardo 
Vieira. II. Maracajá, José Rosenilton de Araújo. III. Título. 
 
RN/UF/BCZM CDU 342.924:351.712 
Geovane Santiago Bispo 
 
 
 
 
Aplicabilidade do Robô ALICE (Analisador de Licitações e Editais) no âmbito do 
Tribunal de Contas do Estado do Rio Grande do Norte 
 
Trabalho de conclusão de curso na modalidade 
Artigo Científico, submetido ao Departamento 
de Engenharia Civil e Ambiental da 
Universidade Federal do Rio Grande do Norte 
como parte dos requisitos necessários para 
obtenção do título de Bacharel em Engenharia 
Civil. 
 
 
 
 
 
 
 
Aprovado em 08 de Setembro de 2022 
 
 
 
 
 
 
Prof. Dr. Paulo Eduardo Vieira Cunha – Orientador 
 
 
 
 
 
Msc. Eng. José Rosenilton de Araújo Maracajá – Coorientador 
 
 
 
 
 
Prof. Dr. Paulo Waldemiro Soares Cunha – Examinador interno 
 
 
 
 
Eng. Judson Joris da Silva Soares – Examinador externo 
 
 
 
 
 
 
 
Natal-RN 
2022
 
 
 
AGRADECIMENTOS 
 
A Deus por ter me permitido saúde e determinação para não desanimar durante a 
realização da graduação e das etapas finais. 
Aos meus pais, Marli Bispo e Severino Bispo, e a minha irmã, Geane Bispo, por estarem 
ao meu lado, por todo o suporte e incentivo dado em toda minha trajetória acadêmica. 
Ao meu esposo e melhor amigo, Deyvison Costa, por ter sido meu fiel escudeiro, ter 
partilhado todos os meus anseios, angústias e ansiedades ao longo dessa árdua caminhada e por 
toda compreensão, apoio e acolhimento. 
Ao meu orientador, Paulo Eduardo Vieira Cunha, e ao coorientador, José Rosenilton de 
Araújo Maracajá, por terem embarcado nesse projeto, terem dado toda ajuda, orientação e apoio 
durante a elaboração do trabalho. 
À Universidade Federal do Rio Grande do Norte (UFRN) por toda disponibilização de 
recursos, sejam eles financeiros ou humanos, para conclusão do curso. 
Ao Tribunal de Contas do Estado do Rio Grande do Norte (TCE/RN) pela ajuda e 
disponibilização dos dados da ferramenta estudada. 
A cada um dos amigos que fiz durante a graduação, especialmente, ao meu grupo 
“Nunca foi sorte, sempre foi Deus”, Andreza Ticiany, Juliana Sousa, Ruth Leite, Vanessa 
Kelcey e Tábata Moreira, que tornaram a trajetória acadêmica mais leve mesmo em meio a 
todos os perrengues e estresses de trabalhos e provas e por terem sido não só colegas, mas sim 
melhores amigas. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
SUMÁRIO 
 
1. INTRODUÇÃO ........................................................................................................... 8 
2. FUNDAMENTAÇÃO TEÓRICA .............................................................................. 9 
2.1 LICITAÇÕES PÚBLICAS ..................................................................................... 9 
2.2 PRINCIPAIS PROBLEMAS E ENTRAVES EXISTENTES NAS LICITAÇÕES 
PÚBLICAS NA ÁREA DE ENGENHARIA ............................................................... 10 
2.3 ROBÔ ALICE ........................................................................................................ 10 
3. METODOLOGIA ...................................................................................................... 11 
3.1 LOCAL DA PESQUISA ........................................................................................ 11 
3.2 DESENHO DO ESTUDO E INSTRUMENTOS DE COLETAS DE DADOS .... 12 
4. RESULTADOS E DISCUSSÕES ............................................................................ 14 
5. CONSIDERAÇÕES FINAIS .................................................................................... 21 
REFERÊNCIAS ......................................................................................................................... 22 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
RESUMO 
 
O algoritmo ALICE (acrônimo de “Analisador de Licitações, Contratos e Editais”), criado em 
2015 pela CGU (Controladoria Geral da União), surgiu na perspectiva de promover melhorias 
na Administração Pública mediante o uso de tecnologias. No âmbito estadual, o Tribunal de 
Contas do Estado do Rio Grande do Norte (TCE/RN) foi um dos pioneiros no estabelecimento 
desse sistema. Este trabalho tem por objetivo descrever sua implementação no órgão; apresentar 
dados sobre a análise das licitações e contratos realizadas no cenário Potiguar pela corte nos 
anos de 2021 e 2022; e oportunizar a ferramenta ALICE, mostrando sua aplicabilidade. Trata-
se de estudo quantitativo descritivo transversal, realizado no TCE/RN entre os meses de 
Abril/2021 e Abril/2022 em 248 licitações e contratos que foram receptados pelo sistema 
ALICE. Foi possível destacar que o algoritmo promove o aumento da produtividade dos 
servidores, permitindo maior controle dos certames, reduzindo erros e promovendo diminuição 
de danos ao erário; licitações de alto risco são predominantes, porém o TCE/RN prioriza análise 
de risco altíssimo, tendo em vista grande impacto material; e a maioria das obras analisadas que 
mostraram algum indício de fraude são as de grande vulto financeiro envolvido. Apesar dos 
alguns problemas, o ALICE mostra-se como uma solução diante da necessidade de melhorias 
no Serviço Público. 
Palavras-Chave: Analisador de Licitações e Contratos (ALICE). Robô. Licitação. TCE/RN. 
TCU. CGU. 
 
ABSTRACT 
 
The ALICE algorithm (acronym for "Bidding Analyzer, Contracts and Bids"), created in 2015 
by the CGU (Office of the Comptroller General), emerged from the perspective of promoting 
improvements in the Public Administration through the use of technology. At the state level, 
the Audit Court of the State of Rio Grande do Norte (TCE/RN) was one of the pioneers in the 
establishment of this system. This work aims to describe its implementation in the agency;present data on the analysis of bids and contracts held in the Potiguar scenario by the court in 
the years 2021 and 2022; and provide an opportunity to the ALICE tool, showing its 
applicability. This is a quantitative cross-sectional descriptive study, carried out at the TCE/RN 
between the months of April/2021 and April/2022 in 248 biddings and contracts that were 
received by the ALICE system. It was possible to highlight that the algorithm promotes an 
increase in the productivity of the servers, allowing greater control of the contests, reducing 
errors and promoting a decrease in damages to the public treasury; high-risk bids are 
predominant, but the TCE/RN prioritizes very high risk analysis, in view of the great material 
impact; and most of the analyzed works that showed some indication of fraud are those of great 
financial magnitude involved. Despite some problems, ALICE shows itself as a solution to the 
need for improvement in the Public Service. 
 
Keywords: Bidding and Contracts Analyzer (ALICE). Robot. Bidding. TCE/RN. TCU. CGU.
 
8 
 
 
1. INTRODUÇÃO 
 
A humanidade encontra-se em sua quarta fase da Revolução Industrial, conhecida como 
a Revolução Digital. De acordo com o autor Klaus Schwab, esse momento “não é reconhecido 
por um conjunto de tecnologias emergentes em si mesmas, mas a transição em direção a novos 
sistemas que foram construídos sobre a infraestrutura da revolução digital” (SCHWAB, 2019, 
p. 55). Diante desse panorama, o mundo contempla inovações tecnológicas que produzem 
impactos sociais, políticos e econômicos relevantes, perante problemas anteriormente sem 
respostas. 
Na Administração Pública, um exemplo desses entraves cujas dificuldades vêm sendo 
minimizadas com auxílio de tecnologias, ocorre nos setores de compras e contratações. Nos 
moldes habituais, essas atividades envolvem processos licitatórios complexos, contratos 
robustos passíveis de problemas durante a execução, como manipulações de resultados, 
sobrepreços e indícios fraudes, gerando as mais diversas consequências. De acordo com o 
Tribunal de Contas da União (TCU), mais de 7.000 empreendimentos com recursos federais 
estavam paralisados ou inacabados em 2020, frutos de fiscalizações deficitárias. Entretanto, 
este cenário está sendo modificado pelo prisma tecnológico. 
Uma amostra desta mudança ocorre na Controladoria Geral da União (CGU), que em 
parceria com o TCU, têm utilizado “robôs” como ferramenta para auxiliar nos trabalhos 
fiscalizatórios desenvolvidos por essas entidades nos contratos e licitações públicas, ressaltando 
a importância do papel da inteligência artificial para melhoria da eficiência e controle externo 
nos serviços do Governo (COSTA; BASTOS, 2020). 
Nesse contexto surgiu o algoritmo ALICE (acrônimo de “Analisador de Licitações, 
Contratos e Editais”), criado em 2015 pela CGU, que, de acordo com Camarão (2017), tem por 
finalidade identificar possíveis inconsistências nos editais de licitações e atas de pregão 
eletrônico publicados diariamente no Portal de Compras do Governo Federal, realizando 
análises e enviando mensagens eletrônicas às unidades técnicas com apontamentos dos riscos 
detectados, considerando aspectos como quantidade, valores, materialidade e tipos de licitação. 
No âmbito estadual, o Tribunal de Contas do Estado do Rio Grande do Norte (TCE/RN) 
foi um dos pioneiros no estabelecimento desse sistema. Dessa forma, este trabalho tem por 
objetivo (1) descrever sua implementação no órgão; (2) apresentar dados sobre a análise das 
licitações e contratos realizadas no cenário Potiguar pela corte nos anos de 2021 e 2022; e (3) 
oportunizar a ferramenta ALICE, mostrando sua aplicabilidade. 
 
9 
 
Portanto, este estudo justifica-se pela promoção do software supracitado como forma de 
inibição para possíveis fraudes em processos licitatórios; fomento ao debate sobre o uso de 
tecnologias, visando a melhoria e eficiência no serviço público; enriquecimento das discussões 
sobre as diversas áreas de atuação do profissional Engenheiro Civil; além de promover o 
compartilhamento de experiências bem-sucedidas e outras passíveis de melhorias entre órgãos 
no quesito inovação em gestão pública. 
 
2. FUNDAMENTAÇÃO TEÓRICA 
 
2.1. LICITAÇÕES PÚBLICAS 
 
De acordo com Carvalho Filho (2018), a Administração Pública desempenha atividade 
multiforme e complexa, buscando principalmente atingir o interesse público. Assim, para 
resguardar tal prerrogativa e garantir a execução dos serviços, muitas vezes realiza contratos 
administrativos com entidade particulares. 
Para Di Pietro (2014, p. 273), expert na área, ‘‘A licitação é um procedimento 
interligado por atos e fatos da administração e atos e fatos do licitante’’. 
Segundo Toshio Mukai (1999, p.1), 
“(…) a licitação significa um cotejo de ofertas (propostas), feitas por 
particulares ao Poder Público, visando a execução de uma obra, a prestação de 
um serviço, um fornecimento ou mesmo uma alienação pela Administração, 
donde se há de escolher aquela (proposta) que maior vantagem oferecer, 
mediante um procedimento administrativo regrado, que proporcione tratamento 
igualitário aos proponentes, findo o qual poderá ser contratado aquele que tiver 
oferecido a melhor proposta”. 
A Administração lança mão das licitações nos âmbitos dos Poderes da União, dos 
Estados, do Distrito Federal e dos Municípios, conforme a necessidade da sociedade, seguindo 
determinadas legislações, como exemplo o próprio art. 37, inciso XXI, da Constituição Cidadã, 
bem como a Lei Federal 8.666/93, a Lei 10.520/02 (Lei dos Pregões), a Lei 13.303/06 e a Lei 
14.133/21 (Nova Lei de Licitações). 
Conforme as legislações anteriormente citadas, o processo licitatório é composto por 
etapas internas e externas, nas quais são formadas as regras para que seja realizada aquisição 
de bens, serviços comuns ou obras, possuindo seis modalidades distintas, tais quais: 
Concorrência, Tomada de Preços, Convite, Concurso, Leilão e Pregão. Em todas as suas 
variantes, ela se coloca como uma forma de “solicitação” realizada pelo poder público, 
 
10 
 
destinado aos particulares, para que façam a melhor proposta financeira e que tenham 
oportunidade de contratação. 
 
2.2. PRINCIPAIS PROBLEMAS E ENTRAVES EXISTENTES NAS 
LICITAÇÕES PÚBLICAS NA ÁREA DE ENGENHARIA 
 
O TCU, em 2010, realizou e divulgou a apresentação de um levantamento indicando os 
principais tipos de irregularidades que poderiam gerar a paralização de uma licitação ou do 
contrato resultante. De acordo com Sanchez (2011), os principais problemas encontrados 
foram: alterações indevidas de projetos e especificações com risco de dano ao erário; 
descumprimento de deliberações das legislações vigentes outorgadas pelos órgãos de controle; 
deficiência grave de fiscalização/supervisão; restrição ao caráter competitivo da licitação, entre 
outros. 
Ainda conforme Sanchez (2011), a fiscalização desses processos segue deficitária, 
sendo primordialmente realizada por meio de investigações especiais deflagradas por órgãos 
públicos federais, como o Ministério Público Federal (MPF), a Polícia Federal (PF), assim 
como a CGU, pelos Tribunais de Contas da União, Estados e Municípios; bem como pela 
inteligência de sistemas desenvolvidos para o controle das atividades financeiras, como é o caso 
da Receita Federal do Brasil (RFB). 
 
2.3. ROBÔ ALICE (ANALISADOR DE LICITAÇÕES, EDITAIS E 
CONTRATOS) 
 
Em 2015, a Controladoria-Geral da União (CGU), iniciou o desenvolvimento da 
ferramenta Alice (acrônimo de “Analisador de Licitações, Contratos e Editais) conjuntamente 
com o então Ministério da Transparência, como um software que tinha como função principal 
auxiliar a avaliação preventiva e automatizada de editais de certames. À princípio, a ideia era 
encontrar inconsistências nos editais publicados diariamente no Portal de Compras do Governo 
Federal, com objetivo de rastrearuma série de expressões regulares que identificassem padrões 
associados a indícios de irregularidade, porém com o passar dos anos inúmeras funcionalidades 
foram sendo incorporadas ao sistema. 
Um ano depois, em 2016, iniciou-se a parceria entre o TCU e a CGU para que, por meio 
dessa colaboração, o sistema Alice pudesse ser implementado no setor de controle externo, com 
ênfase no auxílio aos trabalhos desenvolvidos nos núcleos de análise de licitações. 
 
11 
 
Assim, através da Portaria-TCU nº 296/2018, datada de 18 de outubro de 2018, foi 
aprovado o documento, elaborado pela Secretaria de Controle Externo de Aquisições Logísticas 
(SELOG), conjuntamente com a Secretaria de Gestão de Informações para o Controle Externo 
(SGI), que regulamenta a sistemática de análise das informações fornecidas por meio dos e-
mails diários do sistema ALICE para as unidades técnicas do Tribunal de Contas da União, e 
posteriormente repassado às Cortes de Contas Estaduais. 
Segundo Costa; Bastos (2020), o utilitário faz avaliação preventiva, tempestiva e 
automatizada de editais de licitação, resultados de pregões e contratações diretas; diariamente 
sendo extraídos dados do Portal Nacional das Contratações Públicas, inserido no sistema 
Compras.gov, e do Diário Oficial da União (DOU) e sua a análise permite a correção de falhas 
e impede o eventual desperdício de recursos públicos antes de sua ocorrência, sendo 
disponibilizado um relatório personalizado com os números dos processos, custos, valores em 
risco, eventuais indícios de fraudes e problemas de concorrência. 
Os editais das licitações são analisados com base em nove possibilidades de 
inconsistências, com foco na possível restrição de competitividade durante a fase de habilitação 
de licitantes, entre as quais, a título exemplificativo, o parâmetro da “exigência de certidão 
negativa de protesto” e “quantidade de insumos direcionados a execução de obras e serviços de 
engenharia” podem ser citados. 
 Ademais, desde sua concepção, o Robô vem sendo estudado e analisado por instituições 
espalhadas por todo o país, a exemplo, Universidade de Brasília (PANIS, 2020; 
HILDEBRAND, 2021) e o Tribunal de Contas do Estado do Goiás (COSTA, BASTOS; 2020), 
tendo por principal finalidade o aprimoramento da ferramenta. 
 
3. METODOLOGIA 
 
3.1. LOCAL DA PESQUISA 
 
O Tribunal de Contas do Estado é um órgão público de grande relevância presente nos 
26 estados e Distrito Federal, cuja função principal consiste na auditoria e na fiscalização 
contábil, financeira, orçamentária, operacional e patrimonial dos poderes federativos 
(executivo, legislativo e judiciário), ou seja, compõe a rede de controle externo sobre a 
administração pública e, consequentemente, as contas públicas. 
No Estado do Rio Grande do Norte, o Tribunal de Contas do Estado fica situado na 
Avenida Getúlio Vargas, nº 690, Bairro Petrópolis no município de Natal. O órgão tem o corpo 
 
12 
 
técnico formado por cerca de 450 profissionais, dispostos em um espaço físico de 12 andares, 
distribuídos e alocados nos seus setores de acordo com as suas atribuições e responsabilidades 
As atividades desempenhadas pelo órgão estão vinculadas ao auxílio no controle externo 
com ação fiscalizadora em, aproximadamente, 858 unidades gestoras jurisdicionadas 
vinculadas às Administrações Direta e Indireta do Estado do Rio Grande do Norte e de seus 
municípios, bem como a realização de treinamento de gestores e técnicos pertencentes aos 
órgãos jurisdicionados e o planejamento e execução de ações destinadas à capacitação e ao 
aperfeiçoamento dos servidores do Quadro de Pessoal interno. 
A Inspetoria de Controle Externo (ICE), setor de engenharia, localizada no 4º andar, 
conta com um quadro de 13 funcionários, destes sendo 1 diretor, 8 auditores de controle externo, 
1 analista de controle externo, 1 técnico de controle externo, 1 assessor técnico jurídico e 2 
estagiário, tendo como função primordial tratar de denúncias, auditorias, fiscalização e 
observação concomitante de obras e serviços de engenharia mantidos com recursos estaduais e 
municipais. 
As análises processuais são efetuadas desde a etapa de licitação do objeto, isto é, 
projetos, orçamentos, termos de referência, memorial de cálculo de quantitativo, justificativa 
da despesa, editais, contratos e aditivos, até conclusão do objeto, em que está inserida no 
decorrer do processo a execução da obra por meio de inspeções in loco, medições, termo de 
recebimento dos serviços, utilização de material compatível qualitativamente com o 
especificado na licitação, fiscalização das técnicas construtivas utilizadas, liquidação da 
despesa, cumprimento do cronograma físico-financeiro e retenção de impostos. 
 
3.2. DESENHO DO ESTUDO E INSTRUMENTOS DE COLETAS DE DADOS 
 
Este artigo trata-se de estudo quantitativo descritivo transversal, realizado no Tribunal 
de Contas do Estado do Rio Grande do Norte entre os meses de Abril/2021 e Abril/2022 em 
248 licitações e contratos que foram receptados pelo sistema ALICE e posteriormente inseridos 
no Observatório Estadual, sendo consultado diariamente os Diários Oficiais e os sinais de alerta 
enviados pelo software supracitado. 
A partir desta verificação, há a busca pelo certame licitatório em estado anterior ao de 
contratação no banco de dados da corte de contas, denominado de Sistema Integrado de 
Auditoria Informatizada (SIAI Análise), sendo a alimentação deste último de responsabilidade 
do próprio jurisdicionado, isto é, dos municípios e órgãos vinculados a eles do estado. 
 
13 
 
Tendo sido encontrado os documentos relacionados à licitação a ser analisada, as 
informações obtidas são cadastradas em uma matriz RRM (Risco, Relevância e Materialidade), 
de acordo com o valor, modalidade, quantidade de habitantes do município beneficiado, área 
de atuação da licitação, se foi extraída do ALICE e o tempo restante para recebimento das 
propostas, cada um dos atributos possuindo pontuações definidos em limites atribuídos pela 
própria Inspetoria de Controle Externo (Figura 01). 
 
Figura 01: Exemplo de limites atribuídos pela ICE aos parâmetros utilizados na matriz RRM. 
Fonte: Tribunal de Contas do Estado do Rio Grande do Norte, 2022. 
 
O produto final consiste na classificação do risco do objeto da licitação em insignificante 
(soma da pontuação dos parâmetros menor ou igual a 100), baixo (pontuação menor que 300), 
moderado (pontuação menor ou igual a 500), alto (pontuação menor a 750) e altíssimo 
(pontuação maior ou igual a 750), conforme exemplificado na Figura 02. 
 
 
14 
 
Figura 02: Matriz de Riscos (RRM) do Observatório Estadual. 
Fonte: Tribunal de Contas do Estado do Rio Grande do Norte, 2022. 
 
Os instrumentos para coleta de dados foram a planilha do Observatório Estadual, 
incluindo a matriz RRM e demais documentos; os alertas de indícios realizados pelo ALICE 
por meio do e-mail institucional do TCE/RN e as trilhas que indicavam o porquê da detecção 
daquela licitação ou contrato em questão, como também o manual de orientações do 
observatório. Além disso foram entrevistados servidores da própria instituição a fim de entender 
o processo de implementação do algoritmo. 
 
4. RESULTADOS E DISCUSSÕES 
 
A implementação do ALICE no âmbito do Tribunal de Contas do Estado do RN iniciou-
se no ano de 2017, por meio da Coordenadoria de Informações Estratégicas para o Controle 
Externo (CIEX/TCE) e foi aprimorado no decorrer do tempo, fazendo-se presente em todas as 
diretorias que têm relação direta com o tema, ou seja, as que fazem fiscalização de licitações e 
contratos públicos externamente. 
Ocorreram diversas capacitações com os servidores para um melhor entendimento da 
plataforma. Atualmente, a Inspetoria de Controle Externo (ICE) e a Diretoria da Administração 
Indireta (DAI) são os setores que estão com a ferramenta em nível mais avançado de 
aprimoramentoe execução. 
A ICE elaborou um manual, conforme a Figura 03, que mostra o detalhamento de 
funcionamento do programa e que tem a principal finalidade de auxiliar o entendimento sobre 
 
15 
 
a usabilidade e funções do programa. Esta ferramenta é utiliza para consultas e treinamento de 
novos usuários, sejam eles servidores ou estagiários. 
 
Figura 03: Manual de Produção de Conhecimento na Fiscalização Concomitante de 
Licitações em Andamento. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Fonte: Manual de Produção de Conhecimento na Fiscalização Concomitante de Licitações 
em Andamento – TCE/RN, 2022. 
 
No período do estudo, foram analisadas 1.154 (um mil, cento e cinquenta e quatro) 
licitações e contratos na área da engenharia, sendo destes gerados 248 (duzentos e quarenta e 
oito) alertas do algoritmo via e-mail institucional, o que representa aproximadamente 21% do 
 
16 
 
total de licitações verificadas, sendo esta a amostra de análise das informações aqui 
apresentadas. 
Com relação aos dados gerados pela matriz de Risco, Relevância e Materialidade 
(RRM), é possível inferir que a classificação de risco mais presente é o nível alto com 131 
licitações encontradas, seguido por moderado (60), baixo (25), altíssimo (17) e, por fim, 
insignificante (15). Apesar de licitações de nível alto serem predominantes, a Corte de Contas 
realiza uma análise mais aprofundada das licitações e contratos considerados de nível altíssimo, 
ou seja, com pontuação maior ou igual a 750, tendo em vista que esse é o grupo que gera maior 
impacto material e financeiro. 
 
Figura 04: Gráfico com Resultados da Matriz RRM do TCE/RN. 
Fonte: Tribunal de Contas do Estado do Rio Grande do Norte, 2022. 
 
Muitos problemas são identificados nas trilhas do ALICE na Corte Potiguar, dentre os 
quais podemos destacar sobrepreço, potencial adjudicação com empresa impedida de contratar, 
jurisdicionados com termos de referência e estudos preliminares com corpo técnico sem 
regulamentação; e leis e jurisprudências do judiciário defasadas e/ou inexistentes. Quando 
comparado a outras instituições, como a 3ª ICFEx - Inspetoria de Contabilidade e Finanças do 
Exército, podemos perceber diferenças entre os principais entraves encontrados, demonstrando 
uma singularidade em cada processo de controle externo, entre órgãos e jurisdicionados 
 
17 
 
diferentes. 
Para fins exemplificativos, o quadro 01 apresenta o comparativo entre as principais 
questões encontradas no TCE/RN e ICFEx, este último com predominância de barreiras que 
apontam para participação de uma empresa diversas vezes dentro de uma mesma licitação, 
podendo-se inferir que são encontradas restrições a competitividade nas licitações; enquanto o 
TCE/RN mostra dificuldades relacionadas a legislações e referências desatualizadas. 
 
Quadro 01: Comparativo das maiores incidências de problemas identificados pelo ALICE entre o 
TCE/RN e a ICFEx. 
TCE/RN ICFEx 
Sobrepreço Participantes de uma licitação com mesmo 
email/telefone 
Potencial adjudicação com empresa 
impedida de contratar 
Participantes de uma licitação com sócio 
em comum 
Jurisdicionados com termos de referência 
e estudos preliminares com corpo técnico 
sem regulamentação 
Participantes de uma licitação cujo sócio é 
parente de até 2º grau do sócio de outro 
participante 
Leis e jurisprudências do judiciário 
defasadas e/ou inexistentes 
Matriz e filial participando da mesma 
licitação 
 Fonte: Tribunal de Contas do Estado do Rio Grande do Norte, 2022. 
 
Os jurisdicionados que apresentaram maiores frequências de alerta emitido pelo ALICE 
estão definidos na figura a seguir, e são: Prefeitura Municipal de Mossoró (10), Prefeitura 
Municipal de Extremoz (8), Secretaria de Estado de Infraestrutura (6), Prefeitura Municipal de 
Assú (5) e a Prefeitura Municipal de Goianinha (3). Assim, ficando evidente que os órgãos 
analisados precisam de uma maior atenção, tendo em vista a recorrência de aparecimento nas 
análises periódicas do TCE/RN. 
 
 
18 
 
Figura 05: Gráfico com os Jurisdicionados com maiores frequências de alerta emitidos pelo ALICE. 
 Fonte: Tribunal de Contas do Estado do Rio Grande do Norte, 2022. 
 
No TCE/RN, dentre os certames sinalizados pelo software, com relação as modalidades 
de licitação (Figura 06) que mais aparecem, têm-se as seguintes incidências: 172 (69,2%) 
tomadas de preços, 33 (13,2%) concorrências, 14 (5,6%) pregões eletrônicos, 10 (4,0%) pregões 
presenciais, 8 (3,2%) regimes diferenciados de contratação (RDC), 8 (3,2%) convites, seguidos 
de 3 (0,8%), da ata de registro de preço e da dispensa de licitação, mostrando, portanto, que a 
maioria dos certames analisados referentes a obras e serviços de engenharia (tomada de preço) 
estão inseridos no intervalo de valores de R$330.000,00 mil até R$3.330.000,00, ou seja, obras 
de grande vulto financeiro. 
 
 
 
19 
 
Figura 06: Gráfico da Incidência das Modalidades de Licitações. 
 Fonte: Tribunal de Contas do Estado do Rio Grande do Norte, 2022. 
 
Nesse contexto, o Tribunal obteve inúmeros casos de sucesso com a fiscalização do 
Robô ALICE, em conjunto com o Observatório Estadual e os auditores de controle externo. 
Um deles foi a suspensão licitação da Companhia de Serviços Urbanos de Natal (Urbana) no 
valor de R$ 170 milhões cujo objeto se destinava à contratação de empresa para a execução de 
serviços complementares ao sistema de limpeza urbana, compreendendo varrição, capinação e 
roçagem manual de vias e logradouros, além de limpeza manual de praias (Figura 07). 
 
20 
 
Figura 07: Reportagem da suspensão da licitação da Urbana, fruto da fiscalização do Robô ALICE. 
 Fonte: Tribunal de Contas do Estado do Rio Grande do Norte, 2022. 
 
A auditoria apontou que houve vulnerabilidades no efetivo controle dos serviços e suas 
cláusulas editalícias, configurando-se em vícios insanáveis; que o modelo adotado não 
estabelece elementos mínimos de gestão de contrato baseado em nível de serviço, inexistindo 
definições de papéis e responsabilidades, mecanismos de controle, indicadores de desempenho, 
métricas e cláusulas de penalidades, além disso, o projeto básico é deficiente e carece de 
elementos e níveis de detalhamentos que o caracterizem, como memorial com definição de 
roteiros, frequências e dimensionamentos. 
Em outros tribunais, a ferramenta também apresenta exemplos de sucesso, como 
ocorrido no TCE/GO, no qual, de acordo com Naves (2018), a partir de um e-mail enviado pelo 
ALICE, a secretaria de controle externo no Estado de Goiás identificou que o Estado havia 
publicado 2 pregões eletrônicos (Editais n. 88/2017 e 102/2017), num valor total de 39 milhões 
para manutenção da rodovia BR 153. Entretanto, tratava-se de um trecho de concessão, cuja 
manutenção é de responsabilidade da concessionária. Foram menos de 2 meses entre a autuação 
do processo de representação e o Acórdão n. 1116/2017, que determinou a anulação desses 
 
21 
 
pregões, dentre outras determinações. 
Atualmente, as principais dificuldades encontradas com a ferramenta estão relacionadas 
aos direcionamentos dados pelas trilhas, pois em algumas ocasiões o algoritmo gera 
apontamentos e alarmes falsos que acarretam desperdício de tempo pelos servidores que farão 
a análise da licitação. São exemplos de certames que geram alarme falso: obras ou serviços de 
engenharia que lidam com escavações do tipo “manual” em sua composição do SINAPI 
(Sistema Nacional de Pesquisa de Custos e Índices da Construção Civil); termos baseados em 
leis e jurisprudências que tiveram retificações (mas o sistema ainda está programado nos moldes 
antigos), dentre outros. 
 
5. CONSIDERAÇÕES FINAIS 
 
Diante de todo o exposto e dos resultados obtidos neste trabalho é possível concluir que: 
 O ALICE promove o aumento da produtividade dos servidores (Auditoresde 
Controle Externo) do Tribunal de Contas do Estado do Rio Grande do Norte e a 
existência de um processo padronizado e contínuo; 
 Com a ferramenta há possibilidade de controle prévio e concomitante das 
licitações, aumentando a expectativa de controle aos jurisdicionados, evitando a 
propagação de erros e permitindo a recomendação de melhores condutas pelo 
Poder Público; 
 Melhorias no controle externo promovem diminuição do dano ao erário público 
com a fiscalização mais eficiente; 
 Licitações de nível alto são predominantes na matriz RRM do TCE/RN, entretanto 
a corte de contas prioriza a análise de certames com o nível altíssimo, tendo em 
vista o grande impacto material e financeiro; 
 Jurisdicionados analisados que aparecem com maior periocidade nos 
apontamentos realizados pelo Tribunal precisam de uma maior atenção; 
 A maioria das obras que apresentam algum tipo de apontamento são as de grande 
vulto financeiro envolvido; 
 O software necessita de um melhor aprimoramento de suas trilhas, tendo em vista 
a indicação, ainda, de problemas que poderiam já ter sido sanados pelo seu 
mantenedor (TCU). 
 
22 
 
Apesar de alguns problemas, o ALICE mostra-se como uma solução diante da 
necessidade de melhorias no Serviço Público, sendo essencial a realização de mais estudos para 
aprimoramento da ferramenta, bem como investimentos na produção de outras tecnologias que 
possam auxiliar nos diversos processos realizados pelo Governo, melhorando a gestão de 
recursos e diminuindo os indícios fraudes e desvios, auxiliando também no desenvolvimento 
sustentável da economia e bem estar geral da população. 
 
REFERÊNCIAS 
 
CAMARÃO, Tatiana. Conheça Alice: o robô do TCU que faz varreduras em editais 
de licitação na busca por irregularidades. 2017. Disponível em: 
https://professoratatianacamarao.jusbrasil.com.br/noticias/506885069/conheca-alice-o 
robo-do-tcu-que-faz-varreduras-em-editais-de-licitacao-na-busca-por-irregularidades. 
Acesso em: 13 maio 2022. 
 
COSTA, Marcos Bemquerer; BASTOS, Patrícia Reis Leitão. Alice, Monica, Adele, Sofia, 
Carina e Ágata: o uso da inteligência artificial pelo Tribunal de Contas da União. Revista 
do Tribunal de Contas do Estado de Goiás, Goiania, n. 1, p. 11-36, jun. 2020. 
 
SCHWAB, Klaus. A Quarta Revolução Industrial. Tradução de Daniel Moreira 
Miranda. São Paulo: Edipro, 2019. 
 
CARVALHO FILHO, José dos Santos. Manual de Direito Administrativo. 32ª Edição. 
Rev, Atual, e Ampl. São Paulo: GEN/Atlas. 2018, p. 310. 
 
Di Pietro, Maria Sylvia Zanella. Direito administrativo. - 27. Ed.- São Paulo: Atlas, 2015 
 
MUKAI, Toshio. Licitações e contratos públicos. 5. ed. São Paulo: Saraiva, 1999. 
 
PANIS, Amanda da Cunha. Inovação em Compras Públicas: Estudo de Caso do Robô 
Alice da Controladoria-Geral da União (CGU). 2020. 116 f. Dissertação (Mestrado) - 
Curso de Pós-Graduação em Administração, Universidade de Brasília, Brasília, 2020. 
 
HILDEBRAND, Rodrigo Otávio Coelho. A Experiência Do Tribunal de Contas da 
União com Inteligência Artificial. 2021. 49 f. TCC (Graduação) - Curso de Curso de 
Graduação em Direito, Universidade de Brasília, Brasília, 2021. 
 
NAKANO, Valéria. TCU usa robô para fazer varredura diária de irregularidades. 
Disponível em: https://www.convergenciadigital.com.br/Inovacao/TCU-usa-robo-para-
fazer-varredura-diaria-de-irregularidades 
46309.html?UserActiveTemplate=site%2Cmobile%2Csite. Acesso em: 11 jun. 2022. 
 
23 
 
 
SANCHEZ, Helton. Irregularidades Recorrentes nas Licitações e Contratos. 
Disponível em: 
https://unipublicabrasil.com.br/uploads/materiais/9a04fe90dcc24e19929edd151a555e95
02042018183202.pdf. Acesso em: 14 jun. 2022. 
 
EXÉRCITO, Inspetoria de Contabilidade e Finanças do. Funcionalidades Alice-Sag. 
Disponível em: 
https://www.12cgcfex.eb.mil.br/images/3secao/2020/Funcionalidade_ALICE.pdf. 
Acesso em: 07 jul. 2022 
 
NAVES, Fernanda de Moura Ribeiro. Relatório de Visita Realizada ao Tribunal de 
Contas da União para Exposição Sobre os Sistemas Labcontas, Alice, Sofia e Mônica. 
Disponível em: 
https://files.cercomp.ufg.br/weby/up/949/o/Relat%C3%B3rio_de_visita_ao_TCU_sobre
_ALICE.pdf. Acesso em: 05 jul. 2022. 
 
BRASIL. Constituição (1988). Constituição da República Federativa do Brasil. 
Brasília, DF: Senado Federal: Centro Gráfico, 1988. 
 
BRASIL. Lei nº 8.666, de 21 de junho de 1993. Regulamenta o art. 37, inciso XXI, da 
Constituição Federal, institui normas para licitações e contratos da Administração 
Pública e dá outras providências. Diário Oficial da União, Brasília, DF, 22 jun. 1993. 
Disponível em: <http://www.planalto.gov.br/ccivil_03/Leis/L8666cons.htm>. Acesso 
em: 12 jun. 2022.