Prévia do material em texto

DESLOCAR A FUNÇAO DECISÓRIA PARA UMA MAQUINA É PERIGOSO? 
 
 
INTELIGÊNCIA ARTIFICIAL É UMA REALIDADE 
 
O uso de sistemas de inteligência artificial (IA) é crescente nos mais diversos ramos, em razão do 
aumento da eficiência e da precisão dos serviços por eles proporcionado. 
No Direito, vislumbra-se também esse fenômeno, com a utilização das soluções para otimização de 
serviços, principalmente no que concerne à litigância de massa. São usados nos escritórios 
advocatícios para 
- Realizar pesquisas jurídicas 
- Analisar documentos 
- Redigir contratos 
- Prever resultados 
- Investigação prévia de companhias antes da realização de negócios. 
- Análise de tendência de juízes ao julgar determinados temas, possibilitando uma maior 
especificidade à defesa 
 
As vantagens do uso de tal tecnologia, que proporciona maior rapidez, precisão e qualidade na 
realização de trabalhos maçantes e repetitivos. 
 
No âmbito do Poder Judiciário brasileiro, também há iniciativas nesse mesmo sentido, até então 
com o papel de auxiliar: 
- Triagem automática de processos 
- Sugerindo teses jurídicas cabíveis em cada caso concreto. 
- Processamento de julgados envolvendo a questão jurídica 
- No caso do STF ler os recursos extraordinários interpostos, identificando vinculações aos temas de 
repercussão geral. Com o objetivo de aumentar a velocidade de tramitação. 
 
 
APRENDIZADO DE MAQUINA 
 
A inteligência artificial funciona a partir de sistemas de dados programados para dar respostas 
conforme a base de dados disponível. 
 
São fornecidos dados para o sistema, de modo a possibilitar o machine learning (aprendizado de 
máquina), pelo qual a máquina analisará as informações fornecidas, seguindo as instruções 
estabelecidas pelo algoritmo, para encontrar padrões e, então, conseguir prever resultados. 
 
Inicialmente, importante consignar que os mecanismos de inteligência artificial dependem de 
modelos, os quais consistem em representações abstratas de determinado processo, sendo, em sua 
própria natureza, simplificações de nosso mundo real e complexo. Ao criar um modelo, os 
programadores devem selecionar as informações que serão fornecidas ao sistema de IA e que serão 
utilizadas para prever soluções e/ou resultados futuros. Essas escolhas, portanto, fazem com que 
sempre haja pontos cegos nos algoritmos, os quais refletem os objetivos, prioridades e concepções 
de seu criador, de modo que os modelos são, a todo tempo, permeados pela subjetividade do 
 
 
sujeito que os desenvolve. Esses pontos cegos podem ser irrelevantes para os resultados 
pretendidos pelos modelos. Por outro lado, podem ser ignoradas informações importantes para 
correta análise da situação, influenciando negativamente nas respostas dadas pelo sistema. 
 
A qualidade dos dados fornecidos aos sistemas de inteligência artificial também impactará os 
resultados, pois os dados são coletados da sociedade que é permeada por desigualdades, exclusões 
e discriminações. O aprendizado de máquina pode confirmar padrões discriminatórios – se eles 
forem encontrados no banco de dados, então, por conseguinte, um sistema de classificação exato 
irá reproduzi-los. É importante considerar que nem sempre o volume dos dados inseridos nos 
sistemas de IA refletirá em uma melhor decisão, visto que sua qualidade é fator ainda mais 
relevante, pois na própria constituição dos sistemas de IA se fazem escolhas que refletem também 
as opiniões e prioridades dos criadores, as quais influenciam diretamente as respostas do sistema. 
 
PROBLEMAS FUNDAMENTAIS DA TOMADA DE DECISÃO POR ALGORITIMOS 
 
VIESES ALGORITIMOS / DESCRIMINAÇÃO/ EXCLUSÃO 
 
A questão dos vieses já vem sendo discutida no âmbito do Direito há algum tempo, especialmente 
em relação às decisões judiciais. Como já pontuado, os vieses cognitivos são características 
inerentes ao ser humano, vez que nosso cérebro possui recursos cognitivos limitados e, por isso, 
cria “atalhos” para a tomada de decisões, de modo a utilizá-los de maneira mais eficiente E em face 
de os vieses se apresentarem como uma característica intrínseca do pensar humano, pode-se 
concluir, de igual modo, que um algoritmo criado por seres humanos enviesados provavelmente 
padecerá do mesmo “mal”, não de forma proposital, mas em decorrência das informações 
fornecidas ao sistema. Dessa maneira, surgem os chamados vieses algorítmicos, que ocorrem 
quando as máquinas se comportam de modos que refletem os valores humanos implícitos 
envolvidos na programação. 
 
É possível verificar vieses algorítmicos em várias áreas, como por exemplo: 
 
- No sistema de concessão de crédito europeu e norte-americano, para análise do risco do 
empréstimo, que utilizam dados das redes sociais do solicitante para o cálculo do credit score, 
baseando-se, assim, nas conexões sociais do indivíduo. Dessa forma, o resultado vincula-se 
diretamente ao grupo social no qual o solicitante está inserido. Corroborando tal fato, um relatório 
de 2007 apontou que negros e hispânicos têm um credit score significativamente inferior ao de 
brancos e asiáticos. 
- Um sistema de reconhecimento facial criado pela Google identificou pessoas negras como gorilas; 
- O sistema de busca de contatos do aplicativo Linkedin demonstrou uma preferência por nomes de 
pessoas do sexo masculino; 
- Tay, mecanismo de IA lançado pela Microsoft para interagir com usuários do Twitter, passou a 
reproduzir mensagens xenofóbicas, racistas e antissemitas; 
- O aplicativo de chat SimSimi, que utiliza inteligência artificial para conversar com os usuários, foi 
suspenso no Brasil por reproduzir ameaças, palavrões e conversas de teor sexual. 
 
Saliente-se que o fato de os algoritmos serem constituídos por informações selecionadas, por si só, 
não se constitui em um problema. Contudo, trata-se de um dado normalmente ignorado e que, 
quando aliado à falta de transparência dos algoritmos, bem como a sua possibilidade de 
 
 
crescimento exponencial, pode constituir um mecanismo perigoso de segregação ou erro, 
amparado pela pretensa imparcialidade da matemática. 
 
Há, contudo, um agravante: as decisões tomadas por humano são impugnáveis, pois é possível 
delimitar os fatores que ensejaram determinada resposta e o próprio decisor deve ofertar o iter 
que o induziu a tal resposta (artigos. 93, IX, CF/1988 e 489 do CPC). Por outro lado, os algoritmos 
utilizados nas ferramentas de inteligência artificial são obscuros para a maior parte da população – 
algumas vezes até para seus programadores40 – o que os torna, de certa forma, inatacáveis. Em 
função disso, a atribuição de função decisória aos sistemas de inteligência artificial torna-se 
especialmente problemática no âmbito do Direito. Por mais enviesadas que sejam as decisões 
proferidas por juízes, sempre se tem certo grau de acesso aos motivos (mesmo errados, subjetivos 
ou enviesados) que os levaram a adotar determinada posição, pois, ainda que decidam consciente 
ou inconscientemente por razões implícitas, suas decisões devem ser fundamentadas. Assim, em 
todos os casos, os afetados podem impugná-las e discuti-las. 
 
OPACIDADE 
 
A ausência de transparência dos modelos torna seu funcionamento invisível para todos, salvo 
matemáticos e cientistas computacionais. Desse modo, mesmo quando equivocados, o veredito 
dos algoritmos se torna imune a discordâncias e reclamações, perpetuando por vezes as 
desigualdades e contribuindo, inclusive, para o seu crescimento. Numa abordagem jurídica, coloca-
se em pauta em que medida a ausência de prestação de contas macula (ou não) o devido processo 
constitucional e a necessidade de fundamentação adequada das respostas oferecidas pelos 
algoritmos. 
 
Um exemplo de um sistema de IA que produz resultados eminentemente discriminatórios é o 
COMPAS mecanismo utilizado nos EUA para avaliar o risco de reincidência dos acusados no país. Os 
dados obtidos são utilizados,em alguns Estados, para a fixação da sentença do réu, sendo que, 
quanto maior o índice de reincidência, maior será o tempo de reclusão do detento. Em uma 
pesquisa realizada pela ProPublica, averiguou-se, no entanto, que o algoritmo utilizado tende a 
classificar erroneamente acusados negros como prováveis reincidentes e, por outro lado, 
enquadrar, também de forma equivocada, acusados brancos como indivíduos com baixo risco de 
reincidência. 
 
Em 2013, após furtar um veículo, evadir-se de um agente de trânsito e se envolver em um tiroteio, 
Eric Loomis foi condenado a seis anos de prisão. Com o seu passado de agressão sexual, a pena 
aplicada a Loomis não foi surpresa. A avaliação, ao qual aderiu o juiz do caso, foi definido por um 
tomador de decisões singular: COMPAS, um software privado que funciona a partir de um 
algoritmo secreto, ao qual nem os juízes que o utilizam têm acesso. Loomis, por meio de seu 
advogado, recorreu à Suprema Corte, requerendo a revelação e o acesso aos critérios que levaram 
o software a concluir que ele apresentaria alto risco de violência, reincidência e evasão. O 
Procurador-Geral do Estado foi contra. Ele defendeu que, como o uso de algoritmos para a tomada 
de decisões é muito recente, a questão ainda não estaria madura para julgamento, e destacou que 
Loomis estaria livre para questionar o resultado da sua avaliação e suas possíveis falhas, mas que 
não poderia acessar o código-fonte do algoritmo. Na mesma linha, os representantes legais da 
desenvolvedora do Compas, a Northpointe Inc., defenderam que a forma de operação do sistema 
estaria protegida por segredo industrial. 
 
 
 
CONSIDERAÇÕES FINAIS 
 
Apresentadas algumas consequências deletérias derivadas do emprego de algoritmos decisórios 
baseados em técnicas de aprendizagem da máquina (machine learning). Percebemos que, em 
alguns casos, essas situações afetam especialmente grupos já classificados como vulneráveis. 
Da tendência crescente de delegação de decisões tipicamente humanas para os algoritimos nos 
mais diversos campos e da gravidade das situações supraexpostas deriva a urgência em 
desenvolver mecanismos de governança de algoritmos. Algo do gênero, por exigir uma abordagem 
multidisciplinar e habilidades combinadas, demanda a colaboração entre juristas, cientistas 
políticos e cientistas da computação. Essa preocupação cresce de importância quando se imagina o 
emprego de algoritmos não programados em substituição ou auxílio na tomada de decisões 
judiciais. 
 
Ao contrário do que indica o senso comum, decisões algorítmicas não são, por si só, mais acuradas 
ou científicas. Muito menos inquestionáveis. É preciso criar estratégias para a auditagem de 
algoritmos, especialmente quando utilizados pelo poder público ou quando restritivos de valores 
fundamentais como liberdade. 
 
No Brasil o Projeto de Lei Nº 5051 desse ano, estabelece os princípios para o uso da Inteligência 
Artificial no Brasil. 
No Artigo 4, trata exatamente das decisões baseadas em Inteligência Artificial: 
 
 Art. 4º Os sistemas decisórios baseados em Inteligência Artificial serão, sempre, auxiliares à 
tomada de decisão humana. 
 § 1º A forma de supervisão humana exigida será compatível com o tipo, a gravidade e as 
implicações da decisão submetida aos sistemas de Inteligência Artificial. 
 § 2º A responsabilidade civil por danos decorrentes da utilização de sistemas de Inteligência 
Artificial será de seu supervisor. 
 
REFLEXÃO 
 
Como defender-se de um “índice” sem saber o método de seu cálculo? 
 
Como submeter o “índice” ao controle do devido processo constitucional? 
 
Quem seria responsabilizado por possíveis danos causados por decisões tomadas por Inteligência 
Artificial? 
 
É viável deslocar a função decisória para algoritmos?