_Convergência Ética e Estratégica - Referenciais pdf

Prévia do material em texto

39
Capítulo II
REFERENCIAIS PARA 
UMA DISCUSSÃO SOBRE ÉTICA 
NA IA E DIREITO
Inevitably, like in preceding technological revolutions,
digital information technology’s impact
has been so pervasive that we are no longer simply adopting it
– doing what we have done before –
but adapting to it by changing
how we behave.
Shohini Kondu (2019)
in Ethics in the Age of Artificial Intelligence
1 - INTRODUÇÃO
O Capgemini Research Institute18 realizou uma pesqui-
sa muito interessante com 1580 executivos de 510 organiza-
ções e 4.400 consumidores para buscar traçar um perfil de 
como a questão ética é percebida, qual a transparência em 
suas experiências com IA e como as questões éticas podem 
beneficiar as organizações. As organizações que usam a IA 
de forma ética têm uma vantagem concreta (pontuação su-
18 Disponível em: https://www.capgemini.com/research/why-address 
ing-ethical-questions-in-ai-will-benefit-organizations/. Último acesso 
em: 2/2/2020.
user
Realce
40
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
perior) em relação às que não usam. Entre os consumidores, 
62% disseram que atribuem maior confiança em uma orga-
nização que consideram aspectos éticos no uso da IA. Tam-
bém é forte a percepção dos consumidores da existência de 
IA com problemas éticos. 47% dos consumidores acreditam 
ter experimentado pelos dois tipos de IA que resultaram em 
questões éticas nos últimos 2-3 anos e ¾ dos consumidores 
esperam novos regulamentos sobre o uso da IA. 
A IA está mudando o processo de tomada de decisão, 
pois tem a capacidade concreta de tomar decisões melhores 
tanto no aspecto qualitativo quanto em termos de eficiência 
e rapidez. Será que a IA, nesse processo de tomada de deci-
são, retirou a transparência, a explicabilidade, a previsibili-
dade, a auditabilidade e outras garantias que são atribuídas 
à decisão humana? Ou, na realidade, são ilusões associadas 
à reprobabilidade de condutas que os sistemas morais e ju-
rídicos atribuem às pessoas como mecanismos pedagógicos 
ou de compensação? Se podemos levantar todo um questio-
namento, por exemplo, sobre o sistema cognitivo humano na 
tomada de decisões que exigem algum nível de justificação, 
podemos trabalhar com a indicação da maior quantidade 
possível de standards de controle ou referencial ético para a 
machine learning. Ao menos em um recorte pragmático, pode-
mos melhorar o nível ético de aplicação da IA. Para tanto, al-
guns referenciais são relevantes e serão o objeto do Capítulo.
O presente capítulo se destinará à apresentação de re-
ferenciais variados para se discutir ética no desenvolvimen-
to e uso de sistemas de IA no Direito. O capítulo se iniciará 
com a apresentação de referenciais multilaterais, que além 
de contribuir substancialmente para a questão, demonstram, 
dentro de uma visão estratégica para a IA, a relevância para 
que os próprios sistemas de IA sejam viáveis e sustentáveis 
ao longo dos próximos anos.
Dentro da proposta de Overview, o capítulo também 
apresentará alguns referenciais estrangeiros, dentre eles, a 
União Europeia, que é um dos principais espaços de discus-
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
41
são sobre riscos, limites e oportunidade para a IA em geral. 
Também trará visões gerais canadenses, alemãs, norte-ame-
ricanas, indicando as escolhas para o Review.
Haverá também no capítulo um espaço para o relato 
de algumas visões acadêmicas de ética para IA e direito. O 
capítulo chegará ao fim apresentando alguns movimentos 
na ética da IA e direito, que encerram a parte da visão geral 
proposta na estrutura do presente livro.
2 - REFERENCIAIS MULTILATERAIS
Em outubro de 2018, houve a International Conference 
of Data Protection, onde foi feita uma Declaration on Ethics and 
Protection in Artificial Intelligence, que apresenta algumas di-
retrizes éticas importantes. Destaca-se o dever de reduzir 
preconceitos ou discriminações no desenvolvimento e apli-
cação de soluções de IA. Isso converge com as necessidades 
éticas nas etapas de verificação e validação, acima expostas.
Polonski (2018), em seu artigo Mitigating algorithmic bias 
in predictive justice: 4 design principles for AI fairness, sugere 
princípios que vão além de parâmetros tradicionais de ava-
liação da AI, como acurácia e velocidade. O primeiro desses 
princípios é chamado de representation, verificado a priori, 
que deve buscar uma proteção contra preconceitos injustos 
e uma paridade de representação no datase, evitando o risco 
de sub-representação na fase de treinamento, quando mo-
delos eventualmente tendenciosos sejam submetidos a um 
novo treino, que sejam utilizados algoritmos para atenuar 
distorções ou tendências indesejadas metodologicamente. O 
segundo, protection, impõe aos sistemas de machine learning, 
mecanismos para evitar efeitos injustos aos indivíduos vul-
neráveis. A protection demanda projetos metodológicos de 
design e aplicação abrangentes, que permitam a prevenção 
de efeitos negativos em função de gênero, raça, etnia, na-
cionalidade, orientação sexual, religião, vertentes políticas, 
entre outros, posto que o sistema treinará e será testado em 
referenciais de dados de uma realidade desigual e repleta 
user
Realce
user
Realce
user
Realce
42
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
de preconceitos, bem como a possibilidade de correção de 
desvios detectados nas permanentes checagens da aplicação. 
O terceiro, stewardship, significa que os sistemas de machine 
learning têm a responsabilidade ativa pela realização de jus-
tiça e o compromisso com a inclusão em todas as etapas do 
desenvolvimento de modelos de IA. Por último, a authenti-
city, ou seja, além da confiança nos dados, deve existir uma 
autenticidade na visão da própria construção (autenticidade 
nas predições da IA), pois serão usadas para suporte a al-
guma decisão, mesmo que não seja algum tipo de decisão 
peremptória.
2.1 - OCDE (OECD), G20 e princípios para IA19:
Ao estabelecer os princípios para a IA, em 2019, a 
OCDE definiu como objetivo promover uma IA inovadora 
e confiável, que respeite direitos humanos e valores demo-
cráticos. Além de seus membros (36), Argentina, Colômbia, 
Costa Rica, Romênia, Peru e o Brasil aderiram ao estabeleci-
do, totalizando 42 países.20
A orientação de construção de um modelo foi para se 
estabelecer padrões práticos e ajustáveis ao tempo, perante 
o reconhecimento da rápida evolução da IA. Considerou-se 
também o aspecto sistêmico, em observação ao que já foi es-
tabelecido em termos de proteção à privacidade, segurança 
digital e conduta comercial responsável.
Dessa forma, organizaram-se cinco princípios estrutu-
rados na seguinte tabela:
19 Disponível em: https://www.oecd.org/going-digital/ai/principles/. 
Último acesso em 22/1/2020.
20 Disponível em: https://www.oecd.org/going-digital/forty-two-
countries-adopt-new-oecd-principles-on-artificial-intelligence.htm. 
Último acesso em: 22/1/2020.
user
Realce
user
Realce
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
43
Tabela 1. Princípios para IA da OCDE21
Descrição do Princípio
1 A IA deve beneficiar as pessoas e o planeta, impulsionando 
o crescimento inclusivo e sustentável e o bem-estar.
2 Os sistemas de IA devem ser projetados de maneira a respei-
tar o estado de direito, valores democráticos e a diversida-
de, e devem incluir salvaguardas apropriadas (por exemplo, 
possibilitando a intervenção humana, quando necessária, 
para garantir uma sociedade leal e justa)
3 Deve haver transparência e divulgação responsável em tor-
no de sistemas de IA para garantir que as pessoas entendam 
os resultados baseados em IA e, eventualmente, possam 
questioná-los.
4 Os sistemas de IA devem funcionar de maneira robus-
ta, segura e protegida ao longo de todo seu ciclo de vida. 
Os riscos em potencial devem ser avaliados e gerenciados 
continuamente.
5 As organizações ou indivíduos quedesenvolvem, implan-
tam ou operam sistemas de IA devem ser responsabilizados.
O OCDE também estabeleceu recomendações aos 
governos:
Tabela 2. Recomendações aos governos pela OCDE
Descrição da recomendação
1 Facilitar o investimento público e privado em pesquisa e de-
senvolvimento para estimular a inovação em IA confiável.
2 Promover ecossistemas de IA acessíveis, com infraestrutura 
digital, tecnologia e mecanismos de compartilhamento de 
dados e conhecimento.
3 Garantir um ambiente de políticas para abrir caminho para 
implantação de sistemas de IA confiáveis.
21 Dos documentos e textos estrangeiros ao longo do livro foram 
feitas traduções livres e, eventualmente, no entendimento do autor, 
buscando uma forma de melhor compreensão no contexto brasileiro.
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
44
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
4 Capacitar as pessoas em habilidades para a IA, bem como 
apoiar os trabalhadores tradicionais para uma transição 
adequada.
5 Cooperar para o progresso em uma administração respon-
sável da IA confiável.
Logo após a aprovação, em maio de 2019, o G-20 apre-
sentou o G20 Ministerial Statement on Trade and Digital Eco-
nomy22, dedicando ao tema da economia digital, destacando 
os tópicos: sociedade do futuro centrada no ser humano; 
liberdade de fluxo de dados com confiança; IA igualmente 
centrada no ser humano; abordagens políticas ágeis e flexí-
veis na economia digital; segurança; estabelecimento de me-
tas de desenvolvimento sustentável e inclusão.
Não só organismos multilaterais, mas também Estados 
também iniciaram suas organizações em torno do debate éti-
co na IA.
3 - REFERENCIAIS ESTRANGEIROS
3.1 - Ética em IA para a União Europeia (UE):
O Parlamento Europeu tem feito discussões interes-
santes sobre a temática de ética no contexto da IA. Em um 
texto de 201923, há o reconhecimento da importância das di-
retrizes éticas (igualmente publicadas em 2019) e os impac-
tos gerados pela tecnologia da IA na sociedade europeia.
No documento do final de 2019 se reforça a ideia mo-
triz da UE em fazer uma abordagem da IA por uma visão 
antropocêntrica. E a partir disso, a construção de princípios 
e orientações.
22 Disponível em: https://www.mofa.go.jp/files/000486596.pdf. Último 
acesso em: 18/2/2020.
23 Disponível em: https://www.europarl.europa.eu/RegData/etudes/
BRIE/2019/640163/EPRS_BRI(2019)640163_EN.pdf. Acesso em: 13 de 
janeiro de 2020.
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
45
Há indicativos um pouco menos recentes, mais muito 
úteis, como por exemplo, Bostrom24 (2011), que fez um texto 
sobre a ética na inteligência artificial. Nesse texto destaca-se, 
além dos desafios apontados para o futura da IA, princípios 
éticos para máquinas com algum status moral, embora o pró-
prio Bostrom reconheça que os princípios não forneceram 
todas as respostas a todas as questões éticas:
Tabela 3. Princípios para a IA, segundo Bostrom
Princípio Descrição
Princípio da não 
discriminação 
do substrato
Se dois seres têm a mesma funcionalidade e a 
mesma experiência consciente e diferem ape-
nas no substrato de sua implementação, eles 
têm o mesmo status moral. Esse princípio é 
básico para se evitar formas de preconceito. 
Para Bostrom, não significa que um computa-
dor deva estar consciente ou possa ter a mesma 
funcionalidade que um ser humano, mas que 
um substrato só será relevante se alterar a fun-
cionalidade ou sensibilidade.
Princípio da não 
discriminação 
da ontogênese
Se dois seres têm a mesma funcionalidade e a 
mesma experiência de consciência, e diferem 
apenas em como eles surgiram, então eles têm 
o mesmo status moral. Trata-se, segundo Bos-
trom, de uma extensão a sistemas cognitivos 
artificiais daquilo que já é claro aos humanos, 
que o status moral não depende de conceitos 
passados, como linhagens, castas, formas de 
geração, parto, nutrição, etc. Além disso, ainda 
segundo Bostrom, assim como os pais têm de-
veres especiais para com o filho, os proprietá-
rios de um sistema de IA com status moral têm 
deveres especiais, como o desenvolvimento de 
uma ética para tratamento de mentes artifi-
ciais. Destaca-se a sugestão de que muitas per-
guntas sobre como devem ser tratadas mentes
24 Disponível em https://nickbostrom.com/ethics/artificial-intelligence.
pdf . Último acesso em: 16/11/2020.
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
46
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
artificiais poderiam ser respondidas (Bos-
trom), tratando a mente artificial aplicando os 
mesmos princípios que são usados para deter-
minar deveres em contextos familiares.
Em um artigo, Springer, Etzion (2017)25 apresenta uma 
relevante ideia de que uma parte significativa dos desafios 
colocados à IA, e o desafio ético está nesse contexto, podendo 
ser tratado pelo tipo de escolhas éticas já feitas pelo humano. 
Isso ajuda a delimitar o problema, que não se trata de fazer 
a máquina desenvolver standards éticos, mas de delimitar, no 
universo de padrões humanos que a máquina irá ser treina-
da, com preocupações éticas.
O pesquisador da George Washington University se apoia 
em pesquisas sobre carros autônomos26 (certamente a temá-
tica mais avançada em termos de pesquisas sobre decisões 
éticas e morais associadas a sistemas de IA).
3.1.1 - IA e Direito: diretrizes éticas para a UE
Há diversos debates e diretrizes no ambiente da Co-
munidade Europeia. Antes propriamente de se apontar as 
diretrizes, destaca-se Madiega (2019, p. 10), ao estabelecer 
de forma muito clara as atividades do uso de IA: projetar, 
desenvolver, implantar, implementar ou usar. Interessante 
também que ele apresenta a IA como produto ou serviço. 
Essa classificação tem um efeito muito grande no sentido de 
se observar o grau de autonomia da IA. Há também suges-
25 Disponível em: https://philpapers.org/archive/ETZIEI.pdf . Último 
acesso em: 19 de janeiro de 2020.
26 Sempre comento quando surge a oportunidade, em minhas aulas e 
apresentações, que as pesquisas sobre decisões morais encontram 
ambiente favorável (dados, apoio financeiro e vários fatores) em 
sistemas de IA para veículos autônomos. É preciso avaliar esse 
fenômeno sobre duas perspectivas: a positiva é o próprio fomento à 
pesquisa e desenvolvimento da temática; a negativa é que os sistemas 
de IA (conceitos, limites, características) não podem ficar circunscritos 
a uma aplicação (veículos autônomos), que têm muitas especificidades.
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
47
tões no sentido de uma forte estratificação com instâncias 
com potencial de controle da IA:
a) Comissão de impactos de IA;
b) Código de ética para engenharia de robôs;
c) Agência europeia para “robotics and AI”;
d) Elaboração de um documento com plano coordena-
do e aprovado pelo Conselho da União Europeia;
e) Estabelecimento de diretrizes de ética para uma IA 
confiável.
Como objetivo de toda essa construção, menciona Ma-
diega (2019, p. 1), que é possível identificar a necessidade de 
adoção de padrões éticos para possibilitar regras de transpa-
rência; requisitos comuns para avaliações de possíveis im-
pactos em direitos fundamentais e estabelecimento de um 
cenário jurídico adequado para as aplicações. Como caracte-
rísticas para a IA: ela deve ser legal (cumprindo toda a legis-
lação e regulamentação); ética (garantindo a observância de 
princípios e valores éticos) e sólida (do ponto de vista técnico 
e do ponto de vista social – não bastam boas intenções, mas 
não se deve causar danos, mesmo que não intencionais).
Disso pode ser extraído níveis de abstração das orien-
tações27:
1) Bases de uma IA de confiança: princípios éticos 
para IA ética e sólida;
2) Concretização de uma IA de confiança: sete requisi-
tos para o ciclo completo de vida;
3) Avaliação de uma IA de confiança: lista preliminar,não exaustiva de avaliação de IA de confiança.
As diretrizes europeias de abril de 201928 para a con-
cretização de uma IA de confiança são:
27 A partir da construção EU guidelines on ethics in artificial 
intelligence: Context and implementation, segundo Madiega (2019).
28 As diretrizes foram apresentadas em um documento elaborado pelo 
grupo de peritos de alto nível sobre a inteligência artificial (GPAN 
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
48
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
Tabela 4. Diretrizes para concretização de uma IA de confiança 
para a UE
Diretriz Descrição
1 Ação e supervisão humanas.
2 Solidez técnica e segurança.
3 Privacidade e governança dos dados.
4 Transparência.
5 Diversidade, não discriminação e equidade.
6 Bem-estar social e ambiental.
7 Responsabilização.
Tabela 5. Itens incluídos em cada Diretriz para concretização de 
uma IA de confiança para a UE
Diretriz Inclusão
1 Direitos fundamentais.
2 Resiliência perante ataques, planos de recurso, 
exatidão, fiabilidade e reprodutibilidade.
3 Qualidade e integridade dos dados e acesso aos 
dados.
4 Rastreabilidade, explicabilidade e a comunicação.
5 Prevenção de enviesamentos injustos, acessibilidade, 
concessão universal e participação das partes 
interessadas.
6 Sustentabilidade e respeito ao meio ambiente, o 
impacto social, a sociedade e a democracia.
7 Auditabilidade, minimização e a comunicação dos 
impactos negativos, as soluções de compromisso e as 
vias de recurso.
IA). Disponível em: https://ec.europa.eu/digital-single-market/en/
news/ethics-guidelines-trustworthy-ai. último acesso em: 13 de 
janeiro de 2020.
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
49
Tabela 6. Interpretação original das diretrizes pelo GPAN IA29
Diretriz Inclusão
1 “Os sistemas de IA devem apoiar a autonomia e a to-
mada de decisões dos seres humanos, tal como pres-
crito pelo princípio de respeito da autonomia humana. 
Isto exige que os sistemas de IA funcionem como fa-
cilitadores de uma sociedade democrática, próspera 
e equitativa, apoiando a ação do utilizador e a pro-
moção dos direitos fundamentais, e que permitam a 
supervisão humana.”
“À semelhança de muitas outras tecnologias, os sis-
temas de IA tanto podem favorecer como prejudicar 
o usufruto dos direitos fundamentais. Podem benefi-
ciar as pessoas, por exemplo, ajudando-as a rastrear 
os seus dados pessoais ou aumentando o seu aces-
so à educação e apoiando, assim, o direito à mesma. 
No entanto, dado o alcance e a capacidade dos siste-
mas de IA, também podem afetar negativamente a 
defesa dos direitos fundamentais. Nas situações em 
que existem riscos como estes, deve realizar-se uma 
avaliação do impacto nos direitos fundamentais an-
tes do desenvolvimento dos sistemas, a qual deve in-
cluir uma avaliação da possibilidade de reduzir ou 
justificar esses riscos na medida do necessário numa 
sociedade democrática, a fim de respeitar os direitos 
e liberdades dos outros. Além disso, devem ser cria-
dos mecanismos para receber observações externas 
sobre os sistemas de IA que possam contrariar os di-
reitos fundamentais.”
2 “Uma componente crucial para que a IA de confiança 
se torne realidade é a solidez técnica, que está estrei-
tamente ligada ao princípio da prevenção de danos. A 
solidez técnica exige que os sistemas de IA sejam de-
senvolvidos seguindo uma abordagem de prevenção 
29 Presente a partir da página 18 do documento (Ethicsguidelinesfortrust 
worthyAI-PTpdf.pdf), obtido no próprio guideline, disponível em: 
https://ec.europa.eu/digital-single-market/en/news/ethics-guide 
lines-trustworthy-ai. Último acesso em: 14 de janeiro de 2020.
user
Realce
user
Realce
user
Realce
user
Realce
50
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
dos riscos e de forma a que se comportem fiavelmente 
conforme o previsto, minimizando os danos não in-
tencionais e inesperados, e prevenindo os danos ina-
ceitáveis. Tal deverá também ser aplicado a eventuais 
alterações do ambiente em que operam ou à presença 
de outros agentes (humanos e artificiais) que possam 
interagir com o sistema de forma antagónica. Além 
disso, deve assegurar-se a integridade física e mental 
dos seres humanos.”
3 “Estreitamente ligado ao princípio de prevenção de 
danos está o direito à privacidade, um direito fun-
damental que é particularmente afetado pelos sis-
temas de IA. A prevenção da ameaça à privacidade 
também exige uma governação adequada dos dados, 
que assegure a qualidade e a integridade dos dados 
utilizados, a sua relevância para o domínio em que os 
sistemas de IA serão implantados, os seus protocolos 
de acesso e a capacidade de tratar os dados de modo 
a proteger a privacidade.”
4 “Este requisito está estreitamente relacionado com o 
princípio da explicabilidade e abrange a transparência 
dos elementos relevantes para um sistema de IA: os 
dados, o sistema e os modelos de negócio.”
5 “A inclusão e a diversidade têm de estar presentes 
em todo o ciclo de vida do sistema de IA para que 
a IA de confiança se torne uma realidade. Além da 
consideração e do envolvimento de todas as partes in-
teressadas ao longo do processo, tal implica também 
que a igualdade de acesso mediante processos de 
conceção inclusivos e a igualdade de tratamento se-
jam asseguradas. Este requisito está estreitamente 
relacionado com o princípio da equidade.”
6 “Em conformidade com os princípios da equidade 
e da prevenção de danos, a sociedade em geral, ou-
tros seres sensíveis e o ambiente também devem ser 
considerados partes interessadas ao longo do ciclo de 
vida da IA. A sustentabilidade e a responsabilidade 
ecológica dos sistemas de IA devem ser incentivadas 
e deve ser promovida a investigação em soluções de
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
51
IA direcionadas para áreas de interesse global, como, 
por exemplo, os Objetivos de Desenvolvimento 
Sustentável. Idealmente, a IA deve ser utilizada em 
benefício de todos os seres humanos, incluindo as 
gerações futuras, meio ambiente, o impacto social, a 
sociedade e a democracia.”
7 “O requisito de responsabilização complementa os 
requisitos acima enunciados, estando estreitamente 
relacionado com o princípio da equidade. Exige que 
sejam criados mecanismos para garantir a responsa-
bilidade e a responsabilização pelos sistemas de IA 
e os seus resultados, tanto antes como depois da sua 
adoção.”
Percebe-se que mesmo sendo denominado Ethics guide-
lines for trustworthy AI, o resultado do grupo GPAN IA con-
densa as dimensões legais e técnicas em suas recomenda-
ções. Fica marcante a opção do documento, referendado pelo 
Council of the European Unian, em fazer uma previsão abran-
gente e, em forte medida, compromissória. Haverá, sem dú-
vida, muito trabalho para conferir contornos mais operati-
vos, especialmente para iniciativas de inovação ligadas à IA.
Em essência, como Madiega (2019, p. 3) já observou, o 
princípio central das diretrizes éticas para a IA é a deter-
minação para se desenvolver uma abordagem centrada no 
homem e deve respeitar os valores e princípios europeus. 
Nesse conceito amplo, o destaque se dá para que a IA respei-
te os valores humanos fundamentais, garantindo os direitos 
fundamentais e seja respeitada a dignidade humana.
Acredita-se, em alguma boa medida, que a abordagem 
antropocêntrica – prima facie justificável, poderá colocar as 
reflexões sobre ética em IA em dificuldades. Poderia induzir 
que se estaria atendendo às demandas éticas ao se reprodu-
zir as características ou atividades humanas, ao se espelhar 
na atitude humana. E isso é complicado! A tecnologia deve 
se dissociar do dataset humano, se isso atender melhor aos 
princípios éticos. Guardadas as devidas semelhanças, o ter-
user
Realce
user
Realce
52
COLEÇÃO DIREITO, RACIONALIDADEE INTELIGÊNCIA ARTIFICIAL
mo pode (de forma até mesmo absolutamente inocente) gerar 
dificuldades semelhantes à alcunha de Inteligência Artificial, 
dada à ciência que busca reproduzir habilidades cognitivas 
humanas. O próprio termo indicaria uma substituição/con-
corrência da inteligência humana por uma inteligência de 
máquina. Houve e ainda há todo um trabalho de explicação 
para dissociar essa mítica associada à IA. A própria UE tem 
produzido muito conhecimento no sentido de enfraquecer 
os mitos da igualdade/superação na relação da inteligência 
artificial e humana. Essa imprecisão de batismo pode ser ve-
rificada no conceito human-centric.
Ah, mas irá se dizer que o human-centric tem significa-
do diverso, isto é, que a solução de IA deve ser voltada ina-
lienavelmente ao homem. Talvez seja um exagero cético, mas 
esse ponto de partida somente é plausível para quem pen-
sar como Münchhausen. O human centric diz-se muito (e se 
protege do erro), mas aumenta a agrura, pois laceado. Como 
ficariam os preconceitos atávicos? Como ficaria o dano ino-
cente? Sem afastar a relevância humana (afinal é próprio 
pressuposto do Direito), precisa-se de mais para se efetiva-
mente cuidar-se da ética.
Tudo que uma preocupação ética na IA não precisa é 
de mais anfibolia. Mesmo que sujeito à crítica pela incomple-
tude e por mais difícil que seja, a reflexão sobre os parâme-
tros éticos deve buscar exatidão e justeza. De toda sorte, os 
extensos trabalhos da UE na discussão de ética e IA podem 
auxiliar muito no encaminhamento das questões brasileiras.
3.2 - Ética e IA em pesquisas de interesse para o tema30
Em 2018, o Canadá31 produziu um conjunto de princí-
pios orientadores e uma classificação de níveis de impacto 
30 Há outros países com pesquisas importantes, mas pela dimensão 
espacial de um livro, foram necessários alguns recortes. Justiça 
seja feita, México, Índia, Japão, Holanda, países escandinavos entre 
outros têm excelentes trabalhos.
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
53
para o uso de Machine Learning for decision-making, com qua-
tro estágios:
Tabela 7. Níveis de avaliação de impacto
Nível Descrição do impacto
1 LEVE – há pouco impacto em termos de direitos indivi-
duais, coletivos, bem-estar, saúde, interesses econômicos 
ou sustentabilidade. Os impactos são reversíveis e breves.
2 MODERADO – impactos nos termos do item 1, só que 
moderados, com provável reversão e de curto prazo.
3 ALTO – impactos nos termos do item 1, só que altos, 
com dificuldade de reversão.
4 MUITO ALTO – impactos nos termos do item 1, só que 
altos, com impactos irreversíveis.
E, assim, a partir do risco de impacto se estruturou um 
sistema de recomendações de revisões por pares, níveis mí-
nimos de comunicação, nível mínimo de intervenção huma-
na para a tomada de decisão durante o processo de decisão, 
exigência de explicação significativa fornecida com a decisão 
proferida (especialmente em casos que resultem na negação 
de acesso a um direito ou benefício ou serviço). Além disso, 
igualmente de forma escalonada em razão do nível de im-
pacto, antes da produção propriamente dita, são necessários 
mecanismos apropriados para que os dados de treinamento 
sejam testados para bias32, bem como mecanismos frequen-
31 Treasury Board Directive on the Use of Machine Learning for 
Decision-Making. Disponível em: https://www.tbs-sct.gc.ca/pol/
doc-eng.aspx?id=32592. Último acesso em: 14 de janeiro de 2020.
32 Este é um tópico de grande relevância para o estudo da IA 
atualmente, especialmente quando se trata da sua relação com a área 
do Direito: na qual os temas de justiça e equidade representam uma 
relação necessária. Chama-se de “machine bias”, “algorithm bias”, ou 
simplesmente “bias”, quando uma IA apresenta um comportamento 
tipicamente preconceituoso, nas palavras de Paulo Sá Elias: “É o viés 
tendencioso. A remoção de tal viés tendencioso em algoritmos não 
é trivial e é um campo de pesquisa em andamento. Os desvios são 
difíceis de serem descobertos se o algoritmo for muito complexo 
user
Realce
54
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
tes de testes e atualizações. Paralelamente, recomendam-se 
níveis de monitoramento para preservar resultados não in-
tencionais, garantindo conformidade com a legislação com 
os princípios da diretiva. Por fim, especificações de treina-
mento, planos de contingência e níveis de aprovação para 
que o sistema se torne operacional são estruturados pelo do-
cumento canadense.
No fim de 2018, na Alemanha33, foi desenvolvido o AI 
strategy, com uma série de medidas sobre ética para todas as 
etapas de desenvolvimento e usos da IA. É um estudo e um 
documento detalhado que apresenta desde uma definição de 
inteligência artificial até uma avaliação de conexões e estra-
tégias sobre o tema.
Destacam-se, no escopo do presente texto, inicialmen-
te os campos de desenvolvimento que demandam precau-
ções éticas:
Tabela 8. Campos da IA para a AI strategy alemã:
Campo Descrição
1 Sistemas de dedução, provas baseadas em máquina: 
dedução de declarações formais a partir de expressões 
lógicas, sistemas para provar a correção de hardware e 
software
(como são os utilizados pelo Google), pior ainda se forem secretos. 
Se o algoritmo é simples e auditável, especialmente publicamente 
auditável, então haverá em tese [...] mais chances de que as decisões 
baseadas em tais algoritmos possam ser mais justas. Igualmente 
em relação aos dados utilizados para “treinar” o algoritmo. Se eles 
forem auditáveis (e anônimos quando apropriados) poderão ser 
identificados desvios dessa natureza. Disponível em: ELIAS, Paulo 
Sá. Algoritmos, Inteligência Artificial e o Direito. Conjur, novembro, 
2017. Disponível em: https://www.conjur.com.br/dl/algoritmos-
inteligencia-artificial.pdf. Último acesso em 2/2/2020.
33 O pdf do documento Nationale KI Strategie foi obtido em: https://
towardsdatascience.com/ai-made-in-germany-the-german-strategy-
for-artificial-intelligence-e86e552b39b6, último acesso em: 14 de 
janeiro de 2020.
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
55
2 Sistemas baseados no conhecimento: método para pa-
dronizar a coleta de experiências, software para estimu-
lar a experiência humana e apoiar especialistas (ante-
riormente designados “sistemas especialistas”);
3 Análise de padrões e reconhecimento de padrões: pro-
cessos analíticos indutivos em geral, aprendizado de 
máquina em particular;
4 Robótica: controle autônomo de sistemas robóticos, isto 
é, sistemas autônomos;
5 Interação homem-máquina multimodal inteligente: 
análise e “entendimento” da linguagem (em conjunto 
com a linguística), imagens, gestos e outras formas de 
interação humana.
Interessante que no modelo alemão, ao definir standards 
éticos, também ficam expostos os objetivos para o trabalho:
1) Fazer a Alemanha e a Europa referências em IA, 
salvaguardando a competitividade alemã/europeia 
no futuro;
2) Buscar um desenvolvimento responsável para uma 
IA que sirva ao bem da sociedade;
3) Realizar uma integração da IA à sociedade, além 
nos campos ético, legal, cultural e institucional, em 
uma perspectiva de diálogo social.
Destaca-se a ideia estratégica alemã, ao se articular 
campos, objetivos, investimentos e diretrizes para o desen-
volvimento da IA, de se estabelecer uma marca “Inteligência 
Artificial Made in Germany”, como garantia de reconhecimen-
to de qualidade mundial. Esse conceito estratégico reforça a 
importância de se estabelecer standards éticos claros e uma 
arquitetura/moldura para o desenvolvimento de sistemas de 
IA, especialmente no escopo do trabalho para a IA no Direito.
Daly34 (2019, p. 13) menciona princípios relevantes para a 
formação dessa marca “Inteligência Artificial Made in Germany”:
34 Disponível em: https://arxiv.org/pdf/1907.03848.pdf. Último acesso 
em: 14 de janeiro de 2020.
user
Realce
user
Realceuser
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
56
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
1) Soberania dos dados;
2) Autodeterminação informacional e
3) Segurança dos dados.
Os três princípios relacionam-se a uma necessidade de 
integridade de datasets e uma maior proteção ao bias. Além 
disso, procedimentos para se facilitar auditorias e compre-
ensão da arquitetura algorítmica são importantes.
Pelo observado, embora também com um formato 
compromissário, pode-se dizer, em concordância com Daly 
(2019), que a Alemanha tem um roteiro claro e com visão 
estratégica para a promoção e uso da IA.
Nos Estados Unidos, percebe-se, também na mesma 
época (2018/2019), uma série de iniciativas marcadamente 
em um sistema self-regulation. Importantes empresas de tec-
nologia e associações produziram uma série de recomenda-
ções no sentido de melhores práticas35. A Partnership on AI 
também pode ser incluída nesse contexto de buscar melho-
res práticas na IA e reúne Amazon, Facebook, Google, IBM, 
Microsoft, entre outros consideráveis atores no desenvolvi-
mento, aplicação e monitoramento de impactos da IA. Em 
março de 2019, o governo federal norte-americano lançou o 
AI.gov, indicando a necessária combinação de esforços en-
tre os três centros de desenvolvimento: indústria, academia 
e governo. Afirmou categoricamente que estamos na era da 
inteligência artificial, na qual tudo se transformará! O AI.gov 
é um documento que apresenta (nos moldes alemães) uma 
visão estratégica (Executive Order 13859 – United States Na-
tional Strategy on Artificial Intelligence), com destaque em pro-
moção de pesquisa e desenvolvimento sustentável, remoção 
35 Nesse sentido é possível citar: 1) Fairness, Accountability, 
Transparency and Ethics in AI da Microsoft (https://www.microsoft.
com/en-us/research/group/fate/); 2) Artificial Intelligence at Google: 
our Principles: (https://ai.google/principles/) ; 3) a Partnership on 
AI também pode ser incluída nesse contexto de desenvolvimento de 
melhores práticas (https://www.partnershiponai.org/partners/). 
Últimos acessos em 14/01/2020.
user
Realce
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
57
de barreiras para a inovação em IA e consolidação de uma 
diretoria de Inteligência Artificial diretamente ligada à Casa 
Branca. Sob o ponto de vista dos valores estadunidenses 
para a IA, estabeleceu-se o seguinte rol:
1) IA compreensível e confiável;
2) IA robusta e segura;
3) IA com benefícios e cuidados com a força de trabalho;
O Departamento de Defesa (DoD)36 norte-americano 
realizou um estudo sobre princípios éticos para a IA e for-
mulou um lista com cinco:
Tabela 9. Princípios de AI Ethics para o DOD
Características Explicação
Responsável As pessoas devem exercer níveis adequados de 
julgamento e permanecerem responsáveis pelo 
desenvolvimento, implantação, uso e resultados 
dos sistemas de IA.
Equitativo Deve se evitar viés não intencional no desenvol-
vimento e implantação de sistemas de IA.
Rastreável A arquitetura deve ser suficiente para que espe-
cialistas possuam entendimento adequado da 
tecnologia, processos de desenvolvimento, mé-
todos operacionais de seus sistemas de IA (in-
cluindo transparência, auditabilidade, registro 
de dados e documentação do design.
Confiável Os sistemas de IA devem ter um domínio de uso 
explícito e definido, e a segurança, proteção e ro-
bustez dos sistemas devem ser testadas ao longo 
de todo ciclo de vida.
Governável Os sistemas de IA devem ser projetados para 
além de cumprir sua função, poder detectar erros, 
36 AI Principles: Recommendations on the Ethical Use of Artificial 
Intelligence by Department of Defesense. Disponível em https://
media.defense.gov/2019/Oct/31/2002204458/-1/-1/0/DIB_AI_
PRINCIPLES_PRIMARY_DOCUMENT.PDF, último acesso em 16 de 
janeiro de 2020
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
58
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
danos ou interrupções não intencionais, bem 
como para permitir a desativação humana ou 
automatizada de segurança.
Além de estabelecer princípios/características impor-
tantes para o desenvolvimento e aplicação de IA, o DoD faz 
interessantes recomendações operacionais, as quais se desta-
cam para o objetivo do presente texto:
Tabela 10. Recomendações operacionais do DOD para o tema:
Recomendação Detalhamento
1. Estabelecimento 
de um Comitê de IA
Formação de alto nível de conhecimento 
para garantir a supervisão na execução 
da estratégia de IA para que os Projetos 
de IA estejam de acordo com os princí-
pios éticos estabelecidos.
2. Elaboração de 
Programas de 
treinamento
Desenvolvendo de habilidades e conhe-
cimentos relacionados à IA, para envol-
vidos no desenvolvimento (área técnica 
com áreas operacionais) quanto nas áre-
as de aplicação. O documento fala que 
vários programas de treinamento de IA 
devem ser amplamente disponibiliza-
dos, para funcionários de todos os níveis,
desde os iniciantes nas carreiras, deven-
do aproveitar-se o conteúdo digital exis-
tente, combinado com instruções perso-
nalizadas.
3. Investimento em 
pesquisa
Pesquisas associadas à era da IA e asso-
ciadas a outros campos, como: segurança 
cibernética, computação quântica, opera-
ções de informação ou biotecnologia.
4. Investimento 
em pesquisas 
que melhorem a 
reprodutibilidade 
dos sistemas de IA
Entendendo como os sistemas de IA 
funcionam, como podem ser aplicados, 
como estão os desenvolvimentos e au-
xílio à resolução do problema da “caixa 
preta” da IA.
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
59
5. Definir referências 
de confiabilidade e 
desempenho
Os sistemas de IA devem ser projeta-
dos para, além de cumprir sua função, 
cumpri-la com maior confiabilidade e 
desempenho que o padrão humano.
6. Fortalecer estratégias 
e técnicas da avaliação 
de IA
Usar ou melhorar procedimentos de tes-
te, avaliação, verificação e validação e, 
quando necessário, criar nova infraes-
trutura para os sistemas de IA.
7. Desenvolver uma 
metodologia de 
gerenciamento 
de riscos
A partir da criação de uma taxonomia 
de usos de IA com base nas dimensões 
éticas, de segurança e de risco legal. 
A taxonomia deve incentivar a rápida 
adoção de tecnologias maduras em apli-
cações de baixo risco e priorizar maior 
precaução com aplicações menos madu-
ras e associadas a possíveis consequên-
cias adversas mais significativas.
8. Realizar encontros 
(conferência) anuais 
sobre segurança e 
robustez
Para ser possível se concentrar no exame 
da ética incorporada à IA, envolvendo 
uma pluralidade de manifestações.
O texto do DoD menciona, além das recomendações 
operacionais listadas, duas posturas que sintetizam as preo-
cupações éticas:
1) Garantir a implementação adequada dos princípios 
de ética à IA, orientando que a governança e super-
visão se direcionem também a esse fim;
2) A necessária expansão de pesquisas para entender 
as melhores formas de implementação concreta de 
princípios éticos à IA.
Em 2017, o Future of Live Institute realizou a The Asilomar 
Conference on Beneficial AI37. Nela foram estabelecidos princí-
pios éticos e valores para o desenvolvimento e uso da IA:
37 Disponível em: https://futureoflife.org/ai-principles/. Último acesso 
em: 24/2/2020.
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
60
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
Tabela 11. Princípios éticos e valores da The Asiolomar Conference 
on Beneficial AI:
Princípio Descrição
1 Segurança Os sistemas de IA devem ser seguros e 
protegidos durante toda a vida útil ope-
racional e de forma verificável, quando 
possível e viável.
2 Transparência 
de falhas
Se um sistema de IA causar danos, deve 
ser possível determinar o motivo.3 Transparência 
judicial
Qualquer envolvimento de um sistema 
autônomo na tomada de decisões judi-
ciais deve fornecer uma explicação satis-
fatória auditável por uma autoridade hu-
mana competente.
4 Responsabilidade Desenvolvedores (designers e construto-
res) de sistemas avançados de IA são par-
tes interessadas nas implicações morais 
de seu uso, uso indevido e ações, com res-
ponsabilidade e oportunidade de moldar 
essas aplicações.
5 Alinhamento 
de valores
Os sistemas de IA altamente autônomos de-
vem ser projetados para garantir que seus 
objetivos e comportamentos se alinhem aos 
valores humanos durante toda a operação.
6 Valores humanos Os sistemas de IA devem ser projetados 
e operados de modo a serem compatíveis 
com os ideais de dignidade humana, di-
reitos, liberdades e diversidade cultural.
7 Privacidade 
pessoal
As pessoas devem ter o direito de acessar, 
gerenciar e controlar os dados que geram, 
dado o poder dos sistemas de IA de anali-
sar e utilizar esses dados.
8 Liberdade e 
privacidade
A aplicação da IA a dados pessoais não 
deve limitar de maneira irracional a liber-
dade real ou percebida das pessoas.
9 Compartilhamento 
de benefícios
As tecnologias de IA devem beneficiar 
e capacitar o maior número possível de 
pessoas.
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
61
10 Compartilhamento 
de prosperidade
A prosperidade econômica criada pela 
IA deve ser amplamente compartilhada, 
para beneficiar toda a humanidade.
11 Controle humano Os seres humanos devem escolher como 
e se devem delegar decisões aos sistemas 
de IA, para alcançar igualmente os objeti-
vos escolhidos pelos seres humanos.
12 Não subversão O poder conferido pelo controle de sis-
temas de IA altamente avançados deve 
respeitar e melhorar, em vez de subverter 
os processos sociais e de cidadania, dos 
quais depende o bem-estar da sociedade.
13 Evitar a corrida 
armamentista
Uma corrida armamentista com armas 
autônomas letais deve ser evitada.
John Tasioulas, do King’s College London38 apresenta 
um conjunto de parâmetros para serem analisadas as ques-
tões éticas ligadas a robôs39:
Tabela 12. Rubricas apresentadas por John Tasioulas:
Rubrica Detalhamento
1. Funcionalidade A capacidade de alcançar uma meta, com 
um grau confiável de sucesso, de forma efi-
ciente, sem desperdício de recursos e sem 
violar normais morais.40
38 Disponível em: https://www.academia.edu/39734877/First_Steps_
Towards_An_Ethics_Of_Robots_And_Artificial_Intelligence. 
Último acesso em: 20/01/2020.
39 Registra-se que o autor original fez uma construção das suas rubricas: 
functionality, inherent significance, rights and responsibilities, side-
effects, and threats, de modo que as primeiras letras de cada uma 
forme a expressão FIRST. Disponível em: https://www.academia.
edu/39734877/First_Steps_Towards_An_Ethics_Of_ Robots_And_
Artificial_Intelligence. Último acesso em: 20/1/2020.
40 Tasioulas (2019 p. 55-56) relembra oportunamente as três leis da robó-
tica de Isaac Asimov, que fundamentam bem essa rubrica: um robô 
não pode causar danos ao ser humano; um robô deve acatar ordens 
dadas pelo ser humano, exceto se conflitarem com a primeira lei e, 
user
Realce
user
Realce
user
Realce
user
Realce
62
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
2. Significado 
inerente
Além dos requisitos da funcionalidade em 
uma tarefa é preciso enfrentar a reflexão so-
bre o significado inerente de se atribuir essa 
tarefa a um sistema de IA. Se a retirada da 
tarefa humana pode ser benéfica?
3. Direitos e 
responsabilidades
Se uma IA é funcional e tem significado be-
néfico surge outra questão de se ela possui 
um status moral que lhe confere direitos e 
responsabilidades?41 42 43
4. Efeitos colaterais Efeitos colaterais sempre existirão, no âm-
bito das relações pessoais, de trabalho, po-
dendo gerar algum tipo de privação social, 
desigualdade e tensões.
5. Ameaças Há sérias ameaças no sentido de existir 
sistemas de IA projetados para realizar 
objetivos malignos, tais como violação de 
privacidade, fraude financeira, ataques ter-
roristas (tanto por pessoas criminosas, gru-
pos terroristas, corporações ou governos). 
Tais sistemas violariam a rubrica da funcio-
nalidade. Há também risco de sabotagem 
ou subversão de sistemas benéficos, como a 
utilização de dados corrompidos ou invadi-
dos por agentes malignos.
Uma das mais graves ameaças associadas 
aos sistemas de IA é o bom funcionamento 
da própria democracia, que exige espaço li-
vre para deliberação e debate, informações 
dentro de um fluxo normal, ou seja, requer 
um fluxo livre de informações de modo a 
permitir que as deliberações democráticas
 por fim, um robô deve preservar sua própria existência, exceto se essa 
proteção conflitar com as duas primeiras leis, mais precisamente: “1. 
A robot may not injure a human being or, through inaction, allow a 
human being to come to harm. 2 A robot must obey the orders given 
it by human beings except where such orders would conflict with the 
First Law.” 3. A robot must protect its own existence as long as such 
protection does not conflict to with the First or Second Laws.”
user
Realce
user
Realce
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
63
moldem a formação de políticas e com 
garantias de que haja um sistema de res-
ponsabilidades e responsabilização. Bots 
saturando bases de informação e outras 
plataformas, fazendo-se passar por huma-
nos; criação de falsificações audiovisuais 
praticamente indetectáveis, manipulando e 
enganando e formando distintos universos 
informacionais; obtenção ilícita de dados 
privados podem gerar um risco de magni-
tude elevada à democracia.
Tasioulas (2019) reforça a ideia de interconexão do 
nível ético com o nível normativo, advogando tanto pela 
aplicação de um sistema normativo mais geral quanto à ne-
41 Tasioulas faz interessante resgate de um pensamento: “Os computa-
dores começaram como grandes máquinas remotas em salas com 
ar-condicionado, atendidas por técnicos de revestimento branco. 
Posteriormente, eles se mudaram para nossas mesas, depois para os 
braços e agora nos bolsos. Em breve, rotineiramente os colocaremos 
dentro de nossos corpos e cérebros. Por fim, nos tornaremos mais 
não biológicos que biológicos (Para uma discussão mais completa, 
Kurzweil 2005).” Refere-se a: Kurzweil, R. (2002). “We Are Becoming 
Cyborgs.” <http://www.kurzweilai.net/we-are-becoming-cyborgs> 
e Kurzweil, R. (2005). The Singularity is Near: When Humans 
Transcend Biology. London: Duckworth.
42 No mesmo sentido da nota anterior, em janeiro de 2020, saiu a notícia 
que pesquisadores da Universidade de Vermont e da Universidade 
de Tufts, nos EUA, desenvolveram organismos programáveis 
chamados Xenobot. Trata-se de uma arquitetura produzida por um 
supercomputador alimentado por um algoritmo, que trabalha com 
padrões e combinações para criar formas de vida rudimentares. A 
partir de células-tronco de embriões de sapo, ocorre uma organização 
de seres vivos com habilidades para apanhar ou empurrar partículas, 
ou até se autorregenerar. Disponível em: https://www.tecmundo.
com.br/ciencia/149305-robos-vivos-criados-partir-celulas-tronco-
sapos.htm. Último acesso em 20/1/2020.
43 É uma reflexão importante sobre o ponto de vista de conceitos jurídicos 
como personalidade, capacidade, obrigação e responsabilidade, na 
medida em que artefatos de IA caminham em termos de autonomia, 
inclusive de desenvolvimento.
user
Realce
64
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
cessidade de um sistema regulatório específico, por exem-
plo, para carros autônomos e a responsabilidade, seguro ou 
armamentos autônomos, etc. Além da interconexão norma-
tiva, um segundo nível seria uma reflexão sobre moralida-
de social – que tipode moralidade social é desejada? Essa 
observação é justificada por Tasioulas, pois nem todos os 
padrões socialmente arraigados que governam nossas vidas 
são ou deveriam ser padrões legais. Segundo ele, confiamos 
não apenas na lei para desencorajar as pessoas a compor-
tamentos não desejáveis, mas em padrões morais que são 
estruturados desde a infância.
Destaca-se ainda no trabalho de Tasioulas (2019), a sín-
tese com relação a um dever principal da IA, que está numa 
interconexão do aspecto normativo com o ético, que é o dever 
de não enganar. Na medida em que a informação está sendo 
produzida e controlada por sistemas de IA, esse é o maior de-
safio, inclusive em termos de riscos democráticos. As rubricas 
têm justamente o papel de reduzir os riscos dos sistemas de 
IA e apontar desvios a serem enfrentados. Tasioulas indica 
um bom caminho, nas medidas tecnológicas para proteção 
aprimorada da privacidade de dados pessoais, mais trans-
parência em relação ao uso de dados por provedores de pla-
taformas on-line e processos de registro mais rigorosos para 
contas de mídias sociais, legislação mais rigorosa para fake 
news, mecanismos de aumento da responsabilidade democrá-
tica (que deve se fortalecer ao mesmo tempo e hora que é uma 
das grandes vítimas dos potenciais negativos da IA).
Tasioulas (2019), em tom mais apocalíptico, afirma 
que precisamos de soluções democráticas para problemas 
colocados pela IA, antes que ela seja usada para destruir a 
própria democracia. Na medida em que há pouco, os mitos 
associados à IA foram sendo compreendidos, essa afirma-
ção deve ser profunda e cautelosamente bem compreendida. 
Não pode servir de argumento para o não desenvolvimento 
– porque ela só será desenvolvida para se chegar a sistemas 
de IA projetados para realizar objetivos malignos. Isto é um 
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
65
pensamento tolo! Então, a frente de esforços deve ser para a 
identificação de desvios e ferramentas de prevenção, contro-
le, diagnóstico, neutralização e responsabilização.
4 - REFERENCIAIS ACADÊMICOS RELEVANTES PARA UMA 
VISÃO DE ÉTICA EM IA E DIREITO
Em um interessante trabalho, Daly (2019, p. 6)44 apre-
senta o seu significado de ética em IA. Ética é vista como 
uma teoria da reflexão da moralidade, ou, em outras pala-
vras, uma teoria da boa vida. No campo da ética aplicada, 
defende a inclusão da ética na tecnologia, que, por sua vez, 
teria a ética da IA como uma subcategoria. Defenderia uma 
IA para uma autorreflexão das ciências da computação e en-
genharia que se dedicam à pesquisa e ao desenvolvimento 
de IA e suas divisões, como a machine learning. Quanto aos 
campos típicos da IA são elencados veículos autônomos, ma-
nipulação política por aplicativos, sistemas de armas autôno-
mos, reconhecimento facial, algorithmic discrimination, bots de 
conversação, classificação e ranking por algoritmo.
Daly (2019) expõe que as principais demandas da ética 
(associada à IA) estão relacionadas aos próprios objetivos e 
propósitos da pesquisa, a direção do financiamento da pes-
quisa, a conexão entre política e a ciência, a segurança dos 
sistemas, os vínculos de responsabilidade e uma orientação 
propriamente ao bem. Também afirma que a proximidade 
da pesquisa ou aplicação de IA com um discurso ético tem 
impacto concreto no curso da própria ação que lida com a 
IA. Afirma também que a reflexão ética deve ser pragmáti-
ca. Muito relevante é a passagem (2019, p. 7) que afirma que 
a dimensão da aplicação ética tem efeito, com grau de nor-
matividade, quando funciona oscilando para a orientação. 
Como barreira [originalmente seria designado como irrita-
ção], a ética tem um grau fraco de normatividade (descobrin-
44 Disponível em https://arxiv.org/pdf/1907.03848.pdf. Último acesso 
em: 21/1/2020.
user
Realce
user
Realce
66
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
do pontos cegos e questões sub-representadas). Oscilando 
para o sentido de orientação significa um caminho para forte 
normatividade, que tem como desvantagem provocar efeitos 
restritivos e comportamentos backfire (esse efeito se traduz 
em uma tendência de certas pessoas de resistir a evidências, 
reforçando suas crenças originais). Para Daly (2019), a ética 
em IA deve satisfazer duas características para ser eficaz: 
deve usar fraca normatividade: 1. Usar fraca normativida-
de e não determinar universalmente o que é certo e o que 
é errado; 2. Buscar a proximidade com o objeto designado, 
implicando que a ética deve fazer parte de um estudo inter/
transdisciplinar diretamente ligado às áreas de seus objetos.
Em 2019, a International Technology Law Association 
(ITECHLAW)45, por meio de um grupo multidisciplinar de 
16 países, em um debate cujo tema foi Responsible AI: a global 
policy framework, estabeleceu uma relação de oito princípios:
Table 13. ITECHLAW – Principles
Princípios
1 Finalidade ética e benefício social
2 Accountability
3 Transparência e explicabilidade
4 Lealdade e não discriminação
5 Segurança e confiabilidade
6 Abertura a datasets usados para desenvolvimento e 
competição leal (compliance by design)
7 Proteção à privacidade
8 Proteção à propriedade intelectual
Em outubro de 2019, um paper de Yuan Stevens traba-
lhou com o tema da IA responsável, em um referencial para o 
Canadá. O trabalho faz uma descrição das iniciativas do Cy-
45 International Technology Law Association (ITECHLAW). Disponível 
em: https://www.itechlaw.org/sites/default/files/ResponsibleAI_
Principles.pdf. Último acesso em: 23/1/2020.
user
Realce
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
67
berjustice Laboratory da Faculdade de Direito da Universidade 
de Montreal. O laboratório está em um projeto levantando os 
impactos da IA nos sistemas de justiça ao redor do globo.
Neste trabalho há uma ideia relevante para a reflexão 
da ética em IA e Direito: é essencial que os especialistas ju-
rídicos façam uma distinção entre o uso de um sistema de 
IA propriamente e um mero vaporware de IA (que existe há 
décadas), cujas promessas ainda precisam ser cumpridas. Aí 
é fundamental ter muito claro o tratamento que se deve dar 
aos mitos associados à IA, para identificar-se o campo efeti-
vamente necessário para as diretrizes ético-normativas.
A manifestação do Cyberjustice Laboratory considerou 
realizar sugestões no sentido de táticas para concretizar 
os princípios, como a criação de um escritório de avaliação 
tecnológica, a promulgação ou alteração de legislação para 
prestação de contas da IA e incentivando a regulamentação 
estatal em vez da autorregulação da indústria da IA.
A partir dessa orientação, há a apresentação de cinco 
propostas:
Table 14. Propostas do Cyberjustice Laboratory – Law School – 
University of Montreal
Descrição
1 A necessidade de os países participantes apresentarem alte-
rações legislativas concretas.
2 Para o princípio 1 da ITECHLAW (Finalidade ética e bene-
fício social), seria interessante incentivar a criação de um 
escritório canadense de avaliação tecnológica.
3 Para o princípio 2 da ITECHLAW (Accountability), deve-se al-
terar ou formular legislação de responsabilização por atos e 
omissões a todos os setores em que se utilize sistemas de IA.
4 Para o princípio 4 da ITECHLAW (Lealdade e não discri-
minação), deve-se estimular a publicação de relatórios que 
instruam o público sobre leis antidiscriminação existentes 
e as possibilidades de sistemas de IA com risco de facilitar 
discriminação.
user
Realce
user
Realce
68
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
5 Para o princípio 5 da ITECHLAW (Segurança e confiabilida-
de), deve-se, nos casos em que os sistemas de IA estão pron-
tos para uso ou já estejam sendo utilizados, uma legislação 
em substituição à autorregulação.
Partindo do contexto dos robôs sociais, Fosch-Villa-
ronga (2019) busca apontar opiniões sobre a questão ética, 
normativa e social associadaà tecnologia, obtidas nas dis-
cussões de especialistas46 em quatro workshops47 temáticos, 
apontando desafios especialmente associados à privacidade, 
à autonomia, à desumanização nas interações sociais, às re-
lações de trabalho e à transformação laboral.
Destaca-se no texto sobre a temática da privacidade e 
segurança a própria dificuldade do estabelecimento de um 
conceito comum do que é privacidade. Há também preocu-
pações sobre a repercussão da atividade de robôs em termos 
físicos e informacionais em relação aos seres humanos que 
com ele interagem. Há a preocupação com o acesso dos robôs 
a ambientes antes reservados, algo antes impossível, ao me-
nos nessa escala. Outra preocupação associada é a possibi-
lidade de controle de dados coletados e processados apenas 
pela proximidade do robô em um ambiente privado e sem a 
percepção humana. Disso derivam necessárias reflexões so-
46 Especialistas do Japão, Reino Unido, Suécia, Dinamarca, França, 
Islândia, , Itália, Noruega, Holanda, Grécia, Estados Unidos, Suíça, 
Espanha e Coréia do Sul.
47 “NewFriends First International Conference on Social Robots in Therapy 
and Education,2 the workshop turned into a workshop series that 
has brought together researchers from different disciplines and 
countries over three years to discuss the most pressing ELS issues 
of social robots in a solution- oriented roundtable format. We 
organized workshops in Barcelona, Spain, under the NewFriends 2nd 
International Conference on Social Robots in Therapy and Education in 
November 2016; in Yokohama, Japan, under the International Symposia 
on Artificial Intelligence (isAI), organized by the Japanese Society for 
Artificial Intelligence (JSAI) (also JSAI-isAI 2016) in November 2016; 
and at the Edin- burgh Center for Robotics, Scotland, as part of the 
European Robotics Forum on March 2017.” (Fosch-Villaronga, 2019)
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
69
bre com conceitos de integridade, capacidade de evitar bias, 
corrigir ou alterar dados.
Sobre a segurança, o desafio relatado é com a violação 
da vigilância, por exemplo, no caso do robô ser invadido por 
hackers em contextos muito sensíveis (note-se que a discus-
são está centrada em robôs sociais, com usos amplos para 
acompanhamento, saúde e segurança de pessoas – em mui-
tos casos, em situação de vulnerabilidade).
Sobre a autonomia, apontou-se uma série de desafios, 
que vão desde a carga de culpa em eventos críticos até a dú-
vida se os robôs deveriam ser vistos como moralmente res-
ponsáveis por algo. O debate sobre autonomia e capacidade 
de tomada de decisão independente estão em níveis de abs-
tração diferentes. Pode-se dizer que é tênue, mas é diferente 
a capacidade dos robôs de tomar uma decisão por conta pró-
pria ou uma adaptação à vontade dos usuários [ou desen-
volvedores]. Para o caso dos robôs, relata Fosch-Villaronga 
(2019), ao se adaptarem aos usuários, isso poderá reduzir o 
acaso e não afrontar/desafiar os processos de tomada de de-
cisão do usuário. No entanto, as discussões não foram sufi-
cientes no sentido de se estabelecer uma ordem hierárquica 
com regras sobre as decisões autônomas e se deveria haver 
um humano supervisionando.
Sobre a segurança houve outro desafio identificado: 
os robôs deveriam substituir decisões humana em alguns 
casos, por razões de segurança ou proteção do próprio hu-
mano, porque o robô pode ter uma compreensão melhor do 
problema ou se essa percepção poderia levar a um cenário 
de dependência. O foco no design de controle foi identificado 
como relevante.
Fosch-Villaronga (2019) destaca como recomendações: 
clareza, transparência e divisão de responsabilidades entre 
desenvolvedores, fabricantes, adotantes e usuários (espe-
cialmente no caso do robô adaptar seu comportamento ao 
padrão do usuário), com concentração de esforços para se 
prever bias e modelar comportamentos para consequências. 
user
Realce
70
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
Houve a ideia de protocolos de atuação tanto na prevenção 
quanto na reação (nos moldes que são feitos em aviões), an-
tecipando cenários inadequados. Como exemplo, apontou 
para a criação de faixas para carros autônomos, separando-
-os de carros não autônomos. Outra sugestão foi a criação 
de um fundo de compensação (semelhante ao criado para 
desastres naturais). Outra importante sugestão veio no sen-
tido de organização de um sistema de seguro e uma matriz 
para distribuição de responsabilidade, que leve em conta os 
diferentes níveis de autonomia do robô e de complexidade 
do ambiente.
Destaca-se ainda no trabalho de Fosch-Villaronga 
(2019) que essa matriz de distribuição de responsabilidade 
está muito relacionada com o sistema de tomada de decisão 
autônoma. Uma espécie de régua deveria ser estabelecida, 
incluindo um modelo hierárquico (por exemplo, a decisão 
médica prevalece sobre a decisão do enfermeiro, mas não so-
bre a decisão do próprio paciente) ou coparticipativo com o 
usuário. O importante seria refletir que, assim como as com-
panhias de seguro atribuem valores, pesos e importâncias 
a diferentes situações e riscos – sempre com o cuidado do 
viés preconceituoso, o tratamento para os riscos associados a 
robôs pode seguir essa lógica.
Uma observação importante é que com variáveis ní-
veis de engajamento humano, o robô também produz, ao 
longo do tempo, respostas imperfeitas. Segundo o relato 
de Fosch-Villaronga (2019), a personalidade é formada por 
comportamentos únicos e imperfeitos e robôs podem acabar 
também sendo únicos. E cita um exemplo singelo, mas muito 
interessante: o robô PLEO (pequeno dinossauro robô) evo-
lui de maneira diferente, dependendo das interações com os 
usuários. Esse é um grande desafio para se falar em termos 
de um sistema responsável em termos de cumprimento/to-
lerância aos padrões ético-normativos.
Outro ponto importante para o debate ético foi levan-
tado no relato de Fosch-Villaronga (2019), que é a diminuição 
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
71
da interação humana (human-human). Houve a argumenta-
ção de que a interação humana pode não ser drasticamente 
reduzida, porque a interação do robô normalmente é dife-
rente (one-to-one) e não uma interação com grupo de pessoas. 
Por outro lado, é necessário refletir que na medida em que 
um sistema supre algum tipo de necessidade humana, que 
antes dependia do auxílio/interação com outros humanos, 
a tendência lógica é de que em alguma medida a interação 
entre humanos seja reduzida. As perguntas seriam em até 
que medida esta interação diminuiria? O que seria eticamen-
te desejável? A quantidade ou a qualidade de interação (ou 
ambas)? Se a diminuição em quantidade seria diretamente 
proporcional a uma diminuição na qualidade da interação 
entre humanos? Por outro lado, como potencialidade, em 
uma perspectiva de concretização de direitos humanos, os 
próprios robôs podem ser preparados com a incorporação 
de algoritmos para padrões de conversas, padrões motores 
e reconhecimento de dados psicológicos e cognitivos das 
interações humanas com fins terapêuticos, autocontrole das 
emoções e da saúde mental.
Assim, parece consistentemente claro, que a depender 
de como os robôs são projetados, podem exacerbar ou redu-
zir o contato entre humanos e auxiliá-lo ou dificultá-lo. Uma 
diretriz importante pode ser a finalidade de mediação so-
cial, no sentido de incorporar elementos que estimulem a in-
teração social. O exemplo interessante citado é o robô orien-
tado para uma criança em que constantemente se incentiva a 
criança a perguntar aos colegas de classe alguma informação 
ou ao professor, mostrando claramente que o robô auxilia, 
mas não é a fonte de inteligência, que é melhor interagir com 
pessoas do que com um robô que não sabe muitas coisas.
Alguns indicadores já são mencionados por Fosch-
-Villaronga (2019), que devem de alguma formaorientar a 
permanente tensão no desenvolvimento de robôs entre: atrair 
o maior número possível de usuários e respeitar a proteção de 
direitos individuais e coletivos. No caminho está a minimi-
72
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
zação de acesso a dados pelo robô; a limitação de finalidades; 
o consentimento dinâmico, transparência e direito de expli-
cação; acesso fácil ao usuário; eliminação de dados pelo usu-
ário, regulation-by-design e compliance-by-default; design parti-
cipativo e centrado no ser humano; abordagens baseadas em 
risco; sistema de seguros; selo de avaliação; regras claras de 
tomada de decisão e mecanismos de resolução de disputas; 
fundos de compensação e distribuição de responsabilidade.
Table 15. Visão geral dos desafios, recomendações:48
Desafio Aspectos chave Recomendações
Privacidade 
e segurança
• Dificuldade do esta-
belecimento de um 
conceito comum do 
que é privacidade;
• Minimização de acesso 
a dados pelo robô e 
limitação de suas fina-
lidades;
• Falta de consentimen-
to e controle sobre os 
dados;
• Configurações para 
uma interação com 
grupo dificultam a 
privacidade;
• Consentimento dinâ-
mico pelo usuário;
• Transparência e direito 
à explicação;
• Acesso fácil do usuá-
rio e possibilidade de 
elimi nação de dados 
por ele.
Incertezas 
normativas
• Responsabilidade;
• Cenários normativos;
• Regulation-by-design e 
compliance-by-default;
• Agência 
governamental;
• Sistema de seguros;
• Selo de avaliação;
Autonomia • Substituição de de-
cisões humanas por 
segurança;
• Distribuição de res-
ponsabilidade;
• Regras claras para o 
processo de tomada de 
decisão;
• Mecanismo para solu-
ção de controvérsias;
48 Tabela adaptada e ajustada da tabela proposta por Fosch-Villaronga 
(2019), que pode ser integralmente acessível no texto completo.
user
Realce
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
73
• Fundos de 
compensação;
• Responsabilidade 
distribuída
Efeitos no 
trabalho
• Emprego das pessoas 
afetados;
• Destaque na mídia 
para o avanço no uso 
de robôs;
• A substituição de mão 
de obra pouco quali-
ficada por robôs pode 
fortalecer o sentimen-
to anti-imigração.
• Design participativo 
e inclusão de seres 
humanos no processo 
de design;
Interações 
humanas
• Problema da human-
-robot-interaction 
(HRIs) nas configura-
ções de grupo;
• Papel da religião;
• Bias e discriminação.
• Presença humana nos 
ciclos dos processos;
• Design centrado no ser 
humano.
Analisando o problema da interação sobre outra pers-
pectiva, podemos mencionar o trabalho de Peter Asaro 
(2016) em que foram apresentadas importantes reflexões so-
bre designs que envolvam a interação humano-robô (HRIs) 
e os desafios éticos de quando essa interação pode ser por 
meio do emprego de violência ou uso de força letal. Pode-se 
dizer que esta é uma das situações extremas na relação entre 
um humano e o robô (usando tasers, bombas, etc.), atingindo 
o valor mais importante – a vida.
Com o incremento das soluções de reconhecimento 
facial e dados biométricos, processamentos de dados em ge-
ral captados por câmeras, leitores de documentos, radares e 
operações remotas, há um aumento da quantidade e nível de 
autonomia de agentes robóticos, e, sem dúvida, um potencial 
de violação de direitos humanos.
user
Realce
user
Realce
74
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
Sobre os padrões que devem ser adotados para o uso 
da força por robôs, Asaro (2016) esclarece que o primeiro 
deles é de que, sob o ponto de vista da própria existência 
de sistemas robóticos para melhorar a vida das pessoas, só 
seria aceitável a utilização de robôs dessa natureza em casos 
extremos e excepcionais. Se para o âmbito do design, é muito 
mais fácil projetar um robô que tenha precisão no uso de 
uma arma, muito mais desafiador é um sistema que permita 
que só se use a força proporcional e quando extremamente 
necessária. Portanto, não é um problema de design para pre-
cisão (somente), mas para decision-maker extremo.
Assim, são apresentadas questões relevantes para esta 
espécie de sistema49 :
1. A força (por robô) pode ser usada contra um suspeito?
2. Quais avisos seriam necessários antes do uso da força?
3. Que tipo de ameaça um suspeito deve representar 
para autorizar o uso da força?
4. Haveria outras ações a serem tentadas pelo robô an-
tes do uso da força?
5. Quais padrões de uso da força um projetista de-
veria adotar para estabelecer sistemas de restrição 
para seu robô?
49 Essas são possíveis perguntas que podem inclusive ser equivocadas 
para o entendimento dessa questão que é difícil e extrema. A intenção 
no texto é para apontar uma necessidade de discussão, pois o 
problema é real e imediato. O próprio Asaro (2016, p. 59) aponta para 
uma informação angustiante. Para ele, falando da realidade norte-
americana “More distressing, however, is that the established laws 
or policies in the United States at all levels and jurisdictions fail to 
conform to international standards for the use of violent and lethal 
force by police. This includes failures to meet the minimal standards 
established by the United Nations Human Rights Council. These 
failures are as complete and far-reaching as they are distressing. That 
is to say that some states fail to establish any laws or policies regarding 
police use of violent and lethal force, while many others establish far 
lower standards than what is called for by international law, and even 
federal standards fail to meet the minimal international standards”.
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
75
Um segundo padrão seria obtido com posturas que não 
devem ser aplicadas, ou seja, usar a força para obter uma es-
pécie de adequação às orientações legais; o uso para neutrali-
zar indivíduos em fuga, quando não há risco significativo de 
danos; deixar de estabelecer sistemas de registro e documen-
tação da ação e mecanismos de supervisão; ou de autorizar 
o uso como primeiro recurso e não como último e extremo.
Dessa forma, pelo relato de Asaro (2016), os referen-
ciais para uso da força devem seguir os parâmetros estabe-
lecidos pelo United Nations Human Rights Council (UNHRC) e 
pela Anistia Internacional50: 1) Necessidade de evitar danos 
físicos graves ou mortes de pessoas; 2) Deve ser aplicado de 
forma absolutamente discriminada (último recurso); 3) Deve 
ser aplicado de forma proporcional e 4) Deve haver respon-
sabilidade pública. Percebe-se claramente a dificuldade de 
um modelo abstrato padrão para usos absolutamente distin-
tos e com impactos absolutamente desproporcionais no âm-
bito dos direitos.
Hubbard (2014), da Universidade da Carolina, fez um 
trabalho justamente na tentativa de equilibrar as preocupa-
ções associadas aos impactos do uso de robôs com a neces-
50 Ao todo foram listados na Conferência de Havana, 1990, 26 princípios 
básicos para o uso da força e armas de fogo por oficiais policiais. 
Disponível em: https://www.ohchr.org/EN/ProfessionalInterest/
Pages/UseOfForceAndFirearms.aspx. Último acesso em: 26 de janeiro 
de 2020. Destacam-se os princípios: 1. Os governos e as agências 
policiais adotam e implementam regras e regulamentos sobre o uso 
da força e armas de fogo contra pessoas por agentes policiais. No 
desenvolvimento de tais regras e regulamentos, os governos e as 
agências policiais devem manter as questões éticas associadas ao uso 
da força e armas de fogo constantemente sob revisão. E subprincípios 
de: a) Exercer a restrição de tal uso e agir de acordo com a gravidade 
da ofensa e o objetivo legítimo a ser alcançado; (b) Minimizar danos 
e ferimentos, e respeitar e preservar a vida humana; (c) Garantir que 
assistência e assistência médica sejam prestadas a todas as pessoas 
feridas ou afetadas o mais rapidamente possível; d) Garantir que 
parentes ou amigos íntimos da pessoa ferida ou afetada sejam 
notificados o mais cedo possível. (destaquenosso)
user
Realce
76
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
sidade de incentivo à inovação. Inicialmente, afirma que a 
abordagem human-in-the-loop reduz a capacidade dos robôs 
em substituir o humano em tarefas sensíveis, trabalhando 
no plano da assistência humana.
A questão levantada é o preço que a sociedade pode 
pagar pela manutenção de sistemas de inteligência com esse 
modelo de supervisão. Os benefícios perdidos pela alta capa-
cidade cognitiva, acurácia e menor propensão a falhas, justifi-
caria a manutenção de um sistema de responsabilidade mais 
habitual e, portanto, associado à segurança. Hubbard (2014) 
afirma que toda tecnologia apresenta desafios de equilibrar 
os custos com os benefícios. Cita o exemplo dos automóveis. 
Não há debate sobre sua extinção, apesar do alto custo em 
termos de lesões, mortes, trânsito, poluição, dependência de 
combustíveis. O debate é para reduzir os custos, racionali-
zando o uso, melhorando a dependência de combustíveis, 
com matriz mais ecológica, reduzindo emissões. É a perma-
nente busca pelo equilíbrio entre custos e benefícios. Uma 
primeira proposta para uma mudança substancial do siste-
ma de responsabilização seria uma abordagem concentrada 
na preocupação com a vítima. Essa proposta está associada 
a um custo, que seria disseminado e tornaria o processo de 
inovação mais custoso. Outra proposta enfatiza a necessida-
de de inovação e propõe maneiras de reduzir o impacto dos 
custos de responsabilidade. Felizmente se reconhecem as fa-
lhas de ambas as propostas. A primeira assume que o siste-
ma de responsabilidade pode e deve ser usado para garantir 
os custos por danos provocados por robôs, impondo esses 
custos aos envolvidos na inovação (especialmente fabrican-
tes, que poderiam distribuir os custos, tornando-os parte do 
preço do robô). A segunda, por simplesmente admitir que 
um sistema de responsabilidade dificulta indevidamente a 
inovação (HUBBARD, 2014, p. 1865-1866). Com essa visão, 
fica claro que por esse caminho, o debate hipotético já não 
é novo e ocorreu/ocorre em várias áreas (por exemplo, pre-
servação vs. desenvolvimento; direitos vs. investimento e por 
aí vai!) A discussão binária e antagônica entre inovação e 
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
77
responsabilidade ganharia contornos ideológicos. Deve exis-
tir um caminho diferente e ambas as propostas se furtam 
a isso, ou seja, uma proposta alternativa para se buscar um 
equilíbrio adequado (quais os parâmetros para esse concei-
to?) entre segurança e inovação. Não se pode deixar de lado 
a diretriz da necessidade de equilíbrio.
Se for pensado um sistema de compensação, (HUB-
BARD, 2014, p. 1.866-1.867) sugere duas possibilidades: a 
primeira seria um esquema de seguro independentemente 
de culpa; a segunda seria a criação de um sistema combi-
nado com um seguro sem culpa combinado com um fundo 
para pagamento de danos causados. Contudo, isso deman-
daria uma série de respostas que ainda não foram suficiente-
mente abordadas, posto que danos podem estar associados 
não propriamente ao desenvolvimento do sistema, mas na 
sua aplicação, manutenção e as contrapartidas em termos 
de natureza e nível dos benefícios, tipos de danos cobertos 
(por exemplo, não econômicos, dor, sofrimento, etc.), pesso-
as cobertas, administração, etc. Há ainda a possibilidade de 
se circunscrever a responsabilidade apenas ao fabricante/
desenvolvedor, pela dificuldade de se dosar a autonomia 
do sistema com a participação humana ao longo dos ciclos 
e pela maior facilidade de uma espécie de precificação e ava-
liação de viabilidade – igualmente parcial e complexa, posto 
que o uso seria pouco reflexivo com relação às precauções 
contra danos. Se posiciona, no panorama norte-americano, 
no sentido de que:
As propostas para reduzir a responsabilidade se baseiam no 
seguinte argumento de duas partes: (1) robôs sofisticados, 
como veículos autônomos, são desejáveis porque aumen-
tam a segurança e a conveniência; e (2) os custos de respon-
sabilidade devem, portanto, ser reduzidos, a fim de promover 
a inovação desses produtos desejáveis. A segunda parte do 
argumento simplesmente ignora a necessidade de equilibrar 
a inovação com os custos de lesões de uma maneira que 
incentive melhorias de segurança. Além disso, as propostas 
user
Realce
78
COLEÇÃO DIREITO, RACIONALIDADE E INTELIGÊNCIA ARTIFICIAL
para reduzir a responsabilidade não abordam a questão de 
saber se o sistema atual alcança um equilíbrio adequado ou 
se baseiam em críticas conclusivas apoiadas em exemplos e 
anedotas extremos. (HUBBARD, 2014, p. 1.869-1.870)
Nesse cenário complexo e difícil, o que é certo é a ne-
cessidade dos indicativos éticos e normativos de responsabi-
lidade buscarem um equilíbrio entre segurança e inovação, 
de maneira leal, justa e eficiente (HUBARD, 2014).
De forma mais detalhada:
Onde robôs sofisticados estão envolvidos, muitos expres-
saram preocupações sobre a capacidade do sistema 
normativo de alcançar esse equilíbrio e argumentam que 
muitas vítimas não serão compensadas ou que a inovação 
será prejudicada. Baseando-se nesses argumentos, eles 
exigem mudanças fundamentais no sistema atual. Com 
efeito, essas críticas e propostas abandonam a preocupação 
com o equilíbrio e concentram-se na preocupação com 
a compensação ou com a inovação. Como resultado, 
eles mostram pouca preocupação com o outro lado da 
balança. Além disso, esses críticos geralmente confiam 
em expectativas irracionais para punição normativa. Por 
exemplo, aqueles que se preocupam com a indenização às 
vítimas não conseguem avaliar os limites da capacidade 
de um esquema de responsabilidade pela justiça corretiva 
servir como mecanismo de compensação. Críticos aos 
efeitos do sistema punitivo na inovação tendem a ignorar a 
necessidade de equilíbrio ou a necessidade de desenvolver 
uma crítica substantiva da capacidade do sistema atual de 
alcançar um equilíbrio adequado. Como resultado, os críticos 
do impacto dos sistemas regulatórios e de responsabilidade 
falham em não considerar a inovação que ocorreu no 
passado e o atual desenvolvimento rápido da robótica [...]. 
Tais críticas não são suficientes para justificar o abandono 
de um sistema que forneceu e continuará a fornecer um 
equilíbrio justo e eficiente de inovação e segurança em 
máquinas robóticas. (HUBARD, 2014, p. 1.872)
user
Realce
Volume 5 – INTELIGÊNCIA ARTIFICIAL E DIREITO: Convergência Ética e Estratégica
79
Assim como a maioria das pesquisas em IA, que ga-
nharam impulso com a evolução tecnológica mais recente, 
a relação entre ética IA e Direito está provocando muitas in-
certezas. Há uma percepção predominante que a IA é um 
movimento estabelecido e a ampliação do seu uso inevitável. 
Por outro lado, há um aumento do conhecimento sobre os 
usos da IA e seus impactos jurídicos, que vão desde questões 
de direito material, processual filosofia jurídica e ética.
As profissões jurídicas já estão ajustando suas estraté-
gias. Isso é perceptível na atividade das lawtechs, por exem-
plo. Quais são os impactos éticos na atividade das profissões 
jurídicas e do necessário cuidado delas com os direitos hu-
manos é uma pergunta, de partida, inafastável.
A Professora Danielle Keats Citron (University of Ma-
ryland, Yale University e Stanford Law School), em 2014, realizou 
um estudo sobre os problemas do sistema de Financial risk 
scoring e apontou especialmente os problemas da opacidade, 
da arbitrariedade de critérios e de conclusões, associada à 
discricionariedade, da discrepância de impactos, associada a 
uma profunda desigualdade e imprevisibilidade do impacto 
da sua aplicação de correlações e inferência automatizadas. 
Em uma linguagem jurídica, seria aceitável colocar esses 
problemas nos conceitos de transparência, discricionarieda-
de, isonomia, desigualdade, insegurança?
Ao se tratar de ética aplicada a IA (no Direito) na lo-
gística jurisdicional, pode-se também entender