Relatório Discriminação Algoritmica

Prévia do material em texto

UNIVERSIDADE FEDERAL DO PARÁ
INSTITUTO DE TECNOLOGIA
FACULDADE DE ENGENHARIA DA COMPUTAÇÃO E TELECOMUNICAÇÕES
COMUNICAÇÃO E SOCIEDADE
DISCRIMINAÇÃO ALGORÍTMICA
EZEQUIEL DE CARVALHO ASSIS - 201807040011
HERMIL GLAUBER MARGALHO DAX REIS - 201807040024
BELÉM, PA
2021
OBJETIVO
O relatório visa conceituar e desenvolver uma análise a acerca da questão
relacionada a discriminação algoritmica, com intuito de ponderar esse assunto e
esclarecer a real importância da discriminação no âmbito de decisões e práticas
no que diz respeito ao desenvolvimento de algorítmos.
Ademais, expor os riscos e malefícios da utilização de alguns sistemas de
algoritmos construídos a partir de viés ideológicos, religiosos ou políticos. Abordar
como essas decisões computacionais podem prejudicar a utilização de
tecnologias, a acessibilidade cotidiana e os benefícios esperados por essas
ferramentas. Além disso, discutir como essa prática ocasiona a exclusão,
segregação e crescimento de práticas discriminatórias.
Por fim, através de conclusões, complementar o que deve ser feito para que
a utilização dessas tecnologias possam beneficiar a todos de forma transparente,
segura e respeitando direitos fundamentais.
Palavras-chave
Discriminação Algoritimica, proteção de dados, profiling, decisões
computacionais, Big Data.
INTRODUÇÃO
Para desenvolver e debater a questão relacionada à problemática referida, é
necessário discutir os conceitos de algoritmo e discriminação algoritmica, com a
finalidade de esclarecer a importância de tais temas no contexto tecnológico atual, e
observar quais os impactos desses conteúdos no âmbito individual e coletivo.
Dessa forma, algoritmos seriam determinados número de ações ou receitas
utilizadas para executar tarefas, julgar decisões e solucionar problemas. Por outro
lado, o conceito de descriminação algorítmica está relacionado ao desenvolvimento
de algoritmos, utilização de bancos de dados e outras técnicas de forma
inadequada.
Essas inadequações dizem respeito ao uso impróprio de conceitos não
éticos, onde essas ferramentas podem posteriormente apresentar na sua tomada de
decisões comportamentos discriminatórios. Desse modo, é nítido e indispensável
reconhecer a relevância do desenvolvimento de algoritmos relacionados a
processos decisórios e seus impactos na sociedade e adequar seu uso a uma
política social.
1. Definição de algoritmo
“Algoritmo é um procedimento sistemático que produz - em um número finito
de etapas - a resposta a uma pergunta ou a solução de um problema.”
(BRITANNICA, 1998). Diariamente pessoas criam algoritmos para terem auxílio em
uma determinada tarefa, esses algoritmos podem não ser tão precisos nas etapas
para alcançar um objetivo, mas um ser humano é capaz de compreender
determinadas imprecisões e completar suas tarefas. Entretanto, um computador não
é capaz de tomar decisões baseadas em situações imprecisas, a menos que essas
incertezas sejam explicitadas à ele. De acordo com Cormen:
Você pode ser capaz de tolerar quando um algoritmo é descrito de maneira
imprecisa, mas um computador, não. [...] Assim, um algoritmo computacional
consiste em uma série de etapas para completar uma tarefa que é descrita de
maneira precisa o bastante para que um computador possa realizá-la. (Cormen,
2013, p. 1)
Um algoritmo pode ser desenvolvido de várias formas, um manual de
instruções, uma receita de bolo, o passo-a-passo para a instalação de um
programa, todos são exemplos de algoritmos que podem ser escritos em qualquer
língua (inglês, português, francês, …) de modo que o resultado pode variar de
acordo com as variáveis de entrada ou até mesmo não alcançar um resultado se
não seguir os passos corretamente, por exemplo, se a pessoa usar sal ao invés de
açúcar (input) na receita de bolo, o sabor do bolo (output) será completamente
diferente.
Um algoritmo computacional segue os mesmos princípios, podendo ser
escrito em diferentes linguagens (C++, Python, assembly, …), porém de forma mais
complexa. Os dados de entrada podem variar e consequentemente os resultados
também.
2. Discriminação
Na plataforma online Dicio, podemos encontrar o seguinte significado da
palavra “discriminação”:
- Ação de discriminar, de segregar alguém, tratando essa pessoa de maneira
diferente e parcial, por motivos de diferenças sexuais, raciais, religiosas; ato
de tratar de forma injusta: discriminação racial.
- Capacidade de distinguir ou estabelecer diferenças; discernimento.
- Ação ou efeito de discriminar, distinguir ou diferenciar.
- Ação de afastar, segregar ou apartar.
Antes de abordar o tópico principal dessa discussão (discriminação no
sentido pejorativo), é importante deixar claro que a palavra “discriminação” não está
associada apenas ao ato de segregar alguem por questões sexuais, religiosas,
entre outros. A palavra “discriminação” pode ser empregada em outras situações
como distinguir e consequentemente classificar um determinado objeto de qualquer
natureza sem necessariamente inferiorizar ou tratar de forma injusta tal distinção.
A discriminação de raça, cor, etnia, religião ou procedência nacional é
cosiderado crime na lei brasileira, tanto para quem comete de forma direta, quanto
para quem incita a discriminação.
DISCUSSÃO
Para esclarecer a discriminação alogritmica e como é recorrente nos
sistemas algoritmicos atuais , é necesário estabelecer alguns conceitos e temas
relevantes . Assim podemos afirmar que a recorrente discriminação algoritmica
está diretamente ligada ao conceito de viés algorítmico, potencial discriminatório
em práticas de profiling criminal e os resultados de buscas em algoritmos de
pequisas(Google, Bing, Yahoo!) que se inserem no contexto atual do big data.
Estabelecer tais conceitos, é necessário para entender como se comportam
os resultados provenientes do desenvolvimento desses algoritmos de cunho
discriminatório.
1. Viés Algorítmico
Segundo o site wikipédia, em teoria o viés algorítmico está diretamente
relacionado ao desenvolvimento de algoritmos. Ao desenvolver esses sistemas,
essas tecnologias são programadas para terem o que chamamos de tecnologia
artificial. Com o intuito de tomarem decisões por meio de processos de
aprendizagem, através de uma grande quantidade de dados.
Esses processos de aprendizagem, chamados de Machine Learning, são
métodos de análise de dados, que consistem em aprender dados, identificar
padrões e tomar decisões com o mínimo de intervenção humana.
São necessários para que esse sistema aprimore seu conhecimento sobre as
decisões a serem tomadas. Todo seu processo de aprendizagem e funções de
decisão, baseiam-se na sua criação, ou seja, todas as decisões são escolhidas
no seu desenvolvimento e naquilo que seu criador julgar como sendo corretas.
Porém, o problema pode ocorrer quando esses processos de aprimoramento
são relacionados a pessoas, crenças ou culturas. Nesse caso, o sistema pode se
comportar com o viés discriminatório por meio do processo de aprendizagem de
máquina e nas suas funções de decisão. Resultando em um viés algorítmico.
Tipos de vieses Algorítmicos, segundo o site Wikipédia, que ocorrem com maior
frequência:
1. Viés racial
2. Viés relacionado ao gênero
3. Viés relacionado à nacionalidade
4. Viés relacionado à orientação sexual
5. Viés relacionado à deficiência física ou mental
6. Viés relacionado à idade
2. Profiling Criminal
Os algoritmos baseados em profiling criminal, consistem em análises
comportamentais com objetivo de auxiliar investigações criminais, estabelecendo
padrões por meio de características de indivíduos. Criando um padrão de
suspeitos, esses sistemas diminuem a lista de possíveis suspeitos. Porém, nem
todos os casos de ocorrências de análise através de profiling criminal são
adequados, existem casos em que esses algoritmos podem comportar-se com
viés discriminatório, prejudicando pessoas no âmbito criminal.
Casos reais de discriminação algoritmica são recorrentes, e a incriminação
de umapessoa inocente é uma possibilidade. A ocorrência de falha no
reconhecimento facial em câmeras digitais e Webcams em contextos
investigativos também é comum, e em alguns casos esses sistemas podem
falhar. Identificam na análise de base de dados, pessoas negras como possíveis
criminosos, por outro lado, identificam pessoas brancas como possíveis vítimas
de um crime.
Essas análises decorrem de diferentes abordagens específicas para tomar
decisões, contudo, a possibilidade de haver discriminação alogritmica é real.
“Em outras palavras, ao ser construída em cima de um banco de dados que
reflete uma sociedade injusta, a inteligência artificial acaba tomando também
decisões discriminatórias…”(UOL, 2018).
Trazendo um caso real de profiling criminal. O software Correctional Offender
Management Profiling for Alternative Sanctions (COMPAS) foi desenvolvido com
o propósito de gerenciar penitenciárias, fazendo triagem da saúde mental dos
detentos e outras funcionalidades, porém o COMPAS passou a ser amplamente
utilizado para avaliar o potencial risco de reincidência. Em 2016 a Suprema Corte
de Wisconsin (EUA), permitiu que as avaliações de risco do COMPAS podem ser
usadas pelos juízes para auxiliar na decisão da sentença. Um caso que ganhou
bastante destaque foi a condenação de Eric Loomis, condenado a seis anos de
prisão em agosto de 2013, onde sua sentença foi calculada com a ajuda do
algoritmo COMPAS.
Em 2016, o advogado de Eric argumentou perante a Suprema Corte de
Wisconsin, que a ferramenta algorítmica não deveria ser utilizada na decisão de
uma sentença assim como na decisão do tamanho da pena de um suspeito. A
justiça concluiu que não houve erro na condenação de Eric, mas enfatizou que a
defesa poderia refutar os resultados apresentados, desde que fossem
apresentadas provas de erros cometidos na decisão. No caso do COMPAS, uma
refutação se torna inviável, visto que o software é propriedade de uma empresa,
portanto sendo um segredo comercial.
4. A Discriminação Algoritmica nos mecanismos tecnológicos
É conclusivo que os algoritmos são reflexos da sociedade, e são carregados
de conjunto de tarefas provenientes do seu criador. Porém, indiretamente
também sofrem influência por parte dos usuários.
O processo de Machine Learning, influencia no resultado de buscas em sites
de pesquisa como o Google. Visto que o algoritmo se comporta de acordo com o
seu processo de aprendizagem. E é talvez nesse, que é nrecorrente os casos de
discriminação.
A maioria das buscas relacionadas à pobreza e violência em sites de
pesquisa, são associadas a pessoas negras e em poucos casos a pessoas
brancas. De forma análoga, pesquisas como “cabelo feio”, são diretamente
associadas a pessoas negras, enquanto pesquisas como “cabelo bonito” são
relacionadas a pessoas brancas. Isso ratifica a questão da discriminação
algoritima nesse mecanismo, e demonstra a relevância no contexto atual.
Outros assuntos relevantes também são inseridos neste cenário, e que
fazem parte da tedenciosidade de alguns algoritmos. Os anúncios de emprego
podem ser utilizados para exemplificar, e validam o julgamento. No Facebook por
exemplo, pesquisas mostraram que em anúncios de emprego de maior relevância
como médicos e advogados, esses anúncios em grande parte dos casos são
sugeridos apenas para pessoas brancas e ficam“ocultos” de outros grupos. Por
outro lado, anúncios de emprego como porteiro e faxineira, são sugeridos para
pessoas negras.
6. Big Data
A realidade atual no qual se insere a discriminação alogritimica, é o que
chamamos de Big Data, onde os algoritmos são estruturados apartir de um
conjunto de dados. Big Data define-se em como os dados chegam ao seu
destino, com maior volume e maior variedade de informações, ou seja, um
conjunto de dados mais complexos de fontes de informações diversas.
Esses conjuntos de dados são muito complexos, por isso é necessário um
software capaz de gerenciar esses dados. Esse método está relacionado com a
forma como esses algoritmos se comportam diante de decisões baseadas no seu
processo de aprendizagem de máquina.
Portanto, o objetivo principal é desenvolver sistemas de algoritmos com
arquiteturas mais complexas baseados na estrutura de Big Data, e que não
infrinjam questões éticas.
7. Discriminação por generalização
A discriminação acaba sendo algo corriqueiro no cotidiano quando aplicadas
decisões baseadas em generalizações estatisticas, levando a distinção de uma
pessoa não por suas caracteristicas individuais, mas pelas caracteristicas do grupo
no qual ela pertence. Vale citar um dos tipos de discriminações algorítmicas
descritas por Mendes e Mattiuzzo (2019):
Discriminação por generalização - [...] embora o algoritmo esteja correto e as
informações também, ainda assim o resultado será uma generalização incorreta, na
medida em que mesmo um resultado estatisticamente relevante apresentará um
percentual de pessoas que não se encaixam perfeitamente naquela média.. Isso se
dá pela própria natureza de qualquer exercício probabilístico.
RESULTADOS
Com base nos conceitos estabelecidos sobre os assuntos relacionados á
respeito da discriminação alogritimca, obtemos resultados e métodos para enfrentar
a discriminação por parte de algoritmos, a fim de garantir o uso eficiente desses
sistemas, assegurando comportamentos voltados para politicas sociais e questões
éticas.
1. Governança Algorítmica
Para lidar com essa questão, é necessário esclarecer o conceito de
Governança Algorítmica. Governança algorítmica está relacionada a questões de
regulamentação e políticas públicas para enfrentar a discriminação, tendo como
objetivo encontrar soluções que ofereçam transparência e uma visão geral a
respeito dessas soluções.
Este conceito visa debater a real necessidade de regulamentação e controle
de algoritmos, em que grupos responsáveis possam reger processos decisórios no
desenvolvimento de algoritmos.
A instituição Fairness, Accountability and Transparency in Machine Learning
Organization (FAT-ML em inglês) atua na intervenção e regulamentação de
algoritmos, e organizou uma lista com conceitos-chave que precisam ser
observados pelo governo, autoridade e o setor privado. Sendo eles:
responsabilidade, explicabilidade, precisão, auditabilidade e justiça.
Esses conceitos são focados nas soluções mais comumente discutidas, e
baseados nas discordâncias a respeito dessas propostas.
- Responsabilidade
Sob o ponto de vista da instituição FAT-ML, no desenvolvimento de algoritmos,
a possibilidade de ocorrerem falhas nesses sistemas e que seu processo de
decisão seja equivocado é real. Logo, pessoas podem ser afetadas por esses
processos, e esse princípio oferece alternativas para uma possível reparação
de danos. Concentrando-se em conscientizar criadores e usuários das
possíveis consequências de seu uso, possibilitando que indivíduos afetados
pelas ações de algoritmos sejam ressarcidos pelos danos causados.
- Explicabilidade
O conceito de explicabilidade está relacionado às justificativas para um
determinado resultado, e não somente uma descrição para o processo
decisório proposto. Em outras palavras, explicações e argumentos
compreensíveis para os usuários, de como é executado um processo por parte
dos algoritmos para chegar a uma determinada conclusão. Vale ressaltar, que
para esse caso a explicabilidade não é o mesmo que transparência. A
explicabildade se aplica somente a entender os processos de um algoritmo
para tomar uma certa decisão, enquanto a transparência se resume em
conhecer todos os passos para o algoritmo tomar uma decisão.
- Precisão
O princípio de precisão é a capacidade de desenvolver algoritmos com
porcentagem de erros mínimos, e que através do processo de aprendizagem
aprimore este percentual. Os erros e equívocos precisam ser identificados,
registrados e comparados, com o objetivo de compreender essas fontes a fim
de atenuar essas falhas.
- Auditabilidade
A auditabilidade infere a possibilidadede que um terceiro indivíduo seja
responsável por avaliar os métodos e processos utilizados pelo algoritmo para
obter uma determinada conclusão. No meio tecnológico ainda há muitas
controvérsias a respeito desse princípio, em como iria ocorrer essa divulgação
e se realmente seria conveniente utilizar essa ideia.
- Justiça
A ideia por trás desse conceito é de que as decisões de algoritmos não
podem contar resultados discriminatórios. No entanto, identificar quais
resultados são discriminatórios e quais não são, torna-se uma tarefa árdua e
desafiadora. E nesse ponto existem discordâncias significativas, o que leva
esse princípio a ter um requisito específico de validação e experimentação. No
qual influencia na realização de testes para avaliar se os conteúdos geram
danos discriminatórios.
3. Algorithmic Justice League (AJL)
Fundada em 2016, AJL é uma fundação responsável por segurança digitais e
com a finalidade de censurar o viés algorítmico. “A fim de conscientizar sobre as
implicações sociais da inteligência artificial por meio da arte e da
pesquisa”.(WIKIPÉDIA, 2021)
Segundo o Wikipédia, essa organização é estruturada em 3 medidas
utilizadas para combater as questões discriminatórias.
1. Identificar o viés algorítmico ao desenvolver ferramentas para o teste de
viés em algoritmos de aprendizagem de máquina.
2. Mitigar o viés algorítmico ao desenvolver métodos para inclusão em
amplo espectro durante o design, desenvolvimento, teste e distribuição de
softwares.
3. Chamar atenção através de materiais publicitários sobre o problema do
viés algorítmico, o impacto causado por ele nos indivíduos afetados e outras
informações importantes sobre este tema
8. LGPD e a Discriminação Algorítmica
A Lei Geral de Proteção de Dados (LGPD) vem atuando para mitigar o uso
indevido de dados pessoais, formalizando e impondo regras ao longo de todo o ciclo
de vida dos dados. Em relação a discriminação algoritmica, a LGPD, nº 13.709, Art.
6º, inciso IX, deixa explícito em um dos seus princípios para o tratamento de dados
“não discriminação: impossibilidade de realização do tratamento para fins
discriminatórios ilícitos ou abusivos” (BRASIL, 2018).
Um dos objetivos da lei é deixar transparente todo o tratamento de dados do
titular, desde a coleta até a finalidade dos dados. Portanto com as normas
estabelecidas pela LGPD, a governança algorítmica e a criação de instituições como
a FAT-ML, os sistemas algorítmicos terão mais transparência em seus critérios de
decisões.
CONCLUSÃO
Entendemos que, independentemente da solução concreta a ser adotada,
seja ela a transparência, o desenvolvimento de ferramentas ou uma combinação
dos diversos mecanismos apresentados, o caminho a ser trilhado deve sempre o
papel humano no processo de automação. Isso não quer dizer apenas a
possibilidade de revisão de decisões automatizadas por pessoas naturais, mas
também a centralidade do elemento humano em todo o processo de desenho dos
mecanismos.
Evidente que a centralidade humana também precisa estar refletida no
processo de revisão de decisões automatizadas. Essa preocupação deve se
apresentar tanto no momento de teste do sistema, portanto, antes que ele
efetivamente seja utilizado para decidir concretamente a respeito de situações reais,
a fim de que sejam observados os reais impactos dos resultados nas pessoas que
serão objetos do sistema, quanto na análise de decisões tomadas e posteriormente
questionadas por indivíduos que se sentiram por elas prejudicados
Com isso em mente, entendemos que qualquer debate sobre discriminação
algorítmica deve se centrar na seguinte ideia de que os valores que orientam a
sociedade e o direito não podem ser deixados de lado quando falamos em
automação e inteligência artificial. O desafio, portanto, é imaginar formas de traduzir
para sistemas aquilo que vem sendo construído nas ciências humanas há milênios.
A tarefa é certamente complexa e, por isso mesmo, tão relevante.
REFERÊNCIAS
CORMEN, T. H. Algorithms Unlocked. MIT Press, 2013.
The Editors of Encyclopaedia Britannica. Algorithm. Britannica, 1998.
disponível em: https://www.britannica.com/science/algorithm. Acesso em: 26
ago. 2021.
RIBEIRO; NEVES. Dicio: dicionário online de português, c2021. disponível
em: https://www.dicio.com.br/discriminacao/. Acesso em: 27 ago. 2021.
BARBOSA. Jota, 2021. disponível em:
jota.info/coberturas-especiais/inova-e-acao/inteligencia-artificial-e-discriminaca
o-algoritmica-10012021. Acesso em: 26 ago. 2021.
BABO. AB2L: Associação Brasileira de Lawtechs & Legaltechs, 2020.
Disponível em:
https://ab2l.org.br/discriminacao-algoritmica-origens-conceitos-e-perspectivas-r
egulatorias-parte-2/. Acesso em: 26 ago. 2021.
FRAZÃO. Genjurídico: Discriminação algorítmica, 2020. Disponível em:
genjuridico.com.br/2021/06/21/discriminacao-algoritmica/. Acesso em: 26 ago.
2021.
Wikipédia, a enciclopédia livre, 2021. Disponível em:
https://pt.wikipedia.org/wiki/Discrimina%C3%A7%C3%A3o_algor%C3%ADtmic
a. Acesso em: 29 ago. 2021.
VICENTE. UOL: TILT, 2018. Disponível em:
https://www.uol.com.br/tilt/noticias/redacao/2018/04/24/preconceito-das-maquin
as-como-algoritmos-tomam-decisoes-discriminatorias.htm. Acesso em: 27 ago.
2021.
AFONSO DA SILVA, V. A constitucionalização do direito: direitos fundamentais
e relações entre particulares. São Paulo: Malheiros, 2005. ARROW, K. The
theory of discrimination. In: ASHENFELTER, O.; REES, A. (Ed.). Discrimination
in Labor Markets. Princeton: Princeton University Press, 1973
MAYBIN. BBC News: Brasil, 2016. Disponível em:
https://www.bbc.com/portuguese/brasil-37677421. Acesso em: 29 ago. 2021.
Wikipédia, a enciclopédia livre, 2017. Disponível em:
https://pt.wikipedia.org/wiki/Caso_Eric_L._Loomis. Acesso em: 29 ago. 2021.
https://www.britannica.com/science/algorithm
https://www.dicio.com.br/discriminacao/
http://jota.info/coberturas-especiais/inova-e-acao/inteligencia-artificial-e-discriminacao-algoritmica-10012021
http://jota.info/coberturas-especiais/inova-e-acao/inteligencia-artificial-e-discriminacao-algoritmica-10012021
https://ab2l.org.br/discriminacao-algoritmica-origens-conceitos-e-perspectivas-regulatorias-parte-2/
https://ab2l.org.br/discriminacao-algoritmica-origens-conceitos-e-perspectivas-regulatorias-parte-2/
http://genjuridico.com.br/2021/06/21/discriminacao-algoritmica/
https://pt.wikipedia.org/wiki/Discrimina%C3%A7%C3%A3o_algor%C3%ADtmica
https://pt.wikipedia.org/wiki/Discrimina%C3%A7%C3%A3o_algor%C3%ADtmica
https://www.uol.com.br/tilt/noticias/redacao/2018/04/24/preconceito-das-maquinas-como-algoritmos-tomam-decisoes-discriminatorias.htm
https://www.uol.com.br/tilt/noticias/redacao/2018/04/24/preconceito-das-maquinas-como-algoritmos-tomam-decisoes-discriminatorias.htm
https://www.bbc.com/portuguese/brasil-37677421
https://pt.wikipedia.org/wiki/Caso_Eric_L._Loomis
ANGWIN; LARSON. Machine Bias. Propublica, New York. 23, mai. de 2016.
Disponível em:
<https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sente
ncing>. Acesso em: 29 ago. 2021.
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing