VIÉS ALGORÍTMICO E DISCRIMINAÇÃO ALGORÍTMICA

Prévia do material em texto

FACULDADE COTEMIG 
TECNÓLOGO EM ANÁLISE E DESENVOLVIMENTO DE SISTEMAS 
BACHARELADO EM SISTEMAS DE INFORMAÇÃO 
 
 
 
 
 
VIÉS ALGORÍTMICO E DISCRIMINAÇÃO ALGORÍTMICA 
 
 
 
 
 
ANA CLARA SAMARINO 
 
 
 
BELO HORIZONTE-MG 
2020 
 
 
ANA CLARA SAMARINO 
 
 
 
 
 
 
VIÉS ALGORÍTMICO E DISCRIMINAÇÃO ALGORÍTMICA 
 
 
 
 
Trabalho dissertativo apresentado à Faculdade Cotemig 
referente a disciplina de design textual 
Professor Gabriel Carrara Vieira 
 
 
 
 
BELO HORIZONTE-MG 
2020 
2 
SUMÁRIO 
 
 
Introdução 5 
Conceitos 5 
Discriminação, exclusão e marginalização: casos e exemplificações 6 
Discriminações aplicadas à Inteligência Artificial (IA) 8 
Responsabilidades 1​1 
Soluções 1​2 
Conclusão 1​2 
Referências 1​4 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3 
LISTA DE FIGURAS 
 
Figura 1: Software não consegue identificar o rosto de Joy Boulamwini 9 
 
Figura 2: Negação do passaporte de Richard Lee em razão de vieses aplicados na IA 9 
Figura 3: Resultado de busca ​por gorilas no Google Photos de Jacky Alcine 11 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
4 
VIÉS ALGORÍTMICO E DISCRIMINAÇÃO ALGORÍTMICA 
1. Introdução 
A partir da década de 1980, o aprimoramento de recursos tecnológicos construídos a 
partir de algoritmos e a criação de inovações provenientes da inteligência artificial e do 
machine learning resultaram no desenvolvimento de inúmeros artifícios úteis à sociedade, 
como programas desenvolvidos para área da saúde, otimizações de processos industriais, 
auxílios de questões estatísticas e aplicativos educativos. Apesar desse cenário positivo, o 
progresso tecnológico abriu brechas, dificilmente controladas, que contribuem com a 
disseminação de preconceitos, de discriminações e de intolerâncias, como o 
compartilhamento de softwares generalizados de reconhecimento facial que não detectam 
rostos negros e a utilização de algoritmos criados a partir de determinada visão de mundo que 
exclua ou marginalize certos grupos. Essa realidade implica impactos negativos na sociedade, 
uma vez que criam padrões sociais e reforçam ideias pejorativas a respeito dos indivíduos, 
provocando quebras de relações afetivas, reduções de oportunidades e falta de dignidade 
humana na sociedade. Sendo assim, é importante a discussão do conceito de viés algorítmico, 
dos casos em que se aplicam a discriminação algorítmica, das consequências dessa ação para 
a humanidade e das medidas de combate contra essa ocorrência. 
2. Conceitos 
O algoritmo é um termo que representa uma sequência lógica de ações que precisam 
ser realizadas para que uma tarefa possa ser executada. Um exemplo simples e aplicável no 
dia a dia são as receitas culinárias, em que há uma ordem de comandos estabelecida. Na 
computação não é diferente, os programas de computadores são desenvolvidos por meio de 
algoritmos que exigem a manipulação de dados. Segundo Ana Fernanda Gomes Ascencio e 
Edilene Aparecida Veneruchi de Campos, “algoritmo é a descrição de uma sequência de 
passos que deve ser seguida para a realização de uma tarefa” (2003, p.01). Já o viés algoritmo 
está relacionado a meios discriminativos, ​Joy Buolamwini (​pós-graduação no Laboratório de 
Mídia do MIT) af​irmou em uma palestra do Ted Talks: 
uma força invisível que tem crescido, uma força que chamo de olhar codificado, é 
como chamo o viés algorítmico. Tal como o preconceito humano, ele resulta em 
desigualdade. Porém, os algoritmos, assim como os vírus, podem espalhar o viés em 
5 
grande escala e rapidamente. O viés algorítmico também pode levar a experiências 
de exclusão e a práticas discriminatórias (2017). 
3. Discriminação, exclusão e marginalização: casos e exemplificações 
O viés algorítmico é um assunto muito atual em debate no mundo, mas poucas são as 
entidades que reconhecem, dão importância e que se dispõem a debater e analisar a 
discriminação na criação de algoritmos. Ao invés de se voltarem para essa causa, muitas 
empresas capitalistas potencializam, de certa forma, esse crime social, ao desenvolverem 
algoritmos fechados, isto é, não disponibilizados ao público em geral, que criam padrões e 
estereótipos, seja por exigência de determinadas instituições com finalidade lucrativa ou por 
vieses culturais, de forma não proposital. Em ​Algorithmic Impact Assessments​, ​Kate 
Crawford, pesquisadora da Microsoft, e outros autores afirmam: “Vieses nos sistemas 
automatizados de decisões podem surgir tanto de escolhas humanas sobre como projetar ou 
treinar o sistema quanto de erros humanos de julgamento ao interpretar ou agir sobre os 
resultados” (2018, p.12). 
Para utilização desses algoritmos frequentemente são necessárias informações íntimas 
das pessoas, que podem ser disponibilizadas pelos próprios indivíduos, mas constantemente 
são captadas em plataformas onlines ou em redes sociais, que, muitas vezes, por não lerem os 
termos de uso desses ambientes virtuais, escritos propositalmente de forma pouco intuitiva 
para leitura, os usuários não têm noção de que há a coleta de seus dados para posterior 
manipulação e venda. Um documentário intitulado ​Terms and Conditions May App (2013), de 
Cullen Hoback​, deixa transparecer todo esse uso de informações pessoais por grandes 
empresas, as quais tentam esconder essa captação de dados para que a sociedade não tenha 
conhecimento. O vídeo usa como exemplo o Facebook, que apesar de se dizer gratuita, se 
beneficia de um mercado indireto: as pessoas não pagam pela plataforma, mas outras 
empresas pagam com a compra dos dados para manipulação e geração de lucro. 
Após a captação desses dados por empresas privadas e órgãos governamentais, eles 
são usados nos algoritmos de acordo com a finalidade pelo qual estes foram desenvolvidos, 
podendo provocar impactos humanos. ​Na esfera pública, quando uma entidade governamental 
realiza a compra de softwares que utilizam esses algoritmos, inúmeros cidadãos se tornam 
sujeitos às decisões tomadas por máquinas, cujos programas podem conter determinações 
6 
https://www.imdb.com/title/tt2084953/characters/nm1730895
preconceituosas ou que excluem certos grupos, ou seja, podem realizar um julgamento 
inadequado. Como normalmente o sistema algorítmico é fechado, os indivíduos não possuem 
o direito da análise deste, de auto defesa, o que diverge de um ideal democrático. Esses 
modelos automatizados usados pelo governo que qualificam as pessoas de forma não 
transparente são denominados Black Box, instrumento de estudo de pessoas importantes 
como Frank Pasquale - ​professor de direito da Universidade de Maryland, nos Estados Unidos 
- e ​Virginia Eubanks - professora de Ciências Políticas da Universidade de Albany em Nova 
York. 
Pasquale descreve em seu livro ​Black Box Society a respeito da opacidade que essas 
entidades mantêm sobre a manipulação de dados pessoais para tomada de decisões pelos 
indivíduos, como informar uma certa empresa que determinada pessoa não é “confiável” para 
realização de uma tarefa, através do resultado gerado pelos algoritmos, os quais podem estar 
sujeitos a aplicação de vieses pessoais,que trabalhem os dados e gerem conteúdos que 
causem exclusões e negligências humanos. Convergindo com isso, na parte de introdução 
dessa obra é afirmado: 
O novo hardware e o novo software prometem tornar todos nós quantificados, quer 
gostemos ou não. As informações resultantes - uma grande quantidade de dados que 
até recentemente ficaram sem registro - é alimentado em bancos de dados e reunido 
em perfis de profundidade e especificidade não-reconhecidas… Mas para que fins e 
para quem? O declínio da privacidade pessoal valeria a pena se fosse acompanhado 
por níveis comparáveis de transparência por parte das empresas e do governo. Mas 
na maioria das vezes não é. Os avaliadores de crédito, os pesquisadores, os 
principais bancos e o TSA coletam dados sobre nós e os convertem em pontuações, 
classificações, cálculos de risco e listas de observação com consequências de vital 
importância. Mas os algoritmos proprietários pelos quais eles fazem isso são imunes 
ao escrutínio (​2015, p. 4-5). 
Em muitos contextos supõe-se que esses algoritmos são capazes de tomar decisões 
humanas de forma mais justa através da coleta de dados de entrada que são armazenados em 
um banco de dados, depois tratados e por fim, geram uma resposta. Entretanto, como já foi 
abordado, esses algoritmos são construídos a partir de noções humanas e é comum serem 
atribuídos certos vieses na construção da lógica. É o que concluiu Kate Crawford na entrevista 
para revista El País: “Estamos injetando nos algoritmos nossas limitações, a nossa forma de 
marginalizar” (2018). 
7 
É possível visualizar esse cenário em ​Automating Inequality - How High-Tech Tools 
Profile, Police, and Punish the Poor​, ​em que Virginia Eubanks expõe exemplos de 
construções algorítmicas, utilizadas pelo Estado e por empresas privadas, que afetam 
determinada parcela da população, sobretudo os mais pobres, por meio do estabelecimento de 
cortes governamentais. No livro ela faz a análise de alguns casos, como os serviços públicos 
de auxílio às pessoas de classes mais baixas, cujas decisões foram automatizadas e se 
tornaram um fator intensificador da marginalização social e da desigualdade. 
Dentre os casos relatados, Eubanks conta a história de uma menina de 6 anos chamada 
Sophie Stipes, que deixou de receber os benefícios do Medicaid - um programa de saúde 
social norte americano para indivíduos que não conseguem pagar por um seguro saúde - do 
qual era dependente para sobreviver, em razão de erros de papelada dos pais. Esse pequeno 
empecilho levou o sistema automatizado a declarar o cancelamento do programa. Um 
segundo caso, aborda a situação de automatização que define quais moradores de rua de Los 
Angeles receberão residências, o que implica a escolha, decidida por máquinas, da melhoria 
de qualidade de vida de alguns cidadãos em detrimento de outros. 
As consequências disso nas vidas dos indivíduos estão relacionados às decisões que 
antes eram tomadas por seres humanos, dignas de uma avaliação minuciosa e não de 
algoritmos limitados por vieses, os quais não foram projetados para detectar inúmeras 
informações importantes para definir de fato se uma pessoa deve perder o direito de acesso à 
saúde ou se um homem tem mais direito a moradia do que o outro, pois isso implica relações 
psíquicas, que são difíceis de serem analisadas por sistemas automatizados, já que estes têm 
uma visão determinada por vieses do indivíduo que escreveu o código e limitada ao que foi 
programado, não compreendendo sentimentos e nem a relação do ser humano com o mundo. 
4. Discriminações aplicadas à Inteligência Artificial (IA) 
As formas mais explícitas de discriminações algorítmicas estão relacionadas a 
inteligência artificial, que é um artifício para criar padrões de reconhecimentos e 
automatizá-los. E​m uma apresentação do Ted Talks denominada ​How I’m fighting bias in 
algorithms​, ​Joy Boulamwini explica como os vieses são aplicados em tecnologias, discutindo 
um relato próprio, no qual expõe que alguns softwares que utilizam um algoritmo genérico 
8 
para identificação de rostos, não conseguem reconhecer o dela em razão da cor da pele, por 
ser negra, mas conseguem captar uma máscara branca. Isso pode ocorrer devido a base de 
imagens de pessoas, que no caso seria predominantemente de indivíduos brancos, a qual é 
apresentada ao sistema para que ele consiga reconhecer rostos automaticamente, ou também 
devido a limitações no desenvolvimento dos algoritmos. 
 Figura 1​ - Software não consegue identificar o rosto de Joy Boulamwini 
 
 ​Imagem retirada da entrevista de Boulamwini para o Ted Talks 
 
 
Outra vítima das falhas de reconhecimento facial da inteligência artificial é Richard 
Lee, um taiwanês que teve seu passaporte negado porque um software admitiu que ele estava 
com os olhos fechados, entretanto, não estava, como ele é asiático, possui olhos pequenos. 
Através desse erro de detecção, informado por Richard em seu facebook, é possível perceber 
como os vieses algoritmos são aplicados às etnias, negligenciando uma parcela da população 
ao não se desenvolver um algoritmo generalista, que inclui todos os indivíduos nos recursos 
tecnológicos. 
 Figura 2​ - Negação do passaporte de Richard Lee em razão de vieses aplicados na IA 
 
 Imagem divulgada pelo site de tecnologia Tecmundo 
 
9 
Um outro exemplo é exposto por Kate Crawford em sua entrevista para revista El 
País, em que uma empresa utiliza a Inteligência Artificial para contratar funcionários, mas 
acaba aplicando vieses nos algoritmos para selecionar candidatos, pois não existem recursos 
científicos que relacionem competência com os artifícios analisados. 
Nos Estados Unidos há uma nova empresa, a Hirevue, que recruta novos perfis para 
companhias como Goldman Sachs e Unilever usando inteligência artificial. Durante 
a entrevista, você é gravado e tem 250.000 pontos do seu rosto monitorados, para 
que depois analisem suas expressões. Com esses dados determinam se você será um 
bom líder ou se será ou não honesto. Também estudam o tom de sua voz e definem 
padrões de comportamento. Não podemos assumir que sabemos como é alguém por 
suas expressões, não existe uma base científica (​2018 ​). 
Ademais, a inteligência artificial é usada em algumas cidades em parceria com os 
departamentos de polícia para combate ao crime, por meio da comparação de dados que as 
pessoas inserem nas redes sociais com padrões físicos e comportamentais de criminosos que 
podem ser identificados também pela inteligência. Isso aconteceu, por exemplo, em Nova 
Orleans, em 2012, quando um software da empresa Palantir foi usado pela polícia local para 
fazer esse cruzamento de dados de pessoas. O problema disso está no fato de que não há um 
padrão cientificamente comprovado para identificar criminosos, ou seja, a cor da pele, a 
estatura, as roupas, a maneira de conversar e outras características pessoais não definem 
potenciais infratores ou criminosos. Dessa forma, o software pode apontar uma falsa 
acusação,o que afetaria a dignidade do indivíduo com uma imagem negativa de si, julgada 
pelos algoritmos que codificaram a inteligência, ou melhor, pelo criador dele. 
Por último, pode-se abordar a inteligência artificial usada pelo Google para 
categorização de imagens. Em 2015, quando o Google Photos lançou o reconhecimento e 
etiquetamento de lugares, pessoas e objetos nas fotografias, ocorreram alguns erros graves na 
inteligência artificial, que confundiu algumas pessoas negras com gorilas, definindo-as assim. 
Após denúncias em redes sociais, a empresa optou por tirar os gorilas, chimpanzés, macacos e 
outros primatas do seu algoritmo, ao invés de corrigir o algoritmo. 
 
 
10 
https://brasil.elpais.com/acervo/2018-06-20/
 
 Figura 3​ - Resultado da busca por gorilas no Google Photos de Jacky Alcine 
 
 Imagem divulgada pela revista El País 
5. Responsabilidades 
O preconceito e a discriminação disseminados por determinados algoritmos 
dificilmente são atribuídos à responsabilidade de um autor, para omitir essa culpa, esta é 
frequentemente relacionada diretamente ao algoritmo, como se a ideia transmitida por ele 
fosse proveniente apenas de cálculos automatizados realizado por ele, e não de um sistema 
lógico inicialmente desenvolvido por seres humanos. Para muitos desenvolvedores, é 
conveniente culpar o algoritmo, pois como ele diz respeito a um sistema matemático, 
raramente é visto como um mecanismo de propagação ou criação dessas práticas excludentes 
em razão da ideia popular de que os códigos transmitem apenas números e algarismos. 
Entretanto, sabe-se que não ocorre apenas a disseminação de códigos numéricos, os 
algoritmos consistem em um sistema lógico desenvolvido por pessoas, cujas falhas podem dar 
abertura para reforçar os preconceitos, sendo proposital ou não. Convergindo com isso, em 
Principles for Accountable Algorithms and a Social Impact Statement for Algorithms, os 
pesquisadores Nicholas Diakopoulos (​University of Maryland, College Park​), Solon Barocas 
(​Microsoft Research​) , entre outros, afirmam: 
algoritmos e os dados que os conduzem são projetados e criados por pessoas - 
sempre há um humano responsável pelas decisões tomadas ou informadas por um 
algoritmo. 'O algoritmo fez isso' não é uma desculpa aceitável se os sistemas 
algorítmicos cometerem erros ou tiverem consequências indesejadas, inclusive nos 
processos de aprendizado de máquina (2018, ONLINE). 
 
11 
http://www.nickdiakopoulos.com/
http://solon.barocas.org/
6. Soluções 
 
Uma das medidas desenvolvidas para minimizar esse problema social-tecnológico foi 
a criação, por Kate Crawford e colegas, do AI Now Research Institute, uma instituição 
destinada a entender as implicações humanas da inteligência artificial e que tem objetivo de 
ajudar os Governos a conter os vieses de desigualdade algorítmica. Uma medida importante 
que essa entidade publicou foi um documento recomendando a abertura dos algoritmos 
fechados usados pelo governo. Na entrevista para revista El País ela argumentou: “​que os 
Governos deixem de usar sistemas algorítmicos fechados. Teriam que permitir a especialistas 
independentes auditar essas fórmulas para detectar onde estão as fraquezas, os vieses. Essa 
parte é muito importante para assegurar a igualdade de oportunidades” (2018). 
Existe também um estudo realizado pela Microsoft sobre discriminação de gênero, 
intitulado Man is to Computer Programmer as Woman is to Homemaker? (“o homem está 
para o programador de computador como a mulher para a dona de casa?”) em que verificam 
os padrões criados para a figura masculina e feminina quanto a diversas funções como 
emprego e responsabilidades de casa. 
Discussões sobre o assunto poderão ser benéficas para se obter maior conhecimento 
sobre os vieses algorítmicos e, consequentemente, ampliar a exigência de cautela na criação 
de algoritmos. Portanto, é importante o desenvolvimento de mecanismos para propagar o 
debate sobre esse tema, como a criação de organizações que denunciem esses crimes, como a 
Algorithmic Justice League, ​criada por Joy Buolamwini. 
 
7. Conclusão 
 
Os vieses algorítmicos são reflexos da cultura e comportamento de um grupo ou de 
uma pessoa, cujas visões de mundo foram aplicadas no desenvolvimento de algoritmos, e 
dizem respeito a tudo aquilo que o indivíduo absorveu das relações sociais e instituições às 
quais teve convivência. O problema se inicia a partir de quando essas visões criam exclusões, 
marginalizações, potencializações de preconceitos, negligência de pessoas, e outras 
discriminações, trazendo consequências para os indivíduos, as quais afetam suas qualidades 
de vida, suas oportunidades, suas relações com outras pessoas e seus valores. As nações 
precisam dos algoritmos para proporcionarem aprimoramentos que podem salvar e melhorar 
12 
vidas, mas é necessário que sejam desenvolvidos de forma impessoal, evitando que sejam 
agregados a eles características preconceituosas e pejorativas, já que podem acarretar muitas 
consequências negativos, dependendo de como eles são construídos e aplicados, como já foi 
discutido. 
Diante de um cenário em que os países agregam cada vez mais recursos tecnológicos 
para soluções de problemas ou para realizar aprimoramentos, é preocupante a questão dos 
vieses algorítmicos. Este esbarra diretamente nos Direitos Humanos propostos pela ONU para 
assegurar a dignidade do homem: “Todos os seres humanos nascem livres e iguais em 
dignidade e direitos. São dotados de razão e consciência e devem agir em relação uns aos 
outros com espírito de fraternidade. ​Todo ser humano tem capacidade para gozar dos direitos 
e das liberdades estabelecidos nesta declaração, sem distinção de qualquer espécie, seja de 
raça, cor, sexo, idioma, religião, opinião política ou de outra natureza, origem nacional ou 
social, posição econômica, nascimento ou qualquer outra condição” (1948, art.1 e 2). Sabendo 
do poder de impacto que o viés algorítmico pode provocar, é sensato buscar ampliar as 
soluções, que passam pelas discussões e pelas denúncias em relação ao tema, o incentivo da 
abertura de algoritmos fechados usados pelas entidades governamentais e medidas de cautela 
e precaução aos desenvolvedores de sistemas automatizados. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
13 
8. Referências 
 
 
ARENAS, S; BAROCAS, S; ​DIAKOPOULOS​, N; ​FRIEDLER​, M; HOWE, B; HAY, 
M; JAGADISH. H.V; SAHUGUET, A; UNSWORTH, K; 
VENKATASUBRAMANIAN, S; WILSON, C; YU, C; ZEVENBERGEN, B. 
Principles for Accountable Algorithms and a Social Impact Statement for 
Algorithms. ​Disponível em: 
<​https://www.fatml.org/resources/principles-for-accountable-algorithms​> Acesso em 
20 abr. 2020. 
 
ASCENCIO, A. F. G; CAMPOS, E. A. V. ​Fundamentos da Programação de 
Computadores​. 3. ed. São Paulo: ​Pearson​, 2003. 
 
BUOLAMWINI, J. How I’m Fighting Bias in Algorithms. ​Palestra Ted Talks​, 
Brookline, 2016. Disponível em: 
 
<​https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms​> 
Acesso em: 06 abr. 2020 
 
CRAWFORD, K; REISMAN, D; SCHULTZ, J; WHITTAKER, M. ​AlgorithmicImpact Assessments: A practical Framework for Public Agency Accountability​. 
Nova York​: ​AI Now Institute, 2018. 
 
EUBANKS, V. ​Automating Inequality ​- ​How High-Tech Tools Profile, Police, 
and Punish the Poor.​ 1. ed. Nova York: St. Martin's Press, 2018. 
 
MENARGUES, A. T. ​Kate Crawfor​d: “Estamos injetando nos algoritmos as nossas 
limitações, a nossa forma de marginalizar”. ​Revista El País​, Madrid, 2018. 
Disponível 
em:<​https://brasil.elpais.com/brasil/2018/06/19/actualidad/1529412066_076564.html​> 
. Acesso em: 20 abr. 2020. 
 
ONU. Assembleia Geral das Nações Unidas. ​Declaração Universal dos Direitos 
Humanos​. 1948. Disponível em: 
 <​https://nacoesunidas.org/wp-content/uploads/2018/10/DUDH.pdf​> 
Acesso em: 23 abr. 2020 
 
PASQUALE, F. ​The Black Box Society - The Secret Algorithms That Control 
Money and Information​. 1. ed. Cambridge: Harvard University Press, 2015. 
 
14 
http://www.nickdiakopoulos.com/
http://sorelle.friedler.net/
https://www.fatml.org/resources/principles-for-accountable-algorithms
https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms
https://brasil.elpais.com/brasil/2018/06/19/actualidad/1529412066_076564.html
https://nacoesunidas.org/wp-content/uploads/2018/10/DUDH.pdf
 
 
 
 
15