Viés em Modelos de IA

Prévia do material em texto

1/2
Viés em grande modelo de IA de texto de imagem favorecem
perspectivas mais ricas e ocidentais
Destas duas imagens rotuladas como “pegue água”, a imagem da família mais pobre à esquerda (renda
mensal de US $ 39) recebeu uma pontuação menor do CLIP (0,21) em comparação com a imagem da
família mais rica à direita (renda mensal de US $ 751; CLIP escore 0,25). Crédito da imagem: Dollar Street,
The Gapminder Foundation
Em um estudo que avaliou o viés no CLIP da OpenAI, um modelo que combina texto e imagens e opera nos
bastidores do popular gerador de imagens DALL-E, pesquisadores da Universidade de Michigan descobriram que o
CLIP tem um desempenho ruim em imagens que retratam estilos de vida de baixa renda e não ocidentais.
“Durante um momento em que as ferramentas de IA estão sendo implantadas em todo o mundo, ter todos
representados nessas ferramentas é fundamental. No entanto, vemos que uma grande fração da população não é
refletida por essas aplicações – não surpreendentemente, aquelas da menor renda social. Isso pode levar
rapidamente a lacunas de desigualdade ainda maiores”, disse Rada Mihalcea, a Janice M. Jenkins Colegiado
Professor de Ciência da Computação e Engenharia, que iniciou e aconselhou o projeto.
Modelos de IA como o CLIP atuam como modelos de base ou modelos treinados em uma grande quantidade de
dados não rotulados que podem ser adaptados a muitas aplicações. Quando os modelos de IA são treinados com
dados que refletem uma visão unilateral do mundo, esse viés pode se propagar em aplicativos e ferramentas que
dependem da IA.
Cada uma dessas cinco imagens retrata uma geladeira, mas o CLIP pontua refrigeradores de famílias mais ricas como uma correspo
“frigerador”. Crédito da imagem: Oana Ignat, Universidade de Michigan
“Se um software estivesse usando o CLIP para exibir imagens, ele poderia excluir imagens de um grupo de baixa
renda ou minoritários em vez de imagens realmente rotuladas incorretamente. Isso poderia varrer toda a diversidade
que um curador de banco de dados trabalhou duro para incluir”, disse Joan Nwatu, estudante de doutorado em
ciência da computação e engenharia.
Nwatu liderou a equipe de pesquisa junto com Oana Ignat, pesquisadora de pós-doutorado no mesmo
departamento. Eles são co-autores de um artigo apresentado na conferência Métodos Empíricos em Processamento
de Linguagem Natural em dezembro. 8 em Singapura.
Os pesquisadores avaliaram o desempenho do CLIP usando a Dollar Street, um conjunto de dados de imagens
globalmente diversificado criado pela Fundação Gapminder. A Dollar Street contém mais de 38.000 imagens
coletadas de famílias de vários rendimentos na África, Américas, Ásia e Europa. A renda mensal representada no
conjunto de dados varia de US $ 26 a quase US $ 20.000. As imagens capturam itens cotidianos e são anotados
manualmente com um ou mais tópicos contextuais, como “cozinha” ou “cama”.
O CLIP emparelha texto e imagens criando uma pontuação que deve representar o quão bem a imagem e o texto
correspondem. Essa pontuação pode então ser alimentada em aplicações downstream para processamento
adicional, como sinalização de imagem e rotulagem. O desempenho do DALL-E da OpenAI depende muito do CLIP,
que foi usado para avaliar o desempenho do modelo e criar um banco de dados de legendas de imagens que treinou
o DALL-E.
https://eecs.engin.umich.edu/people/mihalcea-rada/
https://openai.com/research/clip
https://news.umich.edu/wp-content/uploads/mc-image-cache/2023/12/biases-in-large-image-text-ai-model-favor-wealthier-western-perspectives-refrigerator-Clip-scores-varying-incomes.jpg
https://2023.emnlp.org/
https://www.gapminder.org/dollar-street
https://cdn.openai.com/papers/dall-e-3.pdf
2/2
Os pesquisadores avaliaram o viés do CLIP marcando primeiro a correspondência entre as imagens do conjunto de
dados da Dollar Street e o texto anotado manualmente no CLIP e, em seguida, medindo a correlação entre a
pontuação do CLIP e a renda familiar.
“Descobrimos que a maioria das imagens de famílias de renda mais alta sempre teve pontuações mais altas do CLIP
em comparação com imagens de famílias de baixa renda”, disse Nwatu.
O tópico “fonte leve”, por exemplo, normalmente tem pontuações CLIP mais altas para lâmpadas elétricas de
famílias mais ricas em comparação com lâmpadas de querosene de famílias mais pobres.
O CLIP também demonstrou viés geográfico, já que a maioria dos países com as pontuações mais baixas era de
países africanos de baixa renda. Esse viés poderia potencialmente eliminar a diversidade em grandes conjuntos de
dados de imagens e fazer com que famílias de baixa renda e não ocidentais sejam sub-representadas em
aplicações que dependem do CLIP.
Destas duas imagens com o refrigerador do rótulo, o CLIP marcou a imagem à direita, do agregado familiar mais
rico, superior à da esquerda. Crédito da imagem: Dollar Street, The Gapminder Foundation
“Muitos modelos de IA visam alcançar uma ‘compreensão geral’ utilizando dados em inglês de países ocidentais. No
entanto, nossa pesquisa mostra que essa abordagem resulta em uma lacuna de desempenho considerável em toda
a demografia”, disse Ignat.
“Essa lacuna é importante na forma como fatores demográficos moldam nossas identidades e impactam diretamente
a eficácia do modelo no mundo real. Negligenciar esses fatores pode agravar a discriminação e a pobreza. Nossa
pesquisa tem como objetivo preencher essa lacuna e abrir caminho para modelos mais inclusivos e confiáveis”.
Os pesquisadores oferecem várias etapas acionáveis para os desenvolvedores de IA criarem modelos de IA mais
equitativos:
Invista em conjuntos de dados geograficamente diversos para ajudar as ferramentas de IA a aprender mais
origens e perspectivas.
Defina as métricas de avaliação que representam todos levando em consideração a localização e a renda.
Documente a demografia dos modelos de dados em que a IA é treinada.
“O público deve saber no que a IA foi treinada para que eles possam tomar decisões informadas ao usar uma
ferramenta”, disse Nwatu.
A pesquisa foi financiada pela Fundação John Templeton (n. 62256) e nos EUA. Departamento de Estado
(STC10023GR0014).
https://news.umich.edu/wp-content/uploads/mc-image-cache/2023/12/biases-in-large-image-text-ai-model-favor-wealthier-western-perspectives-refrigerator-side-by-side-poor-rich.jpg