Os chatbots AI são facilmente enganados por bobagens As suas falhas podem oferecer insights sobre o c

Prévia do material em texto

1/2
Os chatbots AI são facilmente enganados por bobagens. As suas
falhas podem oferecer insights sobre o cérebro humano?
Você provavelmente já conversou com um chatbot de IA, como o ChatGPT ou o Google Bard, maravilhado com a
capacidade de imitar a conversa humana. Mas “mimética” é a palavra-chave aqui, já que esses bots não são
realmente máquinas de pensar. Caso em questão, os pesquisadores propositadamente jogaram uma bola curva em
alguns dos chatbots mais populares atualmente disponíveis, mostrando que eles podem facilmente ser tropeços em
frases que soam sem sentido aos nossos ouvidos.
Essas IAs, alimentadas por imensas redes neurais e treinadas em milhões e milhões de exemplos, perceberam
essas frases sem sentido como linguagem comum. É um bom exemplo das limitações desses sistemas que muitas
vezes são severamente exagerados e exagerados nas mídias sociais. Se esses resultados são alguma indicação,
ainda estamos muito longe da Skynet (obrigado!).
No entanto, os mesmos resultados também oferecem uma revelação intrigante – estudar esses erros de IA não só
poderia aumentar a eficiência do chatbot, mas também desvendar segredos sobre o funcionamento interno do
processamento de linguagem humana.
De transformadores e redes recorrentes
Crédito: Instituto Columbia Zuckerman.
Pesquisadores da Universidade de Columbia compilaram centenas de pares de frases – um que fazia sentido, o
outro mais propenso a ser julgado como rabugis – e tinham a taxa humana, o que parecia mais “natural”. Eles então
desafiaram nove modelos diferentes de linguagem grande (LLMs) com os mesmos pares de frases. A IA julgaria as
sentenças como nós?
Os resultados do confronto foram reveladores. As IAs construídas sobre o que é conhecido no mundo da tecnologia
como “redes neurais transformadoras”, como o ChatGPT, superaram seus pares que dependem de modelos de
redes neurais recorrentes mais simples e modelos estatísticos. No entanto, todos os modelos, independentemente
de sua sofisticação, vacilaram. Muitas vezes, eles favoreceram frases que poderiam fazer você coçar a cabeça em
confusão.
Aqui está um exemplo de um par de frases usado pelo estudo:
1. Essa é a narrativa que nos foi vendida.
2. Esta é a semana em que você está morrendo.
Qual deles você acha que ouviria mais vezes em uma conversa e faz mais sentido? Os seres humanos no estudo
gravitaram em direção ao primeiro. No entanto, o BERT, um modelo de primeira linha, defendeu o último. O GPT-2
concordou conosco em humanos neste caso, mas até mesmo falhou miseravelmente durante outros testes.
“Cada modelo mostrava limitações, às vezes marcando frases como lógicas quando os humanos as consideravam
como rabíbre”, observou Christopher Baldassano, professor de psicologia na Columbia.
https://cdn.zmescience.com/wp-content/uploads/2023/09/chatbot-3589528_1280.jpg
https://www.zmescience.com/feature-post/technology-articles/computer-science/5-epic-tech-demo-fails/
https://cdn.zmescience.com/wp-content/uploads/2023/09/MachineIntelligence_competition-1.jpg
https://zuckermaninstitute.columbia.edu/verbal-nonsense-reveals-limitations-ai-chatbots
2/2
“O fato de os modelos avançados ter um bom desempenho implica que eles entenderam algo fundamental que os
modelos mais simples ignoram. No entanto, sua suscetibilidade a frases sem sentido indica uma disparidade entre
cálculos de IA e processamento de linguagem humana”, diz Nikolaus Kriegeskorte, pesquisador-chave do Instituto
Zuckerman, em Columbia.
Os limites da IA e a colmatar a lacuna
Isso nos leva a uma preocupação premente: a IA ainda tem pontos cegos e não é tão “inteligente” quanto você
imagina, o que é boa e ruim notícia, dependendo de como você vê isso.
De muitas maneiras, isso é um paradoxo. Ouvimos como LLMs como o ChatGPT podem passar nos exames
médicos e de bar dos EUA. Ao mesmo tempo, o mesmo chatbot muitas vezes não consegue resolver problemas
matemáticos simples ou soletrar palavras como “lollipop” de trás para frente.
Como mostra a presente pesquisa, há uma grande lacuna entre esses LLMs e a inteligência humana. Desvendar
essa lacuna de desempenho ajudará muito a catalisar os avanços nos modelos de linguagem.
Para os pesquisadores de Columbia, no entanto, as apostas são ainda maiores. Sua agenda não envolve tornar os
LLMs melhores, mas sim provocar suas idiossincrasias para aprender mais sobre o que nos faz funcionar,
especificamente como o cérebro humano processa a linguagem.
Uma criança humana exposta a um vocabulário doméstico muito limitado pode aprender muito rapidamente a falar e
articular seus pensamentos. Enquanto isso, o ChatGPT foi treinado em milhões de livros, artigos e páginas da web e
ainda é enganado por um absurdo absoluto.
“As ferramentas de IA são poderosas, mas distintas na linguagem de processamento em comparação com os seres
humanos. Avaliar sua compreensão de linguagem em justaposição à nossa oferece uma nova perspectiva sobre a
compreensão da cognição humana”, diz Tal Golan, líder do artigo, que recentemente se mudou do Instituto
Zuckerman para a Universidade Ben-Gurion do Negev.
Em essência, à medida que espalhávamos os erros da IA, podemos apenas nos deparar com uma visão mais
profunda sobre nós mesmos. Afinal, nas palavras do antigo filósofo Lao Tzu, “De admiração para a maravilha, a
existência se abre”.
Os resultados apareceram na revista Nature Machine Intelligence.
Isso foi útil?
Thanks for your feedback!
Posts relacionados
https://analyticsindiamag.com/llms-are-not-as-smart-as-you-think/
https://analyticsindiamag.com/llms-are-not-as-smart-as-you-think/
https://www.zmescience.com/feature-post/natural-sciences/mathematics/incompatible-food-triad-03012017/
https://www.nature.com/articles/s42256-023-00718-1