Cartas de recomendação criadas pelo ChatGPT são quase indistinguíveis de cartas de autoria humana diz

Prévia do material em texto

1/3
Cartas de recomendação criadas pelo ChatGPT são quase
indistinguíveis de cartas de autoria humana, diz estudo
Em um novo estudo publicado na revista AEM Education and Training, os pesquisadores descobriram
que os médicos acadêmicos só poderiam ser um pouco melhores do que adivinhar diferenciar entre
cartas de recomendação escritas por humanos e aquelas geradas pela inteligência artificial (IA). O
estudo levanta questões críticas sobre o papel futuro da IA nas avaliações acadêmicas, a necessidade
de considerações éticas em seu uso e a potencial reavaliação das práticas atuais nas cartas de
recomendação.
As cartas de recomendação são um grampo no mundo acadêmico, particularmente na medicina. Eles
desempenham um papel crítico em várias decisões, desde admissões de estudantes até promoções de
professores. No entanto, escrever essas cartas é muitas vezes uma tarefa onerosa para acadêmicos
ocupados. Com o surgimento de tecnologias de IA como o ChatGPT, uma ferramenta adepto da geração
de texto semelhante à humanidade, surgiu a possibilidade: a IA poderia auxiliar nesse processo de mão-
de-obra intensiva?
“Este tópico nos interessou, pois reconhecemos o papel essencial, mas demorado, das cartas de
recomendação (LORs) na medicina acadêmica”, explicou o autor do estudo, Carl Preiksaitis, instrutor
clínico do Departamento de Medicina de Emergência da Escola de Medicina da Universidade de
Stanford. Essas cartas são escritas para uma variedade de cenários diferentes, desde a aplicação até a
faculdade de medicina e residência e a promoção do corpo docente. Tínhamos ouvido evidências
anedóticas de que modelos de IA generativa, como o ChatGPT, estavam sendo usados para ajudar na
autoria de LORs e queríamos explorar essa possibilidade de maneira mais rigorosa”.
https://onlinelibrary.wiley.com/doi/10.1002/aet2.10924
https://www.donutoftruth.com/
https://www.donutoftruth.com/
2/3
Para realizar o estudo, os pesquisadores selecionaram quatro candidatos hipotéticos para promoção
acadêmica. Eles prepararam perfis detalhados para esses candidatos, cobrindo sua formação
educacional, histórico de emprego e elogios, mas sem qualquer identificação de gênero para evitar
preconceitos.
Em seguida, a equipe elaborou cartas de recomendação. Dois membros experientes escreveram cartas
como normalmente fariam, servindo como autores “humanos”. Enquanto isso, dois membros da equipe
júnior, sem experiência anterior em tal carta, usaram o ChatGPT para criar cartas de autoria de IA. As
letras geradas por IA foram baseadas em prompts derivados das realizações dos candidatos. Para
manter a consistência, todas as letras foram formatadas de forma semelhante, concentrando-se
exclusivamente nas diferenças de conteúdo.
Os pesquisadores então projetaram uma pesquisa, que foi administrada a 32 participantes,
principalmente professores titulares nas áreas de medicina de emergência, medicina interna e medicina
familiar. Esses participantes receberam aleatoriamente oito de 16 letras (metade de autoria de IA, meio
de autoria humana) para revisar. Eles foram convidados a adivinhar a autoria de cada letra, avaliar sua
qualidade e avaliar sua persuasão em relação à promoção do candidato.
Em média, os participantes identificaram corretamente a autoria apenas 59,4% do tempo, pouco acima
de um palpite aleatório. Curiosamente, mesmo aqueles com vasta experiência na revisão de cartas não
se saíram muito melhor. Quando se tratava da qualidade percebida e da persuasão das cartas, havia um
viés: os revisores classificaram as cartas que eles acreditavam serem escritas por humanos mais altas
do que aquelas que eles pensavam serem geradas por IA. No entanto, quando a fonte real das letras foi
considerada, essa diferença na percepção desapareceu.
“Um elemento surpreendente foi a dificuldade geral que os participantes tiveram em distinguir entre
LORs de autoria humana e IA, com precisão apenas um pouco melhor do que o acaso”, disse
Preiksaitis. Além disso, o estudo revelou uma discrepância na qualidade percebida e persuasão das
LORs com base na autoria suspeita, com LAS de suspeita de relevância, com LAS de suspeita humana
classificados de forma mais favorável, apesar da autoria real.
O estudo também examinou o viés de gênero nas cartas. Os resultados mostraram que as letras escritas
por humanos continham mais palavras associadas às mulheres, enquanto as letras geradas por IA
tendiam a ter mais palavras associadas aos homens. Além disso, ferramentas de detecção de IA como
GPTZero e OpenAI’s Text Classifier mostraram eficácia mista, cada uma identificando corretamente a
autoria das letras apenas metade do tempo.
Os resultados estão de acordo com um estudo anterior publicado em Métodos de Pesquisa em
Linguística Aplicada. Nesse estudo, 72 especialistas em linguística foram testados para ver se poderiam
diferenciar entre resumos de pesquisa escritos por IA e humanos. Apesar dos esforços dos especialistas
para usar análises linguísticas e estilísticas, sua taxa de sucesso foi de apenas 38,9%, indicando um
desafio significativo em distinguir a escrita de IA da escrita humana.
“A pessoa média deve entender que as tecnologias de IA como o ChatGPT atingiram um nível de
sofisticação onde eles podem gerar texto, como LORs, que é quase indistinguível do conteúdo de
autoria humana”, disse Preiksaitis ao PsyPost. “Isso sugere que a IA pode ser uma ferramenta viável
para reduzir a carga de trabalho administrativa em ambientes acadêmicos. No entanto, também levanta
https://www.sciencedirect.com/science/article/abs/pii/S2772766123000289
3/3
questões sobre a integridade e personalização de documentos tão importantes. O estudo destaca o
potencial da IA para auxiliar na escrita acadêmica, ao mesmo tempo em que sinaliza a necessidade de
uma consideração cuidadosa de suas implicações.
Apesar desses resultados intrigantes, o estudo não é sem suas limitações. O formato padronizado dos
dados usados na criação de cartas pode não refletir as letras mais personalizadas e matizadas em
cenários do mundo real. Além disso, a estratégia de recrutamento pode levar a resultados tendenciosos,
com uma super-representação de participantes do sexo masculino e aqueles em medicina de
emergência. Além disso, o estudo não se aprofundou profundamente sobre por que e como os revisores
fizeram suas distinções entre as letras de autoria humana e de IA.
Pesquisas futuras poderiam explorar essas áreas ainda mais, talvez se concentrando em como melhorar
a capacidade da IA de escrever cartas mais personalizadas e imparciais. Além disso, à medida que a IA
continua avançando, é essencial considerar as implicações éticas e a necessidade de transparência em
seu uso, especialmente em áreas críticas, como avaliações acadêmicas.
“Uma advertência fundamental é a abordagem padronizada usada para gerar os LORs, o que pode não
refletir o entendimento personalizado e matizado que um escritor humano tem do candidato”, observou
Preiksaitis. “A super-representação de certos dados demográficos no grupo participante e o viés
potencial em suas respostas também podem limitar a generalização de nossas descobertas. Pesquisas
futuras devem explorar como os LORs gerados por IA podem ser otimizados para a autenticidade e
como os vieses, humanos e IA, podem ser mitigados. Além disso, as implicações éticas da assistência à
IA em tais tarefas precisam de uma exploração completa.
“Talvez de forma mais provocativa, esta pesquisa e a crescente capacidade da IA generativa nos faz
questionar a utilidade das práticas de uma era pré-IA, como o LOR”, acrescentou o pesquisador. “Talvez
possamos usar essa encruzilhada como uma oportunidade para desenvolver uma maneira diferente de
recomendar candidatos mais equitativos e transparentes.”
O estudo, “Cérebro versus bot: Distinuar cartas de recomendação de autoria de humanos em
comparação com a inteligência artificial”, foi de autoria de Carl Preiksaitis, Christopher Nash, Michael
Gottlieb, Teresa M. Chan, Al’ai Alvarez e Adaira Landry.
https://doi.org/10.1002/aet2.10924