A principio era os plágios, agora também 'papers' automáticos falsos COG

Prévia do material em texto

13/08/2021 A principio era os plágios, agora também 'papers' automáticos falsos
https://www.printfriendly.com/p/g/jLMqsF 1/5
Ernesto Spinak 31 de março de 2014 14:51
A principio era os plágios, agora também 'papers'
automáticos falsos
blog.scielo.org / blog / 2014/03/31 / a-principio-era-os-plagios-agora-tambem-papers-automaticos-falsos /
Atualmente têm aparecido alguns artigos na imprensa que dão uma impressão que o
sistema editorial acadêmico está sendo inundado por trabalhos falsos criados por
programas de trabalho e fornecidos em serviços. A informação original foi publicada pelo
artigo Os editores retiraram mais de 120 artigos sem sentido¹ , publicada no periódico
Nature em 24 de fevereiro, do qual se fez eco rapidamente no The Guardian no artigo
Como os papéis falsos gerados por computador estão a inundar a academia² ; outros
veículos de imprensa nos dias subsequentes publicaram comentários sobre o assunto (
Scientific American , Reddit , etc.).
A notícia causou impacto porque estes trabalhos falsos, criados automaticamente por um
programa de fundamentação, sido aceitos por editores renomados, 16 deles pela alemã
Springer , e mais de 100 foram publicados pelo Instituto de Engenheiros Elétricos e
Eletrônicos (IEEE) nos Estados Unidos. Entretanto, na realidade, nada disso deveria nos
impressionar, pois na Internet existe o spamming , certo? Pois também existe na
publicação científica. Para explicar meu ponto de vista vou contar o que fiz quando li o
artigo da Nature , e convido os leitores a fazerem o mesmo, pois foi uma experiência
muito interessante.
A notícia da Nature nos disse que os trabalhos falsificados foram criados por um
programa chamado SCIgen - Um CS Paper gerado automaticamente r³, desenvolvido no
MIT por três estudantes graduados em 2005, que produz artigos inventados, porém com
excelente redação e mantendo estritamente o formato científico. De acordo com a
apresentação feita pelos autores próprios do programa:
SCIGEN é um programa que gera documentos aleatórios de pesquisa em Ciências da
Computação, incluindo gráficos, figuras e referências bibliográficas. Utiliza uma
gramática livre de contexto escrita a mão para formar todos os elementos dos
documentos. Nosso objetivo é maximizar a diversidade, em lugar da coerência³.
(Tradução livre)
O programa SCIgen, criado em 2005 no MIT, foi analisado por um pesquisador francês,
Cyril Labbé, do Laboratório de Informática da Universidade de Grenoble que criou o
programa antiScigen e logo publicou em 2012 um trabalho em Cientometria ⁴ sobre os
artigos falsos por computador . Cyril Labbé também demostrou em 2010 a
vulnerabilidade dos cálculos do índice-h baseada no Google Acadêmico alimentando-o
com mais de 100 trabalhos gerados por SCIgen que se citavam entre si, e usando este
método conseguiu classificar Ike Antkare (um autor inventado) como o mais citado na
historia.
https://blog.scielo.org/blog/2014/03/31/a-principio-era-os-plagios-agora-tambem-papers-automaticos-falsos/
13/08/2021 A principio era os plágios, agora também 'papers' automáticos falsos
https://www.printfriendly.com/p/g/jLMqsF 2/5
Então eu mesmo fiz um teste. Entrei no site, SCIgen³ e no formulário que diz Generate a
Random Paper , ingressei com autoras varias de minhas amigas bibliotecárias. Fiz três
artigos, combinando diferentes autoras, o que levou menos de 5 minutos. Logo gerei os
PDFs destes trabalhos e fiz o download deles em meu computador para revisar.
Formalmente irrepreensíveis. Até a bibliografia estava corretamente construída, que
amavelmente incluía em algumas referências bibliográficas minhas amigas bibliotecárias
como autoras !!!
Preparados os trabalhos falsos segui adiante em minha pesquisa e procedi com o envio
destes três artigos de minhas amigas bibliotecárias para que fossem revisados pelo
“antiScigen”. Entrei na página AntiScigen⁵, o único requisito é que o pacote de arquivos
PDFs seja enviado como um arquivo .zip. Assim foi feito e em dois minutos chegou o
relatório na forma gráfica que se vê na imagem abaixo. No gráfico aparecem três
árvores:
Em preto as sessões de texto singular (não responde a fingerprints conhecidos);
Em vermelho as sessões de texto que são reconhecidas como produzidas por
SCIgen;
Em azul as sessões de texto que foram copiadas de outros textos no campo da
computação, mas não geradas pelo programa.
13/08/2021 A principio era os plágios, agora também 'papers' automáticos falsos
https://www.printfriendly.com/p/g/jLMqsF 3/5
Em menos de 10 minutos pudemos criar três trabalhos acadêmicos, e logo verificá-los
com o programa antiScigen. Parece simples, não é mesmo?
Nada disso é novo na área das Ciências da Computação. Hoje em dia, com boa ou má
fé, existe uma grande quantidade de imitadores que manipulam trabalhos, criam perfis
falsos em Google Scholar Citations, e logo manipulam os dados. Não somente se
fabricam papers de conferencias, mas também todo tipo de outros trabalhos. Como
exemplo de geradores similares temos os dois seguintes, e vale a pena que você faça
sua experiência para avaliar.
Gerador de ensaios acadêmicos ;
Gerador de propostas de financiamento .
Porém o que considero mais surpreendente de todos foi o criado por Philip Parker, que
em sua pequena companhia com a ajuda de alguns computadores e programadores,
escreveu 200.000 livros e os vende na Amazon (9,10). Parker produz um livro a cada 20
minutos por um procedimento patenteado.
Pois bem, o spamming ingressou no seio da ciência. Como diz o artigo da Nature, dá no
mesmo que os papers sejam submetidos a um mundo controlado (publishers e revistas
de prestigio e com sistemas de revisão por pares) ou que sejam enviados a ambientes
mais ou menos controlados, ou abertamente não controlados (páginas web, repositórios,
etc.), como é o mundo Google. Não existem meios infalíveis que possam impedir que se
produza a fraude, e como diz Emilio Delgado López-Cózar (2007) a respeito do peer-
review como sistema de avaliação da fraude:
não existem meios infalíveis que possam impedir que a fraude seja produzida, nem a
publicação por si só é um selo que garante a confiabilidade e validez de uma pesquisa,
nem o sistema de avaliação por especialistas é capaz de detecta-la e neutraliza-la.
Basicamente por duas razões. Em primeiro lugar, porque o edifício científico se assenta
sobre um pilar axiomático que é falsificável: se baseia na boa vontade dos cientistas; …
mas se um cientista quiser mentir, mentirá. … Em segundo lugar, porque o sistema de
alerta que a ciência emprega para contrastar a verossimilhança e a veracidade de um
descobrimento se aplica em muitos poucos casos… é impraticável dado o volume atual
que a ciência adquiriu. (tradução livre)
No mundo da informática estamos acostumados aos vírus, troyan, hackers, phishing,
spamming, etc., e para isso são instalados firewalls, antivírus, blacklists, senhas, e toda
sorte de sistemas de segurança informática. Quem programa estas “criações
informáticas” e as usam são graduados de ciências da computação, que muitas vezes
desenvolvem estas atividades como parte de seus trabalhos de estudo ou apenas como
desafios pessoais e até por diversão (just for fun).
Reflexões
6
7
13/08/2021 A principio era os plágios, agora também 'papers' automáticos falsos
https://www.printfriendly.com/p/g/jLMqsF 4/5
Uma vez que os trabalhos fraudulentos são detectados, os publishers responsáveis
seguramente removerão estes artigos, mas deveriam deixar uma nota explicando sua
ausência. Cabe a pergunta, então, o que acontece com as contas e os índices do
Google Scholar, se são reajustados reduzindo os indicadores, e o que acontece com os
trabalhos e páginas que mantém links para estes trabalhos descartados, continuam
sendo válidos?
Os pesquisadores científicos são como todos os seres humanos, e em um ambiente de
alta competência, onde há muito dinheiro e prestígio envolvidos sempre haverá pessoas
dispostas a “esquecer” as regras.
Os sistemas editoriais devem incorporar os controles correspondentes em seus
procedimentos de arbitragem.Como comentamos em posts anteriores sobre o plágio, os
editores participantes do Programa SciELO deveriam incorporar também procedimentos
profissionais para evitar esta classe de publicações fraudulentas.
Notas
¹ NOORDEN, R. V. Publishers withdraw more than 120 gibberish papers. Conference
proceedings removed from subscription databases after scientist reveals that they were
computer-generated. Nature. [viewed 24 February 2014]. Available from:
<http://www.nature.com/news/publishers-withdraw-more-than-120-gibberish-papers-
1.14763>.
² How computer-generated fake papers are flooding academia. The Guardian. [viewed 27
February 2014]. Available from:
<http://www.theguardian.com/technology/shortcuts/2014/feb/26/how-computer-
generated-fake-papers-flooding-academia>.
³ SCIgen – An Automatic CS Paper Generator – http://pdos.csail.mit.edu/scigen/.
⁴ LABBÉ, C., and LABBÉ, D. Duplicate and fake publications in the scientific literature:
how many SCIgen papers in computer science. Scientometrics. [viewed 22 June 2012].
Available from: <http://hal.archives-ouvertes.fr/docs/00/71/35/55/PDF/0-
FakeDetectionSci-Perso.pdf>.
⁵ AntiScigen – http://scigendetection.imag.fr/main.php.
An essay generator – http://www.essaygenerator.com/.
 SBIR grant proposal generator. http://www.nadovich.com/chris/randprop/.
Referências
COHEN, N. He Wrote 200,000 Books (but Computers Did Some of the Work). The New
Work Times. [14 April 2008]. Available from:
<http://www.nytimes.com/2008/04/14/business/media/14link.html?
pagewanted=all&_r=0>.
6 
7
http://www.nature.com/news/publishers-withdraw-more-than-120-gibberish-papers-1.14763
http://www.theguardian.com/technology/shortcuts/2014/feb/26/how-computer-generated-fake-papers-flooding-academia
http://pdos.csail.mit.edu/scigen/
http://hal.archives-ouvertes.fr/docs/00/71/35/55/PDF/0-FakeDetectionSci-Perso.pdf
http://scigendetection.imag.fr/main.php
http://www.essaygenerator.com/
http://www.nadovich.com/chris/randprop/
http://www.nytimes.com/2008/04/14/business/media/14link.html?pagewanted=all&_r=0
13/08/2021 A principio era os plágios, agora também 'papers' automáticos falsos
https://www.printfriendly.com/p/g/jLMqsF 5/5
HILL, D.J. Patented book writing system creates, sells hundreds of thousands of books
on amazon. Singularity HUB. [13 December 2012]. Available from:
<http://singularityhub.com/2012/12/13/patented-book-writing-system-lets-one-professor-
create-hundreds-of-thousands-of-amazon-books-and-counting/>.
LABBÉ, C. Ike Antkare one of the greatest stars in the scientific firmament. LIG
Laboratory. [14 April 2010]. Available from:
<http://hal.inria.fr/docs/00/71/35/64/PDF/TechReportV2.pdf>.
LÓPEZ-COZAR, E. D., SALINAS, D. T., and LÓPEZ, A. R. El fraude en la ciencia:
reflexiones a partir del caso Hwang. El profesional de la información. 2007, marzo-abril,
vol. 16, nº 2. Available from: <http://eprints.rclis.org/9979/1/g61n63522lg20818.pdf>.
Link externo
AntiScigen – http://scigendetection.imag.fr/main.php
 
Sobre Ernesto Spinak
Colaborador do SciELO, engenheiro de Sistemas e
licenciado em Biblioteconomia, com diploma de estudos avançados pela Universitat
Oberta de Catalunya e Mestre em “Sociedad de la Información” pela Universidad Oberta
de Catalunya, Barcelona - Espanha. Atualmente tem uma empresa de consultoria que
atende a 14 instituições do governo e universidades do Uruguai com projetos de
informação.
http://singularityhub.com/2012/12/13/patented-book-writing-system-lets-one-professor-create-hundreds-of-thousands-of-amazon-books-and-counting/
http://hal.inria.fr/docs/00/71/35/64/PDF/TechReportV2.pdf
http://eprints.rclis.org/9979/1/g61n63522lg20818.pdf
http://scigendetection.imag.fr/main.php