arXiv anuncia proibição de um ano por erros gerados por IA

O site de pré-publicações arXiv comunicou que os investigadores que assinarem artigos com erros claramente produzidos por inteligência artificial (IA) ficarão sujeitos a uma proibição de um ano, além de restrições contínuas.

A decisão surge como resposta ao aumento de trabalhos gerados por IA que tem chegado às revistas científicas e também a plataformas como o arXiv, usadas como via informal de divulgação de investigação antes da revisão por pares.

Ainda assim, há quem conteste que a reacção do arXiv seja a mais adequada - e há quem defenda que, para lidar com a enxurrada de investigação de baixa qualidade gerada por IA, poderá ser necessário recorrer a mais IA, e não a menos.

A ascensão da escrita assistida por bots

O texto produzido por IA está a aumentar em praticamente todo o lado. Um estudo divulgado na semana passada sugere que metade dos novos artigos publicados online são hoje "principalmente gerados por IA".

A ciência não está imune a esta tendência.

No mês passado, a revista Organization Science publicou um estudo sobre o modo como a expansão da IA tem afectado as submissões e as revisões por pares desde o lançamento do ChatGPT, em 2022.

Ao relatarem um aumento acentuado do número de artigos submetidos e uma quebra de qualidade, os autores concluem que "o estado actual das ferramentas de IA, amplificado pelos incentivos já existentes do ‘publicar ou perecer’, parece estar a empurrar o sistema para um equilíbrio de mais investigação em vez de melhor investigação".

Um problema frequente na escrita científica gerada por IA são as citações alucinadas: referências a estudos que, na prática, não existem.

O mecanismo tradicional para travar trabalho de fraca qualidade na publicação académica é a revisão por pares: um outro especialista no tema lê o artigo e escrutina o trabalho que o sustenta antes de este poder ser publicado.

No entanto, o sistema de revisão por pares já estava sob pressão antes da IA. Investigadores sobrecarregados têm, muitas vezes, pouco tempo ou pouca motivação para realizar o trabalho não remunerado de rever artigos.

E no arXiv, que publica pré-publicações - textos que, na maioria dos casos, ainda não passaram por revisão por pares - essa salvaguarda nem sequer existe. No ano passado, perante o volume de submissões geradas por IA, o site deixou de aceitar determinados tipos de artigos.

Um estudo publicado em Janeiro (ele próprio uma pré-publicação) estimou que cerca de 1 em cada 8 artigos em ciência biomédica já contém texto gerado por IA.

A maior parte dos investigadores concordaria que o texto gerado por IA, por si só, não é o problema. A questão é o trabalho de menor qualidade que a IA pode tornar fácil de produzir.

A punição é proporcional?

O comunicado do arXiv não condena o uso de IA em si, mas afirma: "Se uma submissão contiver provas incontroversas de que os autores não verificaram os resultados gerados por um LLM, isso significa que não podemos confiar em nada no artigo".

Isto pode fazer sentido até certo ponto. Ainda assim, a sanção - uma proibição de um ano para todos os autores listados num artigo - pode não estar alinhada com as práticas actuais de investigação.

No passado, era comum a investigação ser feita por pessoas a trabalhar sozinhas ou em equipas de duas ou três. Nesses cenários, parece razoável exigir que cada autor assuma responsabilidade pelo todo.

Mas a investigação é hoje mais colaborativa do que nunca.

Muitos artigos têm quatro ou cinco autores e, num número crescente de casos extremos, há trabalhos creditados a grupos de centenas de cientistas a trabalhar em conjunto, cada um numa especialidade, confiando que os colegas fazem o mesmo.

Se, num artigo com dezenas ou centenas de autores, apenas um incluir uma referência alucinada por IA na sua secção, banir todos parece excessivo.

Além disso, não existem sanções equivalentes para a publicação de outros conteúdos problemáticos. Por exemplo, não há proibição por promover teorias marginais ou desacreditadas, nem por recorrer a evidência fraca e a argumentos ilógicos.

Pode a IA ajudar a combater a "investigação de baixa qualidade"?

A expansão da IA cria problemas para editoras e para mecanismos de garantia de qualidade. E a ideia de aplicar algum tipo de sanção ao uso imprudente de IA - como incluir referências alucinadas - é sensata.

Mas a opção concreta do arXiv parece severa. Se o objectivo for reforçar a revisão por pares e a garantia de qualidade, os próprios sistemas de IA podem ter um papel útil.

Os sistemas modernos de IA conseguem, com bastante eficácia, pegar numa lista de referências e confirmar se cada item corresponde a um artigo real e acessível na internet. As referências assinaladas como suspeitas podem depois ser verificadas por uma pessoa.

A IA pode até ajudar a fazer verificações rápidas de coerência, por exemplo, sobre a análise estatística de um artigo.

Talvez este seja o caminho a seguir, em vez de sanções duras por infracções relativamente menores relacionadas com IA.

Vitomir Kovanovic, Professor e Director-Associado do Centro para a Mudança e a Complexidade na Aprendizagem (C3L), Education Futures, Universidade de Adelaide

Este artigo é republicado de The Conversation ao abrigo de uma licença Creative Commons. Leia o artigo original.

---