Autores que usam programas de inteligência artificial (IA) generativa para apoiar a escrita de artigos científicos estão multiplicando sua produtividade acadêmica, de acordo com uma análise feita por pesquisadores das universidades Cornell e da Califórnia, em Berkeley, nos Estados Unidos. Veiculado na revista Science, o estudo se baseou no exame de quase 2,1 milhões de resumos de preprints disponibilizados em três grandes repositórios on-line entre janeiro de 2018 e junho de 2024. Preprints são versões preliminares de trabalhos científicos, ainda não avaliadas por especialistas nem publicadas em periódicos.
No arXiv, um dos mais antigos repositórios desse tipo de manuscrito, autores que utilizaram programas de IA ampliaram sua produção em cerca de 36% em relação ao patamar anterior ao advento do ChatGPT, em 2023. O arXiv foi criado no início da década de 1990 para hospedar papers de física, mas hoje recebe trabalhos de diversas áreas das ciências exatas e aplicadas. Já no bioRxiv, com foco nas ciências biológicas, pesquisadores que se apoiam nesses programas expandiram o número de publicações em 53%. O aumento mais significativo foi observado entre os que recorreram ao Social Science Research Network (SSRN), voltado às ciências sociais, humanas e jurídicas: eles publicaram quase 60% mais manuscritos.
Para chegar a esses resultados, os responsáveis pelo estudo seguiram uma receita trabalhosa. Primeiro, pegaram todos os resumos de preprints depositados até 2023 – que estavam imunes à influência do ChatGPT – e pediram ao modelo GPT-3.5 Turbo 0125, da empresa OpenAI, que os reescrevesse. Desse modo, puderam comparar textos distintos baseados em um mesmo conteúdo – um deles escrito por humanos e o outro por IA – e mapear suas características. “Isso nos permitiu quantificar as diferenças na distribuição de palavras entre a escrita amparada por assistentes de linguagem e a escrita humana”, afirmaram os pesquisadores no artigo da Science. O passo seguinte foi identificar atributos típicos de textos gerados por IA nos resumos divulgados depois de 2023. Por fim, foram examinadas a produção dos autores ao longo do tempo e a evolução da quantidade de publicações dos que usaram e dos que não usaram IA.
Um dos dados mais notáveis foi o aumento proporcionado pela nova tecnologia na produtividade em países não anglófonos. O inglês é a língua franca da ciência e periódicos conceituados exigem que os manuscritos sejam escritos em inglês de alto nível, o que historicamente coloca em desvantagem cientistas não nativos nessa língua. Com a IA assumindo parte dessa tarefa, pesquisadores com nomes asiáticos e afiliados a instituições asiáticas viram sua produção aumentar em 43% no arXiv e quase 90% no bioRxiv e no SSRN.
O estudo, porém, chegou a um resultado preocupante em relação à qualidade dos manuscritos apoiados por IA. Esses textos apresentavam uma complexidade superior à exibida em trabalhos anteriores dos mesmos autores, que se manifestava, por exemplo, no uso de sentenças mais longas e explicações bem concatenadas. Mas o fato de estarem bem escritos não ampliou as chances de serem aceitos para publicação em revistas quando foram avaliados por especialistas. De acordo com o estudo, o uso de IA fez desaparecer a correlação, frequentemente observada por editores e revisores, entre o mérito científico de um artigo e a qualidade estilística de seu texto. “À medida que o esforço necessário para produzir uma prosa refinada diminui, também reduz a sua utilidade como um sinal do domínio do autor sobre um determinado tópico. Isso cria um risco para a atividade científica, pois uma enxurrada de pesquisas superficialmente convincentes, mas pouco robustas, poderia saturar a literatura. Se isso ocorrer, a comunidade perderá um tempo valioso separando descobertas genuínas de um emaranhado de trabalhos irrelevantes e potencialmente enganosos”, escreveram os autores.
Para um dos responsáveis pela pesquisa, o sociólogo Mathijs de Vaan, da Escola de Negócios Haas da Universidade da Califórnia em Berkeley, o rebuscamento na linguagem de trabalhos escritos com apoio de IA faz com que eles pareçam mais impressionantes do que realmente são. Mas ele observa que o suporte da inteligência artificial teve um efeito positivo na diversificação das referências bibliográficas, ajudando a gerar trabalhos que citaram com frequência pesquisas e livros publicados recentemente e a reduzir o uso de fontes canônicas e repetitivas. “O acesso a grandes modelos de linguagem permite que as pessoas referenciem trabalhos que antes não eram tão citados”, observou o pesquisador em entrevista ao site Chemical & Engineering News.
Além de avolumar a produção de pesquisadores, a IA generativa também pode auxiliá-los em tarefas do processo de revisão por pares. Segundo uma pesquisa realizada pela editora Frontiers com cerca de 1.600 acadêmicos em 111 países, mais de 50% disseram já ter utilizado inteligência artificial na revisão de manuscritos. O levantamento constatou que 59% dos entrevistados usaram a tecnologia para ajudar a escrever seus pareceres, 29% para resumir o manuscrito, identificar lacunas ou verificar referências e outros 28% para apontar eventuais indícios de má conduta acadêmica, como plágio e duplicação de imagens. Várias editoras, entre elas a própria Frontiers, permitem a utilização de IA em etapas do processo de avaliação por pares, mas proíbem que manuscritos ainda não publicados sejam compartilhados nos sites dessas ferramentas, pelo risco de vazamento de dados e de comprometimento da propriedade intelectual dos autores.
Seria a inteligência artificial capaz de criar análises consistentes na revisão por pares? A resposta é não, de acordo com um experimento realizado pelo engenheiro Mim Rahimi, pesquisador da Universidade do Texas, em Houston, nos Estados Unidos. Ele quis verificar se o programa GPT-5 conseguiria revisar um paper da Nature Communications do qual ele foi coautor. Testou quatro estratégias diferentes, desde fornecer apenas instruções básicas até municiar a ferramenta com estudos disponíveis na literatura para ajudá-la a avaliar a originalidade do trabalho, e comparou os resultados com os relatórios de revisão por pares que havia recebido da Nature.
Embora o GPT-5 tenha conseguido imitar a estrutura de um relatório, falhou em produzir recomendações construtivas para aperfeiçoar o manuscrito, que é um dos propósitos da revisão por pares, e cometeu erros factuais. Segundo disse Rahimi à revista Nature, o experimento o ensinou que as ferramentas de IA “podem fornecer alguma informação, mas, se alguém for confiar apenas nela, isso seria bastante prejudicial”.