A IA moderna faz 8 anos: o artigo que deu origem ao ChatGPT e mudou o mundo
A curiosa trajetória de “Attention Is All You Need”, o artigo científico que inaugurou a era da IA generativa. Crédito: Alexandre Chiavegatto Filho e Carla Menezes/Estadão
Há exatamente oito anos, oito pesquisadores publicaram um artigo científico com um título um tanto enigmático: “Atenção é Tudo o Que Você Precisa” (Attention is All You Need). Essa publicação rapidamente teve um efeito borboleta tecnológico, cujo impacto se propagou por toda a ciência, e eventualmente desencadeou a revolução que levou ao ChatGPT e à atual era da inteligência artificial (IA) generativa.
O título do artigo é uma referência à música dos Beatles “All You Need Is Love”. A escolha refletiu a confiança dos autores na principal inovação do seu artigo: a ideia de que o mecanismo de atenção, sem a necessidade das arquiteturas recorrentes (RNNs) que na época dominavam a área, seria suficiente para realizar as mais complexas tarefas de tradução.
Artigo que possibilitou a criação do ChatGPT completa oito anos Foto: Adobe Stock
O próprio nome da nova arquitetura divulgada pelo artigo, “transformer”, também teve uma origem casual. Jakob Uszkoreit, um dos autores, simplesmente gostou do som da palavra.
Antes dos transformers, os modelos de linguagem processavam o texto de forma sequencial, palavra por palavra, o que dificultava a compreensão de relações mais complexas em frases longas.As análises preliminares dos autores indicaram que o mecanismo de atenção, que permite ao modelo ponderar a importância relativa das palavras, poderia ser suficiente.
Os primeiros experimentos, como traduções de inglês para alemão e a geração de artigos da Wikipedia, rapidamente convenceram a equipe de que os transformers não eram apenas uma boa arquitetura para tradução, mas um modelo de linguagem geral que transformaria a IA e o mundo.
A descoberta foi um esforço colaborativo de oito pesquisadores do Google Brain e do Google Research: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser e Illia Polosukhin. Em uma decisão incomum na ciência, que demonstrou a contribuição equitativa de todos, a ordem dos autores foi definida de forma aleatória.
A diversidade da equipe também era impressionante, com seis dos oito autores nascidos fora dos Estados Unidos, demonstrando a importância da diversidade para as novas ideias e o avanço tecnológico, um conceito que está sendo atacado pelo atual presidente desse país.
A publicação de “Attention Is All You Need” no repositório de pré-prints arXiv, em junho de 2017, provocou um impacto imediato e profundo na comunidade de IA. A elegância e a eficiência da arquitetura transformer rapidamente se tornaram o padrão para um grande número de tarefas de algoritmos de linguagem.
O artigo já se tornou um dos mais citados na história, possuindo atualmente mais de 180 mil citações científicas, e tem servido de base fundamental para todos os grandes modelos de linguagem, como ChatGPT, Gemini e DeepSeek.
Assim como a música dos Beatles que inspirou seu título, o artigo mostrou que a solução para um problema complexo pode estar em uma ideia elegantemente simples. A atual revolução da IA generativa não nasceu de um acréscimo de complexidade, mas de um momento de clareza de pesquisadores que nos levaram a prestar “atenção” ao que realmente importa.