Um estudo recente do Tow Center for Digital Journalism revelou um dado preocupante sobre os mecanismos de busca baseados em inteligência artificial: eles erram, em média, 60% das vezes.
A pesquisa analisou oito dessas ferramentas, incluindo ChatGPT Search, Perplexity, Gemini, Copilot e Grok-3, e apontou que algumas delas apresentam níveis alarmantes de imprecisão, reforçando informações erradas com extrema confiança.
O teste e os resultados
Os pesquisadores selecionaram 200 artigos de 20 veículos de notícia e testaram se os buscadores de IA conseguiam encontrar e citar corretamente o artigo original, o nome da organização e a URL. Em seguida, cada resposta foi classificada em categorias que variavam de “completamente correta” a “completamente incorreta”.
O desempenho geral foi decepcionante. Entre os piores resultados:
- ChatGPT Search: respondeu a todas as 200 consultas, mas obteve apenas 28% de respostas totalmente corretas, enquanto 57% estavam completamente erradas.
- Grok-3 Search (do X): 94% de imprecisão, o pior desempenho entre os testados.
- Copilot (da Microsoft): recusou responder 104 das 200 perguntas. Das que respondeu, 70% estavam erradas.
- Perplexity Pro: embora tenha um desempenho melhor que os concorrentes gratuitos, seu erro foi ainda maior do que a versão sem assinatura.
O estudo reforça um problema já conhecido: os grandes modelos de linguagem (LLMs) “inventam” respostas, mas apresentam suas informações como se fossem verdades absolutas. Isso pode levar a desinformação em grande escala, especialmente considerando que algumas dessas ferramentas cobram até US$ 200 por mês pelo acesso.
A ilusão da precisão
A pesquisa confirma o que especialistas vêm apontando há anos: a IA pode ser uma ferramenta poderosa, mas ainda carece de precisão e transparência.
Embora alguns usuários relatem experiências positivas—como o jornalista Lance Ulanoff, que afirmou estar abandonando o Google após testar o ChatGPT Search—os números mostram que confiar cegamente nesses buscadores pode ser um erro.
Inscreva-se no canal do IGN Brasil no Youtube e visite as nossas páginas no Facebook, Twitter, Instagram e Twitch! | Siga Vika Rosa no Instagram