Muitos de nós vivemos num mundo em que há abundância de informação, mas falta tempo para processá-la e, por isso, os assistentes de IA que permitem fazer resumos de notícias estão a ganhar popularidade. Mas eles são confiáveis?
Um estudo recente liderado pela BBC e coordenado pela União Europeia de Radiodifusão detetou que 45% das respostas desses sistemas continham pelo menos um erro significativo, com incidência especial em problemas de atribuição de fontes.
Faço aqui uma pausa para explicar que, por sistema de treino — e explicando de uma forma muito simplista —, muitos modelos de linguagem de IA generativa recebem uma recompensa por resposta dada, pelo que, quando não sabem a resposta… inventam-na. São as famosas alucinações.
Além dos 45% das respostas geradas com IA que continham algum problema significativo, 31% do total das respostas dadas pela IA apresentaram problemas graves, como falta de atribuição aos meios, atribuição enganosa ou incorreta.
20% dos conteúdos gerados continham problemas importantes de precisão, incluindo alucinações e informações obsoletas.
Entre os assistentes de IA analisados, o Google Gemini teve o pior resultado, com problemas significativos em 76% das respostas, mais do dobro dos outros assistentes.
A investigação também aponta que muitos utilizadores aceitam as respostas como válidas quando incluem sinais como datas, números e nomes reconhecíveis, o que reduz a propensão para verificar, ignorando assim os erros.
Todos os erros são importantes, mas os factuais são os mais prejudiciais à confiança. 84% dos inquiridos afirmaram que um erro factual tem um impacto significativo na sua confiança num resumo de IA; 81% afirmam o mesmo quando são apresentadas opiniões como factos; 76% indicam o mesmo em caso de erros de fonte e atribuição; e 73% quando o sistema introduz opiniões que não estão presentes nos artigos originais.
O estudo também descobriu que pequenas imprecisões em ambientes de leitura rápida fixam interpretações que podem persistir, mesmo que sejam corrigidas posteriormente.