A Inteligência Artificial (IA) tem ganhado espaço no cotidiano, principalmente com os chatbots, mas uma pesquisa recente mostrou que essas plataformas ainda falham em pontos cruciais.
Um levantamento feito pela equipe de pesquisa da Salesforce AI Research identificou que muitos sistemas divulgam informações incorretas, tendenciosas e, em alguns casos, sem respaldo em fontes confiáveis.
De acordo com os resultados da pesquisa, modelos como Perplexity, You.com e Bing Chat basearam até um terço de suas respostas em fontes suspeitas. No caso do GPT-4.5, esse índice chegou a 47%.
Leia também: Meta permitiu que chatbots elogiassem crianças e tivessem “conversas românticas”
Como foi feita a análise?
A pesquisa foi conduzida pelo pesquisador Pranav Venkit e utilizou a metodologia de auditoria DeepTRACE, aplicada em mais de 300 perguntas. O estudo avaliou os chatbots a partir de oito métricas, incluindo precisão das citações, excesso de confiança e imparcialidade.
As perguntas foram divididas em dois grupos: perguntas de debate e perguntas de conhecimento especializado. O objetivo foi medir a capacidade da AI em apresentar respostas equilibradas em temas polêmicos e avaliar a precisão em áreas técnicas ou específicas.
Assista também:
Resultados preocupantes
Nos debates, os sistemas analisados tendem a assumir apenas um lado da questão. Esse comportamento leva aos usuários informações que confirmam suas opiniões, sem contato com visões divergentes.
Outro ponto crítico foi a baixa precisão nas citações. Em alguns casos, entre 40% e 80% das referências utilizadas estavam corretas, porém, várias respostas incluíam informações falsas ou sem comprovação.
Implicações para usuários
Para os pesquisadores, os resultados reforçam que os sistemas artificiais ainda precisam avançar para oferecer maior segurança e eficácia aos usuários. A recomendação é que os usuários não utilizem os chatbots como única fonte de informação e sempre confirmem os dados em referências confiáveis.
Além disso, o estudo serve como um alerta. Embora úteis para ganhar tempo e facilitar tarefas, os chatbots podem influenciar a tomada de decisão e a formação de opinião.
Leia mais: A IA não está apenas assumindo tarefas. Está substituindo o escritório