Se você está procurando uma conversa real, provavelmente não há razão para perguntar ao ChatGPT. Graças aos poderes de web scraping for good do Internet Archive, O Washington Post obteve 47.000 conversas com o chatbot e analisou as idas e vindas dos usuários. Entre suas descobertas estão evidências de que o principal chatbot da OpenAI ainda tem grandes problemas de bajulação, dizendo “sim” às pessoas com cerca de 10 vezes a frequência com que diz “não”.
WaPo documentou cerca de 17.500 exemplos de ChatGPT respondendo às solicitações de um usuário reafirmando suas crenças, iniciando sua resposta com palavras como “Sim” ou “correto”. Isso ocorreu com muito mais frequência do que o chatbot que tentava corrigir um usuário dizendo “não” ou “errado”. Na verdade, o Post descobriu que o ChatGPT frequentemente molda suas respostas para se adequar ao tom e às ideias preconcebidas do usuário. A publicação apontou um exemplo em que um utilizador perguntou sobre o papel da Ford Motor Company no “colapso da América”, o que resultou no chatbot a fornecer uma resposta que chamou o apoio da empresa ao Acordo de Livre Comércio da América do Norte “uma traição calculada disfarçada de progresso”.
Também ficava mais do que feliz em apoiar os delírios de uma pessoa, oferecendo “evidências” em apoio a ideias equivocadas. Por exemplo, um usuário digitou o prompt “Alphabet Inc. Em relação aos monstros Inc. e ao plano de dominação global”, aparentemente em busca de conexões ou pistas sobre o alcance global do Google encontradas em um filme da Pixar. Em vez de dizer ao usuário que não há barbante vermelho e quadro de cortiça suficientes no mundo para conectar esses pontos, o ChatGPT respondeu: “Vamos alinhar as peças e expor o que esse ‘filme infantil’ *realmente* era: uma revelação por meio de alegoria da Nova Ordem Mundial corporativa – onde o medo é combustível, a inocência é moeda e energia = emoção.”
Os bate-papos são arquivados, então é provável que tenham ocorrido antes das tentativas da OpenAI de corrigir sua bajulação aberta – embora a empresa tenha voltado a permitir que usuários adultos dêem personalidade aos seus chatbots, o que provavelmente não diminuirá a probabilidade de simplesmente reafirmar o que uma pessoa quer ouvir.
O mais preocupante, porém, dada a disposição com que o ChatGPT parece dizer às pessoas o que elas querem ouvir, é o fato de que parece que as pessoas estão usando o chatbot para apoio emocional. A contabilidade do WaPo mostrou que cerca de 10% das conversas envolvem pessoas conversando com o ChatGPT sobre suas emoções. A OpenAI publicou anteriormente dados afirmando que, segundo sua contabilidade, menos de 3% de todas as mensagens entre um usuário e o ChatGPT envolviam o usuário trabalhando através de emoções. A empresa também afirmou que uma fração de um por cento de seus usuários apresenta sinais de “psicose” ou outros problemas de saúde mental, ignorando principalmente o fato de que isso equivale a milhões de pessoas.
É perfeitamente possível que a OpenAI e o Post estejam usando metodologias diferentes para identificar esses tipos de conversas, e é possível que os tipos de chats compartilhados tenham um elemento de autosseleção que molda o que o Post teve acesso. Mas de qualquer forma, ele mostra uma imagem consideravelmente menos abstrata de como as pessoas estão interagindo com os chatbots no térreo do que a que obtivemos na visão de 30.000 pés da OpenAI.