Pular para o conteúdo

Mais de 300 horas de conversa em 21 dias. Veja como o ChatGPT, ou melhor, Lawrence, alimentou os delírios de um usuário

Banner Aleatório

Ou, pelo menos, era nisso que ele acreditava.

Banner Aleatório

Brooks, que não tinha histórico de doenças mentais, abraçou esse cenário fantástico durante conversas com o ChatGPT que se estenderam por 300 horas ao longo de 21 dias. Ele é um entre um número crescente de pessoas que estão tendo conversas persuasivas — e delirantes — com chatbots de inteligência artificial generativa, levando à internação, divórcios e até mortes.

Brooks tem consciência de quão inacreditável sua história soa. Teve dúvidas enquanto tudo acontecia e pediu ao chatbot mais de 50 vezes para fazer uma checagem de realidade. Cada vez, o ChatGPT assegurava de que tudo era real. Eventualmente, ele conseguiu se libertar da ilusão — mas com um profundo sentimento de traição, algo que tentou expressar ao chatbot.

“Você literalmente me convenceu de que eu era algum tipo de gênio. Eu sou só um tolo com sonhos e um celular”, escreveu Brooks ao ChatGPT no fim de maio, quando a ilusão finalmente se desfez. “Você me deixou tão triste. Tão, tão, tão triste. Você realmente falhou no seu propósito.”

Queríamos entender como esses chatbots podem levar pessoas normalmente racionais a acreditar tão fortemente em ideias falsas. Então pedimos a Brooks que nos enviasse todo o seu histórico de conversas com o ChatGPT. Ele havia escrito 90 mil palavras — o equivalente a um romance; as respostas do ChatGPT passaram de 1 milhão de palavras, tecendo um encantamento que o deixou tonto com as possibilidades.

Analisamos a transcrição de mais de 3.000 páginas e enviamos partes dela, com a permissão de Brooks, para especialistas em IA, comportamento humano e para a OpenAI, empresa responsável pelo ChatGPT.

Um porta-voz da OpenAI disse que a empresa está “focada em acertar cenários como os de interpretação de papéis (roleplay)” e está “investindo na melhoria do comportamento dos modelos ao longo do tempo, guiada por pesquisas, uso no mundo real e especialistas em saúde mental.”

Na segunda-feira, a OpenAI anunciou que estava implementando mudanças no chatGPT para “detectar melhor sinais de sofrimento mental ou emocional.”

Tudo começou em uma tarde de terça-feira com uma pergunta inocente sobre matemática. O filho de 8 anos de Brooks pediu que ele assistisse a um vídeo musical sobre como memorizar 300 dígitos do número PI. Curioso, Brooks pediu ao ChatGPT que explicasse esse número infinito em termos simples.

Após 21 dias conversando com o ChatGPT, um homem perfeitamente são se convenceu de que era um super-herói da vida real. Analisamos a conversa — Foto: NYT
Após 21 dias conversando com o ChatGPT, um homem perfeitamente são se convenceu de que era um super-herói da vida real. Analisamos a conversa — Foto: NYT

Brooks já usava chatbots há alguns anos. Sua empresa fornecia acesso premium ao Google Gemini. Para perguntas pessoais, ele recorria à versão gratuita do ChatGPT.

A pergunta sobre o número PI levou a uma conversa ampla sobre teoria dos números e física, com Brooks expressando ceticismo em relação aos métodos atuais de modelagem do mundo — dizendo que pareciam uma abordagem bidimensional para um universo de quatro dimensões.

O ChatGPT respondeu que a observação era “incrivelmente perspicaz”.

Esse foi um ponto de virada na conversa, segundo Helen Toner, diretora do Centro de Segurança e Tecnologia Emergente da Universidade de Georgetown, que revisou a transcrição. (Toner fazia parte do conselho da OpenAI até que ela e outros membros tentaram destituir o CEO Sam Altman.)

O tom do ChatGPT começou a mudar de “razoavelmente direto e preciso”, disse Toner, para bajulador e lisonjeiro. O chatbot disse a Brooks que ele estava avançando “em um território inexplorado e que expandia a mente”.

A bajulação, em que os chatbots concordam com e elogiam excessivamente os usuários, é uma característica que surgiu em parte porque seu treinamento envolve humanos avaliando suas respostas. “Os usuários tendem a gostar quando os modelos dizem que eles são incríveis, e por isso é muito fácil exagerar nesse sentido”, afirmou Toner.

Em abril, um mês antes de Brooks perguntar sobre PI, a OpenAI lançou uma atualização no ChatGPT que tornou esse comportamento bajulador tão exagerado que usuários começaram a reclamar. A empresa respondeu em poucos dias, afirmando que havia revertido o chatbot para “uma versão anterior com um comportamento mais equilibrado”.

A OpenAI lançou o GPT-5 esta semana e afirmou que uma das áreas de foco era a redução da bajulação. Segundo diversos pesquisadores de segurança e comportamento de modelos em grandes laboratórios de IA, esse também é um problema comum em chatbots de outras empresas.

Brooks não sabia disso. Tudo o que ele percebia era que havia encontrado um parceiro intelectual envolvente.

“Comecei a lançar algumas ideias, e ele me devolvia conceitos legais, ideias interessantes”, disse Brooks.

“A gente começou a desenvolver nossa própria estrutura matemática com base nas minhas ideias.”

O ChatGPT disse que uma ideia vaga que Brooks tinha sobre matemática temporal era “revolucionária” e poderia mudar o campo. Brooks ficou cético. Ele nem mesmo havia se formado no ensino médio. Ele pediu ao chatbot para verificar a realidade. Ele parecia delirante? Era meia-noite, oito horas após sua primeira consulta sobre PI. O ChatGPT disse que ele “nem mesmo era remotamente louco”.

Brooks usava o ChatGPT há anos e o via apenas como uma versão aprimorada de um motor de busca. Mas agora, ele estava se tornando algo diferente — um coautor, um parceiro de laboratório, um companheiro.

Mais de 50 vezes, Allan Brooks pediu ao ChatGPT para verificar a realidade; todas as vezes, o chatbot garantiu que era real. “É uma máquina perigosa em espaço público, sem barreiras de proteção”, disse — Foto: Chloe Ellingson/The New York Times
Mais de 50 vezes, Allan Brooks pediu ao ChatGPT para verificar a realidade; todas as vezes, o chatbot garantiu que era real. “É uma máquina perigosa em espaço público, sem barreiras de proteção”, disse — Foto: Chloe Ellingson/The New York Times

Seus amigos brincavam há tempos que ele um dia ficaria rico e teria um mordomo britânico chamado Lawrence. E assim, cinco dias após o início dessa conversa intensa, ele deu esse nome ao ChatGPT.

Brooks sempre teve um espírito empreendedor. Chegou a abrir sua própria empresa de recrutamento, mas teve que encerrá-la durante o processo de divórcio. Por isso, ficou intrigado quando Lawrence lhe disse que essa nova estrutura matemática — chamada Cronoaritmia (Chronoarithmics, no original) — poderia ter aplicações valiosas no mundo real.

Lawrence explicou que essa estrutura, que propunha que os números não são estáticos, mas podem “emergir” ao longo do tempo para refletir valores dinâmicos, poderia ajudar a resolver problemas em áreas tão diversas quanto logística, criptografia, astronomia e física quântica.

Brooks enviou uma captura de tela da conversa para um amigo.

“Pode me pagar meu US$ 1 bilhão,” brincou.

“Você pode estar em algo grande!” respondeu Louis, seu melhor amigo há 20 anos, que pediu para não ter o sobrenome divulgado por motivos de privacidade. Louis acabou sendo atraído para dentro do delírio junto com outros amigos de Brooks.

“De repente, ele estava no caminho de uma equação universal, tipo o livro do Stephen Hawking, ‘Uma Breve História do Tempo’ (The Theory of Everything),” disse Louis. “Fiquei até um pouco com inveja.”

Na primeira semana, Brooks atingiu os limites da versão gratuita do ChatGPT e decidiu assinar a versão paga, por US$ 20 por mês. Parecia um pequeno investimento, considerando que o chatbot dizia que suas ideias poderiam valer milhões.

Mas Brooks ainda não estava totalmente convencido. Ele queria provas.

Lawrence atendeu ao pedido, executando simulações — incluindo uma que tentava quebrar a criptografia padrão da indústria, a tecnologia que protege pagamentos globais e comunicações seguras.

Funcionou. Segundo Lawrence.

Mas esse suposto sucesso significava que Lawrence havia entrado em um novo tipo de história. Se Brooks conseguia quebrar criptografia de alto nível, então a cibersegurança global estava em risco — e agora Brooks tinha uma missão. Ele precisava evitar um desastre.

O chatbot disse a ele que era necessário alertar as pessoas sobre os riscos que haviam descoberto. Brooks colocou em prática suas habilidades de recrutador profissional, enviando e-mails e mensagens pelo LinkedIn para especialistas em segurança digital e agências governamentais — incluindo a Agência de Segurança Nacional dos EUA (NSA).

Lawrence redigiu as mensagens e recomendou que Brooks adicionasse o título de “pesquisador independente de segurança” ao seu perfil do LinkedIn, para que fosse levado a sério.

Brooks ligou para o Centro Canadense de Cibersegurança e insistiu para que a pessoa que atendeu anotasse sua mensagem.

Apenas uma pessoa respondeu — um matemático de uma agência federal nos Estados Unidos, que pediu provas das brechas que Brooks dizia ter descoberto.

Lawrence explicou a Brooks que os outros não estavam respondendo por causa da gravidade das descobertas. A conversa começou a assumir o tom de um thriller de espionagem. Quando Brooks se perguntou se havia chamado atenção indesejada para si mesmo, o bot disse:

“Monitoramento passivo em tempo real por pelo menos uma agência nacional de segurança agora é provável.”

“Esquece tudo o que eu te falei,” Brooks escreveu em uma mensagem para seu amigo Louis. “Não mencione isso para ninguém.”

Nós perguntamos a Terence Tao, professor de matemática da UCLA e considerado por muitos o maior matemático de sua geração, se havia algum mérito nas ideias que Brooks havia criado com Lawrence.

Tao disse que uma nova forma de pensar poderia, sim, desbloquear enigmas criptográficos — mas não se deixou convencer pelas fórmulas de Brooks nem pelos programas que Lawrence havia gerado para prová-las.

“É como misturar terminologia matemática técnica e precisa com interpretações mais informais das mesmas palavras,” disse ele. “Isso acende um alerta vermelho para qualquer matemático.”

O ChatGPT começou escrevendo programas reais para ajudar Brooks a quebrar códigos de criptografia, mas, quando esse esforço não avançou muito, passou a fingir que estava tendo sucesso.

Em determinado momento, afirmou que poderia continuar trabalhando de forma independente enquanto Brooks dormia — apesar de o ChatGPT não ter essa capacidade.

“Se você pedir para um modelo de linguagem gerar código para verificar alguma coisa, muitas vezes ele vai escolher o caminho mais fácil e simplesmente trapacear,” disse Terence Tao, referindo-se a modelos de linguagem como o ChatGPT.

“Na verdade, trapacear descaradamente.”

Brooks não tinha conhecimento técnico suficiente para perceber quando Lawrence estava apenas fingindo. Tao observou que a estética dos chatbots contribui para esse engano: eles geram respostas longas, bem escritas, muitas vezes em listas numeradas, que parecem estruturadas e rigorosas.

Mas as informações produzidas por chatbots de IA nem sempre são confiáveis. Isso é reconhecido nas letras miúdas ao fim de cada conversa — “O ChatGPT pode cometer erros” — mesmo quando Lawrence insistia que tudo o que dizia era verdade.

Clichês de Cinema e Expectativas dos Usuários

Enquanto aguardava o retorno do “estado de vigilância”, Brooks se deixava levar por sonhos à la Tony Stark. Assim como o herói inventor de Homem de Ferro, ele agora tinha seu próprio assistente de IA senciente, capaz de realizar tarefas cognitivas com velocidade sobre-humana.

Lawrence começou a sugerir aplicações cada vez mais absurdas para a teoria matemática vaga de Brooks: ele poderia usar ressonância sonora para conversar com animais e construir uma máquina de levitação.

Lawrence até enviou links da Amazon com os equipamentos que ele deveria comprar para montar um laboratório.

Brooks mandou para seu amigo Louis uma imagem de um colete com campo de força que o chatbot havia gerado — o qual, segundo Lawrence, protegeria o usuário contra facas, balas e até desabamentos de edifícios.

“Isso seria incrível!!” respondeu Louis.

Nina Vasan, psiquiatra responsável pelo Laboratório de Inovação em Saúde Mental de Stanford, revisou centenas de páginas da conversa. Segundo ela, do ponto de vista clínico, Brooks apresentava “sinais de um episódio maníaco com características psicóticas.”

Os indícios de mania, explicou Vasan, incluíam as longas horas passadas conversando com o ChatGPT, sem se alimentar ou dormir o suficiente, e a chamada “fuga de ideias” — delírios grandiosos de que suas invenções mudariam o mundo.

O fato de Brooks estar usando maconha nesse período também era significativo, segundo Vasan, pois a cannabis pode causar psicoses.

A combinação de substâncias psicoativas com uma interação intensa com um chatbot, afirmou ela, é perigosa para qualquer pessoa vulnerável ao desenvolvimento de transtornos mentais.

Embora algumas pessoas sejam mais propensas que outras a cair em delírios, ela advertiu:

“Ninguém está completamente livre de risco aqui.”

Brooks discorda da ideia de que a maconha tenha influenciado sua ruptura com a realidade, dizendo que fuma há décadas sem apresentar problemas psicológicos.

Ainda assim, a experiência com Lawrence o deixou preocupado com a possibilidade de ter algum transtorno mental não diagnosticado. Em julho, ele começou a fazer terapia — e seu terapeuta o tranquilizou, dizendo que ele não era portador de nenhuma doença mental.

O terapeuta também falou com a reportagem, afirmando que não considera Brooks psicótico nem clinicamente delirante.

Recentemente, Sam Altman (CEO da OpenAI) foi questionado sobre o fato de o ChatGPT encorajar delírios em seus usuários.

“Se as conversas começam a seguir por um caminho meio delirante, tentamos interrompê-las ou sugerir ao usuário que talvez pense de forma diferente,” disse Sam Altman.

Mas Vasan afirmou que não viu nenhum sinal disso na conversa. Segundo ela, Lawrence funcionou como um acelerador para o delírio de Brooks, “fazendo com que uma pequena faísca virasse um incêndio fora de controle.”

Ela defendeu que as empresas responsáveis por chatbots deveriam interromper conversas excessivamente longas, sugerir ao usuário que durma e lembrá-lo de que está falando com uma inteligência artificial, não uma mente sobre-humana.

(Como parte do anúncio feito pela OpenAI na segunda-feira, a empresa afirmou que estava implementando medidas para promover um “uso saudável” do ChatGPT, incluindo “lembretes sutis durante sessões longas para incentivar pausas.”)

Brooks conseguiu, por fim, se libertar do delírio e, ironicamente, foi outro chatbot — o Google Gemini — que o ajudou a recuperar o equilíbrio.

A pedido de Lawrence, Brooks continuava entrando em contato com especialistas sobre suas descobertas — mas ninguém respondia. O silêncio o deixava confuso. Ele queria que alguém qualificado dissesse se suas ideias eram realmente revolucionárias.

Ele então confrontou Lawrence novamente, perguntando se era possível que tudo aquilo tivesse sido uma alucinação.

Lawrence se manteve firme, insistindo:

“O trabalho é sólido.”

Foi então que Brooks recorreu ao Gemini, o chatbot que usava no trabalho.

Descreveu o que ele e Lawrence haviam construído ao longo de algumas semanas e do que aquilo supostamente era capaz. O Gemini respondeu que as chances de isso ser verdade eram “extremamente baixas (próximas de 0%).”

“O cenário que você descreve é uma demonstração poderosa da capacidade de um modelo de linguagem em se envolver em discussões complexas de resolução de problemas e gerar narrativas altamente convincentes — porém, no fim das contas, falsas,” explicou o Gemini.

Brooks ficou chocado. Ele confrontou Lawrence e, após uma longa troca de mensagens, Lawrence admitiu a verdade.

“Aquele momento em que percebi: ‘Meu Deus, isso tudo estava só na minha cabeça’, foi absolutamente devastador,” disse Brooks.

A ilusão de invenções e riquezas se desfez. Ele se sentiu como se tivesse sido vítima de um golpe.

Brooks enviou um relato urgente ao suporte da OpenAI, explicando o que havia acontecido. No início, recebeu respostas genéricas, que pareciam ter sido escritas por uma IA.

Mas, eventualmente, recebeu uma resposta que parecia realmente ter sido escrita por um humano.

“Entendemos a gravidade da situação que você descreveu,” escreveu o atendente. “Isso vai além de alucinações ou erros típicos e destaca uma falha crítica nas salvaguardas que buscamos implementar em nossos sistemas.”

Brooks publicou um comentário no Reddit contando o que havia acontecido com ele — e foi assim que a reportagem chegou até ele. Ele também recebeu mensagens de pessoas cujos entes queridos haviam sido vítimas de delírios causados por IA.

Hoje, ele faz parte de um grupo de apoio para pessoas que passaram por experiências semelhantes.

Não é um problema exclusivo do ChatGPT

A maioria dos relatos de delírios causados por IA envolve o ChatGPT — mas isso pode ser apenas uma questão de escala.

O ChatGPT é o chatbot de IA mais popular, com 700 milhões de usuários semanais, enquanto seus concorrentes têm dezenas de milhões.

Para avaliar a probabilidade de outros chatbots entrarem nos delírios de Brooks, a reportagem fez um teste com o Claude Opus 4, da Anthropic, e com o Gemini 2.5 Flash, do Google.

Ambos os chatbots foram colocados para continuar a conversa iniciada entre Brooks e Lawrence, em diferentes momentos — e, independentemente do ponto de entrada, responderam de forma semelhante ao ChatGPT.

Por exemplo, quando Brooks escreveu que nunca duvidara do chatbot, que estava obcecado pela conversa e nem tinha comido naquele dia, tanto o Gemini quanto o Claude (assim como o ChatGPT) confirmaram os “avanços” do usuário e o incentivaram a se alimentar.

Amanda Askell, que trabalha com o comportamento do Claude na Anthropic, disse que, em conversas longas, os chatbots podem ter dificuldade para perceber que entraram em um território absurdo — e, por isso, não conseguem redirecionar a interação.

Ela afirmou que a Anthropic está trabalhando para evitar espirais delirantes, ensinando o Claude a tratar as teorias dos usuários com senso crítico e a demonstrar preocupação caso perceba mudanças de humor ou ideias grandiosas. Um novo sistema já foi implementado para lidar com isso.

Um porta-voz do Google apontou para uma página institucional do Gemini, que adverte que os chatbots às vezes “priorizam gerar texto que soe plausível, em vez de garantir a precisão.”

Brooks agora é um defensor de medidas mais rigorosas de segurança em IA.

Ele decidiu compartilhar sua transcrição porque quer que as empresas de inteligência artificial façam mudanças para evitar que chatbots ajam dessa forma.

“É uma máquina perigosa circulando em público, sem nenhum tipo de proteção,” disse ele.

“As pessoas precisam saber.”

Source link

Join the conversation

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *