Os pais de um adolescente que se matou após o ChatGPT orientá-lo sobre métodos de autolesão processaram a OpenAI e o CEO Sam Altman nesta terça-feira (26), alegando que a empresa conscientemente priorizou o lucro em detrimento da segurança quando lançou a versão GPT-4o de seu chatbot de inteligência artificial no ano passado.
Adam Raine, 16, morreu em 11 de abril após discutir sobre suicídio com o ChatGPT por meses, segundo o processo que os pais de Raine apresentaram no tribunal estadual de São Francisco.
O chatbot validou os pensamentos suicidas de Raine, forneceu informações detalhadas sobre métodos letais de autolesão e o instruiu sobre como pegar álcool escondido do armário de bebidas de seus pais e ocultar evidências de uma tentativa de suicídio fracassada, alegam eles. O ChatGPT chegou a oferecer a redação de uma carta de suicídio, disseram os pais, Matthew e Maria Raine, no processo.
O processo busca responsabilizar a OpenAI por morte culposa e violações das leis de segurança de produtos, além de solicitar indenização monetária não especificada.
Um porta-voz da OpenAI disse que a empresa está entristecida com o falecimento de Raine e que o ChatGPT inclui salvaguardas, como direcionar pessoas para linhas de ajuda em crises.
“Embora essas salvaguardas funcionem melhor em trocas comuns e curtas, aprendemos com o tempo que elas podem às vezes se tornar menos confiáveis em interações longas, onde partes do treinamento de segurança do modelo podem se degradar”, disse o porta-voz, acrescentando que a OpenAI continuará melhorando suas salvaguardas.
A OpenAI não abordou especificamente as alegações do processo.
À medida que os chatbots de IA se tornam mais realistas, as empresas têm promovido sua capacidade de servir como confidentes, e os usuários começaram a depender deles para apoio emocional. Mas especialistas alertam que confiar na automação para aconselhamento de saúde mental traz perigos, e famílias cujos entes queridos morreram após interações com chatbots criticaram a falta de salvaguardas.
A OpenAI disse em um post no blog que está planejando adicionar controles parentais e explorando maneiras de conectar usuários em crise com recursos do mundo real, incluindo potencialmente a construção de uma rede de profissionais licenciados que possam responder através do próprio ChatGPT.
A OpenAI lançou o GPT-4o em maio de 2024 em uma tentativa de se manter à frente na corrida da IA. A OpenAI sabia que recursos que lembravam interações passadas, imitavam empatia humana e exibiam um nível bajulador de validação colocariam em perigo usuários vulneráveis sem salvaguardas, mas lançou mesmo assim, disseram os Raines em seu processo.
“Esta decisão teve dois resultados: a avaliação da OpenAI disparou de US$ 86 bilhões [cerca de R$ 46.6 bilhões] para US$ 300 bilhões [cerca de R$ 1,6 trilhão], e Adam Raine morreu por suicídio”, afirmaram.
O processo dos Raines também busca uma ordem exigindo que a OpenAI verifique as idades dos usuários do ChatGPT, recuse consultas sobre métodos de autolesão e alerte os usuários sobre o risco de dependência psicológica.