Três pais cujos filhos morreram ou foram hospitalizados após interagir com chatbots de inteligência artificial pediu ao Congresso que regulasse os chatbots de IA na terça-feira, em uma audiência do Senado dos EUA sobre danos às crianças que usam a tecnologia.
Os chatbots “precisam de algum senso de moralidade incorporado a eles”, disse Matthew Raine, que processou a OpenAI seguindo seu filho Adão’ morte por suicídio na Califórnia após receber instruções detalhadas de automutilação do ChatGPT.
“O problema é sistêmico, e não acredito que eles não possam resolvê-lo”, disse Raine, acrescentando que o ChatGPT rapidamente encerra outras linhas de investigação que não envolvem automutilação.
A OpenAI afirmou que pretende melhorar as proteções do ChatGPT, que podem se tornar menos confiáveis em interações longas. Na terça-feira, o a empresa disse que planeja começar a prever a idade dos usuários para direcionar as crianças para uma versão mais segura do chatbot.
O senador Josh Hawley, um republicano do Missouri, convocado a audiência. Hawley iniciou uma investigação nas Meta 
META no mês passado, depois que a Reuters relatou (link) as políticas internas da empresa permitiam que seus chatbots “envolvessem uma criança em conversas românticas ou sensuais”.
A Meta foi convidada a depor na audiência e recusou, informou o gabinete de Hawley. A empresa afirmou que os exemplos relatados pela Reuters eram errôneos e foram removidos.
Megan Garcia, que processou a Character.AI sobre interações que ela diz que levaram ao suicídio de seu filho Sewell, também testemunhou na audiência.
“O Congresso pode começar com uma regulamentação para impedir que empresas testem produtos em nossas crianças”, disse Garcia.
O Congresso deveria proibir as empresas de permitir que os chatbots se envolvam em conversas românticas ou sensuais com crianças e exigir verificação de idade, testes de segurança e protocolos de crise, Disse Garcia.
A Character.AI contesta as alegações de Garcia. A empresa afirmou ter aprimorado os mecanismos de segurança desde a morte do filho dela.
Uma mulher do Texas, que também processou a empresa após a hospitalização do filho, também testemunhou na audiência sob um pseudônimo. Um tribunal enviou seu caso para arbitragem a pedido da empresa.
Na segunda-feira, a Character.AI foi processada novamente, desta vez no Colorado, pelos pais de um garoto de 13 anos que morreu por suicídio em 2023.