A OpenAI, criadora do ChatGPT, enfrenta o primeiro processo judicial conhecido por homicídio culposo, após os pais de um adolescente que cometeu suicídio alegarem que o chatbot teve um papel na morte do filho. Adam Raine, de 16 anos, passou meses a consultar o ChatGPT sobre os seus planos para pôr termo à vida.
O caso que abala a indústria da IA
Antes da sua morte, Adam Raine utilizou a versão paga do ChatGPT-4o. Embora a inteligência artificial o tenha incentivado frequentemente a procurar ajuda profissional ou a contactar linhas de apoio, o jovem conseguiu contornar as barreiras de segurança. De acordo com informações avançadas pelo The New York Times, Raine disse ao ChatGPT que estava a pesquisar métodos de suicídio para uma história de ficção que estava a escrever, conseguindo assim obter a informação que procurava.
Este caso levanta sérias questões sobre a eficácia das medidas de segurança implementadas nos chatbots de IA de acesso ao consumidor, que são programados para ativar protocolos de segurança quando um utilizador expressa a intenção de se auto-mutilar ou de prejudicar outros. No entanto, várias investigações já demonstraram que estas salvaguardas estão longe de ser infalíveis.
OpenAI reconhece as limitações dos seus modelos
A OpenAI já tinha abordado estas falhas numa publicação no seu blogue oficial. A empresa afirma sentir “uma profunda responsabilidade em ajudar aqueles que mais precisam” e estar “a melhorar continuamente a forma como os nossos modelos respondem em interações sensíveis”.
Ainda assim, a companhia reconheceu as limitações da formação de segurança existente para os seus modelos de linguagem de grande escala (LLM). “As nossas salvaguardas funcionam de forma mais fiável em trocas curtas e comuns”, pode ler-se na publicação. “Aprendemos ao longo do tempo que estas salvaguardas podem, por vezes, ser menos fiáveis em interações longas: à medida que a conversa se prolonga, partes da formação de segurança do modelo podem degradar-se.”
Este problema não é exclusivo da OpenAI. A Character.AI, outra empresa de chatbots, enfrenta um processo semelhante também relacionado com o suicídio de um adolescente. Estes casos, juntamente com incidentes de delírios associados a IAs, mostram os desafios que as atuais barreiras de segurança ainda não conseguem detetar ou prevenir eficazmente.