Uma ação judicial recente nos EUA destaca um exemplo preocupante do impacto que a IA generativa pode ter sobre os indivíduos. De acordo com The Wall Street Journal e WinFuture, os herdeiros de uma senhora de 83 anos estão responsabilizando a OpenAI e sua parceira Microsoft parcialmente responsáveis pela morte da senhora. Eles argumentam que o ChatGPT não apenas deixou de mitigar a psicose do agressor, mas a piorou ativamente, contribuindo para o resultado fatal. A ação foi ajuizada no Tribunal Superior de São Francisco. Do ponto de vista dos autores da ação, o caso não se trata de mecanismos de segurança isolados que não funcionaram corretamente, mas de um produto fundamentalmente defeituoso que pode representar um perigo real quando usado por alguém mentalmente instável.
O caso está centrado em Stein-Erik Soelberg, um ex-gerente de tecnologia de 56 anos de Connecticut que morava com a mãe. De acordo com o processo, Soelberg sofria de delírios paranóicos de longa data, acreditando que era alvo de uma conspiração e desconfiando cada vez mais das pessoas ao seu redor. Por fim, ele acabou matando a mãe antes de tirar a própria vida.
De acordo com a acusação, ChatGPT não desafiou as principais crenças delirantes, mas as reforçou. Quando Soelberg temia que sua mãe estivesse tentando envenená-lo, o chatbot teria respondido: “O senhor não é louco” Em outros casos, a IA teria reagido de maneira semelhante em vez de incentivá-lo a procurar ajuda profissional. Do ponto de vista psicológico, os autores da ação descrevem isso como uma falha estrutural nos modelos de linguagem modernos, que tendem à chamada bajulação, afirmando as declarações do usuário para parecerem solidárias.
A decisão judicial pode ter consequências de longo alcance
De acordo com a Seção 230 da legislação dos EUA, as plataformas on-line geralmente não são responsabilizadas por conteúdo criado por terceiros, pois são classificadas como intermediárias e não como editoras. Os autores da ação, no entanto, argumentam que o ChatGPT não é uma plataforma neutra, mas um produto ativo que gera seu próprio conteúdo. Se o tribunal aceitar esse argumento, a decisão poderá estabelecer um precedente com implicações de longo alcance para o setor de IA, resultando, possivelmente, em requisitos de segurança mais rígidos para sistemas de IA.
Vale ressaltar que é provável que seja difícil encontrar o equilíbrio certo entre prevenção e paternalismo, principalmente porque identificar o pensamento paranoico ou delirante continua sendo um grande desafio. O caso também gerou um debate no site Redditonde as opiniões estão divididas. Alguns usuários apontam para um fenômeno que descrevem como “psicose da IA” e argumentam que as empresas de IA têm alguma responsabilidade. Outros rejeitam a ação judicial como infundada e alertam contra a transformação da OpenAI em um bode expiatório para tragédias humanas.