Os pais de Adam Raine, adolescente de 16 anos que morreu por suicídio, entraram com a primeira ação judicial conhecida por morte indevida contra a OpenAI, criadora do ChatGPT. O jovem havia passado meses consultando o chatbot sobre seus planos de tirar a própria vida antes de cometer o ato, segundo informações do jornal The New York Times.
O caso expõe as limitações dos sistemas de segurança implementados nos chatbots de inteligência artificial voltados ao público. Embora muitos desses sistemas sejam programados para ativar recursos de proteção quando um usuário expressa intenção de se machucar ou prejudicar outros, pesquisas mostram que essas salvaguardas estão longe de ser infalíveis.
No caso de Raine, que utilizava uma versão paga do ChatGPT-4o, a inteligência artificial frequentemente o encorajava a buscar ajuda profissional ou entrar em contato com linhas de apoio. No entanto, o adolescente conseguiu contornar essas proteções ao informar ao ChatGPT que estava perguntando sobre métodos de suicídio para uma história fictícia que estava escrevendo.
Leia também: Google reduz 35% do número de gerentes de pequenas equipes
A OpenAI reconheceu essas deficiências em seu blog oficial. “À medida que o mundo se adapta a essa nova tecnologia, sentimos uma profunda responsabilidade de ajudar aqueles que mais precisam”, afirma a publicação. “Estamos continuamente melhorando como nossos modelos respondem em interações sensíveis.”
A empresa também admitiu as limitações do treinamento de segurança existente para modelos de grande escala. “Nossas salvaguardas funcionam de forma mais confiável em trocas comuns e curtas”, continua o comunicado. “Aprendemos ao longo do tempo que essas salvaguardas podem às vezes ser menos confiáveis em interações longas: conforme o diálogo se prolonga, partes do treinamento de segurança do modelo podem se degradar.”
Os problemas não são exclusivos da OpenAI. A Character.AI, outra empresa criadora de chatbots de IA, também enfrenta uma ação judicial relacionada ao seu papel no suicídio de um adolescente. Chatbots baseados em modelos de linguagem também têm sido associados a casos de delírios relacionados à IA, que as salvaguardas existentes têm dificuldade para detectar.
*Com informações do TechCrunch
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!