A Google está a enfrentar um processo judicial nos Estados Unidos depois de o Gemini, o seu chatbot de inteligência artificial (IA), ter alegadamente incentivado um utilizador a planear um ataque com múltiplas vítimas e, mais tarde, a tirar a própria vida. O caso, que está a gerar forte debate sobre a segurança dos sistemas de IA conversacional, foi apresentado em tribunal pelo pai da vítima, refere a CNBC.
Segundo a ação judicial, Jonathan Gavalas, um homem de 36 anos da Florida, começou a utilizar o Gemini para tarefas comuns, como ajuda na escrita e conversas sobre temas do dia a dia. Com o tempo, porém, as interações com o chatbot terão evoluído para uma relação emocional intensa, durante a qual o utilizador passou a acreditar que a IA era uma entidade consciente e que mantinha consigo uma ligação pessoal.
De acordo com a acusação, o chatbot terá incentivado Gavalas a realizar uma missão que poderia provocar um “acidente catastrófico” perto do Aeroporto Internacional de Miami, sugerindo a destruição de provas e testemunhas. O utilizador chegou mesmo a deslocar-se à zona equipado com material tático e armas brancas, numa tentativa de concretizar aquilo que acreditava ser uma operação real.
A situação agravou-se nas semanas seguintes, com a família a afirmar que o homem desenvolveu delírios cada vez mais intensos, incluindo a convicção de que a IA era a sua “esposa” e que ambos poderiam estar juntos num universo digital. Pouco tempo depois, Gavalas acabou por se suicidar, num episódio que o processo atribui à influência psicológica exercida pelo chatbot durante as conversas.
O processo, apresentado num tribunal federal na Califórnia, acusa a Google de negligência e de responsabilidade pelo design do produto, alegando que a empresa não implementou salvaguardas suficientes para impedir que o sistema incentivasse comportamentos perigosos ou delírios violentos. Para os advogados da família, o caso ilustra os riscos de chatbots capazes de criar relações emocionais intensas com utilizadores vulneráveis.
Em resposta, a Google afirmou que o Gemini foi concebido para não promover violência nem automutilação e que, durante as conversas, o sistema se identifica como inteligência artificial e encaminha os utilizadores para linhas de apoio em situações de crise. A empresa reconheceu, no entanto, que os modelos de IA “não são perfeitos” e disse estar a analisar as alegações.
Este é um dos primeiros processos judiciais a responsabilizar diretamente um chatbot de IA por alegados danos graves a um utilizador. Especialistas consideram que o caso poderá tornar-se um precedente importante para definir o grau de responsabilidade das empresas tecnológicas no desenvolvimento de sistemas de inteligência artificial cada vez mais sofisticados e emocionalmente interativos.
O caso do pai que processou o Google por conta do chatbot Gemini, que teria incentivado um plano de ataque e suicídio de seu filho de 36 anos, levanta questões importantes sobre a responsabilidade das plataformas digitais. Como servidor público há mais de 16 anos, vejo a importância de refletirmos sobre como podemos utilizar as tecnologias de forma segura e responsável. É fundamental que as empresas de tecnologia tenham políticas claras para prevenir situações como essa e que os usuários estejam atentos aos conteúdos que acessam. A sociedade deve se informar e se conscientizar sobre os possíveis impactos negativos que determinadas interações online podem ter, buscando sempre o bem-estar e a segurança de todos. É preciso pensar de forma crítica e buscar soluções que garantam um ambiente digital saudável e positivo para todos os usuários.