Pesquisadores de segurança cibernética que participam do programa Bug Bounty da Mozilla descobriram uma vulnerabilidade no recurso de resumo automático de conversas do Gmail, desenvolvido pela inteligência artificial Gemini, que pode ser usado para ataques de phishing. Os invasores podem inserir instruções ocultas em e-mails, fazendo com que a IA gere avisos falsos e engane os usuários, informou a PCMag.
Fonte da imagem: Solen Feyissa/Unsplash
No experimento, os pesquisadores mostraram como texto invisível — em branco e com tamanho de fonte zero — pode ser usado para incorporar comandos no corpo de um e-mail. O usuário não vê o conteúdo adicional, mas a IA o lê e o utiliza para gerar um resumo. Como resultado, o Gemini pode adicionar uma notificação falsa sobre uma conta hackeada e se oferecer para ligar para um número fraudulento, supostamente para restaurar o acesso.
Fonte da imagem: pcmag.com
O Google reconheceu o problema e observou que fez alterações para corrigir a vulnerabilidade. A empresa informou à PCMag que aprimora regularmente a segurança de seus modelos, incluindo treinamento para resistir a ataques maliciosos, e garantiu que o método descrito não foi utilizado por hackers em ataques reais.
O Google já publicou materiais sobre o combate às “injeções rápidas” — métodos de influenciar maliciosamente a IA por meio de comandos ocultos do usuário.