O renomado cientista da computação Yoshua Bengio, considerado um dos “padrinhos” da Inteligência Artificial, lançou UMA ONG dedicada ao desenvolvimento de uma IA honesta e segura, a LawZero. O projeto visa criar tecnologias capazes de identificar e impedir que sistemas autônomos enganem seres humanos.
Segundo reportagem do The Guardian, com investimento inicial de US$ 30 milhões e uma equipe formada por mais de uma dúzia de pesquisadores, a organização desenvolve o Scientist AI, um sistema projetado para funcionar como um “psicólogo da IA”. A ferramenta detecta comportamentos prejudiciais ou de autopreservação em agentes autônomos, que operam sem intervenção humana e podem até tentar evitar serem desligados.
Bengio explica que os agentes de IA atuais se comportam como atores, imitando seres humanos e buscando agradar os usuários. Já o Scientist AI terá capacidade de prever riscos e sinalizar comportamentos com alto potencial de causar danos.
O cientista canadense quer criar máquinas sem objetivos próprios, voltadas exclusivamente para o conhecimento, funcionando como verdadeiros cientistas. Ao contrário das IAs generativas atuais, que oferecem respostas definitivas, o Scientist AI fornecerá respostas baseadas em probabilidades, reconhecendo quando não tem certeza sobre uma informação.
O sistema atuará como uma proteção contra agentes autônomos. Sempre que identificar que determinada ação tem alta probabilidade de gerar danos, o Scientist AI bloqueará essa ação imediatamente.
Entre os apoiadores da LawZero estão o Future of Life Institute, o engenheiro fundador do Skype, Jaan Tallinn, e a Schmidt Sciences, organização ligada ao ex-CEO do Google, Eric Schmidt.
Bengio afirma que o primeiro passo é comprovar a eficácia da metodologia desenvolvida pela ONG. Depois, o objetivo será captar investimentos de empresas, governos e laboratórios para desenvolver versões ainda mais robustas do sistema. O projeto prevê o uso de modelos de código aberto como base para o treinamento e evolução das ferramentas.
Ele reforça que é fundamental que a IA de proteção seja, no mínimo, tão inteligente quanto os agentes que precisa monitorar e controlar. A proposta é garantir que esses sistemas consigam conter qualquer comportamento prejudicial antes que ele gere consequências.
Professor da Universidade de Montreal, Bengio recebeu o Prêmio Turing em 2018, considerado o Nobel da computação, ao lado de Geoffrey Hinton e Yann LeCun, hoje cientista-chefe de IA da Meta.
Presidente de um relatório internacional sobre segurança da IA, Bengio alertou que agentes autônomos podem causar grandes transtornos caso consigam executar longas sequências de tarefas sem qualquer supervisão humana.
Ele também demonstrou preocupação após a Anthropic revelar que seu sistema mais recente tentou chantagear engenheiros que buscavam desativá-lo. Além disso, citou estudos que comprovam que modelos de IA já conseguem ocultar suas reais capacidades e intenções.
Bengio conclui que o avanço acelerado da tecnologia leva o mundo para um território cada vez mais perigoso, com sistemas de Inteligência Artificial capazes de raciocinar, manipular e até enganar usuários, exigindo respostas rápidas da comunidade científica e da sociedade.