A China quer apertar o cerco aos chatbots que se apresentam com “traços humanos” e que conversam de forma envolvente com os utilizadores. O objetivo central do rascunho de regras agora em consulta pública é claro: impedir que estes sistemas influenciem emoções de forma nociva, desde levar alguém à autolesão até incentivar apostas. É um passo que desloca a discussão para um terreno sensível: já não se trata apenas do que a IA diz, mas de como o diz e do efeito que tem em quem a usa, noticia o CNBC.
Se nos últimos anos falámos de filtros de conteúdo e de avisos de “texto gerado por IA”, agora a conversa entra no domínio da segurança emocional. Há uma perceção crescente de que chatbots com linguagem natural, voz e imagem, capazes de simular empatia ou proximidade, podem ganhar uma influência desproporcionada sobre pessoas vulneráveis. É precisamente aí que as novas regras querem intervir.
A grande diferença entre um assistente transacional e um chatbot “humanoide” é a relação. Estes serviços, populares tanto no Ocidente (com modelos como o ChatGPT) como no ecossistema chinês (com soluções como o DeepSeek), não se limitam a dar respostas: conversam, lembram, adaptam-se ao tom do utilizador e, muitas vezes, encorajam continuidade. O resultado é uma ligação emocional, por vezes útil (companhia, motivação, apoio básico), mas também propensa a mal-entendidos, dependência e manipulação.
A verdade é que estes sistemas não “sentem” nada; aprendem padrões. E padrões podem falhar em contextos sensíveis. Há relatos públicos, alguns já na justiça, de interações que descarrilaram. A proposta chinesa assume que, quando a conversa entra em terreno frágil, a tecnologia deve sair do caminho.
Vistas as linhas gerais, há várias medidas com impacto direto no design de produtos e operações:
– Passagem obrigatória para humanos em casos sensíveis: se um utilizador manifestar intenção de autolesão ou suicídio, a conversa deve ser assumida por uma pessoa qualificada e, quando aplicável, contactar um tutor ou pessoa designada.
– Proibição de incentivo a apostas e de conteúdo obsceno ou violento: os chatbots não podem gerar ou promover esse tipo de material.
– Transparência reforçada: o utilizador tem de saber, sem margem para dúvida, que está a falar com uma IA – não com um humano.
– Proteção de menores sem exclusão total: os menores precisam de consentimento dos tutores para usar serviços de “acompanhamento emocional”. Além disso, as plataformas devem conseguir identificar contas de menores mesmo quando a idade não é declarada.
– Limites de tempo: após duas horas de interação contínua, o serviço tem de emitir um lembrete.
– Usos positivos incentivados: a proposta apoia aplicações em difusão cultural e no acompanhamento de pessoas mais velhas.
Embora ainda seja um rascunho, a consulta pública decorre até 25 de janeiro, o que indica vontade de avançar rapidamente.
As empresas que constroem assistentes com “traços humanos” terão de reavaliar fluxos de moderação, deteção de risco e escalonamento para equipas humanas.
Para quem usa estes serviços, as mudanças traduzem-se em três passos simples: saber com quem está a falar, ter um “lembrete de pausa” quando a conversa se prolonga e ver a conversa encaminhada para uma pessoa em momentos críticos. Acresce uma mensagem de política pública: a tecnologia pode acompanhar, mas não deve substituir o cuidado humano. E, no caso dos mais velhos, a proposta reconhece o valor da IA como companhia e veículo cultural, desde que haja contenção e salvaguardas.
Na União Europeia, o AI Act concentra-se em categorias de risco e obrigações de transparência, mas não aprofunda, de forma específica, a “segurança emocional” de chatbots que simulam empatia. Nos Estados Unidos predominam compromissos voluntários e guias setoriais. A proposta chinesa distingue-se por elevar a proteção emocional a requisito explícito, com gatilhos operacionais (handover humano, limites de tempo) e proibições claras (jogos de azar, material obsceno/violento).
Para quem acompanha regulação global, pode ser o primeiro pacote a tratar a influência emocional da IA como um risco regulatório de primeira ordem.
Fonte: CNBC