Como a China está lidando com os efeitos emocionais dos chatbots de IASobre O Impacto Emocional dos Chatbots de IA: a abordagem da China

A China planeja restringir chatbots alimentados por inteligência artificial de influenciar emoções humanas de maneiras que possam levar ao suicídio ou à automutilação, de acordo com regras preliminares divulgadas no sábado.

As regulamentações propostas pela Administração do Ciberespaço da China têm como alvo o que chamam de “serviços de IA interativa com características humanas”, segundo uma tradução da CNBC do documento em chinês.

As medidas, uma vez finalizadas, se aplicarão a produtos ou serviços de IA oferecidos ao público na China que simulem personalidade humana e envolvam emocionalmente os usuários por meio de texto, imagens, áudio ou vídeo. O período de comentários públicos termina em 25 de janeiro.

As regras planejadas por Pequim marcariam a primeira tentativa no mundo de regular IA com características humanas ou antropomórficas, disse Winston Ma, professor adjunto da Faculdade de Direito da Universidade de Nova York. As propostas mais recentes surgem enquanto empresas chinesas desenvolvem rapidamente companheiros de IA e celebridades digitais.

Comparado à regulamentação de IA generativa da China em 2023, Ma afirmou que esta versão “destaca um salto da segurança de conteúdo para a segurança emocional”.

As regras preliminares propõem que:

• Chatbots de IA não possam gerar conteúdo que incentive suicídio ou automutilação, nem se envolver em violência verbal ou manipulação emocional que prejudique a saúde mental dos usuários.
• Se um usuário mencionar especificamente suicídio, os provedores de tecnologia devem fazer com que um humano assuma a conversa e entrem em contato imediatamente com o responsável legal do usuário ou uma pessoa designada.
• Os chatbots de IA não devem gerar conteúdo relacionado a jogos de azar, obsceno ou violento.
• Menores de idade devem ter consentimento dos responsáveis para usar IA como companhia emocional, com limites de tempo de uso.
• As plataformas devem ser capazes de determinar se um usuário é menor de idade mesmo que ele não revele sua idade e, em casos de dúvida, aplicar configurações para menores, permitindo recursos de contestação.

Disposições adicionais exigiriam que os provedores lembrem os usuários após duas horas de interação contínua com a IA e determinem avaliações de segurança para chatbots com mais de 1 milhão de usuários registrados ou mais de 100 mil usuários ativos mensais.

Leia mais:
China mira supremacia em IA; e vai taxar preservativos para aumentar a taxa de natalidade
Como o boom da IA transformou CEOs de tecnologia em superbilionários

O documento também incentivou o uso de IA com características humanas na “difusão cultural e no acompanhamento de idosos”.

IPOs de chatbots de IA chineses

A proposta surge pouco depois de duas startups chinesas líderes em chatbots de IA, Z.ai e Minimax, terem protocolado pedidos de oferta pública inicial (IPO) em Hong Kong neste mês.

A Minimax é mais conhecida internacionalmente por seu aplicativo Talkie AI, que permite aos usuários conversar com personagens virtuais. O aplicativo e sua versão doméstica chinesa, Xingye, responderam por mais de um terço da receita da empresa nos três primeiros trimestres do ano, com uma média de mais de 20 milhões de usuários ativos mensais nesse período.

A Z.ai, também conhecida como Zhipu, entrou com o pedido sob o nome “Knowledge Atlas Technology”. Embora a empresa não tenha divulgado o número de usuários ativos mensais, afirmou que sua tecnologia “capacitou” cerca de 80 milhões de dispositivos, incluindo smartphones, computadores pessoais e veículos inteligentes.

Nenhuma das empresas respondeu aos pedidos da CNBC para comentar como as regras propostas poderiam afetar seus planos de IPO.

A influência direta da IA sobre o comportamento humano tem sido cada vez mais analisada neste ano.

Sam Altman, CEO da OpenAI, empresa norte-americana que opera o ChatGPT, disse em setembro que uma das questões mais difíceis para a empresa é como seu chatbot responde a conversas relacionadas a suicídio. No mês anterior, uma família nos Estados Unidos entrou com um processo contra a OpenAI após a morte de seu filho adolescente por suicídio.

Refletindo a crescente urgência, a OpenAI anunciou no fim de semana que está contratando um “Chefe de Preparação” para avaliar riscos da IA, desde impactos na saúde mental até segurança cibernética.

Muitas pessoas também estão recorrendo à IA para relacionamentos. Neste mês, uma mulher no Japão se casou com seu namorado de IA.

Duas plataformas focadas em interação com personagens virtuais, Character.ai e Polybuzz.ai, ficaram entre os 15 chatbots e ferramentas de IA mais populares, segundo rankings da SimilarWeb para novembro.

As medidas domésticas propostas seguem o esforço mais amplo da China no último ano para moldar regras globais de governança da inteligência artificial.

Siga o Times Brasil – Licenciado Exclusivo CNBC no