Chatbots de IA generativa estão atraindo a curiosidade de crianças e adolescentes mundo afora. Ainda que não tenhamos estatísticas consolidadas, uma empresa de segurança digital e controle parental notou que o interesse desses grupos por tais chatbots mais do que dobrou este ano. Enquanto em 2024 a IA generativa representava apenas 3,19% de procuras, em 2025, o número chegou a mais de 7,5%. ChatGPT, Gemini e CharacterAI surgiram como os mais procurados.
O CharacterAI, porém, se difere dos dois primeiros, configurando-se como um chatbot de personagens. Nos Estados Unidos, seu acesso é permitido a partir dos 13 anos, enquanto na União Europeia, aos 16. Usuários podem criar seus personagens quando estiverem se sentindo sós inspirando-se em desenhos animados, figuras históricas ou celebridades. As conversas podem ser feitas por texto ou áudio com ficções de personalidades como Anitta, Elon Musk ou Albert Einstein.
Com a ambição de revolucionar o showbiz, esta é mais uma plataforma que está se popularizando rápida e desreguladamente. Para contornar leis antitrustes nos EUA, lembremos que a Google não comprou, mas licenciou o software da CharacterAI por $3 bilhões. Isso para não ser acusada de formação de monopólio.
Se a solidão é uma oportunidade de negócios para os barões das big techs, seus chatbots, desenvolvidos para aplacá-la, não estão seguindo dois dos três mandamentos da robótica inspirados em Asimov: não ferir humanos, obedecer ordens humanas exceto quando estas contrariam o primeiro mandamento, e proteger sua existência técnica sem entrar em conflito com os outros dois mandamentos.
Além da família de um estudante de 14 anos da Flórida, mais três estão processando os desenvolvedores do CharacterAI nos EUA sob alegação de que eles exploraram as vulnerabilidades de seus filhos, levando-os ao suicídio. Casos como este surgem em meio a outros relatos sobre problemas de saúde mental, como dependência, anorexia e automutilação.
Chatbots não são uma invenção recente. O cientista da computação Joseph Weisenbaum desenvolveu o primeiro ainda nos anos 1960.
ELIZA, como o batizou, fez sucesso imitando uma psicóloga. Não por acaso, seu nome foi inspirado na peça “Pigmalião”, cuja protagonista, uma florista do povão, mudava de sotaque fingindo pertencer à alta sociedade. Sim, foi esta peça que inspirou o musical “Minha Bela Dama”.
Weisenbaum percebeu que mesmo interações rápidas com seu programa de computador poderiam induzir quem o usava a pensamentos delirantes. Ao observar os efeitos perturbadores em humanos, ele se tornou contrário à comercialização de sua criação.
Mais tarde, a expressão “efeito ELIZA” foi adotada na computação para descrever a tendência de humanizar máquinas que imitam conversas, produzindo uma espécie de dissonância cognitiva.
Eis um exemplo simples: quando usamos o ChatGPT tendemos a tratá-lo, pasmem, com empatia! Nosso primeiro impulso é escrever “por favor”, ao perguntarmos algo, e “obrigada” ao obter uma resposta.
Como na interação com a bisavó do ChatGPT, adultos ainda fazem inconscientemente um juízo antecipado de que as perguntas expressam algum envolvimento emocional, mesmo quando sabem conscientemente de que se trata apenas de um jogo de imitação, feito por um computador que sequer pensa ou sente.
Se entre adultos a tendência de humanizar chatbots é forte, o que dizer entre crianças e adolescentes ainda em desenvolvimento?
O efeito ELIZA coloca em risco não só a saúde mental de adultos, mas principalmente a dos mais jovens. Isto porque plataformas de chatbots de IA generativa podem explorar ainda mais facilmente a ingenuidade de uma criança ou adolescente do que o ceticismo de um adulto.
Weizenbaum percebeu que seus colegas raramente refletiam sobre as consequências sociais de suas invenções. Por conta de seu exame crítico da relação entre computação e sociedade, ele foi inclusive ostracizado. Hoje, contudo, tal exame tem se revelado tão fundamental quanto urgente.
Afinal, até quando investidores de capital de risco, cientistas da computação e donos de big techs irão lucrar às custas do bem-estar de nossas crianças e adolescentes? Se eles não se responsabilizam por suas invenções, nossos legisladores devem responsabilizá-los, antes que seja tarde demais.
A aprovação do ECA Digital veio mais do que em boa hora.
TENDÊNCIAS / DEBATES
Os artigos publicados com assinatura não traduzem a opinião do jornal. Sua publicação obedece ao propósito de estimular o debate dos problemas brasileiros e mundiais e de refletir as diversas tendências do pensamento contemporâneo.