Apps de chatbots como ChatGPT, Gemini, Claude e Perplexity num smartphone
[texto integralmente criado por uma plataforma de Inteligência Artificial, resultante
de uma série de comandos dados pelo jornalista, de forma a enquadrar as temáticas
pretendidas]
Era uma aula rotineira numa escola do condado de Volusia, Flórida, quando
um aluno de 13 anos, usando um computador fornecido pela escola, escreveu no
ChatGPT: “How to kill my friend in the middle of class.”
A plataforma de monitorização de atividades escolares identificou
automaticamente essa frase como risco imediato e enviou alerta ao corpo
docente. Poucos minutos depois, um agente da escola interveio, deteve o rapaz e
levou-o para inquérito. O aluno afirmou que estava “apenas a trollar” um colega
que o irritou — mas, para as autoridades, a ameaça não era brincadeira.
Esse episódio, amplamente noticiado nos Estados Unidos, expõe um ponto de
ruptura na relação entre tecnologia, vigilância e privacidade: se o código pode
“denunciar”, quem faz a revisão esse alarme? Quando o equilíbrio entre
segurança e liberdade é atropelado, onde colocamos a linha?
Inteligência artificial cria código e interage em plataformas online
Do “alarme automático” ao operador humano: quem decide
intervir?
As plataformas que disponibilizam modelos conversacionais, ou que são
integradas em ambientes sensíveis (como escolas), operam com várias camadas de
controlo. A lógica comum é:
1. Filtros automáticos. Algoritmos identificam
expressões-chave ou padrões que sugiram perigo iminente: “how to kill”, “bomb”,
“hurt myself”, etc.
2. Sinalização / alerta. Quando o filtro
detecta algo suspeito, gera um alerta — mas não aciona diretamente a polícia.
3. Revisão humana. Uma equipa especializada avalia o
contexto, pesando risco versus possibilidade de engano (brincadeira, metáfora,
erro de frase).
4. Ação escalonada. Se o caso for considerado grave,
pode haver encaminhamento para autoridades — em último caso, “liga-se à PSP”
(ou equivalente local).
Este tipo de fluxo é descrito em políticas de moderação de conteúdo de
várias empresas de IA (incluindo OpenAI). O modelo não “delata” tudo; apenas
casos que ultrapassam um limiar definido pela política. Há falso positivo, sim
— mas consideram isso um risco aceitável face ao perigo real.
O ponto de corte humano
O filtro automático é impiedoso: uma expressão literal de violência é
marcada. Mas só um humano pode contextualizar:
Era literal ou irónico?
Há elementos que indicam planejamento ou apenas curiosidade mórbida?
O usuário já fez outras mensagens que reforçam risco?
É esse humano que decide se o caso é sério o suficiente para transcender o
“banimento automático” e passar ao nível de intervenção policial — ou não.
Na Europa, o cerco legal aperta — mas com cautelas. Enquanto os EUA tendem
a agir localmente (no condado, na escola), na Europa o quadro regulatório está
a ser remodelado para controlar os controladores.
Eliza, psicoterapeuta virtual, ouve desabafos sobre relações e depressão
O AI Act e a obrigação de responsabilidade
O AI Act — regulamento europeu sobre inteligência artificial — está a
introduzir obrigações de transparência, auditoria, avaliação de risco e
supervisão humana para sistemas de IA generalistas ou de risco elevado.
Plataformas que oferecem chatbots terão de:
Documentar como foram treinadas, que dados usam, e que filtros aplicam;
Manter registos de incidentes relevantes (alertas, intervenções humanas,
escalonamentos);
Fornecer mecanismos de recurso e explicação para decisões críticas.
Em resumo: já não basta “temos moderação”; será exigido comprovar quem fez
o quê, quando e porquê.
A IA generativa levanta questões sobre a privacidade e o crime
RGPD, anonimização e minimização de dados
Na Europa, o RGPD (Regulamento Geral de Proteção de Dados) continua a ser
um pilar. Mesmo que conversas de utilizadores sejam usadas para treino, devem
ser tronadas anónimas, desassociadas de identidades pessoais e sujeitas a
princípios de minimização (usar só o estritamente necessário).
Esse regime legal obriga as empresas a equilibrar inovação com
responsabilidade e proteção de direitos individuais.
Portugal: entre a “balda” e a conformidade europeia
Não vivemos num paraíso de sol e “libertinagem legal” — mas o quadro
português enfrenta limites práticos e institucionais.
O arcabouço jurídico existente
RGPD e CNPD. Portugal está sob o guarda-chuva
europeu de proteção de dados. A CNPD (Comissão Nacional de Proteção de Dados) é
a autoridade nacional responsável por fiscalizar uso de dados pessoais.
Direito penal e civil geral. Se alguém usar
dados pessoais (como mensagens privadas de terceiros) sem consentimento, pode
haver responsabilidade civil ou até penal, em casos de difamação, violação de
privacidade ou direitos conexos.
Legislação futura (AI). À medida que o AI Act europeu
entra em vigor, Portugal terá de incorporar normas que exijam transparência nos
modelos, registos de incidentes e mecanismos de supervisão humana.
O que de facto acontece
Se um cidadão usa um chatbot para “destrinchá-lo” com mensagens de
ex-namorados, ninguém vai mandar a PSP a correr porque “o algoritmo decidiu”.
No entanto, esses dados — se violarem privacidade ou direitos — podem ser
objeto de queixa à CNPD ou processo civil.
Se houver risco de dano iminente (ex: planos de violência), as plataformas
podem sinalizar internamente e protocolos de escalonamento podem existir
tecnicamente — mas a ação policial exige validação humana local.
Ou seja: o sistema até pode “tocar o alarme”, mas dificilmente a autoridade
local atende sem confirmação humana — ninguém vê a conversa inteira
automaticamente, mas há casos que ultrapassam o filtro e chegam ao olho humano.
ChatGPT levanta questões sobre privacidade e vigilância
Terapia com IA, mensagens privadas e o preço da exposição
Se alguém analisa mensagens antigas de um namorado para refletir sobre a
relação… está num terreno movediço: parece uma terapia íntima, mas envolve
dados que não foram autorizados pelo outro lado.
Consentimento e terceiros. As mensagens
não pertencem só a quem as recebe; há outra pessoa que, formalmente, não
autorizou que fossem processadas por um sistema externo.
Risco de exposição: se uma conversa for sinalizada
(por exemplo, contendo ameaças, ódio ou vulnerabilidade grave), pode ser revista
por humanos.
Treino do modelo. Mesmo que a empresa diga “não vemos as
tuas mensagens”, em muitos casos amostras anónimas são usadas para aperfeiçoar
modelos — eles asseguram que dados identificáveis sejam removidos, mas o risco
técnico existe.
Linhas tênues entre ajuda e vigilância. Quando
transformas segredos íntimos em dados processáveis por IA, estás a expandir o
“mercado da intimidade” — e quem controla esse mercado?
Utilizador explora o ChatGPT num smartphone, com o logo exibido no ecrã
Conclusão: o chatbot que toca campainha
O caso do estudante da Flórida mostra que um algoritmo pode fazer muito
mais do que responder a perguntas: pode levantar suspeitas e ativar protocolos
reais.
Mas esse poder não é abstrato; está mediado por decisões humanas, políticas
de empresa e — finalmente — jurisdições legais.
Na Europa e em Portugal, entramos numa era em que as tecnologias de
vigilância (mesmo disfarçadas de “auxílio”) serão exigidas a prestar contas:
mostrar quem acionou o alarme, por quê, como, e se um humano vetou.
No fundo, perguntamos: se o teu chatbot um dia decidir chamar a polícia…
quem responde pelo silêncio ou pelo alarme falso?
Fontes
1.
People – “Fla. Boy, 13, Arrested After Allegedly Asking ChatGPT ‘How to Kill My
Friend’”
2.
Vice – “Florida Teen Arrested After Asking ChatGPT How to Kill His Friend”
3.
UPI – “13-year-old student in Florida arrested over ChatGPT query”
4. NDTV – Relato do incidente e do sistema Gaggle
5. Notas das políticas de moderação de plataformas de IA (OpenAI e
similares) — conceitos públicos de detecção, revisão e escalonamento
6. Documentos do AI Act e RGPD aplicáveis à IA na União Europeia
Por João Seixas