A segunda maior emissora pública da França, a France 3, realizou um pequeno experimento envolvendo filosofia e inteligência artificial. O site da filial regional da France 3 em Hauts-de-France solicitou ao ChatGPT a criação de uma redação de filosofia para o ensino médio. Depois, uma professora e outras ferramentas de IA avaliaram o texto produzido pelo chatbot.
Um olhar mais atento ao tema
O prompt exato fornecido pelo France 3 ChatGPT foi formulado da seguinte forma:
A questão filosófica: O ChatGPT recebeu então o seguinte tópico para ser discutido na redação: “A verdade é sempre convincente?”. Tanto a resposta completa do ChatGPT quanto a avaliação do texto feita pela professora, destacando as principais críticas, estão incluídas no artigo da France 3 Hauts-de-France, caso você queira lê-las em detalhes.
Começa com um erro claro
O ChatGPT comete um erro grave logo no primeiro parágrafo da introdução. Ele afirma: “Isso levanta a questão: a verdade é suficiente para convencer?”. À primeira vista, isso pode parecer apenas um pequeno desvio da pergunta original: “A verdade é sempre convincente?”. Porém, na filosofia, mesmo pequenas mudanças podem ter um grande impacto, como a professora observa em sua correção do texto: “A IA comete o erro grave de substituir o tópico por outro”.
Entretanto, o restante do texto também apresenta vários problemas aos olhos da professora, como uma estrutura baseada em afirmações pré-fabricadas como: “A verdade como concordância com a realidade deve ser convincente ou transições de texto questionáveis”. Em certo momento do texto do ChatGPT diz-se — “Na realidade, porém, as coisas são mais complicadas”, o que leva a professora a perguntar em sua correção — “Não estávamos na realidade até então?”.
Em última análise, na opinião da professora, o texto continua muito superficial, o que ela resume da seguinte forma quanto à conclusão da obra:
IAs avaliam a redação do ChatGPT
Como citamos, a nota dada pela professora foi apenas 8/20. Mas o que outras IAs acham da redação do ChatGPT? A France 3 perguntou ao próprio GPT, enquanto o portal parceiro alemão GameStar consultou tanto o GPT, quanto outros chatbots. Foi pedido uma avaliação em uma escala de 1 a 20, levando em consideração o contexto de uma prova do ensino médio. Os resultados foram os seguintes:
- ChatGPT (France 3): 19,5/20
- ChatGPT (GameStar): 17/20
- Gemini (GameStar): 15/20
- Perplexity (GameStar): 17/20
- DeepSeek (GameStar): 17/20
- Copilot (GameStar): 17/20
Nenhuma das ferramentas de IA mencionou o erro logo no início do trabalho do ChatGPT em sua avaliação. Ao mesmo tempo, todas elogiaram a boa estrutura e a argumentação convincente e coerente, ilustradas aqui usando a conclusão do DeepSeek como exemplo:
“O texto é bem estruturado e segue uma linha argumentativa clara, dividida em três partes: a persuasão natural da verdade, os limites dessa persuasão e a importância da comunicação. A introdução apresenta o problema com precisão, e a conclusão resume os argumentos com segurança.”
Significado muito limitado
Apesar do teste curioso, este foi um caso isolado e com pouquíssimos objetos de análise:
- Por exemplo, a resposta de uma IA a um prompt específico varia mesmo quando uma solicitação idêntica é usada várias vezes para a mesma IA e dependendo da ferramenta e do módulo específicos.
- O quão bem (ou mal) a IA executa uma tarefa geralmente depende da formulação precisa (e tão bem pensada quanto possível) de um prompt.
- Por fim, o escopo para avaliações divergentes é comparativamente grande, especialmente na área de filosofia, de modo que outro professor pode avaliar o trabalho do ChatGPT de forma mais positiva.
No entanto, é interessante ver como as várias ferramentas de IA concordaram em sua avaliação muito positiva do trabalho do Abitur do ChatGPT, enquanto a professora chega a uma conclusão muito mais negativa.
Não se pode descartar a possibilidade de um certo viés ter influenciado. Afinal, a professora sabia que o texto havia sido escrito por uma IA. No entanto, consideramos suas críticas ao trabalho bastante convincentes, mesmo que não devam ser consideradas verdades irrefutáveis.
Inscreva-se no canal do IGN Brasil no YouTube e visite as nossas páginas no TikTok, Facebook, Threads, Instagram, Bluesky, X e Twitch!