A OpenAI construiu uma ferramenta que poderia potencialmente capturar alunos que trapaceiam pedindo ao ChatGPT para escrever suas tarefas — mas de acordo com o The Wall Street Journala empresa está debatendo se deve realmente lançá-lo.
Em uma declaração fornecida ao TechCrunch, um porta-voz da OpenAI confirmou que a empresa está pesquisando o método de marca d’água de texto descrito na história do Journal, mas disse que está adotando uma “abordagem deliberada” para divulgar qualquer coisa ao público devido às “complexidades envolvidas e seu provável impacto no ecossistema mais amplo além da OpenAI”.
“O método de marca d’água de texto que estamos desenvolvendo é tecnicamente promissor, mas tem riscos importantes que estamos avaliando enquanto pesquisamos alternativas, incluindo suscetibilidade à evasão por maus atores e o potencial de impactar desproporcionalmente grupos como falantes de outros idiomas”, disse o porta-voz.
Esta seria uma abordagem diferente da maioria dos esforços anteriores para detectar texto gerado por IA, que foram amplamente ineficazes. Até mesmo a própria OpenAI desligou seu detector de texto de IA anterior no ano passado devido à sua “baixa taxa de precisão”.
Com a marca d’água de texto, a OpenAI se concentraria somente em detectar a escrita do ChatGPT, não dos modelos de outras empresas. Ela faria isso fazendo pequenas mudanças em como o ChatGPT seleciona palavras, essencialmente criando uma marca d’água invisível na escrita que poderia ser detectada posteriormente por uma ferramenta separada.
Após a publicação da história do Journal, a OpenAI também atualizou uma postagem de blog de maio sobre sua pesquisa em torno da detecção de conteúdo gerado por IA. A atualização diz que a marca d’água de texto provou ser “altamente precisa e até mesmo eficaz contra adulteração localizada, como paráfrase”, mas provou ser “menos robusta contra adulteração globalizada; como usar sistemas de tradução, reformular com outro modelo generativo ou pedir ao modelo para inserir um caractere especial entre cada palavra e, em seguida, excluir esse caractere”.
Como resultado, a OpenAI escreve que esse método é “trivial de ser contornado por pessoas mal-intencionadas”. A atualização da OpenAI também ecoa o ponto do porta-voz sobre pessoas que não falam inglês, escrevendo que a marca d’água de texto poderia “estigmatizar o uso da IA como uma ferramenta de escrita útil para pessoas que não são falantes nativos de inglês”.
