OpenAI abre o jogo sobre a segurança do ChatGPT

Talvez não fosse a declaração que muitos gostariam de ler, mas a OpenAI abriu o jogo sobre a segurança do GPT-4o, versão mais recente do modelo de linguagem que alimenta o ChatGPT, e admitiu que o LLM (modelo de linguagem) não tem uma segurança plena.

A startup publicou o “Cartão do Sistema GPT-4o“, um documento de pesquisa detalhado que descreve os protocolos de segurança e avaliações de risco realizadas antes do lançamento público do modelo em maio.

O documento esclarece os esforços da OpenAI para mitigar riscos potenciais associados ao seu mais recente modelo de IA multimodal.

Com base na estrutura interna da OpenAI, os pesquisadores categorizaram o GPT-4o como tendo um nível de risco “médio”. A avaliação de risco foi derivada da classificação de risco individual mais elevada em quatro categorias principais: segurança cibernética, ameaças biológicas, persuasão e autonomia do modelo.

GPT-4
O GPT-4o não foi considerado de baixo risco em todas as categorias – Imagem: Rokas Tenys / Shutterstock

Leia mais:

Todas as categorias foram consideradas de baixo risco, exceto a persuasão, onde certas amostras de texto geradas pelo GPT-4o exibiram maior potencial persuasivo em comparação com suas contrapartes escritas por humanos.

OpenAI segue recebendo críticas por conta de políticas de segurança

  • O momento deste lançamento é particularmente significativo, uma vez que a OpenAI enfrenta críticas constantes por conta das suas práticas de segurança.
  • Preocupações foram levantadas tanto por funcionários da startup quanto por partes interessadas externas, incluindo uma recente carta aberta da senadora Elizabeth Warren e da deputada Lori Trahan exigindo maior responsabilidade e transparência nos processos de revisão de segurança da OpenAI.
  • Apesar dos esforços da OpenAI, persistem os apelos de autoridades e reguladores por maior transparência e supervisão externa.

O foco vai além dos dados de treinamento para abranger todo o processo de teste de segurança. Na Califórnia, está em curso legislação para regular os grandes modelos linguísticos, incluindo responsabilizar as empresas por potenciais danos causados ​​pelos seus sistemas de IA.

openai gpt-4o
A segurança dos modelos de IA da OpenAI vem sendo questionada (Imagem: PatrickAssale / Shutterstock.com)



Source link

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Rolar para cima