Descubra o novo Cloudflare Marketplace que permite cobrar bots de IA por scraping. Saiba como publishers ganham controle e monetizam conteúdo. Confira agora!
O que é o Cloudflare Marketplace para Bots de IA?
A Cloudflare, gigante de infraestrutura que suporta 20% de toda a web, lançou uma iniciativa inovadora para redefinir a relação entre criadores de conteúdo e empresas de inteligência artificial. Trata-se de um novo marketplace, apelidado de Pay per Crawl, projetado para dar aos publishers maior controle sobre como seu conteúdo é utilizado.
Este marketplace, lançado inicialmente como um “experimento” em beta privado, permite que os proprietários de sites estabeleçam um sistema de micropagamentos. Em vez de simplesmente bloquear os bots de IA, os publishers podem agora cobrar uma taxa por cada “crawl” ou raspagem de dados realizada em suas páginas. A plataforma oferece flexibilidade total, permitindo que os donos de sites:
- Definam um preço específico por crawl para cada bot de IA.
- Permitam que determinados bots façam a raspagem gratuitamente.
- Bloqueiem completamente o acesso de bots indesejados.
A iniciativa surge como uma evolução das ferramentas anteriores da Cloudflare, que já permitiam o bloqueio de crawlers de IA e o monitoramento de sua atividade. Agora, a empresa, liderada pelo CEO Matthew Prince, busca criar um ecossistema onde a compensação pelo uso de dados seja a norma, e não a exceção. Grandes nomes como Conde Nast, TIME e The Associated Press já apoiam a abordagem de controle e permissão da Cloudflare.
Como Funciona o Pay per Crawl da Cloudflare?
O sistema Pay per Crawl da Cloudflare atua como um intermediário programático entre os publishers e as empresas de IA, criando um mercado transparente para a troca de dados. Para participar, tanto o proprietário do site quanto a empresa de IA precisam ter contas na Cloudflare, posicionando a plataforma como o centro nevrálgico dessas transações.
O processo é direto e focado em dar poder aos criadores de conteúdo. Dentro de sua conta Cloudflare, um publisher pode definir as taxas que deseja cobrar para que um bot de IA acesse e raspe seu conteúdo. A Cloudflare então gerencia a transação, cobrando da empresa de IA e repassando os ganhos ao publisher. É importante notar que, segundo a porta-voz Ripley Park, nenhuma criptomoeda ou stablecoin está envolvida no momento.
Uma das mudanças mais significativas é que, por padrão, todos os novos sites configurados na Cloudflare agora bloquearão automaticamente todos os crawlers de IA. Isso inverte o modelo atual, forçando as empresas de IA a solicitar permissão para acessar o conteúdo. Os publishers recebem controle granular, podendo decidir quais bots são úteis para seus objetivos, seja para treinamento de modelos de IA ou para aparecer em respostas de busca, e monetizar esse acesso conforme sua estratégia.
Impacto do Scraping de IA nos Publishers Online
A era da IA trouxe um desafio existencial para os publishers online, quebrando o antigo pacto com os motores de busca. Historicamente, os sites permitiam que o Google os raspasse em troca de tráfego de referência, que era monetizado com publicidade. No entanto, os crawlers de IA operam com uma lógica drasticamente diferente e prejudicial para os criadores de conteúdo.
Dados recentes da Cloudflare revelam uma disparidade alarmante. Enquanto o crawler do Google realizava 14 raspagens para cada referral enviado a um site, os bots de IA consomem dados de forma massiva com retorno quase nulo. A diferença é gritante:
- OpenAI: 17.000 scrapes por cada referral.
- Anthropic: 73.000 scrapes por cada referral.
Essa dinâmica significa que as empresas de IA estão treinando seus modelos com conteúdo valioso sem gerar tráfego ou receita de volta para os publishers. O cenário se agrava com o desenvolvimento de agentes de IA, projetados para visitar sites, coletar informações e entregar respostas diretas aos usuários, eliminando completamente a necessidade de visitar a página de origem. Este modelo de extração de valor sem compensação ameaça diretamente a sustentabilidade financeira de inúmeros produtores de conteúdo na internet.
Benefícios e Desafios do Novo Modelo de Monetização
O marketplace Pay per Crawl da Cloudflare apresenta uma visão arrojada para o futuro da web, mas seu sucesso depende do equilíbrio entre benefícios claros e desafios complexos. É uma tentativa de criar um modelo de negócio mais durável e justo para a era da IA.
Entre os principais benefícios, o mais evidente é o retorno do controle e da monetização para as mãos dos publishers. Em vez de recorrer a processos judiciais ou acordos de licenciamento exclusivos para grandes corporações, qualquer site na rede Cloudflare pode definir seus próprios termos. A plataforma visa criar o que chama de um futuro “agentic”, onde até mesmo agentes de IA teriam um orçamento para adquirir conteúdo de alta qualidade programaticamente.
No entanto, os desafios são significativos. O principal obstáculo é convencer as empresas de IA a pagar por algo que atualmente obtêm de graça. Embora a Cloudflare esteja em uma posição única para impulsionar essa mudança, a adesão em massa é crucial. Além disso, não há garantia de que os preços estabelecidos pelos publishers serão justos ou suficientes para compensar a perda de tráfego. A iniciativa representa uma aposta ousada, dependendo da colaboração de todo um ecossistema para remodelar a economia da informação digital.