Prepare-se para uma revolução digital! A Cloudflare lançou duas armas poderosas que prometem mudar para sempre a forma como os sites enfrentam os bots de inteligência artificial: um sistema automatizado de gestão de robots.txt e uma ferramenta de bloqueio seletivo em zonas com publicidade. Estas funcionalidades foram desenhadas com um único objetivo: devolver o controlo total aos criadores de conteúdo e travar o uso abusivo por parte de crawlers de IA que se alimentam de páginas web para treinar modelos sem consentimento.
Crawlers de IA: o parasitismo do século XXI
Durante anos, criadores de conteúdo confiaram em crawlers como o Googlebot para impulsionar a visibilidade dos seus sites e atrair tráfego, essencial para receitas com anúncios. Contudo, essa relação está a ser subvertida por uma nova geração de bots: os crawlers de IA. Em vez de gerar visitas, estes bots exploram os conteúdos para treinar modelos de linguagem, raramente retornando tráfego ao criador original.
Segundo a Cloudflare, o rácio entre crawling e tráfego de retorno chegou a números astronómicos: enquanto o Google apresenta uma média de 14 crawls por cada visita referida, a OpenAI atinge 1.700:1 e a Anthropic impressionantes 73.000:1. A relação de troca que sustentava o ecossistema de conteúdo está, claramente, quebrada.
Robots.txt: a arma subutilizada contra os bots
A maioria dos sites ainda não recorre ao robots.txt para defender os seus conteúdos. Apenas 37% dos 10.000 principais domínios possuem este ficheiro, e poucos têm diretivas específicas para bloquear os principais bots de IA. A Cloudflare quer mudar isso com uma solução automatizada e gratuita: um robots.txt gerido, sempre atualizado, e que adiciona instruções específicas para impedir o treino de IA, sem afetar o SEO.
Bloqueio cirúrgico: proteger o que realmente importa
Mas a Cloudflare foi mais longe. Para os criadores que não querem bloquear todos os bots, existe agora a possibilidade de bloquear apenas nas páginas que exibem publicidade. Com tecnologia avançada de análise HTML e deteção de scripts de anúncios (como os da Google Syndication), o sistema consegue identificar automaticamente onde há monetização ativa e aplicar bloqueios de forma seletiva — com impacto zero na performance e sem necessidade de configuração manual.
Dados chocantes: como os bots de IA estão a agir
Desde julho de 2024, o bot Bytespider perdeu 71,45% de tráfego após os primeiros bloqueios em massa. Em contraste, o GPTBot da OpenAI tornou-se o crawler mais ativo, superando até gigantes como a Amazon e ByteDance. No entanto, a sua presença nos sites caiu de 35,46% para 28,97%, demonstrando que mais proprietários estão a optar por bloqueá-lo.
Estes são os 10 bots de IA mais agressivos, com percentagens de websites acedidos:
- GPTBot: 28,97%
- Meta-ExternalAgent: 22,16%
- ClaudeBot: 18,80%
- Amazonbot: 14,56%
- Bytespider: 9,37%
- GoogleOther: 9,31%
- ImageSiftBot: 4,45%
- Applebot: 3,77%
- OAI-SearchBot: 1,66%
- ChatGPT-User: 1,06%
Automatização total, proteção total
Graças ao novo sistema da Cloudflare, qualquer cliente — mesmo com plano gratuito — pode ativar a gestão automatizada de robots.txt com um simples clique. Se já existir um ficheiro robots.txt, as diretivas da Cloudflare são adicionadas no início, respeitando as regras existentes. Assim, o site continua otimizado para motores de busca, mas blindado contra crawlers de IA.
Como funciona na prática?
O sistema deteta automaticamente pedidos a /robots.txt e, se o utilizador tiver ativado a funcionalidade, entrega um ficheiro atualizado com diretivas claras para bloquear bots como GPTBot, ClaudeBot, Google-Extended e muitos mais. Esta implementação é contínua e dinâmica — os clientes não precisam de mexer em nada.
Detetar anúncios e bloquear com precisão
A Cloudflare aplica técnicas similares às dos ad blockers, usando listas reduzidas de CSS e filtros de URL para detetar a presença de publicidade nas páginas. Complementa esta análise com relatórios de Content Security Policy (CSP) para detetar scripts de anúncios carregados dinamicamente. Todo este processo acontece em tempo real e sem atrasos perceptíveis.
Identificação contínua de bots maliciosos
A Cloudflare não dorme. Com a ajuda da sua comunidade e através da análise de milhares de milhões de pedidos diários, continua a identificar novos bots e a refinar o seu sistema de proteção. Esta vigilância ativa permite atualizar o robots.txt gerido automaticamente sempre que novas ameaças surgem.
O futuro está a ser protegido agora
Estas novas funcionalidades estão disponíveis hoje mesmo para todos os clientes da Cloudflare. A recomendação é clara: ativar a proteção já, proteger conteúdos únicos e garantir que o trabalho árduo dos criadores não está a ser usado para treinar a próxima geração de IA sem retorno ou consentimento.
