CloudFlare, apelidado de Cyber ​​​​Bodhisattva pelos internautas, lançou recentemente configurações de proteção de rastreador de IA para todos os usuários gratuitos. Na verdade, esse recurso já estava disponível antes, mas precisa ser definido de acordo com as regras. A função de regra requer o uso de um plano de assinatura como CloudFlarePro.

A recém-lançada proteção contra rastreadores de IA (AIScrapers e Crawlers) é uma configuração de um clique para todos os usuários. Quer sejam usuários gratuitos ou assinantes, eles só precisam ativar esta opção com um clique.

CloudFlare disse que ativar esta opção impedirá que robôs e rastreadores rastreiem o conteúdo do site para treinar modelos de inteligência artificial, o que pode impedir que algumas empresas de inteligência artificial capturem diretamente o conteúdo do site sem autorização.

O princípio operacional por trás disso ainda não está claro, mas há uma grande probabilidade de que CloudFlare tenha classificado e identificado rastreadores de IA comuns, como o GPTBot da OpenAI, e só precise interceptá-los com base nos nomes desses rastreadores.

CloudFlare fornece proteção de segurança e serviços de distribuição para milhões de sites, portanto, esse recurso tem significado prático. Afinal, muitos sites, especialmente sites de mídia noticiosa, são protegidos por direitos autorais.

Mas o problema é que a própria identificação do rastreador também é uma forma de proteção contra bandidos e não contra vilões. É fácil lidar com isso quando a OpenAI publica seu próprio nome de rastreador e afirma que obedecerá ao protocolo robots.txt. O problema é que muitas empresas não cumprem o acordo e não publicam seus próprios nomes de rastreadores, e rastreiam sites loucamente para obter conteúdo.

Nesse caso, se você deseja interceptar, você precisa pensar em algumas contramedidas, como banir diretamente o UA que rastreia com frequência, ativar a verificação em pessoa real do CloudFlare e outras funções para evitar que vários rastreadores contornem a proteção do rastreador de IA do CloudFlare.

Como ativar este recurso: CloudFlare, console, acesse o site correspondente, segurança, programa automático e ative AIScrapers e Crawlers.