Resumo:
Em julho deste ano, uma empresa chamada Cloudflare emitiu um anúncio que causou diretamente a explosão do X. O que este anúncio significa? O blogueiro @iyici_ comentou: "A empresa do código de verificação usado por todos os sites quer bloquear os mecanismos de pesquisa usados por todos."
Novas regras, novas taxas, é hora de cobrar pela IA｜Cloudflare
A parte mais interessante do anúncio | Cloudflare
Charles Petersen, um conhecido escritor e editor de tecnologia de São Francisco, acredita que este é o fim da Internet. Ele twittou em X "
RIP World Wide Web (1993-2026)
. ”
Comentário original de @iyici_｜X.com
Por que um anúncio desta empresa de tecnologia, da qual a maioria das pessoas nunca ouviu falar, pode causar um choque tão grande? Porque esta empresa tomou uma decisão que provavelmente mudará o ecossistema da Internet:
Isso ajudará os sites a coletar "pedágios" da IA
.Cyber Bodhisattva: você não sabe, mas usa todos os dias
O que exatamente o Cloudflare faz?
A Cloudflare é um dos maiores provedores de serviços de infraestrutura de rede do mundo, e sua participação no mercado de proteção CDN e DDoS está na vanguarda há muito tempo. Você pode simplesmente entendê-lo como o “armazém frontal” e o “fosso” do site.
Por exemplo, você é proprietário de um pequeno site na China. Se usuários de Cingapura, Estados Unidos e Japão visitarem seu site, eles sempre obterão imagens, scripts e conteúdo diretamente do servidor chinês, o que será extremamente lento. Assim, você conecta seu site ao Cloudflare, que possui muitos nós ao redor do mundo e armazena em cache o conteúdo comumente usado no servidor mais próximo do usuário, para que usuários de outros países possam acessar seu site com mais rapidez.
E como quando os usuários visitam seu site, eles visitam primeiro o nó da Cloudflare, ele também pode fornecer serviços de proteção contra ataques maliciosos e robôs de tráfego anormal.
Ainda parece abstrato? Então você deve ter visto o seguinte ícone:
Clique neste botão e aguarde cerca de quatro ou cinco segundos antes que o site possa ser aberto: este é o serviço de verificação homem-máquina da Cloudflare em funcionamento, comumente conhecido como "escudo de cinco segundos". Ele determina se você é uma pessoa real ou um robô analisando a trajetória do movimento do mouse do usuário, a frequência de cliques e outros padrões comportamentais.
Atualmente,
A Cloudflare processa aproximadamente 102 milhões de solicitações HTTP por segundo, e aproximadamente 20% dos sites do mundo usam seus serviços
, que vão desde blogs pessoais até gigantes da Internet como Discord e LinkedIn, são seus alvos de serviços.Seu serviço cobre 125 países e regiões, 95% dos usuários globais da Internet, e o atraso médio não excede 50 milissegundos
.É por isso que, se houver qualquer perturbação, o mundo da Internet será abalado. Em novembro de 2025, Cloudflare passou por uma interrupção em grande escala que durou cerca de 6 horas, fazendo com que um grande número de sites e serviços como X, ChatGPT, Spotify, Uber e Discord fossem paralisados diretamente ao mesmo tempo.
Então, quais regras foram definidas desta vez?
O que o Cloudflare faz?
Simplificando, a nova regra da Cloudflare é esta frase:
A partir de 15 de setembro de 2026, todos os sites que usam os serviços da Cloudflare bloquearão “rastreadores de IA híbridos” por padrão
.O que é um "rastreador de IA híbrido"?
Rastreadores são programas robôs que rastreiam automaticamente o conteúdo da web. A razão pela qual os mecanismos de pesquisa podem pesquisar páginas da web é porque eles liberam um grande número de rastreadores para rastrear conteúdo da web on-line, criar índices e fornecê-los aos usuários.
Google, Bing e Baidu fazem isso há mais de 20 anos.
Mais tarde, veio a IA, e o treinamento em IA exigia muitos dados, então grandes empresas modelo, como a OpenAI, começaram a depender fortemente de rastreadores. No início deste ano, o AI Agent tornou-se popular. Deixe Codex, Kimi Work e outras ferramentas de IA ajudá-lo a verificar informações. Nos bastidores, um rastreador está executando tarefas para você obter conteúdo de páginas da web.
Assim | via Kimi Work
Agora, os rastreadores de IA ocuparam metade da Internet. De acordo com os dados oficiais da Cloudflare, em junho de 2026,
todo o tráfego não humano (incluindo rastreadores de mecanismos de pesquisa, rastreadores de IA etc.) representou 57,4% do tráfego total de páginas da web
. Por outras palavras, mais de metade das pessoas que “lêem” páginas web na Internet hoje já não são humanos.Portanto, a partir de 2025, a Cloudflare lançará a função "AI Crawl Control", permitindo que proprietários de sites bloqueiem manualmente rastreadores de IA. A "Pay Per Crawl" mechanism was also launched. Se um rastreador de IA quiser acessar o conteúdo, deverá incluir uma intenção de pagamento na solicitação, caso contrário o acesso será diretamente negado.
Até o final de 2025, essa função interceptou mais de 416 bilhões de solicitações de robôs
.Esta função funciona bem para rastreadores de IA pura, como o GPTBot da OpenAI e o ClaudeBot da Anthropic - mas fica preso quando se trata do Google.
O Google tem um recurso chamado "Visões gerais de IA": quando os usuários pesquisam, o Google não apenas fornece links, mas gera diretamente um resumo de IA com respostas de outros sites no topo da página de resultados. O problema é que quando essa função gera resumos, ela não usa os dados capturados por um rastreador de IA separado, mas chama diretamente o índice de pesquisa - ou seja, compartilha o mesmo Googlebot com a pesquisa, e esse rastreador é chamado de "rastreador de IA híbrido".
Depois que o proprietário de um site bloqueia o Googlebot, a visão geral da IA é realmente bloqueada, mas seu site também desaparece dos resultados de pesquisa do Google e recebe menos tráfego. Não bloqueado? Essa visão geral da IA continua recebendo seu conteúdo em vão.
Diante desse dilema, é realmente difícil para um único proprietário de site negociar diretamente com um gigante como o Google, então a Cloudflare se tornou o irmão mais velho a se levantar.
As novas regulamentações de setembro visam esse rastreador híbrido, e a política é direta: ele foi atualizado do bloqueio manual pelos proprietários de sites para o bloqueio padrão, forçando o Google a fazer uma escolha: parar de pescar em águas turbulentas ou arcar com as consequências de uma queda significativa no conteúdo de pesquisa.
De acordo com relatos da mídia, ao lançar a política de proibição de rastreadores mistos, a Cloudflare também está negociando com o Google, pedindo-lhe para separar o rastreador de visão geral da IA do rastreador de pesquisa, para que o site possa bloquear apenas o rastreador de visão geral da IA e reter o tráfego de pesquisa.
O Google discorda. Teme-se que, uma vez separados, um grande número de sites bloqueie diretamente os rastreadores de visão geral da IA.
Então por que a Cloudflare é tão pesada? Devido ao surgimento dos rastreadores de IA, a lógica da Internet que funciona há décadas está mudando.
A mudança na World Wide Web
Nos últimos trinta anos, a busca de informações na Internet funcionou assim: você pesquisa “como fazer carne de porco refogada”, o mecanismo de busca te dá dez links, você clica no primeiro blog de culinária, navega pelo conteúdo e sai.
Nesse processo, o site escreve o conteúdo, o mecanismo de busca envia rastreadores para capturá-lo e os usuários pesquisam e clicam; tanto o site quanto o mecanismo de busca ganham tráfego, que pode ser monetizado por publicidade ou links afiliados, e os anunciantes recebem uma entrega mais eficaz. Todo mundo está feliz.
Esse entendimento tácito pode durar trinta anos. Baseia-se basicamente em uma troca tácita de igual valor. Eu deixo você capturar meu conteúdo gratuitamente e você me dá tráfego grátis. Ninguém deve a ninguém.
Quando os motores de busca têm IA, tudo muda.
Quando você pesquisa "como fazer carne de porco assada", o Google não fornece mais apenas dez links. Ele resume diretamente as receitas, etapas e cuidados e os coloca no topo dos resultados da pesquisa.
O usuário sai após ler as respostas sem clicar em nenhum site
.O Google ainda recebe tráfego, mas o tráfego do proprietário do site acabou.
A Cloudflare anunciou em meados de 2025 a "taxa de rastreamento e retorno" de um conjunto de rastreadores de vários fabricantes:
O Google é de cerca de 10:1 (rastreando 10 páginas da web, trazendo 1 visitante), o OpenAI é de 3.700:1 e a Anthropic atingiu a impressionante marca de 500.000:1
. Em outras palavras, o Google está pelo menos trazendo de volta algum tráfego, e as empresas de IA não estão recebendo quase nada.Pesquisas acadêmicas também confirmam essa mudança.
Um estudo de 2026 descobriu que mais da metade (51,5%) das consultas de pesquisa acionam uma visão geral da IA do Google.
Dados do Pew Research Center mostram que em páginas de pesquisa sem uma visão geral de IA, a proporção de usuários que clicam em links é de 15%. Quando há uma visão geral da IA, cai diretamente para 8%; quanto ao link citado pela visão geral da IA... a taxa de cliques é de apenas 1%.
Já existem plataformas que estão perdendo dinheiro real.
Em setembro de 2025, o grupo editorial americano Penske Media processou o Google. A Penske Media possui marcas de mídia conhecidas como "Rolling Stone", "Hollywood Reporter" e "Billboard", com mais de 120 milhões de visitantes mensais, e grande parte de sua receita vem de visitas ao site. No entanto, desde que o Google lançou sua visão geral de IA, a receita da Penske Media proveniente de links afiliados caiu mais de um terço.
Esta não é apenas uma história do outro lado do oceano. Xiaohongshu lançou uma função de pesquisa de IA chamada “Ask” em 2025. A lógica é exatamente a mesma da Visão geral da IA do Google: os resultados classificados pela IA são exibidos diretamente no topo da pesquisa.
O impacto disso é exatamente o mesmo do Google: no passado, os usuários pesquisavam palavras-chave, navegavam nas notas uma por uma e filtravam as informações eles próprios; agora os usuários fazem perguntas e a IA integra conteúdo de notas relevantes e dá respostas diretamente. Os usuários não clicam mais nas notas uma por uma e os blogueiros perdem a oportunidade de serem vistos, seguidos e convertidos.
De acordo com relatos da mídia, Xiaohongshu inicialmente só permitia que o recurso “Fazer perguntas” cobrisse de 1% a 2% das solicitações de pesquisa internamente. O motivo foi que “o patrão tinha medo de causar muito impacto”, e depois aumentou para 3%-4%. Obviamente a própria plataforma sabe o impacto que este incidente tem sobre os criadores.
A velha era termina e a nova era começa
O jogo entre Cloudflare e Google ainda não tem resposta. Mas uma coisa é certa:
O entendimento tácito de “conteúdo gratuito em troca de tráfego” que opera na Internet há trinta anos não pode mais voltar atrás
.Na verdade, a Internet chinesa já percorreu esse caminho. Você não pode pesquisar artigos de contas públicas do WeChat no Baidu e não pode pesquisar conteúdo de Xiaohongshu. Não é que a tecnologia dos mecanismos de busca não possa fazer isso, mas a plataforma construiu ativamente paredes para reter conteúdo em seu próprio ecossistema. Agora a Cloudflare está construindo um “paywall” para sites para evitar que a IA obtenha conteúdo gratuitamente. Os métodos são diferentes, mas os resultados são os mesmos.
Se cada vez mais sites bloquearem rastreadores de IA, a pesquisa de IA obterá cada vez menos conteúdo de alta qualidade e a qualidade das respostas dadas diminuirá; e será difícil manter o site se ele perder tráfego de pesquisa. Eventualmente, ambos os lados entrarão em colapso, resultando num “deserto de conteúdo”.
A pesquisa por IA é realmente conveniente, com uma resposta em três segundos. Mas todos os resumos são baseados em alguém que escreveu o texto original.
Se essas pessoas não puderem mais escrever, as coisas que a IA pode resumir diminuirão cada vez mais
. Mais cedo ou mais tarde, alguém terá que pagar essa conta.
Comentários