Resumo:
Google, Microsoft, OpenAI e Anthropic estão apoiando uma nova declaração de preferência de treinamento de IA que permite que os sites indiquem se permitem que o conteúdo seja usado por empresas de IA para treinar modelos, modificando o robots.txt. De acordo com o projeto, os administradores de sites precisariam apenas adicionar um conjunto de regras para fazer uma declaração a várias empresas de IA que apoiam as regras.
A declaração é a seguinte:
# Regras de banimento em todo o site
Usuário
-
Agente
:
__usage_ai
-
treinamento
Não permitir
:
/
# Permitir exemplo de diretório específico
Usuário
-
Agente
:
__usage_ai
-
treinamento
Permitir
:
/archive/
Usuário
-
Agente
:
__usage_ai
-
treinamento
não permitir
:
/archive/
# Permitir diretórios específicos não entra em conflito com o banimento de todo o site, ou seja, /archive/ é permitido, mas todos os outros diretórios são proibidos
Adicione este conteúdo ao arquivo robots.txt do site para declarar que todo o conteúdo do site está proibido de ser usado para treinar modelos de IA. O administrador do site também pode modificar os diretórios permitidos ou não permitidos. Por exemplo, alguns diretórios podem ser usados para treinamento de IA e alguns conteúdos não podem ser usados para treinamento de IA.
Os horários de suporte de cada empresa são diferentes:
O plano ainda é um rascunho da Internet, mas a Microsoft disse que a empresa cumprirá a declaração a partir de 1º de fevereiro de 2027, portanto, os sites que não desejam que seu conteúdo seja usado para treinamento de IA podem agora modificar o arquivo para adicionar a declaração relevante.
O plano do Google é fornecer suporte a partir do início de 2027, mas o prazo específico ainda não foi concluído. A OpenAI afirma que implementará o plano nos próximos meses, e a Anthropic parece ter começado a apoiar o projeto.
Proibir treinamento e citar conteúdo para gerar respostas têm finalidades diferentes:
A declaração acima expressa apenas a escolha de uso do conteúdo do site. De acordo com o rascunho das instruções, definir a declaração acima por si só não impedirá diretamente que os rastreadores acessem a página da web. Se o site quiser restringir o rastreamento de conteúdo por rastreadores específicos, ele ainda precisará ser configurado por meio de regras tradicionais de robots.txt.
O conteúdo de treinamento e as páginas de referência de respostas de IA também têm finalidades diferentes. A Microsoft fornece controles adicionais de AI Grounding para seus próprios serviços, permitindo que os sites decidam se o conteúdo pode ser referenciado quando respostas geradas por IA são usadas. Este controle é para páginas específicas e se aplica apenas a serviços Microsoft.
O Google afirmou que se um site usar a declaração acima para rejeitar o treinamento de IA, mas não definir explicitamente o Google-Extended, o Google planeja lidar com isso de acordo com a rejeição do site às regras do Google-Extended. O Google-Extended envolve o treinamento do modelo Gemini e também envolve o uso de referência na web de algumas respostas do Gemini.
Comentários