Une ligne, quatre géants : Google, Microsoft, OpenAI et Anthropic ont annoncé le 30 octobre 2026 qu’ils respecteront un même signal placé dans le fichier robots.txt pour refuser l’entraînement des IA génératives sur les contenus d’un site. Microsoft l’appliquera dès le 1er février 2027, Google au début de 2027, OpenAI dans les prochains mois, tandis qu’Anthropic a déjà commencé à l’intégrer.
Robots.txt et entraînement IA : ce qui change
Jusqu’ici, bloquer l’entraînement des IA relevait du travail de fourmi. Chaque éditeur devait identifier un à un les robots d’exploration (crawlers) de chaque fournisseur et écrire une règle pour chacun : GPTBot chez OpenAI, ClaudeBot chez Anthropic, Google-Extended chez Google.
Le nouveau mécanisme remplace cette mosaïque par un jeton unique, __usage_ai-training. Placé comme valeur User-agent dans le robots.txt, ce fichier texte qui indique aux robots ce qu’ils ont le droit de faire sur un site, il exprime une seule préférence reconnue par tous les signataires.
Un brouillon IETF signé Anthropic
Le texte de référence porte le nom de draft-kelley-aipref-training-preference-signal-00. Son unique auteur est Kevin Kelley, responsable technique des standards chez Anthropic, qui l’a présenté le 30 octobre 2026 au groupe de travail AIPREF de l’IETF, l’organisme qui élabore les standards techniques d’Internet.
Statut : simple Internet-Draft individuel, visant la voie des standards mais sans aucun aval officiel de l’IETF à ce stade. Le document expire le 3 mai 2027, sauf nouvelle version.
Fonctionnement technique
- Un groupe User-agent: __usage_ai-training suivi de Disallow: / exprime un refus d’entraînement sur tout le site.
- Des règles Allow permettent des exceptions, par exemple un dossier presse laissé accessible.
- Le jeton se compare sans tenir compte de la casse ; le double soulignement limite les correspondances accidentelles.
- Aucune nouvelle directive : la syntaxe et la logique de priorité de la norme RFC 9309 (règle la plus longue prioritaire) s’appliquent.
- Une règle générique User-agent: * ne vaut pas préférence, et un robots.txt sans le jeton n’exprime aucun choix.
Quand chaque entreprise l’appliquera
Les quatre signataires avancent à des rythmes différents. Le tableau ci-dessous résume les engagements publiés le 30 octobre 2026.
| Entreprise | Date d’application | Robot ou contrôle existant |
|---|---|---|
| Anthropic | Mise en œuvre déjà engagée | ClaudeBot |
| Microsoft | 1er février 2027 | Bingbot (balises NoArchive et NoCache) |
| Début 2027 | Google-Extended | |
| OpenAI | Dans les prochains mois | GPTBot |
Chez Google, un site qui utilise le jeton commun sans mentionner Google-Extended verra cette règle traitée comme un blocage de Google-Extended. Ce contrôle couvre l’entraînement des modèles Gemini et l’ancrage des réponses dans l’application Gemini et Vertex AI.
Microsoft va plus loin, page par page
Microsoft étend le principe au niveau de chaque page. Une balise meta ou un en-tête HTTP X-Robots-Tag destiné à Bingbot peut indiquer ai-training:disallow, avec priorité sur le robots.txt pour la page concernée.
L’éditeur ajoute une seconde préférence, baptisée AI Grounding. Le grounding, ou ancrage, désigne l’usage d’une page pour nourrir une réponse générée en temps réel, comme dans Copilot. Trois valeurs sont prévues : Allow par défaut, Disallow, et DisallowExtended, qui limite cet usage aux services de Microsoft.
Le calendrier de Microsoft
- 15 décembre 2026 : préférences de transition dans Bing Webmaster Tools pour les sites utilisant NoArchive ou NoCache.
- 1er février 2027 : prise en compte des préférences AI Training et AI Grounding.
- 1er mars 2027 : NoArchive et NoCache ne valent plus préférence pour l’IA.
- 30 septembre 2027 : expiration des préférences temporaires.
Quelles sont les limites du signal ?
Le jeton encadre l’usage des contenus, pas leur collecte. Les robots peuvent toujours parcourir un site ; le texte leur permet seulement, sans l’imposer, de ne pas télécharger ce qu’ils ne pourront pas utiliser.
Autre point : aucun effet rétroactif. La préférence s’applique selon le robots.txt en vigueur au moment de la récupération, les contenus déjà aspirés ne sont pas concernés. Les accords de licence privés peuvent aussi passer outre.
Côté référencement, rien ne bouge. Le classement dans Google Search et Bing n’est pas affecté, et les AI Overviews et le mode IA de Google restent pilotés par les règles de Googlebot et par Search Console. Google ne propose pas non plus de jeton distinct pour refuser l’entraînement tout en acceptant l’ancrage.
Qui manque à l’appel ?
Meta, Amazon et Apple ne figurent pas parmi les signataires, même si des ingénieurs de Meta et d’Amazon apparaissent dans les remerciements du brouillon, qui recense 46 contributeurs. Perplexity ne s’est pas engagé non plus.
Le respect du signal reste volontaire : aucun mécanisme de contrôle n’est prévu. La suite dépend du travail de normalisation du groupe AIPREF de l’IETF, et la première échéance concrète tombe le 15 décembre 2026 avec l’ouverture des réglages de transition chez Microsoft.
