Bloquer l’IA avec robots.txt : la nouvelle règle commune

Le 30 octobre 2026, quatre éditeurs d’IA ont fait la même annonce le même jour. Anthropic, Google, Microsoft et OpenAI vont respecter une ligne unique dans le fichier robots.txt pour refuser que vos pages servent à entraîner leurs modèles. Jusqu’ici, bloquer l’IA avec robots.txt demandait de connaître une demi-douzaine de noms de robots, et de deviner lesquels vous retiraient aussi des réponses de ChatGPT ou de Copilot. La nouvelle règle simplifie la première partie du problème. Elle ne règle pas la seconde, et c’est là que la plupart des sites se trompent.

Ce guide vous donne la syntaxe de la règle commune, le calendrier d’application éditeur par éditeur, la différence entre entraînement et visibilité dans les réponses IA, et trois fichiers robots.txt prêts à copier selon ce que vous voulez obtenir.

Cet article complète notre guide sur la rédaction SEO avec l’IA et notre article consacré aux AI Overviews et à l’AI Mode de Google. Pour le cadre juridique du droit d’auteur, voyez notre article sur le droit d’auteur et l’IA.

En bref

• Une ligne commune : le groupe User-Agent: __usage_ai-training suivi de Disallow: / exprime un refus d’entraînement. Il est décrit dans un brouillon déposé à l’IETF le 30 octobre 2026.
• Quatre éditeurs l’ont soutenue, à des dates différentes : Anthropic dit l’appliquer depuis le 30 octobre 2026, avec un déploiement progressif. Bing la respecte à partir du 1er février 2027. Google vise début 2027, OpenAI « les prochains mois ».
• Entraînement et réponses sont deux sujets séparés : refuser l’entraînement ne vous retire ni de la recherche classique, ni, chez la plupart des éditeurs, des réponses générées.
• Échéance pour les utilisateurs de NoArchive ou NoCache : après le 1er mars 2027, Bing ne lira plus ces balises comme des préférences IA.
• Verdict : pour la plupart des sites de contenu, refusez l’entraînement et restez visible dans les réponses. Fermer les robots de recherche IA coûte de la visibilité sans protéger davantage vos textes.
• Pour former vos équipes à ces arbitrages, Proactive Academy propose une formation IA générative orientée contenus et visibilité web.

La règle commune : ce qui a changé le 30 octobre 2026

Avant cette date, chaque éditeur avait son propre interrupteur. Pour refuser l’entraînement, il fallait écrire un groupe pour GPTBot, un pour ClaudeBot, un pour Google-Extended, un pour Applebot-Extended, et surveiller l’apparition de nouveaux noms. Le fichier grossissait, les erreurs aussi.

Le nouveau mécanisme tient en deux lignes :

User-Agent: __usage_ai-training
Disallow: /

Le nom __usage_ai-training (deux tirets bas au début) n’est pas un robot. C’est un « jeton de politique », un nom réservé que les éditeurs participants lisent comme une préférence d’usage. Il vient d’un brouillon déposé à l’IETF par Kevin Kelley, ingénieur chez Anthropic, qui reprend la définition de l’entraînement arrêtée par le groupe de travail AI Preferences de l’IETF.

Trois règles de lecture sont à retenir, car elles évitent des contresens.

D’abord, un fichier sans groupe __usage_ai-training n’exprime aucune préférence. Le silence ne vaut pas refus. Le brouillon précise aussi que le groupe générique User-Agent: * ne s’applique pas au jeton : votre Disallow habituel pour tous les robots ne compte pas comme un refus d’entraînement.

Ensuite, la règle porte sur l’usage, pas sur l’accès. Microsoft l’écrit dans son annonce : ces préférences gouvernent l’utilisation du contenu, pas l’exploration. Bingbot continue de visiter vos pages pour la recherche.

Enfin, la préférence s’applique au moment où le robot récupère la page. Un changement de robots.txt n’efface rien de ce qui a déjà été collecté. Il vaut pour les visites suivantes.

Vous pouvez aussi cibler un dossier. L’exemple donné par le brouillon refuse l’entraînement partout sauf dans un espace presse :

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Ce n’est pas encore un standard IETF. Le texte reste un brouillon individuel, et Microsoft le reconnaît : la normalisation se poursuit au sein du groupe AI Preferences. Les quatre éditeurs ont jugé le travail assez avancé pour s’engager dessus sans attendre la version finale.

Le calendrier par éditeur

Les annonces sont arrivées le même jour, mais elles ne disent pas la même chose. Voici où en est chacun au 6 novembre 2026.

Les sources de ce tableau : le billet Bing du 30 octobre 2026, l’annonce d’OpenAI, le billet Search Central de Google complété par sa liste des robots, et la page d’aide d’Anthropic sur ses robots.

Anthropic est le seul à déclarer la règle déjà appliquée, en précisant que le déploiement se fait progressivement. Microsoft est le seul à donner une date future précise. Il ajoute trois autres dates qui concernent surtout les sites qui utilisaient NoArchive ou NoCache pour tenir leurs pages à l’écart de l’IA de Bing :

• 15 décembre 2026 : ouverture, dans Bing Webmaster Tools, d’un réglage temporaire pour les réponses IA, réservé aux sites qui utilisent NoArchive ou NoCache à cette date.
• 1er mars 2027 : NoArchive et NoCache cessent d’être lus comme préférences d’entraînement ou de réponses. Sans action de votre part, vos pages repassent par défaut en autorisation pour les réponses IA, jusqu’à ce que Bing découvre vos nouvelles balises.
• 30 septembre 2027 : fin du réglage temporaire.

Le point sur Google et Anthropic mérite une lecture attentive. Si votre fichier contient __usage_ai-training avec Disallow mais aucune règle Google-Extended, Google traitera ce refus comme un refus Google-Extended. Si vous écrivez explicitement une règle Google-Extended, c’est elle qui l’emporte pour Google. Anthropic applique la même logique à ClaudeBot : une règle qui nomme ClaudeBot passe avant la règle commune. Vous gardez donc la possibilité de dire non à tout le monde sauf à l’un d’eux, ou l’inverse.

La chronologie des contrôles depuis 2023

La règle commune arrive après trois ans de mécanismes éditeur par éditeur. Ce rappel aide à comprendre pourquoi votre fichier actuel contient peut-être déjà des lignes devenues incomplètes.

Entraînement, recherche, visite : trois usages, trois robots

Voici la confusion la plus répandue. Beaucoup de sites ont bloqué « les robots IA » en 2024 en recopiant une liste trouvée en ligne. Certains ont ainsi fermé la porte à l’entraînement, ce qui était voulu. D’autres ont aussi fermé la porte aux robots qui alimentent les réponses de ChatGPT ou de Claude, ce qui n’était pas voulu, et ont perdu des citations sans le savoir.

Chaque grand éditeur sépare désormais ses robots selon trois usages.

L’entraînement consiste à modifier les paramètres d’un modèle à partir de vos textes. Vos pages deviennent une partie de ce que le modèle « sait », sans lien vers vous.

La recherche sert à constituer un index dans lequel l’assistant va puiser au moment de répondre, avec une citation et un lien vers votre page. C’est l’équivalent IA de l’indexation par Googlebot.

La visite à la demande se produit quand un utilisateur demande à l’assistant d’aller lire une page précise. Le robot agit alors pour le compte d’une personne, comme un navigateur.

Voyons ce que dit chaque éditeur de ses propres robots.

OpenAI distingue GPTBot pour l’entraînement, OAI-SearchBot pour la recherche dans ChatGPT et ChatGPT-User pour les visites demandées par un utilisateur. Sa documentation des robots précise qu’un site qui bloque OAI-SearchBot n’apparaîtra plus dans les réponses de recherche de ChatGPT, sauf comme simple lien de navigation. Elle ajoute que les règles robots.txt peuvent ne pas s’appliquer à ChatGPT-User, puisque la visite est lancée par une personne. Comptez environ 24 heures pour qu’un changement concernant la recherche soit pris en compte.

Anthropic suit la même logique avec ClaudeBot, Claude-SearchBot et Claude-User. Selon sa page d’aide, restreindre ClaudeBot signale que vos futurs contenus doivent être exclus des jeux d’entraînement. Désactiver Claude-SearchBot ou Claude-User peut en revanche réduire votre visibilité dans les recherches faites avec Claude. Anthropic publie la liste des adresses IP de ses robots, mais déconseille de s’en servir pour bloquer : un blocage par IP ne garantit pas durablement le refus, et seul robots.txt fait foi.

Google n’a pas de robot dédié à l’IA. Google-Extended est un jeton de contrôle, sans visite propre : les pages sont récupérées par les robots habituels. D’après la liste officielle des robots Google, Google-Extended gère l’entraînement des futurs modèles Gemini et l’usage de vos pages pour enrichir les réponses de l’application Gemini et de Vertex AI. Il n’a aucun effet sur l’inclusion ou le classement dans Google Search.

Apple fonctionne comme Google. Applebot-Extended ne visite aucune page ; il décide si ce qu’Applebot a récupéré peut entraîner les modèles d’Apple Intelligence, selon la page Applebot d’Apple. Apple précise que les règles visant Applebot-Extended ne comptent pas dans le classement de sa recherche : vos pages restent visibles dans Siri et Spotlight.

Perplexity affirme dans sa documentation des robots que ni PerplexityBot ni Perplexity-User ne servent à l’entraînement de modèles de fondation. PerplexityBot sert à faire apparaître et à lier les sites dans les résultats de Perplexity, qui recommande de l’autoriser dans robots.txt. Perplexity-User, lancé par un utilisateur, ignore en général robots.txt, de l’aveu même de Perplexity. Bloquer PerplexityBot revient donc à sortir des réponses de Perplexity, sans aucun gain côté entraînement.

Microsoft a choisi un autre découpage. Le même Bingbot sert à la recherche classique et aux réponses IA. L’entraînement se règle avec la règle commune ou une balise par page. Les réponses IA, que Microsoft appelle « grounding », se règlent uniquement page par page.

Le cas Google : trois interrupteurs différents

Google mérite une section à part, car c’est l’éditeur qui pèse le plus dans votre trafic et celui dont les réglages se recoupent le moins.

Le premier interrupteur est Googlebot. Le bloquer vous retire de Google Search. Personne ne le souhaite pour un site qui vit de son référencement.

Le deuxième est Google-Extended, dans robots.txt. Il couvre l’entraînement de Gemini et les réponses de l’application Gemini. Il ne touche ni à votre classement, ni aux AI Overviews.

Le troisième est le réglage « Search generative AI » de Search Console (intitulé anglais, dans les paramètres de la propriété). Google l’a d’abord testé avec des sites britanniques en juin 2026, puis l’a ouvert à tous les sites du monde le 31 août 2026, comme l’a relevé Search Engine Journal. Il décide si votre site apparaît dans les AI Overviews, l’AI Mode et les fonctions génératives de Discover. Google affirme que ce choix n’est pas utilisé comme signal de classement ailleurs dans la recherche. Les sites qui s’excluent ne reçoivent plus ni impressions ni trafic depuis ces fonctions.

Retenez la conséquence pratique. La règle commune __usage_ai-training, une fois appliquée par Google, agira comme Google-Extended. Elle ne vous retirera pas des AI Overviews. Si c’est ce que vous voulez, il faut passer par Search Console. Notre article sur les AI Overviews et l’AI Mode détaille ce que vous perdez et ce que vous gagnez à y rester.

Trois fichiers robots.txt prêts à copier

Avant de toucher à quoi que ce soit, ouvrez votre fichier actuel à l’adresse votresite.fr/robots.txt et lisez-le en entier. Repérez les groupes qui visent des robots IA, et surtout un éventuel Disallow: / sous User-agent: *, qui bloque d’un coup tous les robots non nommés.

Choisissez ensuite l’une de ces trois configurations. Elles s’ajoutent à vos règles existantes pour Googlebot, Bingbot et les autres moteurs, qui ne changent pas.

Configuration 1 : refuser l’entraînement, rester visible dans les réponses

C’est la configuration que nous recommandons à la plupart des sites de contenu, d’entreprise ou de formation.

# Refus d'entraînement : règle commune (Anthropic déjà, Bing à partir
# du 01/02/2027, Google et OpenAI ensuite)
User-Agent: __usage_ai-training
Disallow: /

# En attendant que tous appliquent la règle commune
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# Visibilité dans les réponses IA : on laisse passer
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Les lignes propres à chaque éditeur restent utiles jusqu’à ce que tous appliquent la règle commune. OpenAI et Anthropic ont dit qu’ils garderaient leurs robots et leurs règles actuelles. Vous ne perdez rien à les conserver, à condition qu’elles disent la même chose que la règle commune : chez Google et Anthropic, une règle nommée l’emporte.

Une nuance pour Google : avec cette configuration, vous refusez aussi que l’application Gemini s’appuie sur vos pages pour répondre, puisque Google-Extended couvre les deux. Si vous tenez à rester cité dans Gemini, remplacez le groupe Google-Extended par Allow: /. Comme cette règle est explicite, Google n’appliquera pas le refus commun. Mais vous autorisez alors aussi l’entraînement de Gemini : Google-Extended ne permet pas de séparer les deux. C’est un arbitrage à faire en connaissance de cause.

Configuration 2 : tout autoriser

Si votre objectif est d’être repris partout, y compris dans les futurs modèles, vous n’avez rien à écrire. L’autorisation est la valeur par défaut chez tous les éditeurs. Évitez de recopier un Allow: / sous __usage_ai-training sans y avoir réfléchi : le brouillon IETF rappelle qu’un fichier silencieux n’exprime aucune préférence, alors qu’un Allow exprime une préférence en faveur de l’entraînement.

Configuration 3 : tout fermer aux IA

Pour un site qui ne veut ni entraînement ni reprise dans les réponses, il faut fermer les robots de recherche et de visite IA en plus de ceux de la configuration 1 :

User-Agent: __usage_ai-training
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

Ajoutez deux réglages hors robots.txt : l’exclusion dans Search Console pour les AI Overviews, et la balise de réponses IA de Bing sur vos pages (voir la section suivante). Sachez aussi que les robots de visite à la demande ne respectent pas toujours ce fichier. Pour eux, seul un blocage au niveau du serveur ou du CDN est efficace, avec un vrai risque de bloquer des visites légitimes.

Cette configuration a un coût. Votre site disparaît des réponses de ChatGPT, Claude et Perplexity. Pour un média qui négocie des licences avec les éditeurs d’IA, c’est un levier. Pour un organisme de formation ou une PME qui cherche des clients, c’est se rendre invisible là où une partie croissante des recherches se fait.

Les réglages de Bing page par page

Microsoft est le seul éditeur à proposer un réglage d’entraînement et de réponses IA page par page, en plus du fichier robots.txt. Il passe par une balise meta dans le code HTML ou par un en-tête HTTP envoyé par le serveur.

Pour refuser l’entraînement sur une page précise :

html

<meta name="Bingbot" content="ai-training:disallow">

ou, côté serveur :

X-Robots-Tag: Bingbot: ai-training:disallow

Une préférence de page l’emporte sur robots.txt. Vous pouvez donc refuser l’entraînement sur tout le site et l’autoriser sur une page de présentation, ou l’inverse.

Pour les réponses IA, Bing propose trois valeurs, à poser page par page avec ai-grounding :

• allow, la valeur par défaut, quand rien n’est indiqué ;
• disallowextended, qui limite l’usage aux produits Microsoft (Copilot, AI Overview et AI Mode de Bing, Microsoft 365) et exclut les services de réponses que Microsoft vend à d’autres entreprises, comme Web IQ ou l’accès par API dans Foundry ;
• disallow, qui exclut la page de toutes les réponses générées.

Il n’existe pas de réglage de réponses IA pour tout le site dans robots.txt. Microsoft prévient que disallow et disallowextended réduiront nettement votre visibilité dans les réponses générées, sans changer votre éligibilité aux résultats de recherche classiques.

Pour un site sous WordPress, une balise meta se pose avec un champ d’en-tête personnalisé ou l’extension SEO que vous utilisez déjà. Pour un en-tête HTTP, il faut passer par l’hébergeur ou le fichier de configuration du serveur.

Si vous utilisez NoArchive ou NoCache aujourd’hui

C’est le cas le plus urgent. Depuis 2023, Bing lisait ces balises comme un refus d’usage par l’IA. Cette lecture s’arrête le 1er mars 2027. Avant cette date, Microsoft demande trois actions :

1. publier votre préférence d’entraînement, dans robots.txt ou sur chaque page ;
2. publier votre préférence de réponses IA sur chaque page concernée ;
3. enregistrer un réglage temporaire de réponses IA dans Bing Webmaster Tools, ouvert à partir du 15 décembre 2026.

Le réglage temporaire existe parce que Bing ne repassera pas forcément sur toutes vos pages entre février et mars. Sans lui, une page qui utilisait NoArchive redevient utilisable pour les réponses jusqu’à la prochaine visite de Bingbot.

Ce que robots.txt ne fait pas

Le fichier robots.txt reste une déclaration. Il n’empêche rien techniquement. Un robot honnête le lit et le respecte ; un robot malveillant l’ignore, ou se fait passer pour un autre.

La première limite concerne ce qui a déjà été collecté. Toutes les préférences décrites ici valent pour les visites futures. Un texte entré dans un jeu d’entraînement en 2024 y reste. Anthropic le dit en termes clairs : restreindre ClaudeBot concerne vos « futurs contenus ».

La deuxième limite concerne les robots qui ne déclarent pas leur identité. Pour ceux-là, la seule réponse est technique : un pare-feu applicatif ou les réglages de votre CDN. OpenAI, Anthropic et Perplexity publient les adresses IP de leurs robots, ce qui permet de vérifier qu’un visiteur qui se dit GPTBot vient bien d’OpenAI.

La troisième limite concerne votre CDN. Un réglage de sécurité trop strict peut bloquer des robots que votre robots.txt autorise. Cloudflare a changé ses options le 15 septembre 2026 : l’ancien bouton « Block AI Bots » a été retiré au profit d’un réglage « Disallow AI Training », qui écrit un refus d’entraînement dans votre robots.txt tout en laissant passer Googlebot, Bingbot et Applebot pour la recherche, selon PPC Land. Si votre site passe par Cloudflare, vérifiez ce qui est réellement écrit dans votre fichier : il est peut-être généré automatiquement.

La dernière limite est la plus simple à contrôler : la vérification. Une fois le fichier modifié, regardez les journaux de votre serveur sur quelques semaines. Un site qui veut être cité dans ChatGPT doit voir passer OAI-SearchBot. Un compteur à zéro pendant des mois signale un blocage quelque part.

Ce que dit le droit européen

En France et dans l’Union européenne, robots.txt a aussi une portée juridique.

La directive européenne 2019/790 autorise la fouille de textes et de données sur les contenus accessibles en ligne, sauf si le titulaire des droits s’y est opposé. Pour les contenus publiés sur Internet, cette opposition doit être exprimée « de manière appropriée », par exemple par des procédés lisibles par machine. Un Disallow adressé à un robot d’entraînement en est un exemple.

L’AI Act ajoute une obligation côté éditeurs d’IA. Les fournisseurs de modèles à usage général doivent mettre en place une politique de respect du droit d’auteur qui identifie et respecte ces réserves de droits. Le code de bonnes pratiques publié par la Commission le 10 juillet 2025 engage ses signataires à utiliser des robots qui lisent et suivent robots.txt tel que défini par la norme RFC 9309. Notre article sur les obligations des modèles à usage général détaille ce cadre.

Une question reste ouverte : la règle commune __usage_ai-training suffit-elle, à elle seule, à constituer une réserve de droits au sens de la directive ? Elle a été conçue pour exprimer exactement ce refus, dans un format lisible par machine. Mais aucun texte ni aucune décision ne l’a encore confirmé. Par prudence, gardez les deux formes, la règle commune et les règles par robot, tant que la question n’est pas tranchée. Si le sujet engage des enjeux de droits importants pour vous, faites-vous confirmer l’analyse par un avocat ; cet article ne constitue pas un conseil juridique.

Notre verdict : à qui convient quelle configuration

Organisme de formation, cabinet de conseil, PME, site d’entreprise : configuration 1. Vos textes ont de la valeur, vous pouvez refuser qu’ils entraînent des modèles. Mais vos clients posent désormais des questions à ChatGPT et à Claude, et vous avez intérêt à y être cité avec un lien. Fermer les robots de recherche IA vous coûterait des prospects sans protéger davantage vos contenus.

Média, éditeur de contenus payants, banque d’images : configuration 3, à condition d’en mesurer le coût dans vos statistiques. C’est aussi une position de négociation avant de signer une licence avec un éditeur d’IA.

Site qui veut maximiser sa présence partout : configuration 2, sans rien écrire.

Dans tous les cas, un utilisateur de NoArchive ou NoCache doit agir avant le 1er mars 2027. C’est la seule échéance de ce dossier qui fait perdre un réglage existant si l’on ne fait rien.

Pour mettre en place ces choix et suivre ce qu’ils changent dans vos statistiques, vos équipes marketing et web doivent comprendre comment les assistants trouvent et citent les contenus. C’est l’objet du parcours de montée en compétences sur l’IA générative pour les métiers du contenu de Proactive Academy, certifié Qualiopi et finançable par votre OPCO.

FAQ

Ce qu’il faut retenir

La règle commune du 30 octobre 2026 met fin à la course aux noms de robots pour l’entraînement : une ligne suffira bientôt chez les quatre grands éditeurs. Elle ne touche pas à la question qui compte le plus pour votre activité, celle de votre présence dans les réponses de ChatGPT, Claude, Copilot ou Google. Celle-là se règle robot par robot, réglage par réglage, et chaque éditeur l’a découpée à sa façon. Notre conviction est simple : la plupart des entreprises ont intérêt à refuser l’entraînement et à rester visibles dans les réponses. Si vos équipes doivent piloter ces choix et en mesurer l’effet, notre formation à l’IA générative pour les équipes web et marketing les y prépare.