Robots.txt et IA : quels accès autoriser sur votre site ?
Distinguez les robots de recherche et d’entraînement, puis vérifiez le fichier public et les règles du pare-feu.

- Publié le
- Mis à jour le
- Lecture
- 8 min
- Auteur
- SBSébastien BalieuFondateur de Numinam
Si vous voulez que les assistants trouvent les pages publiques de votre entreprise, vérifiez l’accès de leurs robots de recherche. Vous pouvez prendre une décision distincte pour l’usage de vos contenus dans l’entraînement des modèles. Le fichier robots.txt exprime ces choix ; une information confidentielle demande une protection d’accès.
Recherche et entraînement : quels robots distinguer ?
Chaque éditeur documente ses robots sur une page officielle. Le tableau reprend leurs noms exacts et le comportement qu’ils annoncent, vérifiés en octobre 2026.
| Éditeur | Robot | Usage documenté | Règles robots.txt |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Résultats de recherche de ChatGPT | Respectées |
| OpenAI | ChatGPT-User | Actions lancées par un utilisateur dans ChatGPT | Peuvent ne pas s’appliquer |
| OpenAI | GPTBot | Contenus pouvant servir à l’entraînement | Respectées |
| Anthropic | Claude-SearchBot | Qualité des réponses de recherche de Claude | Respectées |
| Anthropic | Claude-User | Pages consultées pour la question d’un utilisateur | Respectées |
| Anthropic | ClaudeBot | Contenus pouvant servir à l’entraînement | Respectées, avec Crawl-delay |
| Perplexity | PerplexityBot | Résultats de recherche de Perplexity, sans entraînement | Respectées |
| Perplexity | Perplexity-User | Consultation à la demande d’un utilisateur | Généralement ignorées |
| Googlebot | Search, AI Overviews et AI Mode | Respectées | |
| Google-Extended | Entraînement et ancrage dans les applications Gemini et Vertex AI | Jeton robots.txt, sans robot distinct | |
| Common Crawl | CCBot | Archive ouverte du web, réutilisable par tous | Blocage par robots.txt documenté |
OpenAI documente des réglages indépendants pour ses robots. Perplexity distingue aussi le robot de recherche de la consultation à la demande ; cette dernière ignore généralement robots.txt. Bloquer PerplexityBot ne permet donc pas d’affirmer que votre marque ne sera jamais citée.
OpenAI précise aussi que ChatGPT-User ne sert pas à décider si une page apparaît dans la recherche de ChatGPT : ce rôle revient à OAI-SearchBot. Un site qui refuse OAI-SearchBot peut encore apparaître sous forme de simple lien de navigation.
Anthropic déclare que ses robots respectent les directives standard de robots.txt et accepte l’extension Crawl-delay pour ClaudeBot. L’éditeur prévient que bloquer ses adresses IP ne garantit pas un retrait durable, et recommande robots.txt. Bloquer Claude-User réduit votre visibilité dans les recherches que les utilisateurs lancent depuis Claude.
Common Crawl constitue une archive ouverte du web que n’importe qui peut télécharger et analyser. Bloquer CCBot retire vos nouvelles pages de cette archive, sans effet sur les copies déjà publiées.
Google précise que l’accès à ses fonctions IA dans Search dépend de Googlebot. Ne confondez pas ce réglage avec Google-Extended. Google-Extended n’a pas d’agent utilisateur HTTP propre : c’est un jeton que les robots Google lisent dans votre fichier, et il n’a aucun effet sur l’inclusion ni le classement dans Google Search.
Comment sortir des AI Overviews sans quitter Google ?
Bloquer Googlebot retirerait aussi votre site des résultats classiques. Google propose d’autres réglages, plus ciblés.
Search Console contient un réglage dédié aux fonctions d’IA générative de la recherche. Il couvre les AI Overviews, AI Mode et les AI Overviews de Discover, et il est disponible pour tous les sites depuis le 31 août 2026 (annonce de Google). Google prévient qu’un site exclu ne reçoit plus ni visites ni impressions de ces fonctions, et que le réglage ne sert pas de signal de classement ailleurs dans la recherche.
Pour un contrôle page par page, les balises robots nosnippet, max-snippet et l’attribut data-nosnippet limitent les extraits repris. Elles agissent aussi sur les extraits des résultats classiques. Testez-les sur quelques pages avant de les généraliser.
Comment choisir les règles ?
Pour vos pages de services et vos preuves publiques, autoriser la recherche est cohérent avec un objectif de visibilité. Pour l’entraînement, décidez selon vos contenus et vos droits d’utilisation. Aucune de ces décisions ne garantit une recommandation.
La nature de vos contenus aide à trancher. Si vos pages présentent une offre que vous vendez par ailleurs, leur reprise dans un modèle vous coûte peu. Si le contenu est lui-même le produit (cours payants, base de données, articles d’un média), l’entraînement d’un modèle sur ces pages peut concurrencer votre offre, et le blocage des robots d’entraînement se défend.
Exemple de règles séparées, à adapter à votre site :
User-agent: OAI-SearchBot
Allow: /
Disallow: /espace-prive/
User-agent: GPTBot
Disallow: /
User-agent: PerplexityBot
Allow: /
Disallow: /espace-prive/
Le groupe d’un robot spécifique ne reprend pas automatiquement toutes les règles du groupe *. Faites vérifier les chemins exclus dans chaque groupe concerné. Ne copiez pas cet exemple comme s’il couvrait toutes les règles de votre site.
Pour bloquer l’entraînement chez les quatre éditeurs du tableau tout en laissant la recherche ouverte, les groupes à ajouter sont les suivants :
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
Ces règles s’appliquent aux pages lues à partir de leur entrée en vigueur. Les contenus déjà collectés restent dans les données existantes.
Pour une zone privée, exigez une authentification. Google rappelle que robots.txt ne sert pas à masquer des informations confidentielles.
Comment un robot lit-il votre fichier ?
Google décrit sa lecture du fichier dans sa spécification robots.txt :
- Un robot applique un seul groupe : celui dont le
User-agentcorrespond le plus précisément à son nom. L’ordre des groupes dans le fichier ne compte pas. - Plusieurs groupes déclarés pour le même robot sont fusionnés. Le groupe
*ne s’ajoute pas à un groupe spécifique. - En cas de règles contradictoires, Google retient la moins restrictive.
- Google lit au maximum 500 Kio et garde le fichier en cache jusqu’à 24 heures.
- Un fichier introuvable (erreur 4xx, sauf 429) équivaut à l’absence de restriction. Une erreur serveur 5xx suspend d’abord l’exploration.
Les autres éditeurs annoncent des délais comparables : environ 24 heures chez OpenAI pour ses résultats de recherche, jusqu’à 24 heures chez Perplexity.
Pourquoi vérifier aussi Cloudflare ou votre pare-feu ?
Une règle autorisée dans le fichier peut rester bloquée par un pare-feu ou un défi anti-bot. Cloudflare peut aussi gérer ou ajouter des directives robots.txt.
Avec son robots.txt géré, Cloudflare place ses propres directives avant les vôtres dès qu’une politique bloque l’entraînement. L’exemple de sa documentation interdit huit robots : Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot et meta-externalagent. Depuis juillet 2025, Cloudflare demande à chaque nouveau domaine s’il veut autoriser les robots IA. Un réglage choisi à l’inscription peut donc contredire le fichier que votre développeur a écrit.
Demandez à votre prestataire de contrôler le fichier réellement servi sur le domaine public, puis les réponses HTTP dans les journaux. Une copie locale du fichier ne suffit pas. Si un accès doit être autorisé dans le pare-feu, vérifiez l’identité du robot avec les méthodes et les plages d’adresses publiées par son éditeur, en plus de son nom déclaré.
OpenAI publie ses plages par robot (par exemple openai.com/searchbot.json), Perplexity fait de même pour ses deux robots, Common Crawl publie index.commoncrawl.org/ccbot.json, et Anthropic tient aussi une liste. Common Crawl prévient que de faux robots se présentent sous le nom CCBot.
Quel choix ai-je fait pour mon site ?
Le fichier configuré sur le site Numinam autorise les robots de recherche OpenAI, Anthropic et Perplexity. Il autorise aussi GPTBot, ClaudeBot, Google-Extended et CCBot. D’autres robots, dont Bytespider, sont bloqués. Ce choix vaut pour mon site et ne constitue pas une règle universelle pour votre entreprise.
Le site n’a pas d’espace client : chaque groupe autorise donc l’ensemble du site. Les robots qui consultent une page à la demande d’un utilisateur, ChatGPT-User et Claude-User, y sont déclarés explicitement. Pour votre site, faites l’inventaire des sections qui doivent être publiques avant de définir les règles.
Comment vérifier après une modification ?
Ouvrez le robots.txt public, testez les règles pour quelques URL et recherchez dans les logs les accès réussis et les refus. Notez la date du changement pour comparer les visites du robot avant et après.
Dans Search Console, le rapport robots.txt indique la version du fichier que Google a récupérée et les erreurs d’analyse. Pour les autres robots, cherchez leur nom dans les journaux du serveur et vérifiez l’adresse IP de chaque visite avec la liste publiée par l’éditeur.
Si un robot bloqué continue de lire vos pages, écrivez à son éditeur depuis une adresse de votre domaine. Anthropic donne par exemple claudebot@anthropic.com et demande cette adresse de domaine pour vérifier le signalement.
Mesurez ensuite les citations et les visites séparément. Un accès réussi montre que le robot a pu lire ; il ne prouve pas que cette lecture a produit une citation.
Le guide GEO et SEO propose un suivi des questions prospects.
Questions fréquentes
Bloquer GPTBot retire-t-il mon site de ChatGPT ?
Non. GPTBot concerne l’entraînement. La présence dans la recherche de ChatGPT dépend d’OAI-SearchBot, qu’OpenAI règle indépendamment.
Bloquer Google-Extended me fait-il disparaître des AI Overviews ?
Non. Les AI Overviews et AI Mode dépendent de Googlebot. Pour en sortir, utilisez le réglage de Search Console consacré à l’IA générative, ou les balises d’extraits sur les pages concernées.
Faut-il un robots.txt pour être cité par les assistants ?
Non. Sans fichier, Google traite le site comme entièrement autorisé. Le fichier devient nécessaire dès que vous voulez exclure une section ou traiter différemment l’entraînement et la recherche.
robots.txt protège-t-il mes contenus ?
Non. Le respect du fichier reste volontaire, et certains robots de consultation à la demande l’ignorent. Une zone confidentielle exige une authentification.
Combien de temps avant qu’une modification soit prise en compte ?
Comptez jusqu’à 24 heures chez Google, OpenAI et Perplexity d’après leurs documentations. Le délai réel dépend du prochain passage du robot sur votre site.


