Faut-il autoriser les crawlers IA à lire votre site ?
Bloquer GPTBot ou ClaudeBot d'une ligne de robots.txt protège moins qu'on croit et coûte des citations. L'arbitrage honnête, crawler par crawler.
Alexandre De Sousa
Fondateur · seoisdead.fr
Une ligne de robots.txt peut vous rendre invisible sans que vous le sachiez
Une seule ligne dans votre fichier robots.txt peut décider si ChatGPT, Perplexity ou Claude pourront un jour citer votre marque. Beaucoup de dirigeants B2B découvrent cette ligne au moment où une agence ou un développeur leur propose de bloquer les robots des IA, par réflexe défensif : protéger le contenu de l’entrainement des modèles. Le réflexe inverse existe aussi, tout aussi mécanique : tout ouvrir pour être lisible. Les deux postures reposent sur la même confusion, qu’il faut lever avant de trancher.
La confusion est simple à énoncer : tous les robots d’un même acteur ne font pas la même chose. Bloquer les crawlers d’une IA en bloc, comme s’ils formaient une entité unique, revient souvent à se couper des réponses citées pour se protéger d’un entrainement dont on surestime l’enjeu. À l’inverse, tout autoriser sans comprendre ce que chaque agent fait laisse passer des décisions qu’on aurait peut-être prises autrement.
Cet article détaille ce que chaque famille de crawler fait réellement, ce qu’on gagne et ce qu’on perd à bloquer, la différence entre robots.txt, balise noindex et blocage serveur, les rares cas où le blocage se défend, et la configuration recommandée pour une marque qui veut être citée.
Tous les robots d’un même acteur ne font pas la même chose
C’est le point que presque toutes les discussions sur le blocage des IA passent sous silence, et sans lui aucune décision saine n’est possible. Un même éditeur d’IA fait circuler plusieurs agents distincts, avec des noms différents et des rôles séparés. Les mettre dans le même sac est l’erreur fondatrice.
Prenons OpenAI, le cas le mieux documenté. Sa documentation officielle décrit trois agents aux fonctions nettement distinctes. GPTBot collecte des données susceptibles d’améliorer les futurs modèles, c’est l’agent d’entrainement. OAI-SearchBot construit et met à jour l’index qui alimente les résultats et les citations de ChatGPT search, c’est l’agent qui décide si votre contenu peut être cité en temps réel. ChatGPT-User agit à la demande, quand un utilisateur demande à ChatGPT d’aller consulter une page précise. Bloquer GPTBot ne bloque pas OAI-SearchBot, et inversement. Confondre les deux, c’est croire se protéger de l’entrainement tout en risquant, selon la règle écrite, de se retirer des citations, ou l’inverse.
La même logique vaut ailleurs. Anthropic distingue ClaudeBot, qui alimente l’entrainement, des agents qui récupèrent une page à la demande d’un utilisateur de Claude. Perplexity opère PerplexityBot, qui indexe pour son moteur de réponse, séparé de l’agent qui va chercher une URL en réponse à une requête. Google, enfin, sépare Googlebot, qui alimente l’index de recherche et donc les AI Overviews, de Google-Extended, qui régit uniquement l’usage du contenu pour entrainer Gemini. Cette dernière séparation est capitale : bloquer Google-Extended n’a aucun effet sur votre présence dans les réponses IA de la recherche Google.
Bloquer les robots d’une IA en bloc, c’est confondre l’agent qui vous entraine dans un modèle et celui qui vous cite dans une réponse. Ce sont deux agents différents, avec deux noms différents, et une seule décision groupée les traite comme un seul.
Ce que bloquer coûte vraiment, et ce que ça protège si peu
Une fois la distinction posée, l’arbitrage devient lisible. Bloquer les agents de recherche a un coût direct et certain : l’invisibilité dans les moteurs de réponse. Un agent qui ne peut pas lire votre page ne peut pas la citer. Or ces moteurs redistribuent une part croissante de l’intention de recherche B2B, en amont d’un achat, précisément là où une marque veut apparaitre comme source. Se retirer de cet espace n’est pas une protection, c’est un renoncement mesurable.
En face, que protège réellement le blocage ? Pour l’immense majorité des sites B2B, beaucoup moins qu’on ne l’imagine, pour une raison tenace : un contenu déjà public l’est resté. L’information publiée sur le web ouvert circule par mille voies que le blocage des agents officiels ne ferme pas. Elle est reprise par des tiers, citée dans des articles, archivée, agrégée. Un crawler moins scrupuleux que les grands acteurs peut de toute façon ignorer votre consigne. Bloquer GPTBot ne retire pas du web une page que vous avez vous-même mise en ligne ; cela empêche seulement un agent respectueux d’y accéder directement.
L’enjeu de l’entrainement, lui, est réel mais souvent surestimé dans son urgence. La crainte est qu’un modèle apprenne de votre contenu et le restitue sans vous créditer. C’est un débat légitime, notamment pour un éditeur dont le contenu est le produit. Mais pour une marque B2B dont le contenu sert à se faire connaitre et choisir, l’objectif est précisément d’être connue et choisie, y compris par un modèle qui a intégré ce qu’elle publie. Refuser l’entrainement au prix des citations, c’est renoncer à la visibilité pour éviter une reprise dont on tirerait bénéfice.
robots.txt, noindex, blocage serveur : trois leviers qu’on confond
Une bonne partie des mauvaises décisions vient d’un troisième malentendu : croire que ces trois outils font la même chose. Ils agissent à des niveaux différents, avec des degrés de contrainte différents.
- robots.txt est un fichier de consignes placé à la racine du site. Il indique aux robots ce qu’ils sont invités à ne pas explorer. Les grands acteurs déclarent le respecter, mais c’est une convention, pas une barrière : rien n’empêche techniquement un robot d’ignorer la consigne. robots.txt exprime une intention, il ne l’impose pas.
- La balise meta noindex (ou l’en-tête HTTP équivalent) ne bloque pas l’accès à la page : elle demande de ne pas l’indexer. La nuance est subtile mais décisive. Une page en noindex peut être lue, mais ne devrait pas apparaitre dans un index de recherche. Elle régit la visibilité dans les résultats, pas l’accès au contenu.
- Le blocage serveur est le seul blocage techniquement contraignant. En filtrant les requêtes par user-agent ou par adresse IP, le serveur refuse la connexion avant même de servir la page. Un agent bloqué à ce niveau ne reçoit rien. C’est la seule méthode qui protège réellement, et la seule qui ne dépende pas de la bonne volonté du robot.
La conséquence pratique est importante. Une marque qui croit avoir protégé un contenu sensible avec une ligne de robots.txt se trompe sur la nature de sa protection : elle a posé une consigne, pas un verrou. À l’inverse, une configuration serveur trop agressive peut bloquer des agents utiles sans qu’on s’en aperçoive, et rendre un site invisible aux moteurs de réponse alors que ce n’était pas l’intention. Comprendre lequel des trois leviers on actionne est le préalable à toute décision. C’est aussi ce que révèle un diagnostic technique sérieux, au même titre que le test de lisibilité d’un site pour les crawlers IA.
Les rares cas où bloquer se défend vraiment
Refuser en bloc n’est pas une posture tenable pour une marque qui vit de sa visibilité, mais bloquer de façon ciblée se justifie dans des situations précises. Les nommer permet de ne pas les confondre avec le réflexe défensif général.
Le premier cas est le contenu premium monétisé. Un éditeur dont les articles sont l’objet même de la vente, ou une base de données qui constitue un actif commercial, a une raison directe de ne pas laisser un modèle absorber gratuitement ce que ses clients paient. Ici, le contenu n’est pas un outil de notoriété, il est le produit.
Le deuxième cas est la donnée sensible ou confidentielle. Documents internes, informations clients, éléments soumis à des obligations réglementaires : ces contenus ne devraient de toute façon pas être servis en accès ouvert. Mais s’ils le sont, un blocage serveur est un garde-fou supplémentaire, à condition de comprendre qu’il complète, et ne remplace jamais, une authentification en bonne et due forme.
Le troisième cas est le corpus propriétaire qu’on veut réserver à un usage exclusif : une méthodologie, un référentiel, un actif de recherche qu’une marque préfère garder maitrisé. Là encore, la décision est stratégique et assumée, pas un réflexe.
Ce qui distingue ces cas du blocage aveugle, c’est qu’ils portent sur des zones identifiées, pour des raisons explicites, sans jamais sacrifier la lisibilité du contenu public que la marque veut voir cité. Bloquer un répertoire précis n’a rien à voir avec bloquer tous les agents d’une IA sur l’ensemble du site.
La configuration recommandée pour une marque qui veut être citée
Pour une marque B2B dont l’objectif est d’apparaitre comme source dans les moteurs de réponse, la logique est stable : autoriser explicitement les agents qui construisent les citations, laisser lisible tout le contenu public, et réserver le blocage aux zones qui le justifient. Le tableau ci-dessous récapitule le rôle de chaque famille d’agent et la décision cohérente.
| Famille d’agent | Rôle | Effet d’un blocage | Décision pour être cité |
|---|---|---|---|
| Agent de recherche (OAI-SearchBot, PerplexityBot, Googlebot) | Construit l’index qui alimente les citations en temps réel | Absence des réponses citées | Autoriser sans exception |
| Agent d’entrainement (GPTBot, ClaudeBot, CCBot, Google-Extended) | Alimente la connaissance de fond des futurs modèles | Moins de présence dans le corpus, à terme | Autoriser (cohérent avec l’objectif de notoriété) |
| Agent à la demande (ChatGPT-User, agents utilisateur) | Récupère une page quand un utilisateur la demande | La page demandée n’est pas lue | Autoriser |
| Zones premium, sensibles, propriétaires | Contenu à protéger | Protection ciblée | Bloquer, de préférence côté serveur |
Le site de seoisdead.fr applique lui-même cette logique : son robots.txt accueille explicitement GPTBot, ClaudeBot, PerplexityBot, Google-Extended et CCBot, et référence son sitemap. Une agence qui prétend rendre les marques citables ne peut pas se permettre de se bloquer elle-même. C’est le principe de base : on ne se coupe pas de la voie par laquelle on veut être trouvé. Cette cohérence entre le discours et la configuration est d’ailleurs le premier signal qu’un prestataire comprend le sujet, un point que détaille la logique de sélection des sources par les moteurs.
Établir quels agents accèdent réellement à votre site, repérer un blocage involontaire hérité d’une ancienne configuration et vérifier que le contenu à enjeu est bien lisible relèvent d’un audit GEO, à partir de 590 € livré en 10 jours (TVA non applicable, art. 293 B du CGI). Maintenir cette lisibilité dans la durée, à mesure que les agents évoluent et que de nouveaux apparaissent, fait partie d’un accompagnement éditorial, à partir de 590 €/mois, qui inscrit la configuration d’accès dans une méthode GEO d’ensemble plutôt que dans un réglage ponctuel qu’on oublie.
À retenir
- Tous les robots d’un même acteur ne font pas la même chose : chez OpenAI, GPTBot entraine, OAI-SearchBot indexe pour les citations, ChatGPT-User agit à la demande. Décider en bloc, c’est traiter comme un seul des agents aux rôles opposés.
- Bloquer les agents de recherche a un coût certain, l’invisibilité dans les moteurs de réponse, pour une protection souvent illusoire : un contenu déjà public circule par d’autres voies que le blocage ne ferme pas.
- robots.txt est une consigne respectée volontairement, la balise noindex régit l’indexation, seul le blocage serveur est un verrou technique réel. Les confondre mène à croire protégé ce qui ne l’est que par convention.
- Bloquer se défend dans des cas précis et assumés, contenu premium monétisé, donnée sensible, corpus propriétaire, sur des zones identifiées, jamais sur l’ensemble du contenu public qu’une marque veut voir cité.
- La configuration cohérente pour être cité : autoriser explicitement les agents de recherche, autoriser l’entrainement par cohérence avec l’objectif de notoriété, et réserver le blocage serveur aux zones qui le justifient. Bloquer Google-Extended reste possible sans se retirer des AI Overviews, puisque celles-ci passent par Googlebot.
À propos de cet article.
Bloquer GPTBot empêche-t-il ChatGPT de me citer ?
En grande partie, oui, mais pas pour la raison qu'on croit. GPTBot est l'agent d'OpenAI dédié à la collecte de données d'entrainement. L'agent qui construit l'index alimentant les citations en temps réel de ChatGPT search est distinct : OpenAI le documente sous le nom OAI-SearchBot. Beaucoup de sites bloquent GPTBot en pensant seulement se protéger de l'entrainement, sans réaliser qu'une configuration trop large, ou une confusion entre les agents, peut aussi les rendre absents des réponses citées. La règle de sécurité pour une marque qui veut être citée est de ne jamais bloquer l'agent de recherche, quelle que soit la décision prise sur l'entrainement.
robots.txt bloque-t-il vraiment un crawler IA ?
Non, pas techniquement. robots.txt est un fichier de consignes que les robots respectent volontairement. Les grands acteurs (OpenAI, Anthropic, Perplexity, Google) déclarent s'y conformer, mais rien n'empêche techniquement un robot moins scrupuleux de l'ignorer. robots.txt indique une intention, il ne l'impose pas. Le seul blocage réellement contraignant est côté serveur, par filtrage du user-agent ou de l'adresse IP, qui refuse la connexion avant même que le contenu ne soit servi. Confondre les deux mène à croire un contenu protégé alors qu'il ne l'est que par convention.
Bloquer Google-Extended me retire-t-il des AI Overviews de Google ?
Non. Google-Extended contrôle l'usage de votre contenu pour l'entrainement des modèles Gemini, pas l'affichage dans la recherche. Les AI Overviews et le AI Mode s'appuient sur l'index de Google Search, régi par Googlebot. Bloquer Google-Extended protège donc de l'entrainement sans vous exclure des réponses IA de la recherche Google, qui continuent de puiser dans l'index classique. C'est l'un des rares cas où l'on peut refuser l'entrainement tout en restant citable, précisément parce que les deux fonctions passent par des agents séparés.
Quels crawlers IA une marque B2B devrait-elle autoriser ?
Au minimum les agents qui construisent les index de recherche alimentant les citations : OAI-SearchBot pour ChatGPT search, PerplexityBot pour Perplexity, et l'accès de Googlebot pour les AI Overviews. Pour une marque qui assume d'être citée, autoriser aussi les agents d'entrainement (GPTBot, ClaudeBot, CCBot, Google-Extended) est cohérent : c'est ainsi que la connaissance de fond des modèles se construit dans la durée. Le blocage se réserve aux zones qui le justifient vraiment, pas au contenu public que la marque veut voir repris.
Un contenu bloqué aux IA est-il pour autant protégé ?
Rarement, s'il est déjà public. Un contenu accessible sur le web ouvert peut être repris par des sources tierces, cité dans des articles, archivé, ou récupéré par des crawlers qui ne respectent pas robots.txt. Bloquer l'accès direct des agents officiels ne fait pas disparaitre l'information du web ; elle circule autrement. La vraie protection d'un contenu sensible n'est pas une ligne de robots.txt mais l'absence de publication ouverte : authentification, paywall serveur, ou tout simplement ne pas mettre en ligne ce qui doit rester confidentiel.