Chaque jour, votre site reçoit la visite de robots bien particuliers : GPTBot d’OpenAI, ClaudeBot d’Anthropic, PerplexityBot, Google-Extended, sans oublier une dizaine d’autres crawlers moins connus. Leur mission n’est plus d’indexer une page pour un moteur de recherche classique, mais d’aspirer du contenu pour entraîner ou alimenter des modèles d’intelligence artificielle. Faut-il les laisser faire, les encadrer ou carrément leur fermer la porte ? La question divise les éditeurs de sites, et la réponse n’est pas la même selon que vous vendez des prestations, publiez des articles ou gérez une boutique en ligne.
Qui sont ces robots IA et que viennent-ils faire sur votre site ?
Derrière ces noms un peu techniques se cachent des crawlers automatisés, au même titre que Googlebot, mais avec un objectif différent : collecter du texte, des images ou des données structurées pour nourrir des modèles de langage (LLM) ou répondre en temps réel aux questions des utilisateurs de ChatGPT, Claude ou Perplexity.
GPTBot (OpenAI)
GPTBot parcourt le web pour améliorer l’entraînement des futurs modèles d’OpenAI. Il respecte le protocole robots.txt et s’identifie clairement dans son user-agent, ce qui permet de le repérer facilement dans vos logs serveur.
ClaudeBot (Anthropic)
ClaudeBot, le crawler d’Anthropic, fonctionne sur le même principe : collecte de contenu public pour l’entraînement des modèles Claude. Il s’est fait remarquer ces derniers mois par des volumes de requêtes parfois élevés sur certains sites, au point que plusieurs hébergeurs ont dû ajuster leurs règles de limitation de débit.
PerplexityBot et les autres
PerplexityBot, lui, a une fonction hybride : il crawle pour entraîner, mais aussi pour aller chercher une information fraîche au moment où un utilisateur pose une question sur Perplexity, un peu comme le ferait un moteur de recherche classique. On trouve aussi CCBot (Common Crawl, dont les données servent à de nombreux LLM open source), Google-Extended (qui contrôle l’usage de vos contenus par Gemini et les AI Overviews, indépendamment de Googlebot) ou encore Bytespider (ByteDance/TikTok).
Faut-il bloquer ces robots ? Le débat n’est pas tranché
La tentation de tout bloquer est compréhensible : ces crawlers consomment de la bande passante, et l’idée que son contenu serve à entraîner un modèle sans contrepartie directe peut légitimement agacer. Mais la décision mérite d’être pesée, car elle a des conséquences très différentes selon votre activité.
Les arguments en faveur du blocage
- Protection de contenu à forte valeur ajoutée : études, données propriétaires, contenus premium que vous ne souhaitez pas voir repris tels quels.
- Charge serveur : sur un hébergement modeste, des crawls intensifs et mal régulés peuvent ralentir le site pour les vrais visiteurs.
- Position éditoriale : certains médias et créateurs refusent par principe que leur travail nourrisse des IA sans compensation.
Les arguments en faveur de l’ouverture
- Visibilité dans les réponses IA : si votre site est fermé aux crawlers IA, il ne peut tout simplement pas être cité par ChatGPT, Claude ou Perplexity lorsqu’un utilisateur pose une question liée à votre secteur. C’est tout l’enjeu du GEO (Generative Engine Optimization) : être visible là où vos prospects cherchent désormais de l’information.
- Nouveau canal d’acquisition : de plus en plus d’internautes découvrent des prestataires, des produits ou des articles via une réponse générée par une IA plutôt que par un clic classique sur Google.
- Cohérence avec votre présence Google : bloquer Google-Extended tout en restant indexé par Googlebot classique revient à accepter d’apparaître dans les résultats de recherche tout en refusant d’apparaître dans les AI Overviews, qui occupent une place croissante en haut des pages de résultats.
Pour un site vitrine ou un blog professionnel dont l’objectif est d’être trouvé et recommandé, le blocage systématique est rarement la bonne option. Pour un site e-commerce avec des fiches produits très travaillées ou un média vivant de ses abonnements, la question mérite un arbitrage plus fin, robot par robot.
Le cas particulier de l’e-commerce et des contenus premium
Une boutique en ligne a souvent intérêt à distinguer plusieurs niveaux de contenu. Les fiches produits et les pages catégories gagnent généralement à rester ouvertes : un acheteur qui demande à une IA « quel est le meilleur produit pour X » ne peut vous recommander que si votre catalogue est accessible aux crawlers. En revanche, des éléments comme les avis clients bruts, les conditions tarifaires négociées B2B ou des guides d’achat exclusifs réservés aux abonnés peuvent légitimement rester fermés. La clé est de raisonner par répertoire plutôt que par tout-ou-rien : un Disallow ciblé sur /compte/ ou /avis-clients/ coûte peu et protège l’essentiel, sans sacrifier la visibilité de ce qui doit justement être vu.
Comment gérer concrètement ces robots sur votre site
La bonne nouvelle, c’est que vous n’êtes pas obligé de choisir entre tout ouvrir et tout fermer. Le protocole robots.txt permet un pilotage précis, robot par robot.
Des directives robots.txt ciblées
Chaque crawler IA sérieux s’identifie avec son propre user-agent, ce qui permet d’écrire des règles distinctes. Par exemple, pour autoriser Googlebot classique tout en bloquant uniquement Google-Extended (l’entraînement des modèles Gemini) :
User-agent: Google-Extendedsuivi deDisallow: /pour refuser l’entraînement, sans toucher à votre indexation Google classique.User-agent: GPTBot,User-agent: ClaudeBot,User-agent: PerplexityBot: chacun peut être autorisé ou bloqué indépendamment, y compris section par section (par exemple en excluant un répertoire/premium/tout en laissant le reste du site ouvert).
Nous détaillons la syntaxe complète et les pièges classiques du fichier robots.txt, ainsi que la notion de budget de crawl, dans notre article sur sitemap XML, robots.txt et budget de crawl.
Le fichier llms.txt en complément
Le robots.txt dit ce qui est autorisé ou interdit. Le llms.txt, un standard plus récent, va plus loin : il fournit aux IA un résumé structuré de votre site (qui vous êtes, vos pages clés, votre offre), pour les aider à mieux comprendre et citer votre contenu. Les deux fichiers sont complémentaires, pas concurrents. Nous expliquons son fonctionnement en détail dans notre article dédié au llms.txt.
Surveiller ce qui se passe réellement
Avant de bloquer quoi que ce soit, il est utile de regarder vos logs serveur ou votre outil d’analytics pour mesurer le volume réel de trafic généré par chaque bot. Un blocage décidé « par principe », sans données, revient souvent à se priver d’opportunités sans réduire une charge qui, dans les faits, était négligeable. La plupart des hébergeurs mutualisés donnent accès aux logs bruts via un gestionnaire de fichiers ou un outil dédié ; il suffit de filtrer les lignes contenant « GPTBot », « ClaudeBot » ou « PerplexityBot » sur les dernières semaines pour se faire une idée concrète de la fréquence et du volume de passage, plutôt que de décider à l’aveugle.
Notre recommandation pour la plupart des sites professionnels
Pour un site vitrine, un blog d’expertise ou une activité de service, la stratégie la plus cohérente en 2026 consiste à :
- Autoriser GPTBot, ClaudeBot et PerplexityBot sur l’ensemble du contenu public, pour maximiser les chances d’être cité dans les réponses IA — un enjeu déjà bien réel, comme on le voit dans la bataille entre ChatGPT Search et Google.
- Réserver le blocage aux contenus réellement sensibles : espaces clients, données tarifaires confidentielles, contenus sous licence stricte.
- Mettre en place un llms.txt propre pour guider ces robots vers vos pages les plus importantes.
- Revoir cette politique régulièrement : le paysage des crawlers IA évolue vite, avec de nouveaux acteurs qui apparaissent chaque trimestre.
Bloquer par réflexe, c’est prendre le risque de devenir invisible dans une part croissante des recherches. Ouvrir sans réfléchir, c’est parfois exposer du contenu qui mériterait d’être protégé. La bonne approche est presque toujours la même : un arbitrage réfléchi, robot par robot, aligné avec vos objectifs business.
Vous ne savez pas par où commencer pour auditer et configurer le robots.txt et le llms.txt de votre site ? En tant que freelance web basé entre la Normandie et la Bretagne (Avranches, Granville, Caen, Rennes, Fougères), j’accompagne les indépendants et TPE sur ces sujets techniques autant que sur la création de site. Contactez-moi pour en discuter, ou consultez directement mes tarifs de création de site web.
