ChatGPT peut visiter vos pages interdites, et OpenAI l'assume

Ce qu'il faut retenir :

• En Europe, environ 15 % des bots IA de type "fetcher" identifiés ont accédé à des URL pourtant marquées comme interdites.
• ChatGPT-User, Bytespider et Youbot sont les principaux responsables : chacun a atteint des pages interdites sur près de la moitié des sites européens qui les avaient explicitement bloqués, ChatGPT-User en tête.
• OpenAI justifie ce comportement par le fait que ChatGPT-User agit à la demande d'un utilisateur, ce qui le distinguerait d'un crawl classique soumis au robots.txt. Perplexity avance le même argument pour Perplexity-User, tandis qu'Anthropic affirme que ses trois bots respectent tous le fichier.
• Bloquer ChatGPT-User ne bloque pas OAI-SearchBot, l'agent qui décide si un site apparaît dans les résultats de recherche de ChatGPT. Un site qui interdit les deux pense couper tout trafic IA, mais perd la visibilité côté recherche sans gagner en protection côté fetch.

Le rapport State of the Bots de TollBit, qui compile les données du premier semestre 2026, montre aussi que la situation varie beaucoup selon les agents. Claude-User n'est bloqué que par 9 % des sites européens, contre 26 % en Amérique du Nord. Perplexity-User affiche 13 % contre 26 %. La plupart des agents récents ont des taux de blocage à un chiffre en Europe, mais ChatGPT-User fait figure d'exception, à la fois très bloqué et très souvent contourné malgré ce blocage.

La documentation d'OpenAI est claire sur ce point : ChatGPT-User se déclenche quand un utilisateur pose une question dans ChatGPT, et parce que l'action part d'un humain, le robots.txt pourrait ne pas s'appliquer. TollBit, de son côté, ne fait pas cette distinction : toute requête vers une URL interdite est comptée comme un contournement, quelle que soit la justification donnée par l'opérateur du bot.

Pour un éditeur de site, la conséquence pratique est la suivante : le fichier robots.txt ne montre que ce qui a été demandé en théorie, pas ce qui s'est réellement passé. Seuls les logs serveur ou les données CDN permettent de savoir ce qui a effectivement été récupéré.

Cloudflare prépare de son côté un changement de méthode. À partir du 15 septembre, les nouveaux domaines ajoutés à Cloudflare verront leurs crawlers d'entraînement et leurs agents bloqués par défaut sur les pages contenant des publicités, les crawlers de recherche restant autorisés. La décision de blocage se déplace ainsi au niveau du réseau plutôt que d'être laissée à la bonne volonté du crawler. Reste à savoir si l'argument du "chargement initié par l'utilisateur" tiendra sur la durée, maintenant que tous les grands assistants IA récupèrent les pages de cette manière.

Article rédigé par Johan Sellitto

Auteur Abondance

Rejoignez nos 20 000 abonnés et recevez, chaque semaine, tous nos articles dans votre boite mail !

Les données transmises par le biais de ce formulaire sont uniquement destinées à Abondance. Elles ne seront en aucun cas cédées à des tiers. Vous pouvez vous désabonner à tout moment en cliquant sur les liens de désinscriptions présents dans chacun de nos emails. Pour plus d’informations, vous pouvez consulter l’intégralité de notre politique de traitement de vos données personnelles.