Comment autoriser GPTBot, ClaudeBot et PerplexityBot à lire votre site
Un guide pratique des user-agents des crawlers IA, comment autoriser ou bloquer chacun dans robots.txt, et comment vérifier qu'ils atteignent réellement votre contenu.
Si vous voulez que les réponses de l'IA mentionnent votre site et pointent vers lui, les crawlers qui les alimentent ont besoin de la permission de le récupérer. Chaque grand assistant embarque un user-agent nommé, et c'est dans robots.txt que vous les accueillez ou les refusez.
Les bots à connaître
- GPTBot — le crawler d'OpenAI, pour l'entraînement et la navigation.
- ClaudeBot — le crawler d'Anthropic.
- PerplexityBot — le crawler du moteur de réponses de Perplexity.
Les autoriser dans robots.txt
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlBloquez de la même manière avec Disallow: / sous le user-agent d'un bot si vous préférez le tenir à l'écart. Soyez délibéré : bloquer un crawler, c'est empêcher cet assistant de vous citer.
Vérifiez que ça fonctionne vraiment
Une règle qui a l'air correcte peut quand même échouer — un Disallow égaré plus haut, un framework qui sert robots.txt en HTML, un lien de sitemap manquant. Passez votre URL dans le vérificateur de Crawlabilité IA pour voir, bot par bot, ce qui est autorisé et ce qui est silencieusement bloqué, puis laissez la compétence combler les lacunes sur place.