Come far leggere il tuo sito a GPTBot, ClaudeBot e PerplexityBot
Una guida pratica agli user-agent dei crawler AI, a come consentire o bloccare ciascuno in robots.txt e a come verificare che riescano davvero a raggiungere i tuoi contenuti.
Se vuoi che le risposte dell'AI menzionino e colleghino il tuo sito, i crawler che le alimentano hanno bisogno del permesso di scaricarlo. Ogni grande assistente ha un user-agent con un nome preciso, e robots.txt è il luogo dove dargli il benvenuto o rifiutarlo.
I bot da conoscere
- GPTBot — il crawler di OpenAI per l'addestramento e la navigazione.
- ClaudeBot — il crawler di Anthropic.
- PerplexityBot — il crawler dell'answer engine di Perplexity.
Consentirli in robots.txt
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlBloccali allo stesso modo con Disallow: / sotto l'user-agent di un bot, se preferisci tenerlo fuori. Fallo con criterio: bloccare un crawler significa che quell'assistente non può citarti.
Verifica che funzioni davvero
Una regola che sembra corretta può comunque fallire — un Disallow vagante più in alto, un framework che serve robots.txt come HTML, un link alla sitemap mancante. Passa il tuo URL nel checker di Crawlabilità AI per vedere, bot per bot, cosa è consentito e cosa viene bloccato in silenzio, poi lascia che la skill colmi le lacune sul posto.