Como permitir que GPTBot, ClaudeBot e PerplexityBot leiam seu site
Um guia prático sobre os user-agents dos crawlers de IA, como permitir ou bloquear cada um no robots.txt e como verificar se eles realmente conseguem acessar seu conteúdo.
Se você quer que as respostas de IA mencionem e criem links para o seu site, os crawlers por trás delas precisam de permissão para acessá-lo. Cada grande assistente traz um user-agent nomeado, e o robots.txt é onde você os recebe ou os recusa.
Os bots que você precisa conhecer
- GPTBot — o crawler da OpenAI para treinamento e navegação.
- ClaudeBot — o crawler da Anthropic.
- PerplexityBot — o crawler do mecanismo de respostas da Perplexity.
Permitindo-os no robots.txt
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlBloqueie da mesma forma com Disallow: / sob o user-agent de um bot, caso prefira mantê-lo de fora. Seja deliberado: bloquear um crawler significa que aquele assistente não pode citar você.
Verifique se realmente funciona
Uma regra que parece certa ainda pode falhar — um Disallow perdido lá em cima, um framework servindo o robots.txt como HTML, um link de sitemap ausente. Passe sua URL pelo verificador de Rastreabilidade por IA para ver, bot por bot, o que está permitido e o que está sendo bloqueado silenciosamente, e então deixe a habilidade corrigir as falhas no lugar.