Jak pozwolić GPTBot, ClaudeBot i PerplexityBot czytać Twoją stronę
Praktyczny przewodnik po user-agentach robotów AI, po tym, jak zezwolić na każdego z nich lub go zablokować w robots.txt oraz jak sprawdzić, czy faktycznie docierają do Twojej treści.
Jeśli chcesz, by odpowiedzi AI wspominały o Twojej stronie i do niej linkowały, stojące za nimi roboty potrzebują pozwolenia, by ją pobrać. Każdy większy asystent wysyła nazwanego user-agenta, a robots.txt to miejsce, w którym ich witasz albo im odmawiasz.
Roboty, które warto znać
- GPTBot — robot OpenAI do trenowania i przeglądania.
- ClaudeBot — robot Anthropic.
- PerplexityBot — robot silnika odpowiedzi Perplexity.
Zezwalanie na nie w robots.txt
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlBlokujesz je w ten sam sposób, dodając Disallow: / pod user-agentem danego robota, jeśli wolisz, by trzymał się z daleka. Rób to z rozmysłem: zablokowanie robota oznacza, że dany asystent nie może Cię zacytować.
Sprawdź, czy naprawdę działa
Reguła, która wygląda poprawnie, i tak może zawieść — zabłąkany Disallow gdzieś wyżej, framework serwujący robots.txt jako HTML, brakujący odnośnik do mapy witryny. Przepuść swój adres URL przez narzędzie do sprawdzania Indeksowalności dla AI, aby zobaczyć — robot po robocie — co jest dozwolone, a co po cichu zablokowane, a następnie pozwól umiejętności naprawić luki na miejscu.