So lässt du GPTBot, ClaudeBot und PerplexityBot deine Website lesen
Ein praktischer Leitfaden zu den User-Agents der KI-Crawler, wie du jeden einzelnen in der robots.txt erlaubst oder blockierst und wie du prüfst, ob sie deine Inhalte tatsächlich erreichen.
Wenn KI-Antworten deine Website erwähnen und verlinken sollen, brauchen die dahinterstehenden Crawler die Erlaubnis, sie abzurufen. Jeder große Assistent bringt einen benannten User-Agent mit, und in der robots.txt heißt du sie willkommen oder weist sie ab.
Die Bots, die man kennen sollte
- GPTBot — OpenAIs Crawler für Training und Browsing.
- ClaudeBot — Anthropics Crawler.
- PerplexityBot — Perplexitys Crawler für die Antwortmaschine.
Sie in der robots.txt erlauben
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlBlockiere sie auf dieselbe Weise mit Disallow: / unter dem User-Agent eines Bots, falls du ihn lieber draußen halten möchtest. Geh bewusst vor: Einen Crawler zu blockieren bedeutet, dass dieser Assistent dich nicht zitieren kann.
Prüfe, ob es wirklich funktioniert
Eine Regel, die richtig aussieht, kann trotzdem versagen — ein verirrtes Disallow weiter oben, ein Framework, das robots.txt als HTML ausliefert, ein fehlender Sitemap-Link. Schick deine URL durch den AI-Crawlbarkeits-Checker, um Bot für Bot zu sehen, was erlaubt und was stillschweigend blockiert ist, und lass das Tool die Lücken direkt vor Ort schließen.