Cara mengizinkan GPTBot, ClaudeBot, dan PerplexityBot membaca situsmu
Panduan praktis tentang user-agent crawler AI, cara mengizinkan atau memblokir masing-masing di robots.txt, dan cara memverifikasi bahwa mereka benar-benar bisa menjangkau kontenmu.
Kalau kamu ingin jawaban AI menyebut dan menautkan situsmu, crawler di baliknya butuh izin untuk mengambilnya. Setiap asisten besar punya user-agent bernama, dan robots.txt adalah tempatmu menyambut atau menolak mereka.
Bot yang perlu kamu kenal
- GPTBot — crawler OpenAI untuk pelatihan dan penelusuran.
- ClaudeBot — crawler milik Anthropic.
- PerplexityBot — crawler mesin-jawaban milik Perplexity.
Mengizinkan mereka di robots.txt
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlBlokir dengan cara yang sama pakai Disallow: / di bawah user-agent sebuah bot kalau kamu lebih memilih bot itu tetap di luar. Bersikaplah cermat: memblokir sebuah crawler berarti asisten tersebut tidak bisa mengutipmu.
Verifikasi bahwa aturannya benar-benar bekerja
Aturan yang tampak benar pun masih bisa gagal — sebuah Disallow nyasar di atasnya, framework yang menyajikan robots.txt sebagai HTML, tautan sitemap yang hilang. Jalankan URL-mu lewat pemeriksa AI Crawlability untuk melihat, bot demi bot, apa yang diizinkan dan apa yang diam-diam diblokir, lalu biarkan skill itu memperbaiki celahnya langsung di tempat.