GPTBot, ClaudeBot ve PerplexityBot'un sitenizi okumasına nasıl izin verirsiniz
Yapay zeka tarayıcı kullanıcı aracılarına, her birine robots.txt içinde nasıl izin verileceğine veya nasıl engelleneceğine ve içeriğinize gerçekten ulaşabildiklerini nasıl doğrulayacağınıza dair pratik bir rehber.
Yapay zeka yanıtlarının sitenizden söz etmesini ve ona bağlantı vermesini istiyorsanız, onların ardındaki tarayıcıların sitenizi getirmek için izne ihtiyacı vardır. Her büyük asistan, adı belirli bir kullanıcı aracıyla gelir ve onları ağırladığınız ya da reddettiğiniz yer robots.txt'dir.
Bilinmesi gereken botlar
- GPTBot — OpenAI'nin eğitim ve gezinme amaçlı tarayıcısı.
- ClaudeBot — Anthropic'in tarayıcısı.
- PerplexityBot — Perplexity'nin yanıt motoru tarayıcısı.
Onlara robots.txt içinde izin vermek
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlBir botun uzak durmasını tercih ediyorsanız, o botun kullanıcı aracısı altına Disallow: / ekleyerek aynı şekilde engelleyin. Bilinçli olun: bir tarayıcıyı engellemek, o asistanın sizi alıntılayamayacağı anlamına gelir.
Gerçekten çalıştığını doğrulayın
Doğru görünen bir kural yine de başarısız olabilir — yukarıda unutulmuş bir Disallow, robots.txt'i HTML olarak sunan bir çatı, eksik bir sitemap bağlantısı. URL'nizi AI Taranabilirlik denetleyicisinden geçirin ve bot bot, neye izin verildiğini ve neyin sessizce engellendiğini görün, ardından yeteneğin boşlukları yerinde düzeltmesine izin verin.