GPTBot, ClaudeBot और PerplexityBot को अपनी साइट पढ़ने कैसे दें

अगर आप चाहते हैं कि AI जवाबों में आपकी साइट का ज़िक्र और लिंक हो, तो उनके पीछे मौजूद क्रॉलरों को उसे फ़ेच करने की अनुमति चाहिए। हर बड़ा असिस्टेंट एक नामधारी user-agent भेजता है, और robots.txt वही जगह है जहाँ आप उनका स्वागत करते हैं या मना करते हैं।

जिन बॉट्स को जानना ज़रूरी है

• ·GPTBot — OpenAI का क्रॉलर, ट्रेनिंग और ब्राउज़िंग के लिए।
• ·ClaudeBot — Anthropic का क्रॉलर।
• ·PerplexityBot — Perplexity का आन्सर-इंजन क्रॉलर।

robots.txt में इन्हें अनुमति देना

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://yoursite.com/sitemap.xml

अगर आप चाहते हैं कि कोई बॉट बाहर ही रहे, तो उसके user-agent के नीचे Disallow: / लगाकर उसी तरह ब्लॉक करें। सोच-समझकर करें: किसी क्रॉलर को ब्लॉक करने का मतलब है कि वह असिस्टेंट आपका हवाला नहीं दे पाएगा।

जाँचें कि यह वाकई काम कर रहा है

जो नियम देखने में सही लगता है वह भी नाकाम हो सकता है — ऊपर कहीं छूटा हुआ कोई Disallow, robots.txt को HTML के रूप में परोसता कोई फ़्रेमवर्क, या गायब sitemap लिंक। अपना URL AI Crawlability चेकर में डालकर बॉट-दर-बॉट देखें कि क्या अनुमत है और क्या चुपचाप ब्लॉक है, फिर स्किल को खामियाँ वहीं ठीक करने दें।