كيف تسمح لـ GPTBot و ClaudeBot و PerplexityBot بقراءة موقعك

إذا أردت أن تذكر إجابات الذكاء الاصطناعي موقعك وتربطه، فإن الزواحف التي تقف خلفها تحتاج إلى إذن بجلبه. يُصدِر كل مساعد رئيسي وكيل مستخدم باسم محدد، و robots.txt هو المكان الذي ترحّب فيه بها أو ترفضها.

الروبوتات التي يجب معرفتها

• ·‏GPTBot — زاحف OpenAI للتدريب والتصفح.
• ·‏ClaudeBot — زاحف Anthropic.
• ·‏PerplexityBot — زاحف محرك الإجابات الخاص بـ Perplexity.

السماح لها في robots.txt

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://yoursite.com/sitemap.xml

احظرها بالطريقة نفسها عبر Disallow: / تحت وكيل مستخدم الروبوت إذا كنت تفضّل إبقاءه في الخارج. كن متعمّدًا: حظر زاحف يعني أن ذلك المساعد لا يستطيع الاستشهاد بك.

تحقّق من أنها تعمل فعلًا

قد تفشل قاعدة تبدو صحيحة — سطر Disallow شارد في الأعلى، أو إطار عمل يقدّم robots.txt كـ HTML، أو رابط خريطة موقع مفقود. مرّر عنوان URL الخاص بك عبر مدقّق قابلية الزحف بالذكاء الاصطناعي (AI Crawlability) لترى، روبوتًا تلو الآخر، ما هو مسموح وما هو محظور بصمت، ثم دع المهارة تُصلح الثغرات في مكانها.