Cách cho GPTBot, ClaudeBot và PerplexityBot đọc trang của bạn
Hướng dẫn thực tế về các user-agent của crawler AI, cách cho phép hoặc chặn từng con trong robots.txt, và cách kiểm chứng rằng chúng thật sự đọc được nội dung của bạn.
Nếu bạn muốn câu trả lời của AI nhắc đến và dẫn link tới trang của mình, các crawler đứng sau chúng cần được phép truy cập. Mỗi trợ lý lớn đều dùng một user-agent có tên riêng, và robots.txt là nơi bạn chào đón hoặc từ chối chúng.
Những con bot cần biết
- GPTBot — crawler của OpenAI dùng để huấn luyện và duyệt web.
- ClaudeBot — crawler của Anthropic.
- PerplexityBot — crawler cho công cụ trả lời của Perplexity.
Cho phép chúng trong robots.txt
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlChặn cũng theo cách tương tự với Disallow: / dưới user-agent của một con bot nếu bạn muốn nó tránh xa. Hãy cân nhắc kỹ: chặn một crawler nghĩa là trợ lý đó không thể trích dẫn bạn.
Kiểm chứng rằng nó thật sự chạy đúng
Một quy tắc trông có vẻ đúng vẫn có thể hỏng — một dòng Disallow lạc lối ở phía trên, một framework phục vụ robots.txt dưới dạng HTML, một liên kết sitemap bị thiếu. Hãy chạy URL của bạn qua trình kiểm tra Khả năng thu thập cho AI (AI Crawlability) để thấy, theo từng con bot, cái gì được phép và cái gì đang bị chặn ngầm, rồi để kỹ năng này vá các lỗ hổng ngay tại chỗ.