← 전체 글
읽는 데 5분

GPTBot, ClaudeBot, PerplexityBot이 사이트를 읽게 하는 법

AI 크롤러 user-agent에 대한 실전 가이드입니다. robots.txt에서 각각을 허용하거나 차단하는 방법, 그리고 실제로 콘텐츠에 도달하는지 확인하는 방법을 다룹니다.

AI 답변이 여러분의 사이트를 언급하고 링크하길 바란다면, 그 뒤에 있는 크롤러가 사이트를 가져올 권한이 있어야 합니다. 주요 어시스턴트마다 이름이 붙은 user-agent를 제공하며, 이들을 반기거나 거절하는 곳이 바로 robots.txt입니다.

알아둬야 할 봇

  • GPTBot — 학습과 브라우징을 위한 OpenAI의 크롤러.
  • ClaudeBot — Anthropic의 크롤러.
  • PerplexityBot — Perplexity의 답변 엔진 크롤러.

robots.txt에서 허용하기

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://yoursite.com/sitemap.xml

차단하려면 같은 방식으로, 해당 봇의 user-agent 아래에 Disallow: / 를 두면 됩니다. 신중하게 결정하세요. 크롤러를 차단하면 그 어시스턴트는 여러분을 인용할 수 없습니다.

실제로 작동하는지 확인하기

겉보기에 맞는 규칙도 실패할 수 있습니다 — 위쪽에 끼어든 엉뚱한 Disallow, robots.txt를 HTML로 내보내는 프레임워크, 누락된 sitemap 링크 등이 원인입니다. URL을 AI Crawlability 체커에 넣어 봇마다 무엇이 허용되고 무엇이 조용히 차단되는지 확인한 뒤, 스킬이 그 자리에서 빈틈을 고치게 하세요.

GPTBot, ClaudeBot, PerplexityBot이 사이트를 읽게 하는 법