AI 크롤러 user-agent에 대한 실전 가이드입니다. robots.txt에서 각각을 허용하거나 차단하는 방법, 그리고 실제로 콘텐츠에 도달하는지 확인하는 방법을 다룹니다.
llms.txt는 AI 시대의 robots.txt입니다. 사이트가 무엇이고 좋은 콘텐츠가 어디에 있는지 모델에게 알려주는 평문 지도죠. 그게 무엇이고 어떻게 추가하는지 알아봅니다.