一份实用指南，介绍各家 AI 爬虫的 user-agent、如何在 robots.txt 中逐个放行或屏蔽它们，以及如何验证它们确实能读到你的内容。
llms.txt 是 AI 时代的 robots.txt：一份纯文本地图，告诉模型你的网站是什么、优质内容都在哪里。本文讲清它是什么，以及如何添加一个。