一份實用指南,介紹各家 AI 爬蟲的 user-agent、如何在 robots.txt 中逐一允許或封鎖它們,以及如何驗證它們真的能讀到你的內容。
llms.txt 就是 AI 時代的 robots.txt:一份純文字地圖,告訴模型你的網站是什麼、優質內容藏在哪裡。這篇說明它是什麼,以及如何加上一個。