AI クローラーのユーザーエージェント、robots.txt での個別の許可・ブロック方法、そして実際にコンテンツへ到達できるかを検証する方法を実践的に解説します。
llms.txt は AI 時代の robots.txt です。あなたのサイトが何であり、良質なコンテンツがどこにあるのかをモデルに伝えるプレーンテキストの地図。その正体と導入方法を解説します。