Blog
5 menit baca
Cara mengizinkan GPTBot, ClaudeBot, dan PerplexityBot membaca situsmu
Panduan praktis tentang user-agent crawler AI, cara mengizinkan atau memblokir masing-masing di robots.txt, dan cara memverifikasi bahwa mereka benar-benar bisa menjangkau kontenmu.
Baca selengkapnya →4 menit baca
Apa itu llms.txt, dan kenapa situsmu membutuhkannya
llms.txt adalah robots.txt di era AI: peta teks-polos yang memberi tahu model apa situsmu itu dan di mana konten terbaiknya berada. Berikut penjelasannya dan cara menambahkannya.
Baca selengkapnya →