GeneratorsLesson 54Preview gratis
robots.txt Generator
Lesson ini bagian dari Web Developer Tools · Semua level
Ringkasan
robots.txt generator membantu membuat file teks di root domain yang memberi petunjuk kepada crawler mesin pencari. File ini berisi aturan User-agent, Allow, Disallow, dan lokasi sitemap. robots.txt bukan pengaman: ia hanya diikuti crawler yang patuh, sehingga halaman rahasia tetap perlu dilindungi autentikasi.
Poin kunci
- robots.txt diletakkan di root domain, misalnya https://contoh.com/robots.txt
- User-agent menentukan crawler yang menjadi sasaran aturan
- Disallow meminta crawler tidak merayapi path tertentu
- Sitemap memberi tahu lokasi daftar URL situs
- robots.txt tidak menggantikan autentikasi atau proteksi server
Materi lengkap
Contoh kode dan kuis
Materi lengkap, contoh kode, dan kuis tersedia untuk pelanggan. 5 soal.