Satu file teks berukuran beberapa kilobyte bernama robots.txt, diletakkan di root domain seperti namadomain.com/robots.txt, punya wewenang menentukan halaman mana yang boleh dijelajahi Google dan mana yang harus dilewati crawler mesin pencari. Karena sifatnya teknis dan nyaris tak terlihat di antarmuka website, file ini kerap luput dari perhatian sampai suatu hari halaman penting tiba-tiba hilang dari hasil pencarian tanpa alasan yang jelas.
Mengenal Cara Kerja File Robots.txt
Fungsi utama robots.txt adalah mengatur crawl budget, yaitu jatah waktu dan sumber daya yang dialokasikan Google untuk menjelajahi sebuah situs. Untuk website besar dengan ribuan halaman, crawler tidak selalu bisa mengunjungi semuanya dalam sekali kunjungan. Dengan mengarahkan bot menjauhi halaman yang tidak perlu diindeks — seperti halaman admin, hasil pencarian internal, atau filter produk yang menghasilkan URL duplikat — crawler bisa fokus menjelajahi konten yang benar-benar bernilai bagi pengunjung dan mesin pencari.
Struktur robots.txt sebenarnya sederhana, terdiri dari baris User-agent untuk menentukan bot mana yang diberi aturan, lalu Disallow untuk menandai folder atau halaman yang tidak boleh diakses, serta Allow jika ada pengecualian di dalam folder yang diblokir. Kesalahan paling umum adalah menuliskan Disallow: / tanpa sadar, yang artinya seluruh website diblokir dari pengindeksan. Kesalahan semacam ini sering terjadi saat website baru dipindahkan dari mode development ke live tanpa mengecek ulang pengaturan ini.
Selain menghindari blokir yang tidak disengaja, robots.txt juga bisa dimanfaatkan untuk menyisipkan lokasi sitemap XML agar crawler lebih mudah menemukannya. Baris tambahan seperti Sitemap: https://namadomain.com/sitemap.xml membantu Google langsung tahu ke mana harus mencari daftar halaman lengkap. Kombinasi robots.txt yang rapi dan sitemap yang aktif membuat proses crawling jauh lebih terarah dibanding membiarkan bot menebak struktur situs sendiri.
Mengecek konfigurasi robots.txt sebaiknya jadi rutinitas berkala, bukan sekali setting lalu dilupakan. Setiap kali ada perubahan struktur URL, migrasi platform, atau penambahan fitur baru di website, ada baiknya file ini ditinjau ulang. Tool tester robots.txt yang tersedia di Google Search Console bisa dipakai untuk mensimulasikan apakah suatu URL diblokir atau diizinkan, sehingga kesalahan kecil bisa terdeteksi sebelum berdampak pada visibilitas website di pencarian.