Apa Itu Robots.txt dan Apa yang Sebenarnya Diaturnya?
Robots.txt adalah file teks di root domain yang memberi arahan kepada crawler mengenai area yang boleh atau tidak boleh dirayapi. Fokus utamanya adalah crawling. Ini berbeda dari keputusan indexing: URL yang diblokir robots.txt masih mungkin diketahui Google melalui link atau sinyal lain. Karena itu, robots.txt tidak sebaiknya dipakai sebagai pengganti noindex.
Untuk website bisnis, tujuan konfigurasi yang sehat biasanya bukan memblokir sebanyak mungkin URL, tetapi mengurangi crawl pada area yang tidak bernilai sambil memastikan halaman penting—homepage, service page, kategori utama, dan artikel—tetap dapat ditemukan.
Disallow Bukan Noindex: Perbedaan yang Sering Membingungkan
Directive Disallow membatasi crawler untuk mengambil isi URL yang cocok dengan pola tertentu. Sementara noindex adalah instruksi pada halaman atau header HTTP agar halaman tidak dimasukkan ke indeks. Jika crawler tidak diizinkan mengakses halaman, mesin pencari justru bisa kesulitan melihat meta robots yang ada di dalamnya.
Karena itu keputusan harus mengikuti tujuan. Jika halaman tidak perlu dirayapi, evaluasi Disallow. Jika halaman boleh dirayapi tetapi tidak ingin tampil di hasil pencarian, noindex lebih relevan. Jika URL sudah dipindahkan permanen, redirect 301 biasanya lebih tepat.
Cara Membaca User-agent, Allow, Disallow, dan Sitemap
Konfigurasi dimulai dari User-agent untuk menentukan crawler yang dituju. Disallow menetapkan pola yang tidak ingin dirayapi, sedangkan Allow dapat digunakan untuk memberikan pengecualian pada pola yang lebih luas. Baris Sitemap membantu crawler menemukan lokasi sitemap XML.
Masalah sering muncul bukan karena sintaksnya rumit, tetapi karena pola path terlalu luas. Satu karakter atau folder yang salah dapat ikut menutup halaman yang seharusnya terbuka. Setelah mengubah robots.txt, uji beberapa URL representatif, bukan hanya melihat file secara visual.
Kapan Robots.txt Perlu Diperiksa dalam Audit SEO?
Periksa robots.txt ketika banyak URL penting tiba-tiba tidak dirayapi, setelah migrasi atau redesign, ketika staging dipindahkan ke production, atau ketika laporan indexing menunjukkan pola yang tidak wajar. Konfigurasi dari environment development kadang terbawa ke situs live dan memblokir seluruh website.
Pemeriksaan juga relevan pada situs dengan parameter, faceted navigation, area login, atau hasil pencarian internal. Namun pemblokiran crawl harus diputuskan bersama arsitektur URL dan canonical, bukan dilakukan terpisah.
Workflow Aman Sebelum Mengubah Robots.txt
Mulai dengan membuat daftar tipe URL: mana yang harus diindeks, mana yang hanya perlu diakses pengguna, dan mana yang tidak memiliki nilai untuk crawler. Setelah itu cocokkan dengan sitemap, internal link, canonical, status HTTP, dan meta robots. Baru tentukan apakah robots.txt memang perlu diubah.
Untuk perubahan besar, dokumentasikan aturan lama dan baru. Uji homepage, service page, artikel, asset penting, serta beberapa URL yang memang ingin dibatasi. Cara ini mengurangi risiko satu aturan global merusak area lain.
Kesalahan Robots.txt yang Paling Berisiko
Kesalahan paling serius adalah Disallow: / pada user-agent utama di website production. Kesalahan lain adalah memblokir folder asset yang dibutuhkan untuk rendering, memblokir URL yang justru ingin dinilai Google, atau menganggap robots.txt dapat menghapus URL dari indeks secara instan.
Jangan pula menambahkan aturan hanya karena sebuah URL terlihat “tidak SEO”. Pastikan dulu apakah masalah sebenarnya adalah duplikasi, canonical, parameter, thin content, atau internal architecture.
Hubungan Robots.txt dengan Sitemap, Canonical, dan Internal Link
Robots.txt hanya satu komponen. Sitemap membantu discovery URL canonical, canonical membantu konsolidasi versi URL, sedangkan internal link menunjukkan hubungan dan prioritas halaman. Ketika ketiganya menyampaikan sinyal berbeda, diagnosis menjadi lebih sulit.
Struktur yang sehat membuat URL penting dapat dirayapi, ditautkan secara internal, tercantum secara tepat di sitemap, dan memiliki canonical yang konsisten. Inilah alasan technical SEO perlu dilihat sebagai sistem.
Evaluasi elemen ini bersama search intent, status HTTP, canonical, internal link, sitemap, dan data Search Console. Hindari perubahan massal sebelum pola masalahnya jelas.
Lanjutkan ke Pembahasan Terkait
Topik ini merupakan bagian dari Technical SEO. Lanjutkan dengan crawling dan indexing, canonical URL, atau mulai dari audit SEO website bila masalahnya melibatkan banyak area sekaligus.
Robots.txt yang baik biasanya tidak terlihat “canggih”. Nilainya justru ada pada aturan yang minimal, jelas, dan konsisten dengan tujuan indexing website. Sebelum menambah blokir baru, pastikan masalah yang ingin diselesaikan memang masalah crawling.