Cara Setting Robots.txt Blogger dan Custom Robots Tags

---

Pengaturan Crawler dan Pengindeksan di Blogger menyediakan beberapa kontrol teknis seperti custom robots.txt, custom robots header tags, dan akses menuju Google Search Console. Fitur-fitur ini dapat membantu kita mengatur bagaimana crawler mengakses blog dan bagaimana halaman tertentu diperbolehkan tampil di hasil pencarian.

Namun pengaturan ini tidak perlu diubah hanya karena ingin membuat Blogger menjadi “lebih SEO”. Blogger sudah mempunyai konfigurasi bawaan. Custom robots.txt dan custom robots tags lebih tepat digunakan ketika kita memang memahami aturan yang ingin diterapkan dan mempunyai kebutuhan khusus.

Kesalahan terbesar yang sering terjadi adalah menganggap robots.txt sebagai alat untuk memerintahkan mesin pencari agar mengindeks atau tidak mengindeks halaman. Padahal robots.txt terutama berfungsi mengatur crawling. Untuk mengendalikan indexing halaman, kita menggunakan robots meta/header seperti noindex.

CRAWL & INDEX CONTROL Blogger Search Settings

ROBOTS.TXT Crawl

ROBOTS TAG Index

SITEMAP Discovery

CONSOLE Monitor

INFO

---

Jika blog berjalan normal dan tidak mempunyai kebutuhan khusus, mempertahankan pengaturan crawler bawaan Blogger adalah pilihan yang aman. Aktifkan custom robots.txt atau custom robots header tags hanya ketika Anda memang ingin mengubah perilaku default.

Robots.txt dan Robots Tag Itu Berbeda

ROBOTS.TXT Mengatur Crawling

Memberi petunjuk kepada crawler mengenai path yang boleh atau tidak boleh dirayapi.

VS

ROBOTS TAG Mengatur Indexing

Memberikan aturan seperti index, noindex, follow, nosnippet dan lainnya.

Perbedaan ini sangat penting. Memblokir sebuah URL melalui robots.txt tidak sama dengan meminta Google menghapus URL tersebut dari indeks.

Jika tujuan kita adalah membuat suatu halaman tidak muncul di Google, aturan noindex lebih tepat. Halamannya juga harus tetap dapat dirayapi agar crawler dapat menemukan aturan noindex tersebut.

Apa Itu Robots.txt Blogger?

Robots.txt adalah file teks pada root sebuah website yang berisi aturan untuk crawler. Pada Blogger kita dapat melihatnya dengan membuka alamat blog kemudian menambahkan /robots.txt.

https://www.domainanda.com/robots.txt

Blogger menyediakan robots.txt secara otomatis. Jika opsi Enable custom robots.txt diaktifkan, isi custom yang kita masukkan akan digunakan sebagai robots.txt blog.

Crawler Datang Mengunjungi website.

robots.txt Membaca aturan crawl.

Crawl URL Mengakses URL yang diperbolehkan.

Apakah Custom Robots.txt Wajib Diaktifkan?

Tidak. Custom robots.txt adalah fitur tambahan. Mengaktifkannya bukan syarat agar Blogger dapat diindeks oleh Google.

Bahkan jika kita tidak membutuhkan aturan khusus, membiarkannya menggunakan konfigurasi bawaan Blogger dapat mengurangi risiko salah memblokir crawler.

Gunakan Default Cocok jika blog tidak mempunyai kebutuhan crawling khusus.

Gunakan Custom Cocok jika memang perlu membuat aturan crawl tertentu dan memahami konsekuensinya.

Cara Mengaktifkan Custom Robots.txt Blogger

01

Login ke Blogger

Buka dashboard Blogger kemudian pilih blog yang ingin diatur.

02

Buka Setelan

Pilih menu Setelan lalu scroll ke bagian Crawler dan pengindeksan.

03

Aktifkan Robots.txt Kustom

Aktifkan slider Enable custom robots.txt jika memang ingin menggunakan aturan custom.

04

Buka Custom Robots.txt

Klik pengaturan robots.txt kemudian masukkan aturan yang diperlukan.

05

Simpan dan Periksa

Setelah disimpan, buka /robots.txt pada domain blog untuk memeriksa hasilnya.

Contoh Robots.txt Blogger yang Sederhana

Jika memang ingin menggunakan custom robots.txt, konfigurasi sebaiknya dibuat sesederhana mungkin. Contoh berikut memperbolehkan crawler mengakses blog sambil mencantumkan alamat sitemap.

User-agent: *
Allow: /

Sitemap: https://www.domainanda.com/sitemap.xml

Ganti www.domainanda.com dengan domain Blogger atau custom domain yang benar-benar digunakan.

Contoh Memblokir Halaman Pencarian Blogger

Jika mempunyai alasan khusus untuk membatasi crawling halaman pencarian internal Blogger, salah satu contoh rule yang sering digunakan adalah:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.domainanda.com/sitemap.xml

WARNING

Jangan menyalin konfigurasi robots.txt dari website lain tanpa memahami setiap barisnya. Rule yang cocok untuk satu blog belum tentu sesuai untuk blog lain.

Jangan Gunakan Robots.txt untuk Noindex

Jika ingin sebuah artikel atau halaman tidak muncul pada hasil pencarian, jangan hanya memblokir URL tersebut dengan robots.txt.

Google perlu dapat mengakses halaman agar dapat melihat aturan noindex. Jika URL diblokir robots.txt, crawler bisa tidak pernah membaca robots meta tag yang terdapat pada halaman.

KURANG TEPAT robots.txt Disallow: /halaman-rahasia

Memblokir crawling tetapi bukan mekanisme noindex.

VS

UNTUK INDEXING Robots Tag noindex

Memberitahu crawler agar halaman tidak dimasukkan ke indeks.

Arti User-agent Allow Disallow dan Sitemap

User-agent Menentukan crawler yang menjadi target aturan.

Allow Path yang diperbolehkan untuk dirayapi.

Disallow Path yang diminta agar tidak dirayapi crawler.

Sitemap Memberikan lokasi sitemap kepada crawler.

Kesalahan Robots.txt yang Harus Dihindari

Memblokir Seluruh Blog Disallow: / pada user-agent umum dapat mencegah crawler mengakses hampir seluruh situs.

Memblokir Artikel Penting Jangan memasukkan URL artikel yang ingin tampil di Google ke path Disallow.

Menganggap Disallow Sebagai Noindex Blocking crawl dan blocking index adalah dua konsep berbeda.

Rule Terlalu Rumit Semakin banyak rule custom, semakin besar peluang konflik dan salah konfigurasi.

Salah Domain Sitemap Pastikan alamat sitemap menggunakan domain utama yang benar.

Copy Paste Tanpa Test Selalu buka robots.txt hasil akhir dan periksa URL penting melalui Search Console.

Nama Web Crawler yang Umum Ditemui

Googlebot Crawler utama Google Search.

Bingbot Crawler Microsoft Bing.

YandexBot Crawler mesin pencari Yandex.

Baiduspider Crawler mesin pencari Baidu.

SeznamBot Crawler search engine Seznam.

Bot Lain Banyak service internet mempunyai crawler masing-masing.

Cara Setting Custom Robots Header Tags Blogger

Blogger juga menyediakan custom robots header tags. Berbeda dengan robots.txt, fitur ini berhubungan dengan robots directives yang dikirim kepada search engine untuk jenis halaman tertentu.

Pengaturan ini juga tidak wajib diaktifkan. Jika tidak mempunyai kebutuhan khusus, konfigurasi default Blogger dapat dipertahankan.

Home Page Tags

Untuk halaman beranda yang memang ingin tampil secara normal di mesin pencari, kita tidak membutuhkan noindex. Jika memilih melakukan konfigurasi custom, jangan mengaktifkan directive yang bertentangan dengan tujuan tersebut.

Archive and Search Page Tags

Halaman archive dan internal search berbeda dari artikel utama. Jika memang ingin halaman jenis ini tidak muncul di hasil pencarian, Blogger menyediakan directive seperti noindex melalui robots header settings.

Post and Page Tags

Postingan dan halaman yang memang ingin tampil pada mesin pencari sebaiknya tidak diberi directive noindex. Blogger bahkan menyediakan custom robots tags per posting jika kita ingin menyembunyikan artikel tertentu saja.

Contoh Konfigurasi Robots Header yang Konservatif

HOME PAGE Index Normal

Jangan aktifkan noindex jika beranda memang ingin muncul di search.

ARCHIVE / SEARCH Opsional Noindex

Dapat digunakan jika Anda memang tidak ingin halaman internal tersebut tampil sebagai hasil pencarian.

POST / PAGE Index Normal

Artikel utama tidak perlu noindex kecuali memang sengaja ingin disembunyikan dari search.

INFO

---

Jika template Blogger juga menghasilkan robots meta tag sendiri, periksa agar tidak terjadi aturan yang saling bertentangan. Pada aturan yang konflik, search engine dapat memilih directive yang lebih membatasi.

Cara Menyembunyikan Satu Artikel dari Google

Untuk menyembunyikan artikel tertentu, Blogger menyediakan pengaturan Custom robots tags pada editor posting. Aktifkan No index hanya pada halaman yang memang tidak ingin ditampilkan di search.

ARTIKEL NORMAL Biarkan Indexable

ARTIKEL KHUSUS Custom Tag: noindex

Sitemap Blogger dan Google Search Console

Sitemap membantu search engine menemukan URL yang tersedia pada sebuah website. Untuk Blogger, salah satu alamat sitemap utama yang dapat diperiksa adalah:

https://www.domainanda.com/sitemap.xml

Sitemap dapat dikirim melalui bagian Sitemaps di Google Search Console. Setelah dikirim, Search Console dapat menampilkan status pemrosesan dan error jika sitemap bermasalah.

Sitemap Daftar URL penting.

Search Console Submit dan monitoring.

Googlebot Discovery URL.

Sitemap yang Perlu Disubmit

Untuk kebanyakan Blogger, mulai dari sitemap utama terlebih dahulu:

sitemap.xml

Jika Blogger menyediakan sitemap halaman statis dan memang ingin memantaunya secara terpisah, Anda juga dapat memeriksa:

sitemap-pages.xml

Tidak perlu memasukkan banyak feed hanya agar terlihat lebih lengkap. Sitemap yang valid dan berisi canonical URL yang memang ingin tampil di search sudah lebih penting daripada jumlah file yang disubmit.

Sitemap Tidak Menjamin Semua Artikel Terindeks

Submit sitemap berarti kita memberi tahu Google mengenai lokasi daftar URL. Google tetap menentukan kapan sebuah URL dirayapi, apakah URL tersebut canonical, dan apakah halaman layak dimasukkan ke indeks.

SUBMIT Sitemap dikirim

DISCOVER URL ditemukan

CRAWL Halaman diperiksa

INDEX? Google menentukan

Jika Artikel Tidak Terindeks

Periksa robots.txt Pastikan URL tidak terblokir secara tidak sengaja.

Periksa noindex Pastikan artikel tidak mempunyai directive noindex.

Periksa Canonical Canonical harus mengarah ke URL utama yang benar.

Internal Link Hubungkan artikel dari halaman lain yang dapat dirayapi.

URL Inspection Lihat URL melalui Google Search Console.

Kualitas Halaman Indexing bukan hanya masalah robots atau sitemap.

Pengaturan yang Tidak Perlu Dibuat Terlalu Rumit

Pada Blogger, konfigurasi crawler yang sederhana biasanya lebih mudah dirawat. Jangan membuat puluhan aturan bot hanya karena crawler tersebut tersedia.

Rule per crawler lebih cocok digunakan jika memang terdapat alasan teknis yang jelas. Untuk blog biasa, rule umum jauh lebih mudah diperiksa dan lebih kecil kemungkinan menyebabkan masalah.

Sederhana Lebih mudah diperiksa dan dirawat.

Aman Risiko salah blok lebih kecil.

Terukur Perubahan dapat diuji melalui Search Console.

Referensi Resmi

Blogger Help Pengaturan Crawlers and indexing Blogger. Google Robots Meta Tags Dokumentasi robots meta tag dan X-Robots-Tag. Google Noindex Documentation Cara mencegah halaman masuk Google Search. Google Sitemap Documentation Membuat dan submit sitemap.

Butuh Bantuan Memperbaiki Indexing Blogger?

CODEFLARE DEVELOPMENT Cek Robots Sitemap dan Indexing Blog

CodeFlare dapat membantu memeriksa robots.txt, custom robots tags, sitemap, canonical URL, schema, redirect, Search Console, custom domain, internal link, atau masalah template Blogger yang membuat artikel sulit dirayapi dan diindeks.

DISKUSIKAN BLOG

Untuk blog yang sudah berjalan normal, saya lebih memilih menjaga konfigurasi crawler tetap sederhana daripada menambahkan banyak rule yang sebenarnya tidak dibutuhkan. Robots.txt bukan tempat untuk melakukan semua optimasi SEO.

Yang jauh lebih penting adalah memastikan artikel dapat dirayapi, tidak mempunyai noindex yang salah, canonical benar, sitemap dapat dibaca, dan struktur internal link membantu crawler menemukan konten penting.