Setting robots.txt dan Custom Robots Header Tags yang Aman Di Blogger

Pengaturan robots.txt dan tag tajuk robot khusus di Blogger bertujuan agar mesin pencari (search engine) mudah merayapi (crawling) blog, sehingga artikel lebih cepat terindex. Jika diatur dengan benar, maka blog akan menjadi SEO friendly. Sebaliknya, jika kurang tepat maka blog akan diabaikan oleh mesin pencari yang mengakibatkan artikel tidak muncul di hasil pencarian.

Oleh karena itu dibutuhkan settingan yang aman agar blog tidak mengalami efek negatif. Sebenarnya tidak perlu disetting pun robots.txt ini sudah aktif dengan sendirinya sejak blog pertama kali dibuat. Penerapan default inilah yang paling aman. Tapi kalau kamu mau melakukan konfigurasi tambahan, maka ikuti tutorial cara setting robots.txt di Blogger dibawah.

1. Cara Setting robots.txt Khusus di Blogger Agar SEO Friendly

Buka menu Settings » Search preferences » Crawlers and indexing » Custom robots.txt » klik Edit.


Pada pilihan Enable custom robots.txt content? pilih Yes. Selanjutnya masukkan settingan robots.txt yang aman berikut ini.

User-agent: *
Allow: /
Disallow: /search

Sitemap: https://www.blogkamu.com/sitemap.xml

Nama	Keterangan
User-agent	Nama robot mesin pencari (web crawler software).
Disallow	Direktori atau halaman yang TIDAK DIIZINKAN DIRAYAPI oleh user-agent.
Allow	Direktori atau halaman yang DIIZINKAN DIRAYAPI oleh user-agent.
Sitemap	Lokasi sitemap. Ganti dengan alamat blog kamu.

Nama	Keterangan
User-agent: * Allow: / Disallow: /search	Mengizinkan semua jenis user-agent untuk merayapi semua direktori, kecuali semua URL yang memiliki direktori /search. Contoh: https://www.blogkamu.com/search?q=cara+mempercepat+blog https://www.blogkamu.com/search/label/CSS https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2
Sitemap: https://www.blogkamu.com/sitemap.xml	Memberitahukan pada robot perayap dimana lokasi sitemap berada.

Setelah selesai, klik tombol Save changes

1.1. Mencegah Perayapan Pada URL Halaman Tertentu

Nah, jika ada halaman khusus yang tidak ingin dirayapi, kamu tinggal menambahkannya pada Disallow. Contohnya seperti ini:

User-agent: *
Allow: /
Disallow: /search
Disallow: /p/kontak-lama.html
Disallow: /2009/01/test-postingan-pertama.html

Sitemap: https://www.blogkamu.com/sitemap.xml

Untuk mengecek apakah robots.txt sudah berubah dan sama dengan settingan diatas, buka URL berikut.

https://www.blogkamu.com/robots.txt

2. Mengatur Custom Robots Header Tags Di Blogger

Masih di menu yang sama yaitu Crawlers and indexing, di bagian Custom robots header tags klik Edit. Pada pilihan Enable custom robots header tags? pilih Yes. Samakan pengaturannya dengan gambar dibawah ini.

Keterangan:

1. Mengizinkan mesin pencari untuk merayapi semua direktori homepage (beranda), post, dan pages (halaman statis).
2. Tidak mengizinkan mesin pencari untuk merayapi direktori archive (arsip) dan search (pencarian) seperti yang sudah dijelaskan diatas.

3. Kenapa Direktori Achive (Arsip) dan Search (Pencarian) Tidak Dirayapi?

Karena direktori kedua halaman itu mengandung URL yang depannya sama.
Sudah dicontohkan diatas, direktori hasil pencarian adalah:
https://www.blogkamu.com/search?q=cara+mempercepat+blog
https://www.blogkamu.com/search/label/CSS
https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2
dll masih banyak lagi sesuai jumlah artikel.

Format penulisan URL setelah homepage https://www.blogkamu.com selalu sama, yaitu diikuti oleh /search. Melarang robot merayapi direktori ini bertujuan untuk mencegah konten duplikat yang bisa berakibat terkena penalti dari mesin pencari.

Saya kira sudah jelas ya soal setting robots.txt dan custom robots header tags di Blogger ini. Saya bukan ahli SEO, jadi kalau ada yang salah harap koreksi dengan cara memberikan komentar dibawah.

https://support.google.com/webmasters/answer/6062596?hl=en&ref_topic=6061961
https://productforums.google.com/d/msg/blogger/oqTYevwSeK8/O7KIQDRzAAAJ