Tutorial Setting Robot.txt dan Tag Tajuk Robot Khusus Terbaru

Blog Soebang - Tutorial Setting Robot.txt dan Tag Tajuk Robot Khusus di Blogger dengan mudah. Artikel kali ini bertujuan agar Pencarian Google mudah untuk dirayapi [Crawling] Sehingga artikel akan lebih cepat terindex di Google. Namun banyak para blogger yang belum mengetahui mengenai cara kerja robot.txt ini.


Oleh karena itu dibutuhkan settingan yang aman agar blog tidak mengalami efek yang negatif. Penerapan default inilah yang paling aman menurut saya, tapi kalau kamu mau melakukan konfigurasi tambahan silahkan kamu tambahkan sendiri.

Apa Itu Robot.txt ?

Robot.txt adalah sebuah rangkaian file berbentuk text yang berisi intruksi untuk mem-bot saat membuat website yang anda kelola dalam mesin pencarian. Belajar SEO pada awalnya mungkin gampang-gampang susah Apalagi setelah mengetahui dan ingin mencoba memaksimalkan fungsi SEO dengan mengotak-atik robots.txt pada website yang anda miliki.

Cara Setting Robot.txt di Blogger

1. Silahkan kamu login ke Blogger.com dengan menggunakan Gmail kamu.
2. Masuk ke menu Setelan > Preferensi Penelusuran > Perayap dan pengindeksan > Robots.txt khusus > klik Edit.

3. Pada pilihan Dinonaktifkan custom robot.txt khusus ? silahkan kamu klik Ya. Selanjutnya silahkan kamu masukan settingan robot.txt dibawah ini.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.domainkamu.com/sitemap.xml

Catatan : 

• User-agent: Mediapartners-Google [Penanda bahwa blog menggunakan AdSense]
• Disallow: [Yang tidak dibolehkan tidak ada]
• User-agent: * [Semua robot mesin pencari]
• Disallow: / search [Tidak mengijinkan url setelah /search seperti ..../search/label dan ... search/search?updated...]
• Sitemap: https://www.domainkamu.com/sitemap.xml [Sitemap/peta situs blog]

4. Kalau sudah silahkan klik SIMPAN PERUBAHAN.

Untuk mengecek apakah robot.txt sudah berfungsi atau belum silahkan buka URL berikut ini.

https://www.domainkamu.com/robots.txt

Cara Setting Tag Tajuk Robot Khusus di Blogger

1. Masih di menu yang sama yaitu Perayap dan pengindeksan di bagian Tag tajuk robot khusus klik Edit pada pilihan Aktifkan tag tajuk robot khusus? silahkan pilih Ya silahkan kamu atur pengaturannya seperti gambar dibawah ini.

2. Kalau sudah silahkan klik SIMPAN PERUBAHAN.

Bagaimana mudah bukan untuk tutorial Cara Setting Robot.txt dan Tag Tajuk Robot Khusus di Blogger apabila kamu ada pertanyaan atau masalah seputar blogger silahkan komen di kolom komentar dibawah artikel ini, Salam Blogger Subang