Cara mengaktifkan dan Setting Robot.txt

Mengaktifkan Robot.txt Khusus dan Robot Header Tags adalah merupakan bagian dari upaya SEO OnPage sesuai dengan format blogger terbaru. Peng-aktif-an kedua jenis robot ini pada sebuah blog dapat membantu kita dalam mengatasi terjadinya duplikat meta deskripsi maupun duplikat meta title.

The Robot Exclusion Standard, atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.

Robot sering digunakan mesin pencari untuk mengkategorikan dan mengarsip situs web, atau web master untuk mengkoreksi Source code. Dari beberapa artikel yang pernah saya baca, bahwa penggunaan robot.txt ini sangat berguna untuk mendongkrak performa SEO sebuah blog.

Misalkan ada suatu halaman blog yang tidak ingin kita tampilkan kepada publik dan mesin pencari, maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut. Blogger pun dalam hal ini sudah mendukung fungsi ini dan hal ini menunjukkan bahwa platform blogger semakin memudahkan kita untuk melakukan upaya optimasi SEO blog kita.

Cara mengaktifkan dan Setting Robot.txt

1. Log in ke blogger dengan akun blogger anda.

2. Klik setelan > preferensi penelusuran / search preference

3. Pada Tab Perayap dan pengindeksan pilihlah robot.txt khusus > edit

4. Copy rangkaian kode berikut ini ke dalam kotak yang tersedia :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://bloggerblog67.blogspot.com/feeds/posts/default?orderby=UPDATED

Gantilah alamat url bloggerblog67.blogspot.com dengan alamat url blog anda.

5. Simpan template anda.

Keterangan:

Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.

Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.

Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda

Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.

Cara Setting Robot Header Tags.

1. Masih di menu setting Search preferences / Preferensi penelusuran

2. Dibagian paling bawah ada menu Custom robots header tags. Klik edit.

3. Pilih yes

4. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini