Robot txt

• Tweet

Robot Txt merupakan Alat untuk mencegah Crawl Google mengindeks berkas berkas/ file file pribadi kita di sebuah website atau blog,, 

Robot txt sangatlah penting untuk mengoptimasi Blog kita agar lebih SEO friendly
sementara robot txt mengarahkan spider google ke arsip-arsip kita, kita juga dapat mengatur hal tersebut seperti 
Berikut ini Cara Mengaktifkan Dan Setting Robot.txt:

1.Log in ke blogger dengan akun blogger anda.
2.Klik setelan > Preferensi penelusuran.

3.Pada tab perayap dan pengindeksan pilih robot.txt.

4.Dan masukkan perintah dibawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://doamin sobat.blogspot.com/feeds/posts/default?orderby=UPDATED

Keterangan :
Ganti url http://doamain sobat.blogspot.com dengan url blog anda.

5.Klik simpan perubahan.

Sebagai penjelasannya:

• Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
• Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search  yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
• Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda
• Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.

Yang harus kalian lakukan setelah menempatkan kode Robot txt diatas:

1. Menggunakan rel=nofollow pada label.

Saya menghilangkan pelarangan terhadap indeks label ( /search), dan kembali menggunakan rel=nofollow pada label,

2. Menghilangkan rel=nofollow pada label, dan kembali menggunakan perintah pelarangan indeks label pada robots.txt 9mengembalikan pada setting semula)

Setelah beberapa waktu dan setelah mendapatkan hasil dari metode pertama, saya kembali menggunakan perintah pelarangan indeks label, dan menghilangkan rel=nofollow label.

3. Menggunakan rel=nofollow label sekaligus pelarangan indeks pada robots.txt (Disallow: /search).

Setelah mendapatkan hasil dari cara kedua, saya menggunakan kedua perintah nofollow dan disallow pada robots.txt.

Sekian penjelasan dari saya

semoga bermanfaat