Cara Mengatasi URL yang Dicekal Robot.txt

Cara Mengatasi URL yang Dicekal Robot.txt , yang biasa nulis blog pasti udah kenal sama robot dot txt, tapi kadang juga ada yang gak ngeh, sama kaya si katro juga awalnya gitu. tapi pernah gak sih ngalamin kan url yang dicekal robot.txt nah untuk mengetahui URL yang Dicekal oleh Robot.txt di blog anda?, 

Kalau emang tadinya buat blogger si robot satu ini bisa bikin nambah search engine lebih cepat,  tapi malah sekarang kena sebaliknya, walau jarang yang kena sih. Buat yang ngalamin gak usah panik nih karena cara mengatasinya sudah ada kok.

Silahkan masuk ke Webmaster tools Google untuk mengetahuinya, Kemudian pilih blog anda yang ingin anda lihat url yang di cekal, kemudian pilih perayapan > Url yang dicekal. Lihat berapa banyak url yang dicekal di blog anda. Kalau belum mendaftar ke webmaster tidak akan ketahuan berapa jumlah url yang dicekal tersebut.

Cara mengatasinya kita tinggal merubah kode robot.txt Disallow: /search menjadi Disallow: saja. Berikut ini cara mengatasi url yang dicekal atau setidaknya menguranginya.

1. Masuk Dashboard > Setelan > Preferensi Penelusuran
2. Pada Perayap dan pengindeksan pliih edit di menu robots.txt khusus
3. Aktifkan konten robots.txt khusus? jawab "Ya"
4. Isikan kode ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://sugenghandoyo.blogspot.co.id//feeds/post/default?orderby=UPDATED

Jangan lupa ganti URL Blog nya yang berwarna merah dengan URL Blog sobat :)

 

4. Simpan perubahan. dan,
5. Selesai.
6. Tunggu beberapa hari untuk melihat hasilnya.

Sekian tutorial Cara Mengatasi URL yang Dicekal Robot.txt semoga dengan adanya tutorial ini URL blog sobat katro udah gak dicekal lagi, semoga bermanfaat yah tro ;)

#repost
sumber