How to Minimalize Sum of Restricted by Robots.txt – Webmaster Report

 

Bagi Anda yang sering main webmaster tools tentu Anda tidak akan asing dengan restricted by robots.txt di webmaster tools. Kemudian Apakah Restricted by Robots.txt Perlu Dibersihkan? Jawabannya adalah tidak perlu. Namun jika merasa terganggu dengan laporan tersebut kita bisa meminimalisir.

Laporan restricted robots.txt didasarkan pada halaman-halaman dari blog kita yang tidak berhasil dimasuki oleh robot Google karena memang sengaja dibatasi. Contohnya adalah pada script related posts yang mengandung perintah anti duplicate. Pada coontoh ini sengaja dibatasi oleh kita dengan penambahan script.

Secara default Blogger.com telah menerapkan sistem pembatasan untuk halaman Label agar tidak dirayapi oleh Google Index atau Search Engine. Hal ini untuk menghindari duplicate content. Karena link label secara default sudah dibatasi, maka ketika Google Index akan melakukan pemeriksaan link lebih jauh ia akan gagal akses masuk ke link tersebut dan mencatat laporan bahwa halaman link tersebut gagal dirayapi untuk kemudian dilaporkan ke webmaster tools.

Berikut ini contoh laporan dari Webmaster Tools untuk halaman Label :

Crawl errors

Restricted by robots.txt ‎(6)‎

URL	Detail URL	Detected
http://breakdown-cover-cheap.blogspot.com/search/label/	restricted by robots.txt	Feb 19, 2011
http://breakdown-cover-cheap.blogspot.com/search/label/Inovation	restricted by robots.txt	Feb 28, 2011
http://breakdown-cover-cheap.blogspot.com/search/label/Insurance	restricted by robots.txt	Mar 1, 2011
http://breakdown-cover-cheap.blogspot.com/search/label/People	restricted by robots.txt	Feb 19, 2011
http://breakdown-cover-cheap.blogspot.com/search/label/Product	restricted by robots.txt	Mar 2, 2011
http://breakdown-cover-cheap.blogspot.com/search/label/Sphere	restricted by robots.txt	Feb 19, 2011

Updated Mar 6, 2011

Salah satu yang menyebabkan laporan restricted robots.txt menjadi banyak adalah penyisipan link ke halaman label pada posting Anda.

Untuk meminimalisir laporan tersebut, silahkan tambahkan rel=’ nofollow’ setiap kali Anda mencantumkan link ke halaman label blog Anda. Berikut ilustrasi soal penggunaan nofollow dan tidak.

(klik untuk memperbesar)

Jika kita set nofollow dengan menambahkan atribut nofollow maka ketika Google index (dilustrasikan sebagai garis panah merah) dan melewati sebuah link tidak akan memeriksa link tersebut dan mengabaikannya. Artinya link yang kita tulis benar-benar hanya diperuntukkan untuk pembaca dan bukan untuk memperkuat SEO atau lain-lain.

Sedangkan jika tidak kita set nofollow berarti link tersebut set dofollow. Artinya ketika Google index datang, ia akan memeriksa link tersebut.

Menulis Nofollow Untuk Link Halaman Label

Berikut adalah contoh penulisan link halaman label :

<a href="http://breakdown-cover-cheap.blogspot.com/search/label/Inovation">Inovation Product</a>

Jika ingin ditambahkan rel nofollow, maka menjadi seperti berikut :

<a href="http://breakdown-cover-cheap.blogspot.com/search/label/Inovation" rel='nofollow'>Inovation Product</a>

The End