Skip to content
You are here: Home » Tutorial » Search Engine » Mengatasi Sepak Terjang Googlebot

Mengatasi Sepak Terjang Googlebot

Oleh: Wahyu Wibowo |
July 3rd, 2008 |
3 Comments »

Googlebot adalah nama spider yang dimiliki oleh Google. Spider ini dipakai untuk mengindeks website yang ada di Internet. Ada dua cara yang bisa kita pakai untuk membatasi akses Googlebot di website kita, yaitu dengan file robots.txt dan meta tag.

File robots.txt berisi aturan dengan sintaks sebagai berikut:

  • User-Agent: nama robots
  • Disallow: halaman web yang akan diblok

Nah, jika kita ingin memblok semua Web Robots (tidak hanya Googlebot), gunakan tanda bintang (*) seperti berikut:

User-Agent: *

Baris Disallow digunakan untuk menentukan nama dokumen web yang akan diblok. Entri tersebut harus diawali dengan tanda garis miring (/). Kita bisa mendefinisikan beberapa baris Disallow sekaligus dalam file robots.txt.

Berikut ini contoh penggunaannya:

1. Memblok seluruh isi situs

User-Agent: *
Disallow: /

2. Memblok direktori tertentu

User-Agent: *
Disallow: /direktori1/
Disallow: /direktori2/

3. Memblok halaman web tertentu

User-Agent: *
Disallow: /halaman-web.html

4. Memblok spider tertentu

User-Agent: Googlebot
Disallow: /

Selain dengan file robots.txt, kita juga bisa membatasi akses Googlebot dengan cara meletakkan META TAG dengan sintaks tertentu pada bagian HEAD di dokumen web kita.

Contohnya adalah sebagai berikut:

1. Googlebot tidak boleh mengindeks halaman web dan menelusuri link yang ada di situ

<meta name="robots" content="noindex, nofollow" />

2. Googlebot boleh mengindeks halaman web tapi tidak boleh menelusuri link yang ada disitu

<meta name="robots" content="index, nofollow" />

CATATAN:

  • Atribut name bisa diisi “robots” atau nama robot tertentu
  • Atribut content bisa berupa index, noindex, follow, atau nofollow

Selamat mencoba.

Tulisan Terkait:

Bagaimana Komentar Anda?

Monggo kalau Anda mau mengomentari tulisan di atas! Bertanya atau mengkritik juga boleh, tapi jangan terlalu menyakitkan :).

  • Benehal | February 19th, 2009 jam 4:55 pm

    bang, bagaimana dengan plugin yg kita psang misal KB robot txt??

  • Wahyu Wibowo | February 19th, 2009 jam 7:42 pm

    Mungkin itu bisa dipakai selama web yang kita bangun memakai platform WordPress. Pada prinsipnya plugin tersebut berguna untuk memudahkan proses editing robot.txt.

  • ANAS | October 30th, 2009 jam 3:59 pm

    seandainya kita pasang meta robotnya, apakah nantinya akan meeningkatkan rangking web?
    celotehbisnis.blogspot.com

Tinggalkan Pesan