Googlebot adalah nama spider yang dimiliki oleh Google. Spider ini dipakai untuk mengindeks website yang ada di Internet. Ada dua cara yang bisa kita pakai untuk membatasi akses Googlebot di website kita, yaitu dengan file robots.txt dan meta tag.
File robots.txt berisi aturan dengan sintaks sebagai berikut:
Bad spider adalah istilah yang dipakai untuk menyebut spider atau web robots yang kunjungannya tidak kita kehendaki. Seperti yang telah kita bahas sebelumnya spider atau web robots ada yang dibuat dengan tujuan baik dan ada pula yang dibuat untuk tujuan jahat.
Contoh bad spider adalah spider yang dipakai untuk mendownload situs. Spider jenis ini jika dibiarkan saja akan menghabiskan bandwidth dan resource di server kita. Oleh karena itu harus diblokir jika kita tidak ingin situs kita di-download orang.
Ada tips sederhana yang bisa kita praktekkan untuk mencegah bad spider mengakses situs kita. Tentu saja tips berikut ini hanya berlaku bagi bad spider yang sudah dikenali saja. Spider yang belum dikenal tetap akan bisa mengakses.
XML Sitemap tidak akan bermanfaat sama sekali apabila search engine tidak mengetahuinya. Lalu bagaimana caranya supaya search engine tahu? Caranya yaitu kita harus men-submit XML Sitemap yang sudah kita buat ke search engine tersebut.
Men-submit disini bisa diartikan memberitahu robots lokasi XML Sitemap di website kita. Berhubung setiap search engine mempunyai prosedur yang berbeda, dalam artikel ini kita hanya akan membahas cara men-submit XML Sitemap di Google saja.
Bicara mengenai spider, saya jadi teringat spiderman, tokoh fiksi yang sangat hebat di film Spiderman. Ternyata di Internet juga dikenal adanya istilah spider. Istilah spider ini dipakai untuk menyebut program yang memiliki kemampuan menjelajahi web secara otomatis.
Kenapa disebut dengan spider? Saya sendiri juga kurang tahu. Mungkin ada kaitannya dengan konsep web itu sendiri yang berarti jaringan. Istilah spider ini sering juga disebut dengan crawlers, robots, atau web wanderers.
Spider digunakan untuk berbagai keperluan. Bisa keperluan positif, bisa juga negatif. Contoh aplikasi yang memakai spider adalah:
Saya sering mendapat pertanyaan, bagaimana caranya mendaftarkan situs ke search engine seperti Google dan Yahoo. Tanpa didaftarkan pun, sebenarnya cepat atau lambat situs kita pasti akan ditemukan oleh search engine.
Perlu diketahui bahwa spider dari search engine itu bekerja secara otomatis. Dia secara aktif akan menelusuri link-link yang ia temukan pada saat mengindeks suatu website.
Nah, jika suatu ketika ada salah satu link tersebut yang mengarah ke situs kita, maka spider tersebut akan mengunjungi situs kita pula. Dengan demikian situs kita akan ikut diindeks, meski kita tidak pernah mendaftarkannya ke search engine tersebut.