Googlebot adalah nama spider yang dimiliki oleh Google. Spider ini dipakai untuk mengindeks website yang ada di Internet. Ada dua cara yang bisa kita pakai untuk membatasi akses Googlebot di website kita, yaitu dengan file robots.txt dan meta tag.
File robots.txt berisi aturan dengan sintaks sebagai berikut:
XML Sitemap tidak akan bermanfaat sama sekali apabila search engine tidak mengetahuinya. Lalu bagaimana caranya supaya search engine tahu? Caranya yaitu kita harus men-submit XML Sitemap yang sudah kita buat ke search engine tersebut.
Men-submit disini bisa diartikan memberitahu robots lokasi XML Sitemap di website kita. Berhubung setiap search engine mempunyai prosedur yang berbeda, dalam artikel ini kita hanya akan membahas cara men-submit XML Sitemap di Google saja.
Bicara mengenai spider, saya jadi teringat spiderman, tokoh fiksi yang sangat hebat di film Spiderman. Ternyata di Internet juga dikenal adanya istilah spider. Istilah spider ini dipakai untuk menyebut program yang memiliki kemampuan menjelajahi web secara otomatis.
Kenapa disebut dengan spider? Saya sendiri juga kurang tahu. Mungkin ada kaitannya dengan konsep web itu sendiri yang berarti jaringan. Istilah spider ini sering juga disebut dengan crawlers, robots, atau web wanderers.
Spider digunakan untuk berbagai keperluan. Bisa keperluan positif, bisa juga negatif. Contoh aplikasi yang memakai spider adalah:
Saya sering mendapat pertanyaan, bagaimana caranya mendaftarkan situs ke search engine seperti Google dan Yahoo. Tanpa didaftarkan pun, sebenarnya cepat atau lambat situs kita pasti akan ditemukan oleh search engine.
Perlu diketahui bahwa spider dari search engine itu bekerja secara otomatis. Dia secara aktif akan menelusuri link-link yang ia temukan pada saat mengindeks suatu website.
Nah, jika suatu ketika ada salah satu link tersebut yang mengarah ke situs kita, maka spider tersebut akan mengunjungi situs kita pula. Dengan demikian situs kita akan ikut diindeks, meski kita tidak pernah mendaftarkannya ke search engine tersebut.
Kita bisa membuat XML Sitemap sendiri dengan aturan seperti yang telah saya jelaskan pada tulisan yang lalu. Agak sulit memang, karena kita harus melakukannya secara manual.
Ada cara lain yang lebih mudah dan cepat. Kita bisa menggunakan software khusus atau tool yang banyak tersedia di Internet untuk membuat XML Sitemap. Nah, dengan cara inilah kita bisa membuat sitemap secara instan.
Kita hanya perlu memasukkan beberapa informasi yang diperlukan seperti alamat domain, URL dan sebagainya. Selanjutnya software tersebut akan membuatkan dokumen sitemap untuk kita. Sangat praktis bukan?