Mengenal Istilah Spider

Bicara mengenai spider, kita mungkin jadi teringat spiderman, tokoh fiksi yang sangat hebat di film Spiderman. Ternyata di Internet juga dikenal adanya istilah spider. Istilah spider ini dipakai untuk menyebut program yang memiliki kemampuan menjelajahi web secara otomatis.

Kenapa disebut dengan spider? Saya sendiri juga kurang tahu. Mungkin ada kaitannya dengan konsep web itu sendiri yang berarti jaringan. Istilah spider ini sering juga disebut dengan crawlers, robots, atau web wanderers.

Spider digunakan untuk berbagai keperluan. Bisa keperluan positif, bisa juga negatif.

Contoh aplikasi yang memakai spider adalah:

• Search engine
• Aplikasi spammer
• Software pendownload situs

Spider ini kerjanya otomatis dan bisa dibilang semaunya sendiri. Untuk membatasi spider agar tidak mengakses hal-hal yang tidak diinginkan dibuatlah suatu protokol yang disebut dengan Robots Exclusion Protocol.

Bagian-bagian dari website yang tidak boleh diakses oleh spider atau robots akan diberi tanda tertentu. Sesuai dengan kesepakatan tanda-tanda tersebut disimpan di file yang dinamakan robots.txt. File robots.txt harus diletakkan di top-level directory dari website.

Misalnya: http://www.mysite.com/robots.txt.

Berikut Ini contoh isi dari file robots.txt.

User-agent: *
Disallow: /

Namun demikian protokol ini sifatnya hanyalah rekomendasi saja dan tidak mengikat. Sehingga bisa saja pembuat spider bandel dan tidak mematuhi ketentuan tersebut.