Anda tahu kan apa yang dimaksud dengan crawler atau spider? Kalau belum tahu silakan baca terlebih dahulu artikel yang berjudul Mengenal Istilah Spider di situs ini. Nah, pada tulisan ini saya akan membahas spider yang berkaitan dengan search engine.
Spider tidak boleh sembarangan saja mengindeks website. Ada batasan-batasan tertentu yang harus ditaati oleh spider (search engine crawler) yang “baik” dalam menjalankan tugasnya yaitu mengindeks suatu halaman web. Aturan tersebut ditulis dalam sebuah file yang dinamakan “robots.txt”.
Kenapa ada istilah spider yang “baik” di sini?
Baca Lanjutannya
Bad spider adalah istilah yang dipakai untuk menyebut spider atau web robots yang kunjungannya tidak kita kehendaki. Seperti yang telah kita bahas sebelumnya spider atau web robots ada yang dibuat dengan tujuan baik dan ada pula yang dibuat untuk tujuan jahat.
Contoh bad spider adalah spider yang dipakai untuk mendownload situs. Spider jenis ini jika dibiarkan saja akan menghabiskan bandwidth dan resource di server kita. Oleh karena itu harus diblokir jika kita tidak ingin situs kita di-download orang.
Ada tips sederhana yang bisa kita praktekkan untuk mencegah bad spider mengakses situs kita. Tentu saja tips berikut ini hanya berlaku bagi bad spider yang sudah dikenali saja. Spider yang belum dikenal tetap akan bisa mengakses.
Baca Lanjutannya
Bicara mengenai spider, kita mungkin jadi teringat spiderman, tokoh fiksi yang sangat hebat di film Spiderman. Ternyata di Internet juga dikenal adanya istilah spider. Istilah spider ini dipakai untuk menyebut program yang memiliki kemampuan menjelajahi web secara otomatis.
Kenapa disebut dengan spider? Saya sendiri juga kurang tahu. Mungkin ada kaitannya dengan konsep web itu sendiri yang berarti jaringan. Istilah spider ini sering juga disebut dengan crawlers, robots, atau web wanderers.
Spider digunakan untuk berbagai keperluan. Bisa keperluan positif, bisa juga negatif.
Baca Lanjutannya
Saya sering mendapat pertanyaan, bagaimana caranya mendaftarkan situs ke search engine seperti Google dan Yahoo. Tanpa didaftarkan pun, sebenarnya cepat atau lambat situs kita pasti akan ditemukan oleh search engine.
Perlu diketahui bahwa spider dari search engine itu bekerja secara otomatis. Dia secara aktif akan menelusuri link-link yang ia temukan pada saat mengindeks suatu website.
Nah, jika suatu ketika ada salah satu link tersebut yang mengarah ke situs kita, maka spider tersebut akan mengunjungi situs kita pula. Dengan demikian situs kita akan ikut diindeks, meski kita tidak pernah mendaftarkannya ke search engine tersebut.
Baca Lanjutannya
