Bad spider adalah istilah yang dipakai untuk menyebut spider atau web robots yang kunjungannya tidak kita kehendaki. Seperti yang telah kita bahas sebelumnya spider atau web robots ada yang dibuat dengan tujuan baik dan ada pula yang dibuat untuk tujuan jahat.

Contoh bad spider adalah spider yang dipakai untuk mendownload situs. Spider jenis ini jika dibiarkan saja akan menghabiskan bandwidth dan resource di server kita. Oleh karena itu harus diblokir jika kita tidak ingin situs kita di-download orang.

Ada tips sederhana yang bisa kita praktekkan untuk mencegah bad spider mengakses situs kita. Tentu saja tips berikut ini hanya berlaku bagi bad spider yang sudah dikenali saja. Spider yang belum dikenal tetap akan bisa mengakses.

Baca Lanjutannya

Bicara mengenai spider, kita mungkin jadi teringat spiderman, tokoh fiksi yang sangat hebat di film Spiderman. Ternyata di Internet juga dikenal adanya istilah spider. Istilah spider ini dipakai untuk menyebut program yang memiliki kemampuan menjelajahi web secara otomatis.

Kenapa disebut dengan spider? Saya sendiri juga kurang tahu. Mungkin ada kaitannya dengan konsep web itu sendiri yang berarti jaringan. Istilah spider ini sering juga disebut dengan crawlers, robots, atau web wanderers.

Spider digunakan untuk berbagai keperluan. Bisa keperluan positif, bisa juga negatif.

Baca Lanjutannya

Saya sering mendapat pertanyaan, bagaimana caranya mendaftarkan situs ke search engine seperti Google dan Yahoo. Tanpa didaftarkan pun, sebenarnya cepat atau lambat situs kita pasti akan ditemukan oleh search engine.

Perlu diketahui bahwa spider dari search engine itu bekerja secara otomatis. Dia secara aktif akan menelusuri link-link yang ia temukan pada saat mengindeks suatu website.

Nah, jika suatu ketika ada salah satu link tersebut yang mengarah ke situs kita, maka spider tersebut akan mengunjungi situs kita pula. Dengan demikian situs kita akan ikut diindeks, meski kita tidak pernah mendaftarkannya ke search engine tersebut.

Baca Lanjutannya

Kita bisa membuat XML Sitemap sendiri dengan aturan seperti yang telah saya jelaskan pada tulisan yang lalu. Agak sulit memang, karena kita harus melakukannya secara manual.

Ada cara lain yang lebih mudah dan cepat. Kita bisa menggunakan software khusus atau tool yang banyak tersedia di Internet untuk membuat XML Sitemap. Nah, dengan cara inilah kita bisa membuat sitemap secara instan.

Kita hanya perlu memasukkan beberapa informasi yang diperlukan seperti alamat domain, URL dan sebagainya. Selanjutnya software tersebut akan membuatkan dokumen sitemap untuk kita. Sangat praktis bukan?

Baca Lanjutannya

Sitemap adalah sebuah dokumen XML yang disusun dengan format tertentu. Isinya adalah daftar URL dari suatu website dengan sejumlah informasi tambahan.

Sangat dianjurkan untuk melengkapi website kita dengan sitemap terutama situs-situs dengan fitur AJAX dan Flash. Tujuannya cukup jelas yaitu agar search engine mudah dalam mengindeks situs kita.

Baca Lanjutannya