File robots.txt berisi aturan dengan sintaks sebagai berikut:

• User-Agent: nama robots
• Disallow: halaman web yang akan diblok

Nah, jika kita ingin memblok semua Web Robots (tidak hanya Googlebot), gunakan tanda bintang (*) seperti berikut:

Baris Disallow digunakan untuk menentukan nama dokumen web yang akan diblok. Entri tersebut harus diawali dengan tanda garis miring (/). Kita bisa mendefinisikan beberapa baris Disallow sekaligus dalam file robots.txt.

Berikut ini contoh penggunaannya:

1. Memblok seluruh isi situs

2. Memblok direktori tertentu

3. Memblok halaman web tertentu

4. Memblok spider tertentu

Selain dengan file robots.txt, kita juga bisa membatasi akses Googlebot dengan cara meletakkan META TAG dengan sintaks tertentu pada bagian HEAD di dokumen web kita.

Contohnya adalah sebagai berikut:

1. Googlebot tidak boleh mengindeks halaman web dan menelusuri link yang ada di situ

2. Googlebot boleh mengindeks halaman web tapi tidak boleh menelusuri link yang ada disitu

CATATAN:

• Atribut name bisa diisi "robots" atau nama robot tertentu
• Atribut content bisa berupa index, noindex, follow, atau nofollow

XML Sitemap tidak akan bermanfaat sama sekali apabila search engine tidak mengetahuinya. Lalu bagaimana caranya supaya search engine tahu? Caranya yaitu kita harus men-submit XML Sitemap yang sudah kita buat ke search engine tersebut.

Men-submit disini bisa diartikan memberitahu robots lokasi XML Sitemap di website kita. Berhubung setiap search engine mempunyai prosedur yang berbeda, dalam artikel ini kita hanya akan membahas cara men-submit XML Sitemap di Google saja.

Kita bisa memanfaatkan layanan Google Webmaster Tools untuk men-submit XML Sitemap di Google. Jika Anda belum mempunyai account Google, silakan membuatnya terlebih dahulu.

Adapun caranya adalah sebagai berikut:

1. Login ke Google Webmaster Tools

Pada tampilan Dashboard (lihat gambar di bawah) klik Add. Jika nama situs Anda belum ada, tambahkan melalui kotak input yang ada di situ lalu klik tombol Add Site.

2. Pilih Add General Web Sitemap.

3. Masukkan alamat URL dari XML Sitemap yang ada di website kita.

4. Klik tombol "Add General Web Sitemap".

5. Selesai.

Proses tersebut memerlukan waktu kurang lebih satu jam sampai Google benar-benar mengakses XML Sitemap yang telah kita submit tadi.

Kenapa disebut dengan spider? Saya sendiri juga kurang tahu. Mungkin ada kaitannya dengan konsep web itu sendiri yang berarti jaringan. Istilah spider ini sering juga disebut dengan crawlers, robots, atau web wanderers.

Spider digunakan untuk berbagai keperluan. Bisa keperluan positif, bisa juga negatif. Contoh aplikasi yang memakai spider adalah:

• Search engine
• Aplikasi spammer
• Software pendownload situs

Spider ini kerjanya otomatis dan bisa dibilang semaunya sendiri. Untuk membatasi spider agar tidak mengakses hal-hal yang tidak diinginkan dibuatlah suatu protokol yang disebut dengan Robots Exclusion Protocol.

Bagian-bagian dari website yang tidak boleh diakses oleh spider atau robots akan diberi tanda tertentu. Sesuai dengan kesepakatan tanda-tanda tersebut disimpan di file yang dinamakan robots.txt. File robots.txt harus diletakkan di top-level directory dari website.

Misalnya: http://www.mysite.com/robots.txt.

Berikut Ini contoh isi dari file robots.txt.

Namun demikian protokol ini sifatnya hanyalah rekomendasi saja dan tidak mengikat. Sehingga bisa saja pembuat spider bandel dan tidak mematuhi ketentuan tersebut.

Perlu diketahui bahwa spider dari search engine itu bekerja secara otomatis. Dia secara aktif akan menelusuri link-link yang ia temukan pada saat mengindeks suatu website.

Nah, jika suatu ketika ada salah satu link tersebut yang mengarah ke situs kita, maka spider tersebut akan mengunjungi situs kita pula. Dengan demikian situs kita akan ikut diindeks, meski kita tidak pernah mendaftarkannya ke search engine tersebut.

Namun proses ini biasanya lama sekali, kecuali memang situs kita tersebut sangat terkenal. Agar lebih cepat, kita bisa mendaftarkannya secara manual. Tidak perlu semuanya, cukup ke beberapa search engine yang terkenal saja seperti Google dan Yahoo.

Berikut cara mendaftarkan situs ke search engine Google dan Yahoo.

Google

• Buka website http://www.google.com/addurl/
• Ketikkan alamat situs kita pada kotak URL
• Klik tombol Add URL

Yahoo

• Buka website https://siteexplorer.search.yahoo.com/submit
• Ketikkan alamat situs kita pada kotak input pada bagian Submit a Website or Webpage
• Klik tombol Submit URL

Semoga bermanfaat.

Ada cara lain yang lebih mudah dan cepat. Kita bisa menggunakan software khusus atau tool yang banyak tersedia di Internet untuk membuat XML Sitemap. Nah, dengan cara inilah kita bisa membuat sitemap secara instan.

Kita hanya perlu memasukkan beberapa informasi yang diperlukan seperti alamat domain, URL dan sebagainya. Selanjutnya software tersebut akan membuatkan dokumen sitemap untuk kita. Sangat praktis bukan?

Tidak hanya itu, jika website kita menggunakan platform WordPress ada plugin yang bisa men-generate XML Sitemap secara otomatis. Jadi kita tidak perlu capek-capek membuatnya. Kita tinggal menginstall dan mengaktifkan plugin tersebut dan semuanya beres.

Berikut ini daftar software dan tool yang bisa kita manfaatkan untuk men-generate XML Sitemap.

Online Sitemap Generator

• Google Sitemap Generator
  
• XML Sitemaps
  

XML Sitemap Generating Software

• Gsitemap
• SitemapBuilder
• GSiteCrawler

Wordpress Plugin

• Google (XML) Sitemaps Generator for WordPress

Sangat dianjurkan untuk melengkapi website kita dengan sitemap terutama situs-situs dengan fitur AJAX dan Flash. Tujuannya cukup jelas yaitu agar search engine mudah dalam mengindeks situs kita.

Ada beberapa informasi penting yang dimuat dalam sitemap, yaitu:

• Daftar alamat URL dari halaman web
• Waktu update terakhir dari masing-masing halaman web
• Frekuensi perubahan isi halaman web
• Tingkat prioritas dari setiap halaman web bila dibandingkan dengan halaman lainnya

Pembuatan Sitemap itu sendiri harus mengikuti standar XML dan character encoding yang digunakan harus UTF-8.

Berikut ini contoh Sitemap yang hanya terdiri dari satu URL.

KETERANGAN:

1. <urlset>

Tag ini digunakan untuk menentukan standar protokol yang dipakai.

2. <url>

Tag induk dari setiap entri URL. Semua tag selanjutnya merupakan anak dari tag ini.

3. <loc>

Alamat URL dari halaman web. Penulisannya harus dimulai dengan tipe protokol yang dipakai (misalnya http). Panjang maksimum yang diijinkan adalah 2048 karakter.

4. <lastmod>

Tanggal yang menunjukkan kapan terakhir kali halaman web yang dimaksud di-update.

5. <changefreq>

Nilai yang menunjukkan seberapa sering halaman web yang dimaksud terjadi perubahan. Nilai yang valid adalah: always, hourly, daily, weekly, monthly, yearly, never.

6. <priority>

Nilai yang menunjukan prioritas halaman web tersebut dibandingkan dengan halaman lainnya. Nilai tersebut berkisar antara 0.0 - 1.0. Defaultnya adalah 0.5.

Kita cukup membuat satu Sitemap saja dan bisa di-submit sekaligus ke beberapa search engine yang mendukung protokol tersebut. Google, Yahoo, MSN dan Ask adalah contoh search engine yang mendukung pemakaian Sitemap.

Sebuah dokumen web dengan standar XHTML dikatakan valid apabila memenuhi aturan-aturan tertentu. Lalu bagaimana cara mengetahui bahwa dokumen web yang kita buat sudah valid?

Ada beberapa situs yang menawarkan layanan gratis untuk memeriksa validitas dokumen XHTML. Kita bisa memanfaatkan layanan tersebut untuk mengecek apakah dokumen web yang kita buat sudah valid atau belum.

Berikut ini situs yang menyediakan layanan tersebut:

• W3C Markup Validation Service
• WDG HTML Validator

Selain pemeriksaan secara online, kita pun bisa menggunakan editor khusus XHTML untuk mengecek validitas dokumen web yang kita buat.

Ada beberapa editor yang dirancang khusus untuk membuat dokumen web, antara lain:

• Adobe (Macromedia) Dreamweaver
• Microsoft FrontPage
• W3C Amaya
• Chami.com’s HTML-Kit
• Adobe (Macromedia) HomeSite
• Belus Technology’s XStandard
• Bara Bones Software’s BBEdit
• NewsGator Technologies’ TopStyle

Editor-editor tersebut di atas biasanya sudah dilengkapi dengan utilitas untuk mengecek validitas dokumen web yang kita buat.

Kita tetap bisa menyisipkan kode JavaScript pada dokumen web yang dibuat dengan standar XHTML. Caranya pun tidak jauh berbeda dengan dokumen HTML biasa.

Ada dua cara yang bisa kita pakai, yaitu:

• Disisipkan langsung pada dokumen web tersebut.
• Ditulis dalam file terpisah dengan ekstensi .js dan dipanggil dengan elemen <script>.

Jika kita membuat dokumen web HTML biasanya kita menyisipkan kode JavaScript dengan cara sebagai berikut:

Sedangkan jika kita menulis kode JavaScript dalam file tersendiri, kita biasa memanggil kode tersebut dengan cara:

Nah, dalam dokumen web dengan standar XHTML caranya agak berbeda. Kode tersebut harus kita letakkan dalam elemen <![CDATA[...]]>. Contohnya adalah sebagai berikut:

Tidak terlalu sulit bukan?

Dilihat dari strukturnya, dokumen web yang dibuat dengan standar XHTML 1.0 Strict susunannya lebih pendek dibandingkan standar XHTML 1.0 Transitional. Selain itu pada standar ini kita tidak boleh lagi meletakkan elemen untuk mengatur tampilan seperti pada standar XHTML 1.0 Transitional.

Hanya saja kelemahannya adalah beberapa browser versi lama tidak bisa menampilkan secara maksimal dokumen web yang ditulis dengan standar XHTML 1.0 Strict.

Perhatikan contoh dokumen web dengan standar XHTML 1.0 Strict di bawah ini.

Kita bisa membandingkannya dengan contoh pada tulisan sebelumnya. Pada standar XHTML 1.0 Strict ini semua atribut yang mengatur tampilan diletakkan di file CSS eksternal dengan tag <link>. Selain itu tag <i> yang tidak didukung oleh standar ini diganti dengan <em>.

Jika kita tampilkan dokumen tersebut di web browser hasilnya sama persis dengan contoh pada tulisan sebelumnya (Standar XHTML 1.0 Transitional).

Adapun tampilan dari dokumen tersebut dibuat pada file tersendiri, yaitu styles.css.

Cukup mudah jika kita ingin mengubah tampilan dokumen web tersebut. Kita tinggal mengutak-atik atribut tampilan pada file stylesheet. Lebih praktis dan efisien bukan?

Oleh karena itu agar dokumen web yang dibuat dengan standar XHTML bisa ditampilkan di browser lama dibuatlah standar XHTML 1.0 Transitional. Tidak heran jika standar ini masih men-support penulisan beberapa elemen yang sebenarnya tidak diperbolehkan dalam standar XHTML.

Contohnya adalah penulisan atribut HTML align dan width. Dalam aturan XHTML seharusnya tidak boleh menulis komponen HTML yang mengatur tampilan dalam dokumen tersebut. Semua atribut tampilan web seharusnya ditulis secara terpisah dalam file stylesheet.

Untuk lebih jelasnya, perhatikan contoh dokumen web XHTML 1.0 Transitional di bawah ini.

Terlihat bahwa masih ada beberapa informasi struktur presentasi pada kode di atas, yaitu align dan width. Hal ini hanya berlaku pada XHTML 1.0 Transitional.