topmost-azyrham

Apa itu robots.txt? robots.txt ialah file yang berkhasiat untuk mencegah atau mengizinkan spider search engine atau robots search engine mengindex atau mengcrawl konten atau isi dari website kita. Secara default suatu website niscaya di crawl oleh para spider search engine. Tiap isu yang ada di website kita niscaya tercrawl oleh spiderbot search engine baik itu googlebot, yahoo bot, msn bot atau yang lainnya untuk kepentingan mereka. Kasarnya website kita ditelanjangi oleh mereka! digeledah! Mangnya kita mau ditelanjangin mereka??

Nah untuk itulah kita memakai file yang berjulukan robots.txt yang berkhasiat mencegah dan melindungi privasi kita :)

Bagaimana cara menciptakan file robots.txt?
Bentuk file robots.txt ialah text biasa jadi kita dapat membuatnya pake notepad atau text editor lainnya. Makara kita tinggal bikin pake notepad kemudian upload ke bab root website kita contohnya di ahmadalimuddin.com/robots.txt, file robots.txt ini hanya berlaku untuk satu domain saja tidak berlaku untuk subdomain jadi file robots di ahmadalimuddin.com/robots.txt tidak berlaku untuk subdomain blog.ahmadalimuddin.com ;)

Apa isinya?
Ini isi dasar dari file robots.txt



Ini berarti menghalangi semua robot (User-agent : *) mengindex semua yang ada website kita ( Dissallow: / )

Sekarang kita buat pengecualian. contohnya kita pengen google's image bot mengcrawling tiap gambar yang ada diwebsite kita. maka isi robots.txt kita jadi ibarat ini..



Nah kalo kita pengen menghalangi semua bot mengindex halaman-halaman tertentu yang penting bagi kita contohnya konten /phpmyadmin/ atau direktori /admin/ maka kita isi file robots.txt kita jadi ibarat ini...



Kalo kita pengen ngizinin spider bot / crawler mengindex semua yang ada di website kita ya kita ga usah pake robots.txt atau kalo mau robots.txt nya isi dengan..



jadi Disallow: nya di kosongin aja.. ;D

Referensi :
en.wikipedia.org/wiki/Robots_Exclusion_Standard
www.javascriptkit.com/howto/robots.shtml