Cara membuat dan setting robots.txt

Cara setting robots.txt pada wordpress akan saya bahas pada artikel kali ini, namun sebelum membahas cara settingnya sebaiknya saya membahas dahulu apa itu robots.txt. Robots.txt merupakan sebuah file dalam direktori situs untuk mencegah web crawler dan robot web untuk mengakses sebagian atau seluruh isi sebuah situs web. Dengan membuat robots.txt seorang pemilik situs akan dengan mudah mengatur halaman mana saja yang boleh ditampilkan dan tidak boleh ditampilkan dalam hasil pencarian search engine seperti google, yahoo, bing, dll.

Terkadang seorang pemilik situs tidak ingin semua file dan direktori dalam situsnya di index oleh mesin pencari, contohnya direktori wp-admin, wp-content/cache, wp-content/plugins, wp-includes dll pada wordpress dirasa tidak perlu ditampilkan dalam index. Dengan membatasi pengidexan pada mesin pencari, kita dapat menghemat bandwidth web hosting, menjaga kerahasiahan sebuah file atau direktori, juga berguna untuk menambah kekuatan SEO sebuah situs. Dengan robots.txt kita dapat menghindari terjadi duplikat konten (salah satu hal yang paling dibenci oleh mesin pencari) sehingga blog atau situs web dapat lebih bersahabat dengan mesin pencari. Selain itu dengan membatasi file dan direktori mana saja yang boleh diindex search engine, maka waktu pengindexan search engine dalam merayapi seluruh isi situs akan lebih cepat.

Berikut cara membuat file robots.txt :

1. Buka notepad di computer atau gadget,

2. Masukan parameter yang diinginkan,

3. Simpan file dengan nama robots.txt (ekstensi file .txt)

4. Upload file tersebut ke directori situs, melalui cpanel atau ftp. Cara lainnya bisa dengan langsung membuat file robots.txt di cpanel atau pada ftp :
1. Klik icon new file pada public_html di direktori situs.
2. Beri nama file robots.txt,
3. Masukan parameter sesuai keinginan.

Cara setting robots.txt :
Parameter berikut akan mencegah pengidexan file javascript, php, css, dll

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /*?

Sedangkan untuk mencegah pengidexan direktori seperti wp-admin, cgi-bin, wp-includes, dll, parameternya seperti berikut :

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /author/
Disallow: /comments/
Disallow: /category/
Sitemap: http://namadomain.com/sitemap.xml
Sitemap: http://namadomain.com/sitemap.xml.gz

Keterangan :
– Ganti namadomain.com pada sitemap dengan domain milik Anda pada parameter diatas.
– Sitemap dalam parameter diatas perlu ditambahkan jika Anda menggunakan plugin xml sitemap. Untuk cara membuat sitemap, klik di libk berikut : Cara membuat sitemap.xml
– Jika Anda ingin tag dan category dalam situs di index oleh search engine hapus parameter, Disallow: /tag/ dan Disallow: /category/ dalam parameter diatas.

Setting tambahan :
– Untuk mencegah terjadinya duplikat konten jika menggunakan plugin mobilepress, tambahkan parameter berikut dalam robots.txt di bawah User-agent: Googlebot,

Disallow: /*?
Disallow: /*?comments=true$
Disallow: /*?postcomment=true$

– Jika menggunakan fitur reply atau balas pada komentar, tambahkan parameter berikut di bawah User-agent: Googlebot,

Disallow: *?replytocom

– Jika menggunakan pagination atau pagebreak tambahkan juga kode berikut :

User-agent: Googlebot
Disallow: /*/2$
Disallow: /*/3$
Disallow: /*/4$
Disallow: /*/5$
Disallow: /*/6$
Disallow: /*/7$
Disallow: /*/8$
Disallow: /*/9$
Disallow: /*/10$

Parameter hanya berlaku jika halaman page-number/pagination tidak lebih dari sepuluh jika lebih silahkan tambahkan Disallow: /*/11$ dan seterusnya agar tidak terjadi duplikat konten akibat page number (pagination).

Untuk mengecek validitas robots.txt silahkan kunjungi http://tool.motoricerca.info/robots-checker.phtml, jika terjadi kesalahan akan ada pemberitahuan letak kesalahan robots.txt tersebut, silahkan perbaiki letakan kesalahanya sesuai instruksi yang diberikan. Itulah cara membuat dan setting robots.txt pada wordpress, pada dasarnya untuk situs dengan platform apapun caranya sama saja hanya tinggal merubah parameternya saja, selamat mencoba.

One thought on “Cara membuat dan setting robots.txt

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *