Tentang Robot.txt
Bagi yang belum tahu tentang robot.txt, menurut Wikipedia.org juga biasa disebut Robot exlclusion standard atau Robot Exclusion Protocol. Robot.txt ini adalah file text yang biasa digunakan oleh search engine untuk mengenali bagian mana dari sebuah situs di internet yang boleh atau tidak boleh untuk dijelajahi untuk kemudian akan muncul pada index search engine. Sebagai pengguna Wordpress perlu diketahui bahwa Wordpress akan secara otomatis membuat file ini secara virtual ketika dideteksi tidak ada file robot.txt ada pada sebuah blog. Kata virtual saya cetak tebal dan bergarisbawah dengan maksud menekankan bahwa sebenarnya file tersebut tidak ada secara fisik di hosting atau blog anda, tapi Wordpress secara otomatis akan memberikan informasi pada Search engine mengenai bagian mana pada blog anda yang dapat dijelajahi dan dimasukkan dalam index Search Engine. Secara default (jika anda tidak melakukan perubahan dan tidak mengupload file text secara manual) Wordpress akan memberikan informasi pada Search Engine bahwa seluruh bagian dari blog atau situs anda dapat dijelajahi dan dimasukkan dalam index-nya. Kebanyakan tentunya ingin menampilkan isi dari blog di Search Engine bukan? Atau dengan kata lain ingin supaya blognya terindex dengan baik pada Search Engine. Namun jika anda misalnya menginginkan hal yang berkebalikan dengan itu (tidak ingin blog anda terindex di Search Engine) maka anda dapat melakukan penyesuaian dengan mengubah pengaturannya pada Dashboard Wordpress anda. Masuk ke bagian Setting –> Privacy dan pilih I would like to block Search Engine, but allow normal visitors. Nah dengan cara tersebut maka Search Engine Bot tidak akan menjelajahi situs anda dan tentunya situs anda juga tidak akan dimasukkan dalam index Search Engine.
Search Engine Bot yang sering saya sebutkan di atas adalah program komputer yang menjelajahi internet digunakan oleh Search Engine untuk menyediakan data terbaru di internet dimana mereka akan memberikan informasi yang didapat pada Search Engine untuk updet datanya, program ini juga dikenal dengan Web Crawler. Untuk Google biasanya disebut dengan Google Bot.
Sedikit informasi tentang robot.txt, semoga bermanfaat dan jika masih kekeliruan atau persepsi yang keliru boleh sekiranya memberikan komentar untuk bahan diskusi.
Wah, dicari-cari ternyata ada disini informasi tentang robot.txt nya….
Klo pengguna blogspot.com kira-kira gimana ya caranya….????
http://www.dankerizer.com
Mantab
bagaimana mas meletakkan robot.txt di editor wordpress.terima kasih. keren mas blognya, rapi.
Blog Wordpress secara otomatis membuat file robot.txt, mas. Kalo mau lebih gampang ngatur file robot.txt coba plugin irobot SEO.
Terima kasih
lalu bagaimana mas cara meletakkan robot.txt di blog wordpress kita. terima kasih. keren banget blognya…elegant..
thanks ,mas Felix, jadi lebih paham apa itu robot.txt.
Sama-sama mas
Lokasinya ada dimana ya, saya cari dari cpanel -> file manager
tapi ga ketemu juga
Kalo hasil generated wordpress memang nggak keliatan mas, karena kayak virtual gitu. Kalo mau generate sendiri dan ngatur dengan gampang, bisa dicoba pake plugin irobot.txt.
terima kasih…. sangat membantu… btw gie binung koq blom terindex sampai skrg pake wordpress…. klo blogspot koq cepet yach…
Sebenernya indexing tu ga pasti juga mas,, kadang2 blogspot juga lama. Tips untuk cepet ke index adalah socialbookmarking aja artikelnya ke beberapa social bookmark, 10-15 bookmark, dijamin besokny dah keindex
kakak aq udah setting robot qhu di computer tpih ad salah cistem cara setting lgy gimana biar bner?????
Maksudnya gimana ya? pake wordpress??
maap mas baru saja saya dapat info bahwa pada wordpress terdapat archive yang apabila dikunjungi oleh robot akan dianggap sebagai konten yang sama dengan artikel blog. dan dianggap duplikat konten yang tidak disukai oleh google. bahkan mendapat sangsi pula. menurut masnya bagaimana ?
salam
Nggak juga kok mas, tapi ada cara untuk ngerubah archive jadi sitemap jadi meminimalkan kemungkinan duplicate content oleh Google