usahawan-maju | Memaksimalkan SEO Dengan Cara Setting Robots TXT Blog
- Kemaren saya penasaran yang namanya robots.txt yang katanya bisa memaksimalkan kinerja dari SEO dari blog yang sedang kita bangun. Mungkin saya yang baru tahu, namun saya yakin sebagian blogger sudah mengenal apa yang simaksud robots.txt serta bagaimana cara setting yang benar. Saya bertanya apa sebenarnya robots.txt? Apakah robots.txt di blogger Anda perlu di setting? Kemudian bagaimana seandainya saya membiarkannya saja?
Bekal dari pertanyaan itu saya mencoba mencari pengertian dan cara kerja robots.txt, supaya saya lebih memahami dan mengerti, namun secara tidak sadar saat saya browsing saya mendapatkan jawabannya sebagai berikut :
Apa itu robots.txt ?
Robots.txt bisa dikatakan sebagai perintah bagi robot mesin pencarian web/blog untuk menelusuri/tidak menelusuri halaman pada blog yang sedang kita kelola. Bisa jadi kita mengatakan atau mengasumsikan robots.txt adalah filter blog milik kita dari mesin pencarian seperti google.
Apakah tiap blog punya robots.txt ?
Awalnya saya tidak tahu, kemudian saya mencoba cek blog milik saya, ternyata semua blog sudah mempunyai robots.txt yang ternyata diberikan secara default oleh blogger. Pada settingan secara default robots.txt di blog akan tampak seperti gambar berikut :
Jika kita Klick Edit akan ada tulisan berikut :
Disallow:
User-agent: *
Disallow: /search
Allow: /
Namun tidak semua seperti ini, karena yang namanya saja default. Sedikit penjelasan tentang code - code di atas yang saya peroleh :
User-agent: Mediapartners-Google - Robot Google Adsense merayapi blog kita.
Disallow: - Tidak diperbolehkan/mematikan.
User-agent: * - Semua Robot Search Engine dan termasuk mesin pencarian.
Disallow: /search - Tidak diperbolehkan merayapi folder search dan seterusnya, misalnya (/search/label) Atau (search/search?updated)
Allow: / - Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Namun jika anda ingin mengganti settingan robots.txt milik anda, mungkin bisa mencobanya, misalnya untuk mencegah google merayapi sebuah halaman tertentu di blog atau misal halaman profil di index tidak boleh dirayapi oleh mesin pencarian google.
Cara agar tidak dirayapi mesin pencari google :
- Kita lihat url profil pada blog misalnya: http://nama_BLOGMU.blogspot.com/h/profil.html.
- Kemudian untuk setting robots.txt-nya kita copy kode defaut yang kita dapat di atas untuk menambahkan halaman yang tidak diperbolehkan dirayapi, hasilnya akan seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /h/profil.html
Allow: /
Sitemap: http://nama_BLOGMU/feeds/posts/default?orderby=UPDATED
Nah demikian penasaran saya robots.txt terjawab dari mbah google yang selalu menemani kegalauan atas pertanyaan yang membuat penasaran dan penasaran, hehehe. Sekian postingan kali ini semoga bisa membantu dan bermanfaat untuk kita. Terimakasih sudah berkunjung di blog ini, jangan lupa berkunjung lagi dan baca artikel yang lainnya.
