Cara Setting Robots.txt Blog SEO Friendly. Hallo sobat blogger, jika kemarin saya update artikel tentang "Cara Setting Tag Tajuk Robot Khusus" jika sobat sudah membaca artikel tersebut, saya harap sobat bisa tahu tentang pentingnya optimasi robot pencari pada peringkat blog yang kita kelola, jika belum, sobat juga boleh membacanya.
Untuk kali ini saya akan membahas tentang bagaimana cara setting atau custome Robots.txt yang pasti sobat tau settingan ini ada di blogger, dengan adanya pengaturan ini, maka sobat bisa menyesuaikan file ini sesuai dengan pilihan sobat. Dalam tutorial kali ini saya membahas istilah ini dalam mengetahui apa saja penggunaan dan manfaat Robots.txt blogger tersebut.
Apa Itu Robots.txt?
Robots.txt adalah sebuah file teks yang berisi beberapa baris kode dengan sesuai kegunaannya, hal ini di setting di situs kita atau server blog yang menginstruksikan web crawler untuk mengindeks dan merayapi blog kita dalam hasil pencarian. Itu berati sobat dapat membatasi setiap halaman label blog sobat, sehingga apakah ini harus di indeks atau tidak dihalaman pencarian atau search engine, seperti halaman yang tidak penting, bisa halaman arsip atau label, maka dari itu perlu kita ketahui sobat blogger, sebelum bot crawler merayapi situs kita, bot crawler terlebih dahulu merayapi file robots.txt
Baca Juga : Cara Cek Dan Memperbaiki Broken Link di Blog
Setiap blog atau situs pasti mempunyai file robots.txt default dan terlihat seperti dibawah ini dan untuk mengetahui robots.txt tersebut, sobat dapat mengeceknya dengan cara menambahakan Robots.txt dibelakang domain blog sobat, contoh : http://oktavialie.blogspot.com/robots.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://oktavialie.blogspot.com/feeds/posts/default?orderby=UPDATED
Penjelasan di setiap kode dan Fungsi Kode Robot.txt
1. User-agent: Mediapartners-Google : Kode ini adalah untuk bot adsense untuk membantu melayani layanan iklan di blog kita, maka jika sobat menggunakan adsense, silahkan pakai.
2. User-agent: * : Kode ini berfungsi untuk semua robot yang ditandai ( * ) dalam pengaturan default blog kita, link label dibatasi untuk di indeks oleh crawler search engine, dengan itu berarti web crawler tidak akan mengindeks halaman label di situs kita dengan menggunakan kode tersebut seperti kode dibawah ini
Disallow: /searchItu berarti link tersebut memiliki kata kunci pencarian untuk setelah nama domain maka akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.
http://oktavialie.blogspot.com/search/label/SEO
Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman web kita.
Larang khusus HalamanJika kita perlu untuk melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog dari itu yang terlihat seperti dibawah ini:
Disallow: /p/page-url.html3. Sitemap: http://oktaseo.blogspot.com/feeds/posts/default?orderby=UPDATED
Maka web crawler akan sangat mudah untuk merayapi semua postingan kita. Oleh karena itu, ada kemungkinan baik bahwa web crawler merayapi semua posting blog kita tanpa mengabaikan satu pun.
Cara Menambahkan atau Setting Robots.txt Blog
1. Buka Akun blog blogger Sobat.2. Arahkan ke Settings >> Preferensi Penelusuran>> Perayap dan pengindeksan >> robots.txt >>
3. Sunting >> Ya
4. Sekarang paste kode file robots.txt sobat di dalam kotak.
Klik tombol Save Changes.
4. Sekarang paste kode file robots.txt sobat di dalam kotak.
Klik tombol Save Changes.
Oke sobat blogger, saya cukupkan dulu untuk tutorial "Cara Setting Robots.txt Blog SEO Friendly" mudah-mudahan sobat bisa memahaminya dengan baik, lebih dan kurangnya saya mohon maaf.
