Mengenal Lebih Dalam Robots.Txt Khusus

Mengenal Lebih Dalam Robots.txt Khusus - Delapan belas bulan yang kemudian saya sudah menuliskan artikel perihal Cara memasang robots.txt khusus, namun disana saya belum menjelaskan secara spesifik mengenai robots.txt khusus tersebut dan kali ini saya akan mencoba membahas dan menjelaskan lebih dalam mengenai robots.txt khusus ini. Search engine menyerupai google contohnya intinya sudah mempunyai setelan default robots.txt pada robot crawl (perayap google).

Perintah yang paling fundamental pada robots.txt default perayap google yaitu merayapi semua penggalan laman situs terkecuali laman pencarian (search). Itu sebabnya konten unik dari blogger pemula tetap sanggup terindex dan muncul dihasil pencarian google meskipun tanpa melaksanakan Submit url maupun Fetch as Google. Dan peran robots.txt khusus pada sebuah laman web yaitu untuk membatasi perayapan yang dilakukan oleh robot crawl, itulah penyebab kenapa pengembang situs dianjurkan supaya berhati-hati dalam menggunakan robots.txt khusus.

Mengenal Lebih Dalam Robots.txt Khusus

Bagaimana Contoh Robots.txt Default

Robots.txt Default Google sanggup dilihat melaui search console atau biasa disebut dengan webmaster tool, buatlah situs web gres tanpa robots.txt khusus kemudian tambahkan ke situs search console, kemudian verifikasi kepemilikan situs, kemudian buka tab Crawl pada search console dan lihat pada penggalan Robots.txt Tester.

Disana kau sanggup melihat pengaturan Robots.txt Default google dan kau sanggup menguji pengaturan Robots.txt tersebut dengan 7 bot google yaitu: Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google, Adsbot-Google.
Lihat pola gambar dibawah ini;

Robots.txt default

Jika pada ketika pengujian robots.txt tertera "diizinkan" itu artinya googlebot sanggup mengakses dan merayapi situs, jikalau tertera "dicekal" itu artinya googlebot tidak diizinkan untuk merayapi url situs. Ujilah url situs anda dengan 7 jenis googlebot menyerupai diatas, jikalau semua berstatus "diizinkan" maka pengaturan robots.txt tersebut sudah benar. Copy isyarat robots.txt nya kemudian pasang ke pengaturan situs blogger anda supaya tool penguji SEO (Search Engine Optimization) sanggup membacanya.

Kode Robots.txt Dasar (Default)

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://yoursitename.blogspot.com/sitemap.xml

Sekarang bagaimana contoh robots.txt khusus? Setelah mengetahui pengaturan default robots.txt maka sangat gampang untuk memahami robots.txt khusus, "Khusus" yang dimaksud pada pengaturan robots.txt yaitu pengaturan optional dari pihak pengelola situs untuk mengatur susukan robot crawl, misalnya;

Pada sebuah laman situs web terdapat halaman yang privasi atau bersifat belakang layar atau halaman yang berlawanan dengan kebijakan google, Nah, pada kasus menyerupai ini pengelola situs sanggup menggunakan robots.txt khusus untuk membatasi perayapan dan peng-index-an robot crawl pada laman tersebut.

Contoh:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/cepika-cepiki.html
Disallow: /document-privacy.html
Allow: /
Sitemap: https://yoursitename.blogspot.com/sitemap.xml

Perhatikan dua baris isyarat "Disallow" yang ditandai dengan aksara tebal diatas yaitu pola robots.txt khusus, kedua url tersebut tidak akan dirayapi oleh robot.crawl dan tidak ditampilkan pada laman hasil pencarian. Kaprikornus sangat sanggup dipahami kan bahwa robots.txt khusus merupakan pengaturan optional/pengaturan kita sendiri untuk membatasi susukan robot crawl dalam merayapi situs kita.

Jika tidak ada laman yang bersifat belakang layar (privasi) maka kita tidak perlu melaksanakan pembatasan susukan terhadap robot crawl (perayap google), Dianjurkan "cukup" gunakan pengaturan default robots.txt, sesudah benar-benar paham silahkan berkreasi dengan Robots.txt Khusus.

Upload File Robots.txt Khusus ke Webmaster (Search Console)

Bagaimana cara meng-update atau meng-upload robots.txt khusus dari situs blogger ke webmaster tool (search console)?

Memperbaharui robots.txt khusus baik itu menambah atau mengurangi robots.txt dilakukan melalui dashboard "settingan" blogger, kemudian kemudian masuk ke search console dan buka fitur robots.txt tester, tekan tombol submit untuk mengupdate / upload robots.txt. Biasanya akan muncul pop-up yang berisi 3 pilihan, silahkan pilih submit untuk pembaharuan robots.txt, sesudah tamat lakukan refresh pada search console untuk melihat hasilnya.

Baca Juga: Setting Robots.txt Untuk Adsense

Demikian klarifikasi perihal "robots.txt khusus" dari saya semoga bermanfaat dan menambah ilmu pengetahuan. Artikel ini saya dedikasikan kepada para blogger khususnya visitor yang menanyakan "kenapa kode robots.txt disini pendek sedangkan di situs tetangga sebelah panjang". Jika dipahami dengan benar maka artikel ini sudah cukup untuk menjawab-nya. Mohon maaf saya tidak mempublikasikan komentar dia lantaran tidak subscribe dulu gres komentar, sekian.