Setting Robot.txt Di blogger Agar Lebih SEO

Cara setting atau custom robot.txt di blogger, yang belum tau Robots.txt adalah file teks yang mengontrol robot perayap web ( juga dikenal sebagai robot mesin telusur ) dan memberi tahu mereka halaman mana yang harus dirayapi dan mana yang tidak, direktori web mana yang harus dirayapi dan mana yang tidak, & juga tautan mana mereka harus merangkak dan mana yang tidak.

Mengapa Robots.txt begitu Penting?

Jawaban sederhananya adalah ketika datang ke situs web, SEO adalah hal yang harus dilakukan. Untuk melakukan SEO, menambahkan robots.txt yang tepat adalah hal yang diperlukan. Jadi mari kita mendapatkan pemahaman yang lebih baik untuk itu.

Contoh file robots.txt:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap:
https://www.example.com/sitemap.xml

Kesimpulan:

Di sini baris file (User-agent) mendeklarasikan jenis robot yaitu Mediapartners-Google dan disetel ke none. Artinya iklan AdSense bisa muncul
User-agent berikutnya diatur ke * dan Disallow adalah /search & ?updated-max dan Allow adalah /. Di sini User-agent:* artinya semua bot mesin telusur tidak diizinkan untuk /search & ?halaman terupdate-max dan mengizinkan semua halaman kecuali halaman yang tidak diizinkan.
Hal berikutnya adalah Sitemap yang berisi tentang sitemap dari blog. Inilah bagian yang lebih rumit. Seperti yang Anda lihat default diatur ke: https://www.example.com/sitemap.xml

Di setingan default blogger sendiri hanya akan memungkinkan 25 posting pertama untuk dirayapi oleh bot google.

Contoh Seperti hall nya sebuah jalan sitemap default bawaan blogger hanya bisa menemukan 25 rumah pedahal didalamnya ada lebih dari 25 rumah bahkan ribuan misal

Nah fungsi robot.txt custom ini anda seperti membuat jalan sendiri ke rumah² yang lain agar bisa dirayapi oleh bot google , gunakan beberapa kode Contoh yang saya berikan di bawah ini:

Jangan lupa ganti www.example.com dengan domain kalian masing²

Contoh 1: mengirimkan hanya 25 posting pertama

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap:
https://www.example.com/sitemap.xml

Contoh 2: mengirimkan hanya 25 posting pertama & halaman

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap:
https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml

Contoh 3: untuk mengirimkan 500 posting pertama & halaman

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap:
https://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.example.com/sitemap-pages.xml

Contoh 4: untuk mengirimkan 1000 posting pertama & halaman

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap:
https://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.example.com/atom.xml?redirect=false&start-index=501&max-results=500
Sitemap: https://www.example.com/sitemap-pages.xml

Oke mungkin kali ini itu aja yang mimin bertips bagikan, jika artikel kalian ada yg lebih dari 1000 atau 2000 dst. Silahkan komentar dbawah untuk penambhan sitemap nya. Dan cara ini jg sudah admin pakai sendiri di blog ini

Bagaimana tidak beberapa menit admin memposting blog ini langsung terindex oleh google tanpa sumbit google search console sama sekali.

Waktu pulish artikel

Waktu terindex pukul 4:10 wib namun yang tertara di google search 11 jam yang lalu... admin juga masih bingung tentang ini apakah karna ada setingan waktu yang belum sesuai di setingan blog admin.