Jika belum pernah menjumpai pesan itu, maka baiknya membuka Google Search Console situsweb Anda, karena boleh jadi sebenarnya pesan itu ada di sana namun karena tidak tahu atau tidak memperhatikannya maka Anda tidak atau belum melihatnya.
Setelah masuk ke Search Console, Anda akan melihat default view yang memperlihatkan data ‘Performance’ website Anda dalam tiga bulan terakhir. Grafik naik turunnya kinerja situsweb Anda dalam mesin pencarian Google bisa dilihat di halaman ini.
Klik ‘Coverage’ pada menu di sebelah kiri tengah, dan akan muncul grafis serta angka ‘Error’, ‘Valid with warning’, ‘Valid’ dan ‘Excluded’. Klik ‘Valid with warning’, dan Anda akan disajikan dengan detail laporannya.
Scroll ke bawah, maka pesan "Indexed, though blocked by robots.txt" akan muncul di sini, jika memang ada. Jika tak terlihat, maka Anda memang tidak mempunyai masalah terkait hal ini.
Pesan "Indexed, though blocked by robots.txt" berarti bahwa Google telah mengindeks tulisan yang disebut dalam daftar, walaupun Anda telah memblokirnya dengan menggunakan robot.txt. Ini terjadi karena meskipun Google "menghormati" robot.txt namun perintah Anda tidak diindahkan jika ada taut ke tulisan yang Anda blokir itu.
Kemungkinan kedua adalah Anda telah menambahkan noindex meta tag di template HTML situsweb, selain memblokir dengan menggunakan robot.txt. Jika hal ini yang terjadi, maka cara untuk mengatasinya adalah hapus perintah blokir yang ada di robot.txt, karena Google tidak bisa membaca perintah noindex meta tag jika Anda memblokirnya juga dengan robot.txt.
Inti solusinya adalah,
- Jangan gunakan robot.txt untuk memblokir oleh karena bisa tidak diindahkan oleh Google, terutama jika ada link ke tulisan yang hendak diblokir.
- Gunakan noindex meta tag di template HTML situsweb Anda untuk memblokir, dan hapus blokir yang ada di robot.txt agar Google bisa membaca perintah blokir di meta tag.
Berikut adalah noindex meta tag yang bisa Anda tambahkan di template Blogger:
Memblokir Page dari Google Search:
<b:if cond='data:view.isPage'><meta content='noindex,noarchive' name='robots'/></b:if>
Memblokir Archive:
<b:if cond='data:view.isArchive'>meta content='noindex,noarchive' name='robots'/>/b:if>
Memblokir Label:
<b:if cond='data:view.isLabelSearch'><meta content='noindex,noarchive' name='robots'/></b:if>
Memblokir Search:
<b:if cond='data:view.isSearch'><meta content='noindex,noarchive' name='robots'/></b:if>
Mengapa perlu diblokir dari Google Search, adalah agar tidak ada duplicate content yang bisa merugikan posisi tulisan Anda di hasil Google Search.
Setelah melakukan perbaikan yang diperlukan, maka Anda bisa klik "VALIDATE FIX" pada laman "Indexed, though blocked by robots.txt" di Google Search Console.
Label: Blogger, Inspirasi, Tutorial
Bagikan ke: WhatsApp, Email. Print!.
