Cara menemukan & memperbaiki masalah cakupan indeks

Apakah Anda mengalami masalah pengindeksan Google? Masalah ini dapat menyebabkan penurunan lalu lintas dan tingkat konversi.

Anda perlu memeriksa halaman yang diindeks dan tidak diindeks di situs Anda untuk menyelesaikan masalah apa pun dengan cepat . Di sini kami menjelaskan langkah demi langkah bagaimana melakukannya dengan Google Search Console – Laporan Cakupan Indeks .

Dengan metode berikut, kami telah berhasil memperbaiki masalah cakupan indeks di ratusan situs web dengan jutaan atau miliaran halaman yang dikecualikan. Gunakan agar tidak ada halaman relevan Anda yang kehilangan visibilitas di hasil pencarian dan tingkatkan lalu lintas SEO Anda!

Langkah 1: Periksa laporan cakupan indeks

Laporan Cakupan Search Console memberi tahu Anda halaman mana yang telah dirayapi dan diindeks oleh Google dan mengapa URL berada dalam status tersebut. Anda dapat menggunakannya untuk mendeteksi kesalahan yang ditemukan selama proses perayapan dan pengindeksan .

Untuk memeriksa laporan cakupan indeks, buka Google Search Console dan klik Cakupan (tepat di bawah Indeks). Setelah Anda membukanya, Anda akan melihat ringkasan dengan empat status berbeda yang mengkategorikan URL Anda:

• Kesalahan: Halaman ini tidak dapat diindeks dan tidak akan muncul di hasil pencarian karena beberapa kesalahan.
• Valid dengan peringatan: Halaman ini mungkin atau mungkin tidak ditampilkan di hasil pencarian Google.
• Valid: Halaman-halaman ini telah diindeks dan dapat ditampilkan pada hasil pencarian. Anda tidak perlu melakukan apa pun.
• Dikecualikan: Halaman ini tidak diindeks dan tidak akan muncul di hasil pencarian. Google percaya bahwa Anda tidak ingin mengindeksnya atau menganggap bahwa konten tidak layak untuk diindeks.

Anda perlu memeriksa semua halaman yang ditemukan di bagian Kesalahan dan memperbaikinya secepatnya karena Anda mungkin kehilangan kesempatan untuk mengarahkan lalu lintas ke situs Anda.

Jika Anda punya waktu, lihat halaman yang termasuk dalam status Valid dengan peringatan karena mungkin ada beberapa halaman penting yang tidak boleh gagal muncul dalam hasil pencarian.

Terakhir, pastikan halaman yang dikecualikan adalah halaman yang tidak ingin Anda indeks.

Langkah 2: Bagaimana mengatasi masalah yang ditemukan di masing-masing Status Cakupan Indeks

Setelah Anda membuka Laporan Cakupan Indeks, pilih status yang diinginkan ( Kesalahan, Valid dengan peringatan, atau Dikecualikan) dan lihat detail yang disediakan di bagian bawah halaman. Anda akan menemukan daftar jenis kesalahan berdasarkan tingkat keparahannya dan jumlah halaman yang terpengaruh, jadi sebaiknya mulai menyelidiki masalah dari atas tabel.

Mari kita lihat setiap kesalahan dalam status yang berbeda dan bagaimana Anda dapat memperbaikinya.

Status kesalahan

Kesalahan server (5xx):

Ini adalah URL yang mengembalikan kode status 5xx ke Google.

Tindakan yang harus dilakukan:

• Periksa kode status 500 jenis apa yang dikembalikan . Di sini Anda memiliki daftar lengkap dengan definisi untuk setiap kode status kesalahan server.
• Muat ulang URL untuk melihat apakah kesalahan terus berlanjut. Kesalahan 5xx bersifat sementara dan tidak memerlukan tindakan apa pun.
• Pastikan server Anda tidak kelebihan beban atau salah konfigurasi. Dalam hal ini, mintalah bantuan pengembang Anda, atau hubungi penyedia hosting Anda.
• Lakukan Analisis File Log untuk memeriksa log kesalahan untuk server Anda. Praktik ini memberi Anda informasi tambahan tentang masalah tersebut.
• Tinjau perubahan yang Anda buat baru-baru ini pada situs web Anda untuk melihat apakah ada di antara perubahan tersebut yang menjadi akar masalahnya. ex) plugin, kode backend baru, dll.

Kesalahan pengalihan:

GoogleBot mengalami kesalahan selama proses pengalihan yang tidak memungkinkan untuk merayapi laman. Salah satu alasan berikut sering menyebabkan masalah ini.

• Rantai pengalihan yang terlalu panjang
• Loop pengalihan
• URL pengalihan yang melebihi panjang URL maks
• Ada URL yang salah atau kosong dalam rantai pengalihan

Tindakan yang harus dilakukan:

• Hilangkan rantai dan loop redirect. Mintalah setiap URL hanya melakukan satu pengalihan. Dengan kata lain, pengalihan dari URL pertama ke yang terakhir.

URL yang dikirimkan diblokir oleh Robots.txt:

Ini adalah URL yang telah Anda kirimkan ke Google mengunggah Peta Situs XML ke Google Search Console tetapi telah diblokir oleh file Robots.txt.

Tindakan yang harus dilakukan:

Periksa apakah Anda ingin mesin pencari mengindeks halaman yang dimaksud atau tidak.

• Jika Anda tidak ingin diindeks, unggah peta situs XML yang menghapus URL.
• Sebaliknya, jika Anda ingin diindeks, ubah pedoman di Robots.txt. Berikut adalah panduan tentang cara mengedit robots.txt.

URL yang dikirimkan bertanda “noindex”:

Halaman-halaman ini telah dikirimkan ke Google melalui peta situs XML, tetapi mereka memiliki arahan 'noindex' baik di tag meta robots atau header HTTP.

Tindakan yang harus dilakukan:

• Jika Anda ingin URL diindeks, Anda harus menghapus direktif noindex
• Jika ada URL yang tidak ingin Anda indeks Google, hilangkan dari Peta Situs XML

URL yang dikirimkan tampaknya Soft 404:

URL yang telah Anda kirimkan melalui Peta Situs XML untuk tujuan pengindeksan mengembalikan soft 404 . Kesalahan ini terjadi ketika server mengembalikan kode status 200 ke permintaan, tetapi Google yakin itu akan menampilkan 404. Dengan kata lain, halaman terlihat seperti kesalahan 404 ke Google. Dalam beberapa kasus, mungkin karena laman tidak memiliki konten, tampak salah, atau berkualitas rendah menurut Google.

Tindakan yang harus dilakukan:

• Selidiki apakah URL ini harus mengembalikan kode Status 404 (asli). Dalam hal ini, hapus mereka dari peta situs XML.
• Jika Anda menemukan bahwa mereka seharusnya tidak mengembalikan kesalahan, pastikan Anda menyediakan konten yang sesuai di halaman ini. Hindari konten tipis atau duplikat. Verifikasi bahwa jika ada pengalihan, itu benar.

URL yang dikirimkan mengembalikan permintaan yang tidak sah (401):

URL yang dikirimkan ke Google melalui Peta Situs XML mengembalikan kesalahan 401 . Kode status ini memberitahu Anda bahwa Anda tidak berwenang untuk mengakses URL. Anda mungkin memerlukan nama pengguna dan kata sandi, atau mungkin, ada pembatasan akses berdasarkan alamat IP.

Tindakan yang harus dilakukan:

• Periksa apakah URL harus mengembalikan 401. Dalam hal ini, hilangkan dari peta situs XML.
• Jika Anda tidak ingin mereka menampilkan kode 401, hapus Otentikasi HTTP jika ada.

URL yang dikirim tidak ditemukan (404):

Anda telah mengirimkan URL untuk tujuan pengindeksan ke Google Search Console, tetapi Google tidak dapat merayapinya karena masalah yang berbeda dari yang disebutkan di atas.

Tindakan yang harus dilakukan:

• Lihat apakah Anda ingin halaman diindeks atau tidak. Jika jawabannya ya, perbaiki, sehingga mengembalikan kode status 200. Anda juga dapat menetapkan 301 redirect ke URL, sehingga menampilkan halaman yang sesuai. Ingat bahwa jika Anda memilih pengalihan, Anda perlu menambahkan URL yang ditetapkan ke peta situs XML dan menghapus yang memberi 404.
• Jika Anda tidak ingin halaman diindeks, hapus dari peta situs XML.

URL yang dikirim memiliki masalah perayapan:

Anda telah mengirimkan URL untuk tujuan pengindeksan ke GSC tetapi tidak dapat dirayapi oleh Google karena masalah yang berbeda dari yang disebutkan di atas.

Tindakan yang harus dilakukan:

• Gunakan Alat Inspeksi URL untuk mendapatkan informasi selengkapnya tentang penyebab masalah.
• Terkadang kesalahan ini bersifat sementara, sehingga tidak memerlukan tindakan apa pun.

Berlaku dengan Status Peringatan

Halaman-halaman ini diindeks, meskipun diblokir oleh robots.txt. Google selalu mencoba mengikuti arahan yang diberikan dalam file robots.txt. Namun, terkadang ia berperilaku berbeda. Ini dapat terjadi, misalnya, ketika seseorang menautkan ke URL yang diberikan.

Anda menemukan URL dalam kategori ini karena Google ragu apakah Anda ingin memblokir halaman ini di hasil pencarian .

Tindakan yang harus dilakukan:

• Google tidak menyarankan penggunaan file robots.txt untuk menghindari pengindeksan halaman. Sebaliknya, jika Anda tidak ingin melihat halaman ini diindeks, gunakan noindex di robot meta atau header respons HTTP.
• Praktik baik lainnya untuk mencegah Google mengakses halaman adalah dengan menerapkan Otentikasi HTTP.
• Jika Anda tidak ingin memblokir halaman, lakukan koreksi yang diperlukan di file robots.txt.
• Anda dapat mengidentifikasi aturan mana yang memblokir halaman menggunakan penguji robots.txt .

Natsir Turrado,
Penasihat SEO Fandango
Teknis SEO Freelance @ Natzir Turrado

Pada migrasi besar ke SalesForce, kami meminta pengembang untuk membuat filter yang tidak ingin kami indeks tidak dapat diakses (dikaburkan). Ketika situs web Salesforce ditayangkan, semuanya sukses. Tetapi ketika versi baru dirilis beberapa bulan kemudian, kebingungan itu secara tidak sengaja rusak. Ini memicu semua alarm karena, hanya dalam tujuh hari, ada ~17,5 juta permintaan Googlebot-Mobile dan ~12,5 juta Googlebot/2.1, serta cache hit rate 2%. Di bawah ini Anda dapat melihat di Search Console bagaimana halaman yang diindeks tetapi diblokir oleh robot meningkat.

Inilah mengapa saya menyarankan untuk terus memantau log dan meninjau Laporan Cakupan GSC (walaupun Anda akan mendeteksi masalah lebih cepat dengan memeriksa log). Dan ingat bahwa robots.txt tidak mencegah halaman diindeks. Jika Anda ingin Google tidak merayapi URL, yang terbaik adalah membuat URL tidak dapat diakses!

Status yang Dikecualikan

Halaman-halaman ini tidak diindeks pada hasil pencarian, dan Google percaya itu adalah hal yang benar. Misalnya, ini bisa jadi karena halaman tersebut merupakan halaman duplikat dari halaman yang diindeks atau karena Anda memberikan panduan di situs web Anda kepada mesin telusur untuk mengindeksnya.

Laporan Cakupan menunjukkan kepada Anda 15 situasi di mana halaman Anda dapat dikecualikan .

Dikecualikan oleh tag 'noindex':

Anda memberi tahu mesin pencari untuk tidak mengindeks halaman dengan memberikan arahan "noindex".

Tindakan yang harus dilakukan:

• Verifikasi jika Anda benar-benar tidak ingin mengindeks halaman. Jika Anda ingin halaman diindeks, hapus tag "noindex".
• Anda dapat mengonfirmasi keberadaan direktif ini dengan membuka halaman dan mencari "noindex" di badan respons dan header respons.

Diblokir oleh alat penghapus halaman:

Anda telah mengirimkan permintaan penghapusan URL untuk halaman ini di GSC .

Tindakan yang harus dilakukan:

• Google hanya memenuhi permintaan ini selama 90 hari, jadi jika Anda tidak ingin mengindeks halaman, gunakan arahan “noindex”, terapkan Otentikasi HTTP, atau hapus halaman.

Diblokir oleh robots.txt:

Anda memblokir akses ke Googlebot ke halaman ini dengan file robots.txt. Namun, itu masih dapat diindeks jika Google dapat menemukan informasi tentang halaman ini tanpa memuatnya. Mungkin Google mengindeks halaman sebelum Anda menambahkan larangan di robots.txt

Tindakan yang harus dilakukan:

• Jika Anda tidak ingin halaman diindeks, gunakan perintah “noindex” dan hapus blok robots.txt.

Diblokir karena permintaan yang tidak sah (401):

Anda memblokir akses ke Google menggunakan otorisasi permintaan (401 tanggapan).

Tindakan yang harus dilakukan:

• Jika Anda ingin mengizinkan GoogleBot mengunjungi halaman, hapus persyaratan otorisasi.

Anomali perayapan:

Halaman tidak diindeks karena kode respons kesalahan 4xx atau 5xx.

Tindakan yang harus dilakukan:

• Gunakan alat Inspeksi URL untuk mendapatkan informasi lebih lanjut tentang masalah tersebut .

Dirayapi – Saat ini tidak diindeks

Halaman ini dirayapi oleh GoogleBot tetapi tidak diindeks. Ini mungkin atau mungkin tidak diindeks di masa depan. Tidak perlu mengirimkan URL ini untuk perayapan .

Tindakan yang harus dilakukan:

• Jika Anda ingin halaman diindeks dalam hasil pencarian, pastikan Anda memberikan informasi yang berharga.

Ditemukan – Saat ini tidak diindeks:

Google menemukan laman ini, tetapi belum berhasil merayapinya . Situasi ini biasanya terjadi karena ketika GoogleBot mencoba merayapi halaman, situs itu kelebihan beban. Perayapan telah dijadwalkan untuk lain waktu.

Tidak ada tindakan yang diperlukan.

Halaman alternatif dengan tag kanonik yang tepat:

Laman ini mengarah ke laman kanonik, jadi Google memahami bahwa Anda tidak ingin mengindeksnya.

Tindakan yang harus dilakukan:

• Jika Anda ingin mengindeks halaman ini, Anda harus mengubah atribut rel=canonical untuk memberikan pedoman yang diinginkan kepada Google.

Duplikat tanpa kanonik yang dipilih pengguna:

Halaman memiliki duplikat, tetapi tidak ada yang ditandai sebagai kanonik. Google menganggap bahwa yang ini bukan yang kanonik.

Tindakan yang harus dilakukan:

• Gunakan tag kanonik untuk memperjelas kepada Google halaman mana yang kanonik (harus diindeks) dan mana yang duplikat. Anda dapat menggunakan Alat Inspeksi URLuntuk melihat halaman mana yang telah dipilih sebagai kanonik oleh Google.

Duplikat, Google memilih kanonik yang berbeda dari pengguna:

Anda telah menandai halaman ini sebagai kanonik, tetapi Google, sebaliknya, telah mengindeks halaman lain yang dianggap berfungsi lebih baik sebagai kanonik.

Tindakan yang harus dilakukan:

• Anda dapat mengikuti pilihan Google. Dalam hal ini, tandai halaman yang diindeks sebagai kanonik dan yang ini sebagai duplikat dari URL kanonik.
• Jika tidak, cari tahu mengapa Google lebih memilih laman lain daripada laman yang Anda pilih, dan buat perubahan yang diperlukan . Gunakan Alat Inspeksi URL untuk menemukan “halaman kanonik” yang dipilih oleh Google.

Ferran Gavin,
Manajer SEO @ Softonic

Salah satu "kegagalan" paling aneh yang pernah kami alami dengan Laporan Cakupan Indeks adalah menemukan bahwa Google tidak memproses kanonik kami dengan benar (dan kami telah melakukannya dengan salah selama bertahun-tahun!). Google menunjukkan di Search Console bahwa kanonik yang ditentukan tidak valid ketika halaman diformat dengan sempurna. Pada akhirnya, ternyata itu adalah bug dari Google sendiri, dikonfirmasi oleh Gary Ilyes.

Tidak ditemukan (404):

Laman mengembalikan kode status kesalahan 404 saat Google mengajukan permintaan . GoogleBot tidak menemukan halaman melalui peta situs, tetapi mungkin melalui situs web lain yang tertaut ke URL. Mungkin juga URL ini ada di masa lalu dan telah dihapus.

Tindakan yang harus dilakukan:

• Jika respons 404 disengaja, Anda dapat membiarkannya apa adanya. Itu tidak akan membahayakan kinerja SEO Anda. Namun, jika halaman telah dipindahkan, terapkan pengalihan 301.

Halaman dihapus karena keluhan hukum:

Halaman ini dihapus dari indeks karena keluhan hukum .

Tindakan yang harus dilakukan:

• Selidiki aturan hukum apa yang mungkin telah Anda langgar dan ambil tindakan yang diperlukan untuk memperbaikinya.

Halaman dengan pengalihan:

URL ini adalah pengalihan dan oleh karena itu tidak diindeks.

Tindakan yang harus dilakukan:

• Jika URL tidak seharusnya dialihkan, hapus implementasi pengalihan.

Lembut 404:

Halaman tersebut mengembalikan apa yang Google yakini sebagai respons 404 yang lembut. Halaman tidak diindeks karena, meskipun memberikan kode status 200, menurut Google seharusnya mengembalikan 404 .

Tindakan yang harus dilakukan:

• Tinjau apakah Anda harus menetapkan 404 ke halaman, seperti yang disarankan Google.
• Tambahkan konten berharga ke halaman untuk memberi tahu Google bahwa itu bukan Soft 404.

Duplikat, URL yang dikirimkan tidak dipilih sebagai kanonik:

Anda telah mengirimkan URL ke GSC untuk tujuan pengindeksan. Namun, itu belum diindeks karena halaman tersebut memiliki duplikat tanpa tag kanonik, dan Google menganggap bahwa ada kandidat yang lebih baik untuk kanonik.

Tindakan yang harus dilakukan:

• Putuskan apakah Anda ingin mengikuti pilihan Google untuk halaman kanonik. Dalam hal ini, tetapkan atribut rel=canonical untuk mengarah ke halaman yang dipilih oleh Google.
• Anda dapat menggunakan Alat Inspeksi URL untuk melihat halaman mana yang telah dipilih oleh Google sebagai halaman kanonik.
• Jika Anda ingin URL ini sebagai kanonik, analisis mengapa Google lebih memilih halaman lain. Tawarkan lebih banyak konten bernilai tinggi di laman pilihan Anda .

Langkah 3. Laporan Cakupan Indeks Masalah Paling Umum

Sekarang Anda mengetahui berbagai jenis kesalahan yang dapat Anda temukan dalam laporan Cakupan Indeks dan tindakan apa yang harus diambil ketika Anda menemukan masing-masing kesalahan tersebut. Berikut ini adalah ikhtisar singkat tentang masalah yang paling sering muncul.

Lebih Banyak Dikecualikan daripada Halaman yang Valid

Terkadang Anda dapat memiliki lebih banyak halaman yang dikecualikan daripada halaman yang valid. Keadaan ini biasanya diberikan pada situs-situs besar yang telah mengalami perubahan URL yang signifikan . Ini mungkin situs lama dengan sejarah panjang, atau kode web telah dimodifikasi.

Jika Anda memiliki perbedaan yang signifikan antara jumlah halaman dari dua status (Dikecualikan dan Valid), Anda memiliki masalah yang parah. Mulailah meninjau halaman yang dikecualikan, seperti yang kami jelaskan di atas.

Esteve Castells,
Manajer SEO Grup @ Adevinta

Masalah terbesar yang pernah saya lihat di Laporan Liputan adalah salah satu situs web yang saya kelola, yang akhirnya memiliki 5 miliar halaman yang dikecualikan. Ya, Anda membacanya dengan benar, 5 miliar halaman. Navigasi segi menjadi benar-benar gila, dan untuk setiap tampilan halaman, kami membuat 20 URL baru untuk dirayapi Googlebot.

Itu akhirnya menjadi kesalahan paling mahal dalam hal perayapan, yang pernah ada. Kami harus sepenuhnya melarang melalui robots.txt URL navigasi segi karena Googlebot menurunkan server kami dengan lebih dari 25 juta klik per hari.

Lonjakan kesalahan

Ketika jumlah kesalahan meningkat secara eksponensial, Anda perlu memeriksa kesalahan dan memperbaikinya secepatnya. Google telah mendeteksi beberapa masalah yang sangat merusak kinerja situs web Anda . Jika Anda tidak memperbaiki masalah hari ini, Anda akan menghadapi masalah yang signifikan besok.

Kesalahan server

Pastikan kesalahan ini bukan 503 (Layanan Tidak Tersedia) . Kode status ini berarti bahwa server tidak dapat menangani permintaan karena kelebihan beban sementara atau pemeliharaan. Pada awalnya, kesalahan itu akan hilang dengan sendirinya, tetapi jika terus terjadi, Anda harus melihat masalahnya dan menyelesaikannya.

Jika Anda memiliki jenis kesalahan 5xx lainnya, kami sarankan untuk memeriksa panduan kami untuk melihat tindakan yang perlu Anda ambil dalam setiap kasus.

404 kesalahan

Sepertinya Google telah mendeteksi beberapa area situs web Anda yang menghasilkan 404 – halaman tidak ditemukan. Jika volume meningkat pesat, tinjau panduan kami untuk menemukan dan memperbaiki tautan yang rusak.

Halaman atau situs hilang

Jika Anda tidak dapat melihat halaman atau situs dalam laporan, mungkin karena beberapa alasan.

1. Google belum menemukannya. Saat halaman atau situs masih baru, mungkin perlu beberapa saat sebelum Google menemukannya. Kirim peta situs atau permintaan perayapan halaman untuk mempercepat proses pengindeksan. Juga, pastikan bahwa halaman tersebut tidak yatim piatu dan ditautkan dari situs web.
2. Google tidak dapat mengakses halaman Anda karena permintaan login . Hapus persyaratan otorisasi untuk mengizinkan GoogleBot merayapi laman.
3. Halaman tersebut memiliki tag noindex atau dihapus dari indeks karena alasan tertentu . Hapus tag noindex dan pastikan Anda menyediakan konten yang berharga di halaman.

"Dikirim tetapi/Dikirim dan" kesalahan dan pengecualian

Masalah ini terjadi ketika ada ketidaksesuaian. Jika Anda mengirim halaman melalui peta situs, Anda harus memastikan bahwa halaman tersebut valid untuk pengindeksan, dan itu ditautkan ke situs.

Situs Anda harus sebagian besar terdiri dari halaman berharga yang layak untuk saling terkait.

Ringkasan

Berikut adalah ringkasan tiga langkah dari artikel “Cara menemukan dan memperbaiki kesalahan cakupan indeks.”

• Hal pertama yang ingin Anda lakukan saat menggunakan laporan cakupan indeks adalah memperbaiki halaman yang muncul dalam status Error . Ini harus 0 untuk menghindari hukuman Google.
• Kedua, periksa halaman yang dikecualikan dan lihat apakah ini halaman yang tidak ingin Anda indeks. Jika ini bukan masalahnya, ikuti panduan kami untuk menyelesaikan masalah.
• Jika Anda punya waktu, kami sangat menyarankan untuk memeriksa halaman yang valid dengan peringatan . Pastikan pedoman yang Anda berikan di robots.txt sudah benar dan tidak ada inkonsistensi.

Kami harap Anda merasa terbantu! Beri tahu kami jika Anda memiliki pertanyaan tentang laporan cakupan indeks. Kami juga akan senang mendengar tips dari Anda di komentar di bawah.