Apa itu Googlebot? Semua yang Perlu Anda Ketahui Tentang Pengindeksan Google

Apa Itu Googlebot?

Googlebot adalah nama perayap web Google. Ini "membaca" halaman web dan mengindeksnya sehingga dapat disajikan kepada pencari sebagai tanggapan atas istilah pencarian mereka.

Googlebot memiliki dua pekerjaan penting:

1. Itu terus-menerus menjelajahi halaman web untuk tautan baru sehingga dapat mengindeks konten sebanyak mungkin, dan
2. Ini mengumpulkan informasi baru tentang halaman untuk menjaga indeks Google tetap up to date.

Meskipun hanya ada satu nama, sebenarnya ada dua jenis Googlebot: satu untuk seluler (Smartphone Googlebot) dan satu untuk desktop (Googlebot Desktop). Yang pertama memeriksa seberapa baik situs Anda dirender di ponsel cerdas dan tablet, sedangkan yang kedua berfokus pada versi desktop situs web Anda.

Pengoptimalan Googlebot adalah tentang mempermudah Google mengakses, merayapi, dan “membaca” situs web Anda. Meskipun banyak taktik SEO memengaruhi kinerja pencarian, ada beberapa penerapan yang harus dimiliki yang meningkatkan "kemampuan indeks" situs Anda dan dapat secara langsung memengaruhi apakah halaman Anda tersedia untuk pengguna Google atau tidak. Selain taktik SEO on-page dan off-page, strategi SEO Anda harus mencakup tujuan teknis SEO untuk membantu Anda meningkatkan peluang Anda muncul di hasil mesin pencari.

Mengapa hanya fokus pada Googlebot? Bagaimana dengan crawler mesin pencari lainnya? Karena Google saat ini memiliki 92% pasar pencarian, sebagian besar audiens target Anda kemungkinan besar menggunakannya. Namun, rekomendasi berikut akan memudahkan semua perayap membaca halaman Anda.

Bagaimana Cara Kerja Pengindeksan Google?

Saat Google mengindeks sebuah situs, itu pada dasarnya menambahkannya ke basis data pengetahuannya dan membuat catatan tentang halaman tersebut, seberapa ramah pengguna, dan banyak lagi. Tapi bagaimana Googlebot tahu bahwa sebuah situs web ada dan harus diindeks?

Jika Anda pernah membuat situs web sebelumnya, Anda mungkin memperhatikan bahwa Anda tidak mendapatkan lalu lintas organik segera setelah Anda menerbitkannya. Itu karena Anda perlu membuat Googlebot mengetahui situs web Anda sehingga dapat merayapi halaman Anda. Anda dapat melakukannya dengan mengirimkan peta situs XML Anda ke Google Search Console (sebelumnya alat Google Webmaster).

Googlebot merayapi situs web Anda menggunakan peta situs dan menautkan basis data dari perayapan sebelumnya. Ketika menemukan tautan baru di situs web Anda, ia menambahkannya ke daftar halaman yang akan dikunjungi. Baik Googlebot Desktop maupun Googlebot Smartphone akan memperbarui indeks jika mereka menemukan tautan yang rusak atau masalah lainnya.

Ini adalah indeks yang diambil Google saat menerima kueri. Kemudian menggunakan petunjuk kontekstual dari pencarian untuk menentukan bagaimana memberi peringkat pada hasil yang relevan.

Seberapa Sering Google Merayapi Situs Saya?

Google merayapi URL dengan kecepatan berbeda. Sementara beberapa URL mungkin dirayapi setiap hari, yang lain mungkin hanya dirayapi mingguan atau bulanan. Kecuali jika Anda menyatakan sebaliknya dalam file robots.txt Anda atau dalam tag meta robots Anda, Googlebot akan mencoba untuk melakukan perjalanan ke setiap halaman di situs web Anda dan mencatat informasi di sepanjang jalan sehingga dapat memahami konten Anda dengan lebih baik dan memperbarui indeksnya.

Meskipun saya berfokus terutama pada perayap Googlebot sejauh ini, saya ingin mencatat bahwa sebenarnya ada beberapa perayap web Google. Anda dapat menemukan daftar lengkap perayap Google di sini.

Jika Anda penasaran tentang seberapa sering Google merayapi dan mengindeks situs Anda, buka Google Search Console (GSC). Anda akan menemukan Laporan Statistik Perayapan di bawah pengaturan.

5 Langkah untuk Mengoptimalkan Situs Anda untuk Googlebot

Ikuti lima langkah sederhana untuk menjaga situs Anda dapat diakses oleh spider mesin pencari sehingga halaman Anda dapat ditemukan dalam pencarian.

1. Buat Kode Anda Sederhana

Bagian besar dari meningkatkan kemampuan perayapan situs web Anda adalah dengan menjaga semuanya tetap sederhana. Google tidak akan merayapi Flash, Ajax, bingkai, cookie, ID sesi, atau DHTML, dan perlu waktu lebih lama untuk mengindeks JavaScript karena harus merendernya.

Saat membangun situs web Anda, penting untuk mengikuti pedoman umum dan kualitas Google untuk menghindari masalah perayapan dan mempermudah pengindeksan halaman Anda.

2. Periksa Robots.txt Anda

File robots.txt memberi tahu Googlebot URL mana yang dapat diaksesnya di situs Anda. Gunakan arahan robot.txt untuk menghindari situs Anda kelebihan beban dengan permintaan dan menghemat lebih banyak anggaran perayapan untuk halaman yang ingin Anda indeks oleh mesin telusur. Tanpa robots.txt, Googlebot mungkin menghabiskan terlalu banyak waktu untuk mengindeks media, file sumber daya, atau halaman tidak penting lainnya yang tidak ingin Anda sertakan dalam hasil pencarian. Robots.txt adalah arahan protokol-lebar. Anda hanya boleh memiliki satu di situs web Anda kecuali Anda memiliki beberapa subdomain. Untuk mengelola Googlebot dan perayap berdasarkan halaman demi halaman, gunakan tag meta robot.

3. Gunakan Tautan Internal

Tautan internal adalah hyperlink yang membawa Anda dari satu halaman ke halaman lain di situs web yang sama. Mereka mungkin navigasi (pikirkan menu, sidebars, header, footer), atau mereka bisa kontekstual (ditempatkan di badan halaman). Untuk memudahkan Googlebot menemukan halaman Anda dan memahami bagaimana halaman tersebut saling terkait, gunakan tautan internal untuk menekankan hierarki situs Anda. Semua halaman Anda harus ditautkan bersama dalam beberapa cara. Misalnya, beranda Anda harus tertaut ke halaman layanan Anda, studi kasus Anda, dan blog Anda. Masing-masing kemudian harus menautkan ke halaman yang relevan.

Pelajari lebih lanjut tentang praktik terbaik penautan internal di sini.

Lihat Laporan Tautan Anda di GSC untuk memastikan bahwa halaman terpenting Anda — seperti beranda dan halaman layanan Anda — mendapatkan tautan terbanyak. Ini menunjukkan kepada Google bahwa itu adalah halaman terpenting di situs Anda.

4. Buat Peta Situs XML

Untuk memudahkan Googlebot merayapi situs web Anda, sediakan peta situs XML yang mengatur semua halaman Anda agar perayap web memahami hierarki situs Anda dengan cepat. (Tidak yakin apa itu peta situs XML, lihat contoh peta situs dan pelajari lebih lanjut di sini.)

Kirim peta situs XML Anda ke Google melalui GSC selama proses verifikasi.

Jika Anda tidak menggunakan sistem manajemen konten (CMS) yang secara dinamis memperbarui peta situs untuk Anda, pastikan untuk memperbarui peta situs XML secara manual dan mengirimkannya kembali saat Anda membuat perubahan pada hierarki situs. Cukup klik "Peta Situs" di bilah sisi kiri. Ini akan membantu memastikan bahwa Google mengindeks halaman yang sesuai di situs web Anda.

5. Minta Pengindeksan Google

Saat Anda memublikasikan halaman baru atau membuat pembaruan signifikan pada konten yang ada, Anda tidak perlu menunggu hingga Google menemukannya — beri tahu Google bahwa Anda memiliki halaman baru atau yang diperbarui untuk dipindai oleh mereka dengan meminta pengindeksan.

Masuk ke GSC Anda dan masukkan URL yang ingin Anda indeks di sebelah kiri ikon kaca pembesar di bagian atas halaman dan tekan enter.

Google akan mencatat bahwa itu mengambil data.

Dan kemudian akan memberi tahu Anda apakah halaman Anda sudah diindeks.

Jika tidak, Anda dapat meminta pengindeksan. Jika halaman Anda diindeks dan Anda telah membuat perubahan yang signifikan, Anda juga dapat meminta pengindeksan.

Jika Anda sering menambahkan halaman ke situs Anda, seperti posting blog atau halaman produk baru, jadikan proses ini sebagai bagian dari praktik terbaik Anda sehingga Anda dapat memastikan semua halaman Anda diindeks tanpa penundaan.

Empat Cara untuk Menganalisis Bagaimana Googlebot Merangkak Situs Anda

Setelah Anda mengoptimalkan situs Anda agar lebih mudah dibaca oleh perayap mesin telusur, Anda perlu memeriksa ulang apakah situs telah dirayapi dan diindeks dengan benar.

Statistik Perayapan

Statistik perayapan Anda menunjukkan jumlah total permintaan perayapan yang telah dikirim Googlebot ke server Anda dan kapan dan apakah server mengalami masalah.

Laporan statistik perayapan Anda di Google Search Console juga menunjukkan apa yang ditemukan Googlebot (tanggapan perayapan), jenis file yang ditemukan, apakah Googlebot menemukan halaman baru atau mengindeks ulang halaman lama, dan jenis Googlebot mana yang telah digunakan untuk merayapi situs Anda.

Mengklik item baris dalam laporan statistik perayapan Anda akan memberikan informasi tambahan. Misalnya, jika Anda ingin mengetahui halaman mana yang mengembalikan kesalahan 404, klik baris tersebut di kotak respons perayapan untuk diarahkan ke daftar URL yang tidak dapat ditemukan Googlebot dan kapan terakhir kali mencoba merayapi laman tersebut.

Dengan mengeklik item baris “segarkan” atau “penemuan” di bawah Tujuan Perayapan, Anda dapat melihat URL mana yang baru saja diindeks oleh Googlebot. Jika Anda melihat bahwa halaman terbaru Anda belum diindeks, Anda dapat dengan mudah mengirimkannya menggunakan bilah pencarian di bagian atas laporan.

Kesalahan Perayapan

Kesalahan perayapan terjadi ketika mesin pencari tidak dapat mengakses salah satu halaman Anda. Anda dapat mengidentifikasi dua jenis kesalahan perayapan Googlebot pada Laporan Perayapan yang dapat berdampak negatif pada SEO Anda:

1. Kesalahan Situs: Saat Anda mengalami kesalahan situs, Googlebot mungkin tidak dapat merayapi situs Anda. Kesalahan situs mungkin disebabkan oleh file robot.txt yang hilang atau tidak dapat diakses, kegagalan resolusi DNS, atau masalah konektivitas server.
2. Kesalahan URL: Dengan kesalahan URL, Googlebot tidak dapat merayapi halaman tertentu. Anda dapat memiliki beberapa kesalahan URL sekaligus.

Moz melakukan pekerjaan yang bagus untuk membagikan cara memperbaiki kesalahan perayapan.

URL yang diblokir

Jika ada bagian situs Anda yang tidak ingin diakses oleh perayap Google, Anda dapat menentukan direktori tersebut di robots.txt untuk memberikan informasi tentang cara robot mengindeks konten Anda.

Periksa GSC Anda untuk melihat jumlah URL yang diblokir yang dikenali Google untuk memastikan robots.txt Anda berfungsi. Jika jumlah URL yang diblokir lebih rendah dari yang seharusnya, Anda harus mengedit file robots.txt Anda. Sebaliknya, jika jumlahnya lebih tinggi dari yang seharusnya, mungkin ada halaman yang secara tidak sengaja diblokir dari perayapan yang ingin Anda tampilkan di hasil pencarian.

Parameter URL

Parameter URL, juga dikenal sebagai string kueri, memungkinkan Anda menambahkan info tambahan ke akhir URL dinamis. Jika Anda telah mengunjungi konten yang diberi halaman, seperti hasil pencarian produk di situs e-niaga, Anda mungkin pernah melihat “?page=2” atau sesuatu yang serupa di akhir URL halaman. Itu adalah parameter URL. Parameter ini juga dapat digunakan untuk:

• Filter konten
• Terjemahan
• Pencarian situs
• Pelacakan

Jika Anda ingin menggunakan parameter di URL Anda, pertimbangkan apakah Anda ingin parameter tersebut diakses dan diindeks karena parameter tersebut dapat menyebabkan masalah signifikan seperti konten duplikat, anggaran perayapan yang terbuang, dan masalah pelacakan.

Anda dapat mengikuti langkah-langkah ini untuk memblokir perayapan konten berparameter.

Pelajari Lebih Lanjut Tentang Alat Google untuk SEO

Google menawarkan berbagai alat untuk membantu Anda mengukur kinerja situs Anda. Manfaatkan ini untuk memantau dan meningkatkan strategi SEO Anda.

Panduan Alat Google kami akan memandu Anda melalui setiap alat SEO gratis dari Google dan memecah konsep teknis menjadi bab yang dapat ditindaklanjuti dan mudah dipahami yang penuh dengan sumber daya tambahan.

Panduan Alat Google untuk SEO

Unduh panduan ini untuk mempelajari cara memanfaatkan alat canggih dan gratis yang disediakan Google untuk meningkatkan proses dan kinerja SEO Anda.