Pengoptimalan Anggaran Perayapan: 8 Tips untuk Menghentikan Anggaran Perayapan yang Buang

Apa Itu Anggaran Perayapan?

Anggaran perayapan Anda mengacu pada jumlah laman situs Anda yang dirayapi Google pada hari tertentu. Ini didasarkan pada batas kecepatan perayapan dan permintaan perayapan Anda.

Batas kecepatan perayapan Anda adalah jumlah halaman yang dapat dirayapi Google tanpa memengaruhi pengalaman pengguna situs web Anda. Pada dasarnya, Google tidak ingin membebani server Anda dengan permintaan, jadi Google menemukan media yang menyenangkan antara apa yang dapat ditangani server Anda (sumber daya server Anda) dan seberapa "ingin" merayapi situs Anda.

Permintaan perayapan Anda ditentukan oleh seberapa populer URL dan kesegarannya. Jika URL kedaluwarsa dan hanya sedikit orang yang menelusurinya, Google akan lebih jarang merayapinya.

Meskipun Anda tidak dapat memengaruhi kecepatan perayapan, Anda dapat memengaruhi permintaan perayapan dengan membuat konten baru, mengoptimalkan situs Anda dengan praktik terbaik SEO, dan menangani masalah SEO seperti 404 dan pengalihan yang tidak perlu.

Apa itu Pengoptimalan Anggaran Perayapan?

Pengoptimalan anggaran perayapan adalah proses membuat situs Anda lebih mudah diakses, dirayapi, dan diindeks oleh Googlebot dengan meningkatkan kemampuan navigasi perayap penelusuran dan mengurangi pemborosan anggaran perayapan. Ini termasuk mengurangi kesalahan dan tautan rusak, meningkatkan tautan internal, tidak mengindeks konten duplikat, dan banyak lagi.

Anggaran perayapan dapat menjadi masalah jika Google tidak cukup merayapi laman di situs Anda atau tidak cukup sering merayapinya.

Karena hanya memiliki sejumlah sumber daya untuk digunakan, Google hanya dapat membagikan begitu banyak perayapan ke situs mana pun pada hari tertentu. Jika Anda memiliki situs yang besar, ini berarti Google mungkin hanya memiliki sumber daya untuk merayapi sebagian kecil laman situs Anda setiap hari. Ini dapat memengaruhi berapa lama halaman Anda diindeks atau pembaruan konten tercermin dalam peringkat Google.

Untungnya, jika menurut Anda situs Anda mungkin mengalami masalah anggaran perayapan Google, ada beberapa hal yang dapat Anda lakukan untuk mengoptimalkan situs Anda dan memaksimalkan anggaran perayapan Anda.

Cara Memeriksa Laporan Statistik Perayapan Anda

Anda dapat mengidentifikasi masalah anggaran perayapan dengan memeriksa statistik perayapan Anda di Google Search Console atau dengan menganalisis log file server Anda.

Melihat laporan statistik perayapan Anda di Google Search Console dapat membantu Anda lebih memahami bagaimana Googlebot berinteraksi dengan situs web Anda. Inilah cara Anda dapat menggunakannya untuk melihat apa yang telah dilakukan perayap Google.

Buka Google Search Console, masuk, dan pilih situs web Anda. Kemudian pilih opsi 'Setelan' dari menu Search Console.

Anda dapat melihat laporan perayapan Anda selama 90 hari terakhir di bawah bagian statistik perayapan. Buka dengan mengklik 'Buka Laporan.'

Apa Arti Laporan Stat Perayapan Anda

Sekarang Anda dapat melihat aktivitas Googlebot, saatnya untuk memecahkan kode data. Berikut ini uraian singkat tentang jenis informasi yang dapat Anda peroleh dari laporan perayapan Anda.

Bagan perayapan utama akan menunjukkan kepada Anda representasi visual dari aktivitas perayapan Googlebot. Di sini Anda dapat melihat (1) berapa banyak permintaan perayapan yang diajukan Google selama 90 hari terakhir dan (2) waktu respons rata-rata server situs Anda dan jumlah total byte yang diunduh saat perayapan.

Bagian 'Status host' (3) akan memberi tahu Anda jika perayap mengalami masalah ketersediaan saat mengakses situs web Anda.

Lingkaran hijau dengan tanda centang putih berarti Googlebot tidak mengalami masalah dan menunjukkan bahwa host Anda berjalan dengan lancar.

Lingkaran putih dengan tanda centang hijau berarti Googlebot mengalami masalah lebih dari seminggu yang lalu, tetapi semuanya berjalan dengan baik sekarang.

Lingkaran merah dengan tanda seru putih menunjukkan Googlebot telah mengalami setidaknya satu masalah signifikan dalam seminggu terakhir.

Perincian permintaan perayapan memberikan beberapa informasi yang lebih mendetail tentang bagaimana perayap Google telah berinteraksi dengan situs Anda.

Dengan Tanggapan

Bagian pertama yang harus dilihat adalah bagian 'Berdasarkan tanggapan'. Bagian ini memberi tahu Anda jenis tanggapan yang diterima Googlebot saat mencoba merayapi laman di situs Anda. Google menganggap yang berikut ini sebagai respons yang baik:

• Oke (200)
• Dipindahkan secara permanen (301)
• Dipindahkan sementara (302)
• Dipindahkan (lainnya)
• Tidak diubah (304)

Idealnya, mayoritas respons harus 200 (beberapa 301 juga ok). Kode seperti 'Tidak ditemukan (404)' adalah petunjuk bahwa kemungkinan ada jalan buntu di situs web Anda yang mungkin memengaruhi anggaran perayapan Anda.

Jenis File

Bagian 'Menurut jenis file' memberi tahu Anda jenis file apa yang ditemukan Googlebot selama perayapan. Nilai persentase yang Anda lihat mewakili persentase respons dari jenis itu dan bukan persentase byte dari setiap jenis file.

Dengan Tujuan

Bagian 'Sesuai tujuan' menunjukkan apakah laman yang dirayapi adalah laman yang pernah dilihat perayap sebelumnya (penyegaran) atau yang baru bagi perayap (penemuan).

Menurut Jenis Googlebot

Terakhir, bagian 'Menurut jenis Googlebot' memberi tahu Anda tentang jenis agen perayapan Googlebot yang digunakan untuk membuat permintaan dan merayapi situs Anda. Misalnya, jenis 'Smartphone' menunjukkan kunjungan oleh perayap ponsel cerdas Google, sedangkan jenis 'AdsBot' menunjukkan perayapan oleh salah satu perayap AdsBot Google. Sebagai catatan tambahan, Anda selalu dapat menonaktifkan jenis Googlebot tertentu agar tidak merayapi situs web Anda dengan mengedit file robots.txt.

Lihat panduan Google untuk laporan perayapan Search Console jika Anda ingin mempelajari lebih lanjut tentang cara menafsirkan data dalam laporan perayapan Anda.

Bagaimana Mengenalinya Jika Anda Membuang Anggaran Perayapan Anda

Cara cepat untuk menentukan apakah pengoptimalan anggaran perayapan akan membantu Googlebot merayapi lebih banyak laman Anda adalah dengan melihat persentase laman situs Anda yang benar-benar dirayapi per hari.

Cari tahu persis berapa banyak halaman unik yang Anda miliki di situs web Anda dan bagi dengan jumlah "rata-rata yang dirayapi per hari". Jika Anda memiliki sepuluh kali atau lebih jumlah halaman total daripada halaman yang dirayapi per hari, Anda harus mempertimbangkan pengoptimalan anggaran perayapan.

Jika Anda merasa mengalami masalah anggaran perayapan, mulailah dengan melihat bagian 'Berdasarkan tanggapan' untuk melihat jenis kesalahan apa yang mungkin dialami perayap. Anda mungkin perlu melakukan analisis yang lebih dalam untuk melihat dengan tepat apa yang menggerogoti anggaran Anda. Melihat log server Anda dapat memberi Anda lebih banyak informasi tentang bagaimana crawler berinteraksi dengan situs Anda.

Periksa Log Server Anda

Cara lain untuk memeriksa apakah Anda membuang-buang anggaran perayapan adalah dengan melihat log server situs Anda. Log ini menyimpan setiap permintaan yang dibuat ke situs web Anda, termasuk permintaan yang dibuat Googlebot saat merayapi situs Anda. Menganalisis log server Anda dapat memberi tahu Anda seberapa sering Google merayapi situs web Anda, halaman mana yang paling sering diakses perayap, dan jenis kesalahan apa yang ditemui bot perayap.

Anda dapat memeriksa log ini secara manual, meskipun menggali data ini bisa sedikit membosankan. Untungnya, beberapa alat penganalisis log yang berbeda dapat membantu Anda menyortir dan memahami data log Anda, seperti penganalisis file log SEMRush atau penganalisis file log Screaming Frog SEO.

SEO Anggaran Perayapan: 8 Cara Mengoptimalkan Anggaran Perayapan Anda

Apakah Anda menemukan anggaran perayapan yang terbuang? Strategi pengoptimalan SEO anggaran perayapan dapat membantu Anda mengekang pemborosan. Berikut adalah delapan tips untuk membantu Anda mengoptimalkan anggaran perayapan SEO Anda untuk kinerja yang lebih baik.

1. Sempurnakan Robots.txt & Meta Robots Tags

Salah satu cara untuk mengekang anggaran perayapan yang terbuang adalah dengan mencegah perayap Google merayapi halaman tertentu sejak awal. Dengan menjauhkan Googlebot dari halaman yang tidak ingin Anda indeks, Anda dapat memusatkan perhatiannya pada halaman Anda yang lebih penting.

File robots.txt menetapkan batasan untuk perayap penelusuran yang menyatakan laman mana yang ingin Anda jelajahi dan mana yang terlarang. Menambahkan perintah disallow ke dalam file robots.txt Anda akan memblokir perayap mengakses, merayapi, dan mengindeks subdirektori yang ditentukan, kecuali ada tautan yang mengarah ke laman tersebut.

Di tingkat halaman, Anda dapat menggunakan tag robot meta untuk mengindeks halaman tertentu. Tag noindex memungkinkan Googlebot mengakses halaman Anda dan mengikuti tautannya di sana, tetapi tag tersebut memberi tahu Googlebot untuk menahan diri agar tidak mengindeks halaman itu sendiri. Tag ini langsung masuk ke elemen <head> kode HTML Anda dan terlihat seperti ini:

 <meta name=”robots” content=”noindex” />

2. Pangkas Konten

Menghosting URL bernilai rendah atau konten duplikat di situs Anda dapat menjadi hambatan pada anggaran perayapan Anda. Penyelaman mendalam melalui halaman situs web Anda dapat membantu Anda mengidentifikasi halaman yang tidak perlu yang dapat menghabiskan anggaran perayapan dan mencegah konten yang lebih berharga dirayapi dan diindeks.

Apa yang memenuhi syarat sebagai URL bernilai rendah? Menurut Google, URL bernilai rendah biasanya termasuk dalam salah satu dari beberapa kategori:

• Konten duplikat
• Pengidentifikasi sesi
• Halaman kesalahan lunak
• Halaman yang diretas
• Kualitas rendah & konten spam

Konten duplikat tidak selalu mudah diidentifikasi. Jika sebagian besar konten pada suatu halaman sama dengan halaman lain — bahkan jika Anda telah menambahkan lebih banyak konten atau mengubah beberapa kata — Google akan melihatnya sangat mirip. Manfaatkan tag meta noindex dan tag kanonik untuk menunjukkan halaman mana yang asli yang harus diindeks.

Dengan memperbarui, menghapus, atau tidak mengindeks konten yang mungkin terdaftar sebagai konten bernilai rendah, Anda memberi Googlebot lebih banyak peluang untuk merayapi laman di situs Anda yang benar-benar penting.

3. Hapus atau Render JavaScript

Googlebot tidak memiliki masalah dalam membaca HTML, namun, ia harus merender JavaScript sebelum dapat membacanya dan mengindeksnya. Jadi, daripada merayapi dan mengindeks elemen JavaScript di laman, Google merayapi konten HTML di laman, lalu menempatkan laman dalam antrean render. Ketika memiliki waktu dan sumber daya untuk dicurahkan untuk rendering, itu akan membuat JavaScript dan "membacanya", lalu akhirnya mengindeksnya. Langkah ekstra ini tidak hanya membutuhkan lebih banyak waktu — dibutuhkan lebih banyak anggaran perayapan.

JavaScript juga dapat memengaruhi waktu muat laman Anda, dan karena kecepatan situs dan beban server memengaruhi anggaran perayapan Anda, Google mungkin merayapi situs Anda lebih jarang daripada yang Anda inginkan jika macet dengan terlalu banyak JavaScript.

Untuk menghemat anggaran perayapan, Anda dapat tidak mengindeks laman dengan JavaScript, menghapus elemen JavaScript, atau menggunakan alat seperti Prarender yang merender konten JavaScript dinamis sebagai HTML statis dan memudahkan Google untuk memahami dan merayapi.

4. Hapus 301 Redirect Chain

Pengalihan 301 adalah cara yang berguna dan ramah SEO untuk mentransfer lalu lintas dan ekuitas tautan dari URL yang ingin Anda hapus ke URL lain yang relevan.

Namun, mudah untuk secara tidak sengaja membuat rantai pengalihan jika Anda tidak melacak pengalihan Anda. Hal ini tidak hanya dapat menyebabkan peningkatan waktu muat bagi pengunjung situs Anda, tetapi juga dapat menyebabkan perayap merayapi beberapa URL hanya untuk mengakses satu halaman konten yang sebenarnya. Itu berarti Google perlu merayapi setiap URL dalam rantai pengalihan untuk sampai ke halaman tujuan, menghabiskan anggaran perayapan Anda dalam prosesnya.

Untuk mencegahnya, pastikan semua pengalihan Anda mengarah ke tujuan akhirnya. Itu selalu merupakan praktik yang baik untuk menghindari penggunaan rantai pengalihan bila memungkinkan. Tetap saja, kesalahan terjadi, jadi luangkan waktu untuk menelusuri situs Anda secara manual atau gunakan alat pemeriksaan pengalihan untuk menemukan dan membersihkan rantai pengalihan 301.

5. Ikuti Praktik Terbaik Peta Situs XML

Peta situs Anda membagikan semua halaman penting Anda dengan perayap pencarian — atau setidaknya seharusnya begitu. Mesin pencari merayapi peta situs untuk menemukan halaman dengan mudah. Meskipun Google mengatakan tidak memerlukannya untuk menemukan halaman Anda, tetap merupakan ide bagus untuk mempertahankannya.

Agar berfungsi dengan baik, peta situs Anda hanya boleh menyertakan halaman yang ingin Anda indeks. Anda harus menghapus URL yang tidak diindeks atau dialihkan dari peta situs Anda. Cara mudah untuk melakukannya adalah dengan peta situs XML yang dibuat secara dinamis. Peta situs yang dibuat secara dinamis memperbarui dirinya sendiri, jadi Anda tidak perlu khawatir mengedit milik Anda setelah setiap 301 Anda menerapkan.

Jika Anda memiliki beberapa subdirektori di situs Anda, gunakan indeks peta situs yang menampung tautan ke setiap peta situs subdirektori Anda. Ini membantu menampilkan arsitektur situs web Anda dan menyediakan peta jalan yang mudah untuk diikuti oleh perayap pencarian.

6. Buat Strategi Tautan Internal

Tautan internal tidak hanya membantu pengunjung situs berkeliling; mereka juga membuat jalur pergerakan yang lebih jelas untuk bot perayap.

Strategi penautan internal yang dikembangkan dengan baik dapat mengarahkan perayap ke halaman yang ingin Anda jelajahi. Karena perayap menggunakan tautan untuk menemukan halaman lain, menghubungkan halaman yang lebih dalam dengan konten tingkat tinggi dapat membantu perayap mengaksesnya lebih cepat. Pada saat yang sama, menghapus tautan dari halaman berprioritas rendah yang tidak Anda inginkan memakan anggaran perayapan Anda dapat membantu mendorongnya ke bagian belakang antrean dan memastikan bahwa halaman penting Anda dirayapi terlebih dahulu.

7. Perbaiki Kesalahan Situs

Kesalahan situs dapat membuat perayap pencarian tersandung dan menghabiskan anggaran perayapan yang berharga. Idealnya, Anda ingin perayap menemukan laman sebenarnya atau pengalihan tunggal ke laman itu. Jika itu mengalami rantai pengalihan atau halaman kesalahan 404, maka Anda membuang-buang anggaran perayapan.

Gunakan laporan perayapan Google Search Console untuk mengidentifikasi di mana perayap mengalami kesalahan dan jenis kesalahannya. Menyelesaikan kesalahan yang dapat diidentifikasi akan menciptakan pengalaman perayapan yang lebih lancar untuk Googlebot.

8. Periksa Tautan Rusak

URL pada dasarnya adalah jembatan antara dua halaman. Ini memberikan perayap mesin telusur jalur untuk menemukan halaman baru — tetapi beberapa URL tidak ke mana-mana. Tautan yang rusak adalah jalan buntu bagi perayap mesin telusur dan pemborosan anggaran perayapan Anda yang terbatas.

Luangkan waktu untuk memeriksa situs Anda untuk tautan rusak yang mungkin mengirim perayap pencarian ke halaman mati dan memperbaiki atau menghapusnya. Selain mengurangi pemborosan anggaran perayapan, Anda juga akan meningkatkan pengalaman menjelajah pengunjung dengan menghapus tautan yang rusak, jadi melakukan pemeriksaan tautan berkala selalu merupakan ide yang bagus.

Hentikan Anggaran Perayapan yang Buang Dengan Audit SEO

Merasa kewalahan atau tidak yakin harus mulai dari mana dengan mengoptimalkan anggaran perayapan situs Anda atau SEO umum? Tidak perlu pergi sendirian. Pesan konsultasi dengan Victorious hari ini dan biarkan ahli kami membantu Anda melalui proses melakukan audit SEO dan merancang strategi untuk mengoptimalkan SEO situs Anda.