Crawl Budget : Cara Optimalkan Anggaran Perayapan

Intinya: Jika Google ngga akan merayapi halaman website penting kamu kalau halaman tersebut ngga muncul di hasil pencarian. Masalah ini bisa menyebabkan traffic oragnic website kamu menjadi lebih rendah.

Pengoptimalan crawl budget bisa bantuin Google dengan mudah mengakses, merayapi, dan mengindeks setiap halaman website penting kamu dan dapat menjangkau lebih banyak pelanggan di mesin pencari. Crawl budget penting untuk kamu pahami, bagaimana cara identifikasi pemborosan crawl budget, dan apa yang harus kamu lakukan untuk bisa optimalkan website kamu untuk hindari kemungkinan masalah crawl budget SEO.

Apa itu Crawl Budget SEO

Crawl budget adalah jumlah halaman website yang dirayapi oleh Google di hari – hari tertentu yang didasari oleh batas kecepatan perayapan dan permintaan perayapan.

Batas tingkat perayapan adalah jumlah halaman yang bisa dirayapi oleh Google tanpa mempengaruhi pengalaman pengguna website kamu. Jadi, pada dasarnya Google ngga mau membebani server mereka dengan banyak permintaan dari kamu. Jadi mereka

Permintaan perayapan dari kamu bisa ditentukan oleh seberapa populer URL dan seberapa fresh konten kamu. Misalnya URL kamu sudah lama dan sedikit orang yang mencarinya, Google tentunya akan lebih jarang merayapi halaman itu.

Mesikupun kamu ngga bisa pengaruhi tingkat perayapan, kamu bisa pengaruhi permintaan perayapan dengan membuat konten yang baru, untuk bisa optimalkan website kamu dengan cara optimasi SEO yang benar dan terbaik, dan juga kamu harus mengatasi masalah technical SEO seperti 404 dan pengalihan yang ngga perlu.

Apa itu Pengoptimalan Crawl Budget

Pengoptimalan crawl budget adalah proses membuat website kamu menjadi lebih mudah dirayapi, diakses dan diindeks oleh Googlebot dengan cara meningkatkan navigasi perayap untuk bisa mengurangi pemborosan crawl budget. Termasuk untuk mengurangi masalah technical SEO seperti mengatasi link yang error, meningkatkan internal link, membuat tag canonical pada halaman duplikat dan banyak lagi.

Craw budget bisa jadi salah satu masalah ketika Google hanya punys sedikit waktu untuk bisa merayapi website kamu dan menjadi jarang merayapi website kamu.

Google juga memiliki sumber daya terbatas untuk mereka bekerja, Google juga akan mengatur dan membagikan waktu untuk melakukan perayapan ke semua website tertentu. Misalnya, kamu punya website besar dengan banyak halaman, tentunya Google mungkin punya banyak sumber daya untuk bisa merayapi sebagian kecil dari halaman website kamu setiap hari.

Hal ini bisa mempengaruhi berapa lama waktu yang dibutuhkan halaman website kamu untuk bisa diindeks atau membuat pembaruan konten yang tercermin dalam peringkat di Google

Untungnya, kalau menurut kamu website kamu punya masalah dengan crawl budget Google, ada beberapa cara yang bisa kamu lakukan untuk mengoptimalkan website kamu supaya kamu bisa maksimalkan crawl budget kamu.

Cara Periksa Laporan Statistik Crawl Budget

Kamu bisa identifikasi yang menjadi masalah dengan crawl budget melalui statistik yang sudah di sediakan oleh Google Search Console dengan cara menganlisis log file server kamu.

Dengan kamu melihat statistik perayapan di Google Search Console bisa bantuin kamu untuk bisa lebih paham bagaimana cara Googlebot berinteraksi dengan website kamu. Berikut ini adalah cara menggunakan dan cara melihat apa yang sudah dilakukan oleh perayap Google.

Buka Google Search Console, masuk, dan pilih website kamu. Kemudian pilih opsi ‘Pengaturan’ dari menu Search Console.

Kamu bisa lihat laporan perayapan selama 90 hari terakhir di bawah bagian statistik perayapn. Buka dengan cara klik “Buka Laporan”

Kamu bisa lihat laporan perayapan Anda selama 90 hari terakhir di bawah bagian statistik perayapan. Buka dengan mengklik ‘Buka Laporan.’

Apa Arti Laporan Stat Perayapan

Setelah kamu buka laporan, sekarang kamu bisa lihat aktivitas Googlebot, dan saatnya medekode data. Berikut ini adalah perincian singkat tentang jenis informasi yang bisa kamu dapetin tentang laporan perayapan.

Pada bagan perayapan yang pertama akan menampilan representasi visual dari aktivitas perayapan Googlebot. Disini kamu bisa lihat pada bagian (1) seberapa banyak permintaan perayapan yang dimasukan kedalam Google selama 90 hari terakhir dan pada bagian (2) waktu respons rata – rata server website kamu dan jumlah total byte yang bisa di download saat perayapan.

Pada bagian ke (3) adalah “status host” yang kasi tau ke kamu apabila ada masalah dalam perayapan dengan ketersediaan saat mengakses website kamu.

Lingkaran hijau dengan tanda centang putih artinya Googlebot ngga mengalami masalah dan menunjukkan bahwa host kamu berjalan lancar.

Lingkaran putih dengan tanda centang hijau berarti Googlebot mengalami masalah lebih dari seminggu yang lalu, tetapi sekarang semuanya berjalan dengan baik.

Lingkaran merah dengan tanda seru berwarna putih menunjukkan bahwa Googlebot telah mengalami setidaknya satu masalah signifikan dalam seminggu terakhir.

Perincian permintaan perayapan memberikan beberapa informasi yang lebih mendetail tentang cara crawler Google berinteraksi dengan website kamu.

Menurut Respons

Bagian pertama yang harus dilihat adalah bagian ‘Menurut Respons’. Bagian ini kasi tau kamu tanggapan seperti apa yang diterima Googlebot saat mencoba merayapi halaman website kamu. Google menganggap yang berikut sebagai tanggapan yang baik:

Oke (200)
Dipindahkan secara permanen (301)
Dipindahkan sementara (302)
Dipindahkan (lainnya)
Tidak diubah (304)

Idealnya, sebagian besar tanggapan harus 200 (beberapa 301 juga boleh). Kode seperti ‘Tidak ditemukan (404)’ adalah peringatan bahwa kemungkinan ada jalan buntu di website kamu yang mungkin memengaruhi anggaran perayapan kamu.

Jenis File

Bagian ‘Menurut jenis file’ beri tahu ke kamu jenis file apa yang ditemukan Googlebot selama perayapan. Nilai persentase yang kamu lihat mewakili persentase tanggapan dari jenis tersebut dan bukan persentase byte dari setiap jenis file.

Menurut Tujuan

Bagian ‘Menurut tujuan’ menunjukkan apakah halaman yang dirayapi adalah halaman yang telah dilihat perayap sebelumnya (penyegaran) atau laman yang baru bagi perayap (penemuan).

Menurut Jenis Googlebot

Terakhir, bagian ‘Menurut jenis Googlebot’ kasi tau ke kamu tentang jenis agen perayapan Googlebot yang digunakan untuk membuat permintaan dan merayapi website. Misalnya, jenis ‘Smartphone’ menunjukkan kunjungan perayap smartphone Google, sedangkan jenis ‘AdsBot’ menunjukkan perayapan oleh salah satu perayap AdsBot Google. Sebagai catatan tambahan, Kamu bisa menonaktifkan jenis Googlebot tertentu supaya ngga merayapi website kamu dengan mengedit file robots.txt.

Lihat panduan Google untuk laporan perayapan Search Console jika kamu mau mempelajari lebih lanjut cara menginterpretasikan data dalam laporan perayapan.

Bagaimana Mengetahui Kalau Kamu Menghabiskan Crawl Budget

Cara cepat untuk bisa tahu apakah pengoptimalan crawl budget yang bisa bantuin Googlebot merayapi lebih banyak halaman website kamu adalah dengan cara lihat presentase halaman website kamu yang benar – benar dirayapi per hari.

Coba cari tahu persis berapa banyak sebenarnya halaman unik yang ada di website kamu dan kamu bisa bagi angka rata-rata perayapan per hari. Misalnya, kamu sudah punya sepuluh kali atau lebih jumlah halaman total dari halaman yang dirayapi per hari, kamu harus pertimbangkan untuk pengoptimalan crawl budget.

Jika kamu merasa ada kendala atau masalah dengan crawl budget, coba mulai lihat bagian “Menurut Respons” untuk lihat jenis kesalahan apa yang mungkin kamu alami dalam perayapan. Kamu mungkin perlu analisis yang lebih dalam supaya kamu bisa lihat dengan tepat apa yang menggerogoti crawl budget kamu. Coba buka log server, utuk lihat informasi tentang bagaimana perayapan berinteraksi dengan website kamu.

Periksa Log Server

Cara lain untuk periksa apakah kamu sudah menghabiskan crawl budget kamu adalah dengan cara melihat log server kamu. Log ini menyimpan setiap permintaan yang di buat ke website kamu, termasuk permintaan yang dibuat Googlebot ketika mereka merayapi website kmau. Menganalisis log server bisa bantuin kamu untuk beri tahu seberapa sering Google merayapi website kamu, halaman mana y ang paling sering diakses perayap, jenis kesalahan apa yang kamu temukan di bot perayap.

Kamu juga bisa cek dengan cara manual, meskipun menggali data ini bisa membosankan, Ada alat yang bisa bantuin kamu untuk analisa log yang berbeda yang bisa bantuin kamu untuk sortir dan pahami data log kamu, seperti analisa file log SEMRush atau kamu bisa gunain file log Screaming Frog SEO.

8 Cara Untuk Mengoptimalkan Crawl Budget SEO

Apa kamu menemukan ada pengeluaran crawl budget yang percuma? Strategi optimasi SEO Crawl Buget bisa bantuin kamu untuk mengurangi pemborosan. Berikut ini adalah 8 tips untuk membantu kamu mengoptimalkan crawl budget SEO agar bisa bekerja lebih baik.

1. Sempurnakan Tag Robots.txt & Meta Robots

Salah satu cara untuk mengurangi crawl budget yang terbuang percuma adalah dengan mencegah crawler Google merayapi halaman tertentu sejak awal. Dengan menjauhkan Googlebot dari halaman yang ngga mau kamu indeks, Kamu bisa memfokuskan perhatian kamu untuk halaman yang lebih penting.

File robots.txt menetapkan batasan untuk perayap pencarian yang menyatakan halaman mana yang mau kamu jelajahi dan mana yang tidak boleh. Tambahkan perintah larangan ke file robots.txt akan memblokir perayap untuk mengakses, merayapi, dan mengindeks subdirektori tertentu, kecuali ada link yang mengarah ke laman tersebut.

Di tingkat halaman, kamu bisa gunain tag meta robots untuk noindex halaman tertentu. Tag noindex memungkinkan Googlebot untuk mengakses halaman dan mengikuti tautannya di dalamnya, tetapi memberi tahu Googlebot untuk tidak mengindeks halaman itu sendiri. Tag ini langsung masuk ke elemen kode HTML Anda dan terlihat seperti ini:

2. Memangkas Konten

Memposting konten atau URL bernilai rendah atau konten duplikat di website bisa membebani crawl budget. Penyelaman mendalam melalui halaman website kamu dapat membantu kamu mengidentifikasi halaman yang tidak perlu yang dapat menghabiskan crawl budget dan mencegah konten yang lebih berharga untuk dirayapi dan diindeks.

Apa yang memenuhi syarat sebagai URL bernilai rendah? Menurut Google, URL bernilai rendah biasanya termasuk dalam salah satu dari beberapa kategori:

Konten duplikat
Pengidentifikasi sesi
Kesalahan halaman
Halaman yang diretas
Konten berkualitas rendah & spam

Konten duplikat tidak selalu mudah diidentifikasi. Jika sebagian besar konten di suatu halaman sama dengan halaman lain bahkan jika kamu sudah menambahkan lebih banyak konten atau mengubah beberapa kata, Google akan menganggapnya sangat mirip. Manfaatkan meta tag noindex dan tag canonical untuk menunjukkan halaman mana yang asli yang harus diindeks.

Dengan memperbarui, menghapus, atau tidak mengindeks konten yang mungkin dianggap bernilai rendah, Kamu memberi Googlebot lebih banyak kesempatan untuk merayapi laman di website kamu yang benar-benar penting.

3. Hapus atau Render JavaScript

Googlebot tidak memiliki masalah dalam membaca HTML, namun harus merender JavaScript sebelum bisa membaca dan mengindeksnya. Jadi, daripada merayapi dan mengindeks elemen JavaScript di halaman, Google merayapi konten HTML di halaman tersebut dan kemudian menempatkan halaman tersebut dalam antrean render. Ketika memiliki waktu dan sumber daya untuk dicurahkan untuk rendering, akan merender JavaScript dan “membacanya”, lalu akhirnya mengindeksnya. Langkah ekstra ini tidak hanya membutuhkan lebih banyak waktu, juga membutuhkan lebih banyak crawl budget.

JavaScript juga dapat memengaruhi waktu pemuatan halaman website kamu, dan karena kecepatan website dan pemuatan server memengaruhi crawl budget kamu, Google mungkin merayapi website kamu lebih jarang daripada yang kamu inginkan jika terlalu banyak JavaScript macet.

Untuk menghemat crawl budget, Kamu bisa membuat noindeks laman dengan JavaScript, menghapus elemen JavaScript, atau menerapkan perenderan statis atau sisi server untuk memudahkan Google memahami dan merayapi.

4. Hapus 301 Redirect Chains

Pengalihan 301 adalah cara yang berguna dan ramah SEO untuk mentransfer lalu lintas dan ekuitas link dari URL yang ingin kamu hapus ke URL lain yang relevan.

Kamu juga bisa ngga sengaj dengan mudah buat rantai pengalihan jika kamu tidak melacak pengalihan tersebut. Tidak hanya bisa menyebabkan peningkatan waktu muat untuk pengunjung website kamu, tetapi juga dapat menyebabkan perayap merayapi beberapa URL hanya untuk mengakses satu halaman konten yang sebenarnya. Itu artinya, Google perlu merayapi setiap URL dalam rantai pengalihan untuk sampai ke halaman tujuan, menghabiskan crawl budget kamu dalam prosesnya.

Untuk mencegah hal ini, pastikan semua pengalihan mengarah ke tujuan akhirnya. Itu selalu menggunakan cara yang baik untuk menghindari penggunaan rantai pengalihan jika memungkinkan. Tetap saja, kesalahan terjadi, jadi luangkan waktu untuk menelusuri website kamu secara manual atau gunakan alat pemeriksa pengalihan untuk menemukan dan membersihkan rantai pengalihan 301 apa pun.

5. Gunakan Sitemap XML

Sitemap membagikan semua halaman penting kamu dengan perayap penelusuran atau setidaknya seharusnya begitu. Mesin pencari merayapi sitemap untuk bisa menemukan halaman dengan mudah. Meskipun Google mengatakan tidak memerlukannya untuk menemukan halaman kamu, masih menjadi cara yang bagus untuk mempertahankannya.

Agar berfungsi dengan baik, sitemap hanya boleh menyertakan halaman yang ingin kamu indeks. Kamu juga harus menghapus URL noindexed atau redirected dari sitemap kamu. Cara mudah untuk melakukannya adalah dengan sitemap XML yang dibuat secara dinamis. Sitemap yang dibuat secara dinamis memperbarui dirinya sendiri, jadi kamu ngga perlu khawatir untuk mengedit sitemap setelah setiap 301 diterapkan.

Jika kamu punya beberapa subdirektori di website kamu, gunakan indeks sitemap yang menampung link ke setiap sitemap subdirektori kamu. Cara ini membantu memamerkan arsitektur website kamu dan memberikan sitemap yang mudah untuk diikuti oleh perayap penelusuran.

6. Buat Strategi Internal Link

Internal ink tidak hanya membantu pengunjung website berkeliling, mereka juga membuat jalur pergerakan yang lebih jelas untuk bot perayap.

Strategi internal link yang dikembangkan dengan baik dapat mengarahkan crawler ke halaman yang ingin kamu jelajahi. Karena perayap menggunakan link untuk menemukan halaman lain, menautkan halaman yang lebih dalam dengan konten tingkat tinggi dapat membantu perayap mengaksesnya lebih cepat. Pada saat yang sama, menghapus link dari halaman berprioritas rendah yang tidak ingin kamu makan ke dalam crawl budget dapat membantu mendorongnya ke belakang antrean dan memastikan bahwa halaman penting kamu dirayapi terlebih dahulu.

7. Perbaiki Jika Kesalah dalam Techical SEO Website

Kesalahan di website kamu bisa mengganggu crawler mesin pencari dan menghabiskan crawl budget yang berharga. Idealnya, kamu tentunya mau agar perayap menemukan halaman yang sebenarnya atau mengarahkan ulang tunggal ke halaman itu. Jika mengalami rantai pengalihan atau halaman kesalahan 404, Kamu membuang-buang crawl budget.

Kamu bisa gunakan laporan perayapan Google Search Console kamu untuk mengidentifikasi di mana perayap mengalami kesalahan dan jenis kesalahan apa itu. Mengatasi kesalahan yang dapat diidentifikasi akan menciptakan pengalaman perayapan yang lebih lancar untuk Googlebot.

8. Periksa Link yang Rusak

URL pada dasarnya adalah jembatan antara dua halaman. Menyediakan crawler mesin pencari jalur untuk menemukan halaman baru, tetapi beberapa URL tidak kemana-mana. Link yang rusak adalah jalan buntu bagi perayap mesin telusur dan pemborosan crawl budget kamu yang terbatas.

Luangkan waktu untuk terus periksa website kamu apakah ada link rusak yang mungkin mengirimkan perayap pencarian ke halaman mati dan memperbaiki atau menghapusnya. Selain mengurangi pemborosan anggaran perayapan, Kamu juga harus meningkatkan pengalaman penjelajahan pengunjung dengan menghapus link yang rusak, jadi melakukan pemeriksaan link secara berkala selalu merupakan ide yang bagus.