Belanjawan Google Crawl: Panduan Penerbit

Penerbit yang melabur untuk muncul di bahagian atas hasil carian Google sudah memahami kepentingan SEO. Walau bagaimanapun, satu aspek SEO yang penting dan berpotensi diabaikan untuk penerbit yang lebih besar ialah belanjawan rangkak Google.

Belanjawan rangkak Google membantu menentukan sejauh mana artikel dipaparkan dalam hasil carian.

Memahami belanjawan rangkak ialah langkah kritikal ke arah memastikan matlamat SEO dipenuhi dan kandungan itu dilihat. Memeriksa bahawa hujung belakang teknikal tapak adalah sihat bermakna hujung hadapan lebih berkemungkinan mencerminkan status tersebut.

Dalam artikel ini kami menerangkan maksud belanjawan rangkak, perkara yang mempengaruhi belanjawan, pengoptimuman belanjawan rangkak, cara menyemak dan menjejak belanjawan rangkak dan sebab belanjawan ini sangat penting untuk kesejahteraan mana-mana tapak dalam talian.

Apakah Belanjawan Merangkak?

Belanjawan rangkak merujuk kepada sumber yang Google peruntukkan untuk mencari dan mengindeks halaman web baharu dan sedia ada.

Bot merangkak Google — Googlebot — merangkak tapak untuk mengemas kini dan mengembangkan pangkalan data halaman web gergasi carian itu. Ia menggunakan pautan dalaman dan luaran, peta laman XML, suapan RSS dan Atom, serta fail robots.txt untuk membantu merangkak dan mengindeks tapak secepat mungkin.

Halaman tertentu mendapat lebih kuasa dari semasa ke semasa, manakala halaman lain mungkin diabaikan sepenuhnya disebabkan oleh beberapa sebab yang berkisar daripada kandungan yang berkaitan dengan sekatan teknikal.

Mengetahui cara memaksimumkan belanjawan rangkak adalah tidak ternilai untuk mana-mana penerbit atau tapak web organisasi yang mencari kejayaan di halaman hasil enjin carian (SERP).

Had Googlebot

Googlebot bukanlah sumber yang tidak berkesudahan dan Google tidak mampu menjejaki bilangan pelayan web yang tidak berkesudahan. Oleh itu, syarikat telah menawarkan panduan kepada pemilik domain untuk memaksimumkan belanjawan rangkak mereka sendiri. ¹

Memahami cara bot menjalankan aktiviti mereka adalah asas.

Jika crawlbot datang ke tapak dan menentukan bahawa menganalisis dan mengkategorikannya akan bermasalah, ia akan melambatkan atau beralih ke tapak lain sepenuhnya bergantung pada tahap dan jenis isu yang dihadapinya.

Apabila ini berlaku, ini adalah isyarat yang jelas bahawa tapak tersebut tidak mempunyai pengoptimuman belanjawan merangkak.

Mengetahui bahawa Googlebot ialah sumber terhingga sepatutnya menjadi sebab yang mencukupi untuk mana-mana pemilik tapak bimbang tentang belanjawan merangkak. Walau bagaimanapun, tidak semua laman web menghadapi masalah ini pada tahap yang sama.

Siapa yang Perlu Peduli dan Mengapa?

Walaupun setiap pemilik tapak mahu tapak web mereka berjaya, hanya tapak sederhana dan besar yang kerap mengemas kini kandungan mereka benar-benar perlu bimbang tentang belanjawan rangkak.

Google mentakrifkan tapak sederhana sebagai tapak yang mempunyai lebih daripada 10,000 halaman unik yang dikemas kini setiap hari. Sementara itu, tapak besar mempunyai lebih 1 juta halaman unik dan dikemas kini sekurang-kurangnya sekali seminggu.

Google mencatatkan hubungan antara aktiviti merangkak dan tapak web yang lebih besar, dengan berkata: "Mengutamakan perkara yang perlu dirangkak, bila dan jumlah sumber yang boleh diperuntukkan oleh pelayan yang mengehos tapak web untuk merangkak adalah lebih penting untuk tapak web yang lebih besar, atau laman web yang menjana secara automatik halaman berdasarkan Parameter URL, contohnya.” ²

Tapak dengan nombor halaman terhad tidak perlu terlalu mengambil berat tentang belanjawan merangkak. Walau bagaimanapun, memandangkan sesetengah penerbit mungkin berkembang dengan pantas, memperoleh pemahaman asas tentang statistik dan operasi merangkak akan meletakkan semua pemilik tapak dalam kedudukan yang lebih baik untuk meraih ganjaran daripada trafik tapak yang lebih tinggi di bawah landasan.

Apakah yang Mempengaruhi Belanjawan Merangkak Google?

Sejauh mana Google merangkak tapak web ditentukan oleh had kapasiti rangkak dan permintaan rangkak.

Untuk mengelakkan aktiviti merangkak daripada mengatasi pelayan hos, had kapasiti dikira dengan menetapkan bilangan maksimum sambungan selari serentak yang boleh digunakan oleh bot untuk merangkak tapak serta kelewatan masa antara pemulangan data.

Had Kapasiti Merangkak

Metrik ini, yang juga dirujuk sebagai had kadar rangkak, adalah lancar dan berkaitan dengan perubahan dalam tiga faktor:

• Kesihatan merangkak : Jika tapak bertindak balas tanpa ralat atau kelewatan, dan kelajuan tapak adalah baik, had boleh meningkat dan begitu juga sebaliknya.
• Kadar rangkak GSC : Konsol Carian Google (GSC) boleh digunakan untuk mengurangkan aktiviti rangkak , fungsi yang boleh berguna semasa penyelenggaraan atau kemas kini tapak lanjutan. ³ Sebarang perubahan kekal aktif selama 90 hari . ⁴

Jika had kadar rangkak disenaraikan sebagai "dikira secara optimum", menaikkannya bukan pilihan dan menurunkannya hanya boleh berlaku melalui permintaan khas. Jika tapak dirangkak berlebihan, yang membawa kepada ketersediaan tapak dan/atau isu pemuatan halaman, gunakan robots.txt untuk menyekat rangkak dan pengindeksan. Pilihan ini, bagaimanapun, mungkin mengambil masa 24 jam untuk berkuat kuasa.

Walaupun banyak tapak tidak mengenakan sekatan had merangkak, ia masih boleh menjadi alat yang berguna.

Permintaan Merangkak

Permintaan merangkak ialah ungkapan tentang minat Google untuk mengindeks tapak. Ia juga dipengaruhi oleh tiga faktor:

• Persepsi inventori : Tanpa bimbingan daripada pemilik tapak — yang akan kami bincangkan sedikit kemudian — Google akan cuba merangkak setiap URL, termasuk pendua, pautan tidak berfungsi dan halaman yang kurang penting. Di sinilah menyempitkan parameter carian Googlebot boleh meningkatkan belanjawan rangkak.
• Populariti : Jika tapak sangat popular maka URLnya akan dirangkak dengan lebih kerap.
• Staleness : Secara umumnya, sistem Googlebot bertujuan untuk merangkak semula halaman untuk mengambil sebarang perubahan. Proses ini boleh dibantu bersama-sama dengan menggunakan GSC dan meminta rangkak semula, walaupun tiada jaminan permintaan akan segera diambil tindakan.

Aktiviti merangkak, pada dasarnya, adalah produk pengurusan laman web yang mantap.

Kebimbangan CMS

Vahe Arabian , pengasas State of Digital Publishing (SODP) , mengatakan bahawa elemen sistem pengurusan kandungan (CMS) — seperti pemalam — boleh menjejaskan belanjawan rangkak. ⁵

Beliau berkata: "Banyak pemalam didorong oleh pangkalan data yang berat dan menyebabkan beban sumber meningkat yang akan memperlahankan halaman atau membuat halaman yang tidak perlu dan menjejaskan kebolehrangkaknya."

Model hasil terdorong iklan tapak web boleh mencipta isu yang serupa jika berbilang ciri tapak memerlukan sumber yang berat.

Cara Menyemak dan Menjejak Belanjawan Merangkak

Terdapat dua cara utama untuk menjejak belanjawan rangkak: Konsol Carian Google (GSC) dan/atau log pelayan. ⁶

Konsol Carian Google

Sebelum menyemak kadar rangkak tapak pada Konsol Carian Google (GSC), pemilikan domain mesti disahkan.

Konsol mempunyai tiga alat untuk menyemak halaman tapak web dan mengesahkan URL yang berfungsi dan yang belum diindeks.

• Laporan Liputan Indeks⁷
• Alat Pemeriksaan URL⁸
• Laporan Statistik Merangkak⁹

Konsol menyemak ketidaktepatan domain dan akan menawarkan cadangan tentang cara menyelesaikan pelbagai ralat rangkak.

GSC mengumpulkan ralat status ke dalam beberapa kategori dalam Laporan Liputan Indeksnya, termasuk:

• Ralat pelayan [5xx]
• Ralat ubah hala
• URL yang diserahkan disekat oleh robots.txt
• URL yang diserahkan bertanda 'noindex'
• URL yang diserahkan nampaknya 404 lembut
• URL yang diserahkan mengembalikan permintaan yang tidak dibenarkan (401)
• URL yang diserahkan tidak ditemui (404)
• URL yang diserahkan dikembalikan 403: 
• URL yang diserahkan disekat kerana isu 4xx yang lain

Laporan menunjukkan bilangan halaman yang telah dipengaruhi oleh setiap ralat bersama status pengesahan.

Alat Pemeriksaan URL menyediakan maklumat pengindeksan pada mana-mana halaman tertentu, manakala Laporan Perangkaan Perangkaan boleh digunakan untuk mengetahui kekerapan Google merangkak tapak, responsif pelayan tapak dan sebarang isu ketersediaan yang berkaitan.

Terdapat pendekatan tetap untuk mengenal pasti dan membetulkan setiap ralat, dengan ini bermula daripada mengiktiraf bahawa pelayan tapak mungkin telah rosak atau tidak tersedia pada masa rangkak kepada menggunakan ubah hala 301 untuk mengubah hala ke halaman lain atau mengalih keluar halaman daripada peta laman .

Jika kandungan halaman telah berubah dengan ketara, butang "pengindeksan permintaan" Alat Pemeriksaan URL boleh digunakan untuk memulakan rangkak halaman.

Walaupun mungkin tidak perlu untuk "membetulkan" setiap ralat halaman individu, meminimumkan masalah yang melambatkan bot merangkak pastinya merupakan amalan terbaik.

Gunakan Log Pelayan

Sebagai alternatif kepada Konsol Carian Google (GSC), kesihatan rangkak tapak boleh diperiksa melalui log pelayan yang bukan sahaja merekodkan setiap lawatan tapak tetapi juga setiap lawatan Googlebot.

Bagi mereka yang belum tahu, pelayan membuat dan menyimpan entri log secara automatik apabila Googlebot atau manusia meminta halaman disediakan. Entri log ini kemudiannya dikumpulkan dalam fail log.

Setelah fail log telah diakses, ia perlu dianalisis. Walau bagaimanapun, memandangkan skop entri log semata-mata usaha ini tidak boleh dilakukan dengan mudah. Bergantung pada saiz tapak, fail log boleh mengandungi ratusan juta atau bahkan berbilion entri dengan mudah.

Jika keputusan dibuat untuk menganalisis fail log, data perlu dieksport ke dalam sama ada hamparan atau sekeping perisian proprietari, dengan lebih mudah memudahkan proses analisis.

Analisis rekod ini akan menunjukkan jenis ralat yang dihadapi oleh bot, halaman yang paling banyak diakses dan kekerapan tapak dirangkak.

9 Cara untuk Mengoptimumkan Belanjawan Merangkak

Pengoptimuman melibatkan menyemak dan menjejak statistik kesihatan tapak, seperti yang dinyatakan di atas, kemudian menangani secara langsung kawasan masalah.

Di bawah kami telah membentangkan kit alat pengoptimuman belanjawan rangkak kami, yang kami gunakan untuk menangani isu kebolehrangkaan apabila ia timbul.

1. Satukan Kandungan Pendua

Isu rangkak boleh muncul apabila satu halaman sama ada boleh diakses daripada beberapa URL berbeza atau mengandungi kandungan yang direplikasi di tempat lain di tapak. Bot akan melihat contoh ini sebagai pendua dan hanya memilih satu sebagai versi kanonik.

URL yang selebihnya akan dianggap kurang penting dan akan dirangkak kurang kerap atau bahkan tidak sama sekali. ¹⁰ Ini tidak mengapa jika Google memilih halaman kanonik yang diingini, tetapi merupakan masalah serius jika tidak.

Walau bagaimanapun, mungkin terdapat sebab yang sah untuk mempunyai halaman pendua, seperti keinginan untuk menyokong berbilang jenis peranti, mendayakan pensindiketan kandungan atau menggunakan URL dinamik untuk parameter carian atau ID sesi.

Cadangan SODP :

• Pangkas kandungan tapak web jika boleh
  • Gunakan 301s untuk menyatukan URL dan menggabungkan kandungan
  • Padamkan kandungan berprestasi rendah 
• Menggunakan 301s berikutan penstrukturan semula tapak web akan menghantar pengguna, bot dan perangkak lain ke mana mereka perlu pergi.
• Gunakan noindex untuk halaman nipis, penomboran (untuk arkib lama) dan untuk kandungan kanibal.
• Dalam kes di mana kandungan pendua membawa kepada rangkak berlebihan, laraskan tetapan kadar rangkak dalam Konsol Carian Google (GSC).

2. Gunakan Fail Robots.txt 

Fail ini membantu menghalang bot daripada menjejaki seluruh tapak. Menggunakan fail membenarkan pengecualian halaman individu atau bahagian halaman.

Pilihan ini memberikan penerbit kawalan ke atas perkara yang diindeks, mengekalkan kandungan tertentu secara peribadi sambil turut memperbaik cara belanjawan rangkak dibelanjakan.

Cadangan SODP :

• Susun keutamaan parameter untuk mengutamakan parameter yang perlu disekat daripada merangkak.
• Tentukan robot, arahan dan parameter yang menyebabkan rangkak tambahan menggunakan fail log.
• Sekat laluan biasa yang biasanya ada pada CMS seperti 404, pentadbir, halaman log masuk, dsb.
• Elakkan menggunakan arahan crawl-delay untuk mengurangkan trafik bot untuk prestasi pelayan. Ini hanya memberi kesan kepada pengindeksan kandungan baharu.

3. Bahagikan Peta Laman XML untuk Memastikan Pengambilan Kandungan Lebih Pantas

Bot merangkak tiba di tapak dengan peruntukan umum jumlah halaman yang akan dirangkak. Peta laman XML secara berkesan mengarahkan bot untuk membaca URL yang dipilih, memastikan penggunaan belanjawan tersebut dengan berkesan.

Ambil perhatian bahawa prestasi kedudukan halaman bergantung pada beberapa faktor termasuk kualiti kandungan dan pautan dalaman/luaran. Pertimbangkan untuk memasukkan hanya halaman peringkat teratas dalam peta. Imej boleh diperuntukkan peta laman XML mereka sendiri.

Cadangan SODP :

• Rujuk peta laman XML daripada fail robots.txt.
• Cipta berbilang peta laman untuk tapak yang sangat besar. Jangan tambahkan lebih daripada 50,000 URL pada satu peta laman XML.
• Pastikan ia bersih dan hanya masukkan halaman boleh diindeks.
• Pastikan peta laman XML dikemas kini.
• Pastikan saiz fail kurang daripada 50MB.

4. Periksa Strategi Pautan Dalaman

Google mengikuti rangkaian pautan dalam tapak dan mana-mana halaman dengan berbilang pautan dilihat sebagai bernilai tinggi dan berbaloi untuk membelanjakan belanjawan rangkak.

Walau bagaimanapun, perlu diingat bahawa walaupun bilangan pautan dalaman yang terhad boleh berfungsi berbanding bajet rangkak, begitu juga dengan keseluruhan tapak dengan pautan.

Halaman tanpa pautan dalaman tidak menerima ekuiti pautan daripada tapak web yang lain, menggalakkan Google menganggapnya sebagai nilai yang lebih rendah.

Pada masa yang sama, halaman bernilai tinggi yang mengandungi banyak pautan dalaman akhirnya berkongsi ekuiti pautan mereka secara sama rata antara halaman lain tanpa mengira nilai strategiknya. Oleh itu, elakkan memaut ke halaman yang menawarkan sedikit nilai kepada pembaca.

Strategi pemautan dalaman memerlukan sentuhan yang cekap untuk memastikan halaman bernilai tinggi menerima pautan yang mencukupi, manakala halaman bernilai rendah tidak menghina ekuiti pautan.

5. Tingkatkan Hosting jika Trafik Serentak adalah Bottleneck

Jika tapak web berjalan pada platform pengehosan kongsi, belanjawan rangkak akan dikongsi dengan tapak web lain yang berjalan pada platform tersebut. Sebuah syarikat besar mungkin mendapati pengehosan bebas sebagai alternatif yang berharga.

Pertimbangan lain semasa menaik taraf pengehosan anda atau sebelum menaik taraf untuk menyelesaikan beban trafik bot yang boleh memberi kesan kepada beban pelayan:

• Proses imej menggunakan CDN berasingan yang turut dioptimumkan untuk mengehoskan format imej generasi seterusnya seperti webp
• Pertimbangkan untuk mengehos CPU, ruang cakera berdasarkan fungsi dan keperluan tapak web anda
• Pantau aktiviti menggunakan penyelesaian seperti New Relic untuk memantau penggunaan berlebihan pemalam dan bot

6. Seimbangkan Penggunaan Javascript

Apabila Googlebot mendarat di halaman web, ia memaparkan semua aset pada halaman tersebut, termasuk Javascript. Walaupun merangkak HTML agak mudah, Googlebot mesti memproses Javascript beberapa kali agar dapat memaparkannya dan memahami kandungannya.

Ini boleh menghabiskan belanjawan rangkak Google dengan cepat untuk tapak web. Penyelesaiannya adalah untuk melaksanakan rendering Javascript pada bahagian pelayan.

Dengan mengelak daripada menghantar aset Javascript kepada pelanggan untuk rendering , bot merangkak tidak menggunakan sumber mereka dan boleh berfungsi dengan lebih cekap. ¹¹

Cadangan SODP :

• Gunakan pemuatan malas peringkat pelayar dan bukannya berasaskan JS
• Tentukan sama ada unsur 
• Gunakan pengetegan sisi pelayan untuk analitis dan pengetegan pihak ketiga, sama ada dihoskan sendiri atau menggunakan penyelesaian seperti https://stape.io/ . ¹² 

7. Kemas kini Core Web Vitals (CWV) untuk Meningkatkan Pengalaman Halaman

Vitals Web Teras (CWV) Konsol Carian Google (GSC) menggunakan perkara yang dipanggil oleh gergasi carian " data penggunaan dunia sebenar " untuk menunjukkan prestasi halaman. ¹³

Laporan CWV mengumpulkan prestasi URL di bawah tiga kategori:

• Jenis metrik ( LCP, FID dan CLS)
• Status 
• Kumpulan URL

Metrik

Laporan CWV adalah berdasarkan cat kandungan terbesar (LCP), ¹⁴ kelewatan input pertama (FID) ¹⁵ dan anjakan susun atur kumulatif (CLS) ¹⁶ metrik.

LCP berkaitan dengan jumlah masa yang diperlukan untuk memaparkan elemen kandungan terbesar yang boleh dilihat pada kawasan kelihatan halaman web.

FID mengambil kira masa yang diambil untuk halaman bertindak balas kepada interaksi pengguna.

CLS ialah ukuran berapa banyak perubahan reka letak halaman semasa sesi pengguna, dengan skor yang lebih tinggi mewakili pengalaman pengguna yang lebih teruk.

 Status

Berikutan penilaian halaman, setiap metrik diberikan satu daripada tiga kedudukan status:

• bagus
• Perlu penambahbaikan
• miskin

Kumpulan URL

Laporan itu juga boleh memberikan isu kepada sekumpulan URL serupa, dengan mengandaikan bahawa isu prestasi yang mempengaruhi halaman serupa boleh dikaitkan dengan masalah yang dikongsi.

CWV dan Kebolehrangkaan

Seperti yang dinyatakan sebelum ini, semakin lama Googlebot berbelanja pada halaman, semakin banyak ia mensia-siakan belanjawan rangkaknya. Oleh itu, penerbit boleh menggunakan laporan CWV untuk mengoptimumkan kecekapan halaman dan mengurangkan masa merangkak.

SODP , dengan tumpuan pada WordPress:

8. Gunakan Crawler Pihak Ketiga

Perangkak pihak ketiga seperti Semrush, Sitechecker.pro atau Screaming Frog membolehkan pembangun web mengaudit semua URL pada tapak dan mengenal pasti isu yang berpotensi.

Crawler boleh digunakan untuk mengenal pasti:

Kandungan daripada rakan kongsi kami

Tapak Melihat KST Lebih Tinggi Menggunakan ID Iklan & Penyelesaian Data Pihak Pertama

Strategi Kandungan untuk Carian Dikuasakan AI Google

Semakan Taption untuk 2024

• Pautan terputus
• Kandungan pendua
• Tiada tajuk halaman

Program ini menawarkan laporan statistik rangkak untuk membantu menyerlahkan masalah yang mungkin tidak dilakukan oleh alatan Google sendiri.

Memperbaik data berstruktur dan mengurangkan isu kebersihan akan menyelaraskan tugas Googlebot merangkak dan mengindeks tapak.

Cadangan SODP :

• Gunakan pertanyaan SQL untuk menjalankan kemas kini kelompok kepada ralat dan bukannya membetulkan setiap isu secara manual.
• Tiru Googlebot, melalui tetapan rangkak carian, untuk mengelakkan daripada disekat daripada penyedia pengehosan dan untuk mengenal pasti dan membetulkan semua isu teknikal dengan betul.
• Nyahpepijat halaman yang hilang daripada rangkak menggunakan panduan hebat ini daripada Screaming Frog . ¹⁷

9. Parameter URL

Parameter URL — bahagian alamat web yang mengikuti “?” — digunakan pada halaman untuk pelbagai sebab, termasuk penapisan, penomboran dan carian. 

Walaupun ini boleh meningkatkan pengalaman pengguna, ia juga boleh menyebabkan isu merangkak apabila kedua-dua URL asas dan URL dengan parameter mengembalikan kandungan yang sama. Contoh ini ialah "http://mysite.com" dan "http://mysite.com?id=3" yang mengembalikan halaman yang sama.

Parameter membenarkan tapak mempunyai bilangan pautan yang hampir tidak terhad — seperti apabila pengguna boleh memilih hari, bulan dan tahun pada kalendar. Jika bot dibenarkan merangkak halaman ini, belanjawan rangkak akan digunakan sia-sia.

Cadangan SODP :

• Gunakan peraturan robots.txt. Sebagai contoh, nyatakan pesanan parameter dalam arahan membenarkan.
• Gunakan hreflang untuk menentukan variasi bahasa kandungan.

Mengumpul Mitos dan Fakta Googlebot

Terdapat beberapa salah tanggapan mengenai kuasa dan skop Googlebot.

Berikut ialah lima yang telah kami terokai:

1. Googlebot Sesekali Merangkak Tapak 

Googlebot sebenarnya merangkak tapak dengan agak kerap dan, dalam beberapa situasi, malah setiap hari. Walau bagaimanapun, kekerapan ditentukan oleh kualiti, kebaruan, kaitan dan populariti tapak yang dilihat.

Seperti yang dinyatakan di atas, Konsol Carian Google (GSC) boleh digunakan untuk meminta rangkak.

2. Googlebot Membuat Keputusan Mengenai Kedudukan Tapak

Walaupun ini dahulunya betul, Google kini menganggap ini sebagai bahagian berasingan daripada proses rangkak, indeks dan kedudukan, menurut Martin Splitt , Penganalisis Trend WebMaster di Google. ¹⁸

Walau bagaimanapun, adalah penting juga untuk diingat bahawa kandungan tapak, peta laman, bilangan halaman, pautan, URL, dll. adalah semua faktor dalam menentukan kedudukan tapak tersebut.

Pada dasarnya, pilihan SEO yang bijak oleh penerbit boleh membawa kepada kedudukan yang kukuh dalam SERP.

3. Googlebot Menceroboh Bahagian Peribadi Tapak

Bot tidak mempunyai konsep "kandungan peribadi" dan hanya ditugaskan untuk mengindeks tapak melainkan diarahkan oleh pemilik tapak untuk melakukan sebaliknya.

Halaman web tertentu boleh kekal tidak diindeks selagi langkah yang perlu dalam GSC diambil untuk menyekat akses.

4. Aktiviti Googlebot Boleh Membebankan Kebolehkerjaan Tapak

Proses Googlebot mempunyai hadnya kerana had sumber Google dan kerana Google tidak mahu mengganggu tapak.

Splitt berkata: "Kami merangkak sedikit, dan kemudian pada dasarnya meningkatkannya. Dan apabila kami mula melihat ralat, kami mengurangkannya sedikit."¹⁵

GSC boleh menangguhkan rangkak dan memandangkan sesetengah tapak mungkin mempunyai beberapa ratus ribu halaman, Googlebot memecah rangkaknya selama beberapa lawatan.

5. Googlebot ialah Satu-satunya Bot yang Patut Dibimbangkan

Walaupun Googlebot ialah perangkak terkemuka dunia, bukan semua bot milik Google. Enjin carian lain merangkak web, manakala bot yang memfokuskan pada analitik serta keselamatan data dan jenama juga aktif.

Pada masa yang sama, pelaku jahat sedang mereka bentuk perisian yang lebih canggih untuk terlibat dalam penipuan iklan , mencuri kandungan, menghantar spam dan banyak lagi. ¹⁹

Fikiran Akhir

Adalah penting untuk diingat bahawa pengoptimuman belanjawan rangkak dan pengalaman pengguna yang berjaya boleh diuruskan tanpa menjejaskan yang lain. 

Menyemak kesihatan belanjawan rangkak tapak hendaklah menjadi elemen program penyelenggaraan semua pemilik tapak web, dengan kekerapan semakan ini bergantung pada saiz dan sifat tapak web itu sendiri.

Pengemasan teknikal — seperti membetulkan pautan yang rosak, halaman tidak berfungsi , kandungan pendua, URL yang ditulis dengan buruk dan peta laman lama yang sarat ralat — juga penting.