Bilis at Dalas ng Pag-crawl

Ang badyet sa pag-crawl ay ang bilang ng mga pahina sa iyong website na iko-crawl ng isang web crawler sa loob ng isang takdang panahon.

Sa bawat oras na pinindot mo ang button na i-publish, kailangang i-crawl at i-index ng Google ang nilalaman para magsimula itong lumitaw sa mga resulta ng paghahanap. Dahil sa laki at dami ng content sa internet, ang pag-crawl ay nagiging isang mahalagang mapagkukunan na kailangang i-budget at rasyon para sa pinakamabisang paggamit.

Sa madaling salita, mahirap para sa Google na i-crawl at i-index ang bawat pahina sa internet araw-araw. Kaya, kino-crawl ng Google ang bawat website ayon sa nakatalagang badyet nito.

2.6.2 Paano Nakatalaga ang Crawl Budget sa mga Website?

Ang badyet sa pag-crawl ay itinalaga sa mga website batay sa dalawang salik — limitasyon sa pag-crawl at pangangailangan sa pag-crawl.

Limitasyon sa Pag-crawl

Ito ay kapasidad at/o pagpayag na ma-crawl ng isang website.

Hindi lahat ng website ay ginawa para i-crawl araw-araw. Kasama sa pag-crawl ang Googlebot sa pagpapadala ng mga kahilingan sa server ng iyong website na, kung gagawin nang masyadong madalas, ay maaaring bigyang diin ang kapasidad ng server.

Gayundin, hindi lahat ng publisher ay gustong patuloy na ma-crawl ang kanilang site.

Crawl Demand

Ang crawl demand ay isang sukatan kung gaano kadalas gustong (muling) i-crawl ang isang partikular na page. Ang mga sikat na page o page na madalas na ina-update ay kailangang i-crawl at muling i-crawl nang mas madalas.

2.6.3 Bakit Dapat Pangalagaan ng Mga Publisher ang Badyet sa Pag-crawl?

Kung hindi ma-crawl at ma-index ng Google ang iyong content, hindi lang lalabas ang content na iyon sa mga resulta ng paghahanap.

Iyon ay sinabi, ang mga badyet sa pag-crawl ay karaniwang alalahanin lamang para sa mga medium hanggang malalaking publisher na mayroong higit sa 10,000 mga pahina sa kanilang website. Ang mga mas maliliit na publisher ay hindi dapat mag-alala nang labis tungkol sa mga badyet sa pag-crawl.