爬行速度和频率

抓取预算是网络抓取工具在给定时间范围内抓取您网站上的页面数量。

每次您点击发布按钮时，Google 都需要抓取内容并为其建立索引，才能开始出现在搜索结果中。鉴于互联网上内容的规模和数量，爬行成为一种宝贵的资源，需要进行预算和配给才能最有效地使用。

简而言之，谷歌很难每天抓取互联网上的每个页面并为其建立索引。因此，谷歌会根据分配的预算来抓取每个网站。

2.6.2 抓取预算如何分配给网站？

抓取预算根据两个因素分配给网站：抓取限制和抓取需求。

抓取限制

这是网站的容量和/或被抓取的意愿。

并非每个网站都是为了每天被抓取而构建的。抓取涉及 Googlebot 向您网站的服务器发送请求，如果操作过于频繁，可能会对服务器的容量造成压力。

此外，并不是每个发布商都希望他们的网站不断被抓取。

抓取需求

抓取需求是衡量特定页面需要（重新）抓取的频率的指标。热门页面或更新频繁的页面需要更频繁地抓取和重新抓取。

2.6.3 为什么发布商应该关心抓取预算？

如果 Google 无法抓取您的内容并为其编制索引，该内容将不会显示在搜索结果中。

话虽这么说，抓取预算通常只是网站上页面超过 10,000 个的中型到大型发布商所关心的问题。小型发布商无需过度担心抓取预算。