Crawling-Geschwindigkeit und -Frequenz

Das Crawling-Budget ist die Anzahl der Seiten auf Ihrer Website, die ein Webcrawler innerhalb eines bestimmten Zeitraums durchsucht.

Jedes Mal, wenn Sie auf die Schaltfläche „Veröffentlichen“ klicken, muss Google den Inhalt crawlen und indizieren, damit er in den Suchergebnissen angezeigt wird. Angesichts der Größe und des Umfangs der Inhalte im Internet wird Crawling zu einer wertvollen Ressource, die budgetiert und rationiert werden muss, um sie so effizient wie möglich zu nutzen.

Um es einfach auszudrücken, es ist für Google schwierig, jeden Tag jede einzelne Seite im Internet zu crawlen und zu indizieren. Google crawlt also jede Website gemäß dem zugewiesenen Budget.

2.6.2 Wie wird Websites Crawl-Budget zugewiesen?

Das Crawling-Budget wird Websites basierend auf zwei Faktoren zugewiesen – Crawling-Limit und Crawling-Nachfrage.

Crawling-Limit

Dies ist die Kapazität und/oder Bereitschaft einer Website, gecrawlt zu werden.

Nicht jede Website ist darauf ausgelegt, jeden Tag gecrawlt zu werden. Beim Crawling sendet der Googlebot Anfragen an den Server Ihrer Website, die, wenn sie zu häufig durchgeführt werden, die Kapazität des Servers belasten können.

Außerdem möchte nicht jeder Publisher, dass seine Website kontinuierlich gecrawlt wird.

Crawl-Nachfrage

Der Crawl-Bedarf ist ein Maß dafür, wie oft eine bestimmte Seite (erneut) gecrawlt werden möchte. Beliebte Seiten oder Seiten, die häufig aktualisiert werden, müssen häufiger gecrawlt und erneut gecrawlt werden.

2.6.3 Warum sollten sich Verlage um das Crawl-Budget kümmern?

Wenn Google Ihre Inhalte nicht crawlen und indizieren kann, werden diese Inhalte einfach nicht in den Suchergebnissen angezeigt.

Allerdings sind Crawling-Budgets im Allgemeinen nur für mittlere bis große Verlage von Bedeutung, die mehr als 10.000 Seiten auf ihrer Website haben. Kleinere Verlage sollten sich nicht allzu viele Gedanken über Crawling-Budgets machen müssen.