Crawl-Budget
Was ist ein Crawl-Budget?
Das Crawl-Budget-Konzept berücksichtigt, dass Suchmaschinen nur über begrenzte Crawling-Ressourcen verfügen und nicht jede Seite im Internet sofort crawlen können. Je beliebter eine Website in den Augen einer Suchmaschine ist, desto häufiger wird sie besucht und desto mehr Zeit/Ressourcen werden für das Crawlen der Website aufgewendet. Das Crawl-Budget von Google beschreibt, wie viel Zeit und Ressourcen es für das Crawlen einer Website aufwendet. Nicht alle Seiten, die auf Ihrer Website gecrawlt werden, werden indiziert; jede Seite muss evaluiert, konsolidiert und bewertet werden, um festzustellen, ob sie indiziert werden soll. Es gibt zwei Hauptfaktoren, die das Crawl-Budget bestimmen: die Kapazitätsgrenze für das Crawlen und die Crawl-Nachfrage.
- Begrenzung der Crawl-Kapazität: Ziel des Googlebot ist es, Ihre Website zu crawlen, ohne dass Ihre Server überlastet werden. Eine Crawl-Kapazitätsgrenze wird von Googlebot berechnet und bestimmt die maximale Anzahl paralleler Verbindungen, die Googlebot zum Crawlen einer Website verwenden kann, sowie die Zeitverzögerung zwischen den Abrufen.
- Crawl-Bedarf: Die Zeit, die Google mit dem Crawlen einer Website verbringt, hängt von ihrer Größe, der Häufigkeit der Aktualisierungen, der Qualität und der Relevanz ab.
