Crawl-Budget

Definition:

Das Crawl-Budget bezieht sich auf die Anzahl der Seiten einer Webseite, die ein Suchmaschinen-Crawler (z.B. Googlebot) innerhalb eines bestimmten Zeitraums besucht und indexiert. Dieses Budget wird durch eine Kombination aus der Crawlrate-Limitierung (um die Leistung der Webseite nicht zu beeinträchtigen) und der Crawl-Nachfrage bestimmt, die sich aus der Popularität und Aktualität der Inhalte ergibt. Ein effizientes Management des Crawl-Budgets ist besonders für große Webseiten mit Tausenden von Seiten wichtig, um sicherzustellen, dass die wichtigsten Inhalte regelmäßig von Suchmaschinen erfasst und aktualisiert werden.

Beispiel:

Ein Online-News-Portal veröffentlicht täglich hunderte von Artikeln. Um sicherzustellen, dass die neuesten und wichtigsten Nachrichten von Suchmaschinen zeitnah erfasst werden, optimiert das Portal sein Crawl-Budget. Dazu gehört die Verbesserung der Ladegeschwindigkeit der Webseite, die Reduzierung von Duplicate Content und die Priorisierung wichtiger Seiten durch die Sitemap-Struktur. Diese Maßnahmen helfen, die Effizienz des Crawlings zu steigern und sicherzustellen, dass relevante Inhalte schnell in den Suchergebnissen erscheinen.

03 Apr 2024