Crawl-Budget-Optimierung

Definition:

Crawl-Budget-Optimierung bezeichnet Maßnahmen, die darauf abzielen, den Prozess zu verbessern, durch den Suchmaschinen-Crawler (wie der Googlebot) die Seiten einer Webseite besuchen und indexieren. Ziel ist es, das Crawl-Budget, also die Ressourcen, die Suchmaschinen für das Crawlen einer Webseite aufwenden, effizient zu nutzen, um sicherzustellen, dass wichtige und relevante Inhalte priorisiert und regelmäßig aktualisiert werden. Dazu gehören Strategien wie das Vermeiden von Duplicate Content, das Verbessern der Seitenladezeiten, das Optimieren der Linkstruktur und das gezielte Blockieren unwichtiger Seiten durch die robots.txt-Datei.

Beispiel:

Ein E-Commerce-Shop mit Tausenden von Produktseiten könnte feststellen, dass nicht alle seine Seiten regelmäßig von Suchmaschinen gecrawlt und indexiert werden. Um das Crawl-Budget besser zu nutzen, könnte der Shopbetreiber unwichtige Seiten wie Nutzungsbedingungen und Datenschutzrichtlinien in der robots.txt-Datei ausschließen, um mehr Crawler-Ressourcen für die wichtigen Produkt- und Kategorieseiten freizumachen. Zusätzlich könnte der Shop die Ladezeiten seiner Seiten verbessern und eine klar strukturierte Sitemap einreichen, um den Suchmaschinen die Crawling-Prioritäten zu verdeutlichen.

03 Apr 2024