← Glossar
Was ist das Crawl-Budget? Warum es für SEO wichtig ist
Definition
Das Crawl-Budget bezeichnet die Anzahl der Seiten, die ein Crawler in einem bestimmten Zeitraum anfordert.
Für kleine bis mittlere Websites kein Problem, aber für große Websites kritisch.
Wie defekte Links Crawl-Budget verschwenden
Jeder Crawler-Besuch einer 404-Seite ist verschwendet.
Weiterleitungsketten vervielfachen die Kosten.
Warum Crawl-Budget wichtig ist
- Neue Inhalte — werden langsamer entdeckt.
- Aktualität — seltener gecrawlte Seiten zeigen veraltete Informationen.
- Große Websites — jeder Crawl muss zählen.
Optimierung
- Defekte Links beheben — Scan durchführen.
- Ketten eliminieren — direkt zum Ziel weiterleiten.
- robots.txt nutzen — wertlose Seiten blockieren.
- XML-Sitemap — wichtige Seiten melden.
- Server beschleunigen — mehr Seiten pro Zeitraum.
- Soft 404 vermeiden — echte 404-Codes verwenden.
Crawl-Budget prüfen
Google Search Console zeigt Crawl-Statistiken.
Broken Link Scan zeigt alle verschwendenden URLs.
Verwandte Begriffe
Weiterleitungskette
Mehrere Weiterleitungen in Folge, die Seiten verlangsamen.
404-Fehler
Was passiert, wenn eine Seite nicht gefunden wird — und wie es das SEO beeinflusst.
Defekter Link
Ein Hyperlink, der nicht mehr zum Ziel führt.
301-Weiterleitung
Die permanente Weiterleitung, die Link-Equity bewahrt.
Link Rot
Der allmähliche Verfall von Links im Laufe der Zeit.