Crawl Budget
Crawl Budget bezeichnet die Menge an URLs, die eine Suchmaschine auf einer Website in einem bestimmten Zeitraum abruft. Es ergibt sich aus der Crawl-Kapazität (was der Server und Google an Last zulassen) und dem Crawl-Bedarf (wie interessant und aktuell die URLs sind).
Zuletzt aktualisiert:
■ FÜR MARKEN · SPONSORING
Marketing-Entscheider:innen treffen.
2.000+ B2B-Marketer auf der OMKI 2027 — plus laufende Reichweite über das Magazin und Directory. Vier Touchpoints, eine Audience.
Definition & Erklärung
Crawl Budget bezeichnet die Menge an URLs, die eine Suchmaschine auf einer Website in einem bestimmten Zeitraum abruft. Es ergibt sich aus der Crawl-Kapazität (was der Server und Google an Last zulassen) und dem Crawl-Bedarf (wie interessant und aktuell die URLs sind).
Was ist Crawl Budget?
Als Crawl Budget bezeichnet man die Anzahl an URLs, die ein Suchmaschinen-Crawler – bei Google der Googlebot – auf deiner Website innerhalb eines Zeitraums abruft. Crawling meint dabei das automatisierte Besuchen und Herunterladen von URLs, damit die Inhalte anschließend für den Index bewertet werden können.
Wichtig: Crawl Budget ist keine feste Zahl, die Google dir zuteilt und die du in einem Dashboard nachlesen kannst. Es ist das Ergebnis aus zwei Faktoren, die Google in seiner Dokumentation beschreibt: der Crawl-Kapazität (crawl capacity limit) und dem Crawl-Bedarf (crawl demand). Nur wenn beides zusammenpasst, werden viele URLs häufig abgerufen.
Wie funktioniert die Verteilung des Crawl Budgets?
Google versucht, so viel zu crawlen, wie sinnvoll und technisch verträglich ist – ohne deinen Server zu überlasten.
| Faktor | Was dahintersteckt | Was du beeinflussen kannst |
|---|---|---|
| Crawl-Kapazität | Wie schnell und stabil dein Server antwortet, wie viele parallele Verbindungen er verträgt, wie viele Serverfehler auftreten | Serverperformance, Antwortzeiten, Fehlerquote, Caching |
| Crawl-Bedarf | Wie beliebt und wie aktuell URLs sind, wie oft sich Inhalte ändern, wie hoch die wahrgenommene Qualität einer Website ist | Content-Qualität, Aktualisierungsfrequenz, interne Verlinkung, Vermeidung wertloser URLs |
Sinken die Antwortzeiten oder häufen sich 5xx-Fehler, reduziert Google das Crawling – das ist ein Schutzmechanismus. Umgekehrt gilt: Ein schneller Server allein erhöht das Crawling nicht, wenn kein Bedarf besteht. Wenn Google viele URLs als redundant, dünn oder uninteressant einschätzt, verschwindet der Crawl-Bedarf, auch wenn Kapazität vorhanden wäre.
Warum ist Crawl Budget wichtig für SEO?
Was nicht gecrawlt wird, kann nicht indexiert werden – und was nicht indexiert ist, rankt nicht. Bei Websites mit wenigen hundert oder tausend URLs ist das in der Praxis selten ein Thema: Google kommt üblicherweise gut hinterher. Google selbst nennt als Orientierung sehr große Projekte, etwa Websites mit sehr vielen URLs oder mit Inhalten, die sich täglich ändern.
Relevant wird das Thema deshalb vor allem bei:
- großen Online-Shops mit Filtern, Sortierungen und Parameter-URLs
- Portalen und Marktplätzen mit vielen kurzlebigen Inseraten oder Angeboten
- News- und Publisher-Sites, bei denen Aktualität zählt
- Sites mit vielen Weiterleitungsketten, Session-IDs oder unendlichen Kalender- und Facetten-URLs
- internationalen Sites mit vielen Sprach- und Länderversionen
Das eigentliche Problem ist meist nicht ein „zu kleines" Budget, sondern eine schlechte Verteilung: Der Crawler verbringt Zeit mit URLs ohne Suchwert, während neue oder aktualisierte Inhalte spät oder unregelmäßig abgerufen werden.
Wie analysierst du dein Crawl Budget?
Die belastbarste Datenquelle ist die Logfile-Analyse: Serverlogs zeigen, welche URLs von welchem Bot wann mit welchem Statuscode abgerufen wurden. Damit erkennst du, wohin die Crawl-Aktivität tatsächlich fließt.
- Logfiles auswerten: Verifiziere echte Googlebot-Zugriffe, gruppiere Abrufe nach Verzeichnis, Seitentyp und Statuscode.
- Search Console prüfen: Der Bericht zu den Crawling-Statistiken zeigt Abrufvolumen, durchschnittliche Antwortzeit und Antwortcodes im Zeitverlauf.
- Crawl mit einem SEO-Crawler abgleichen: Tools wie Screaming Frog oder Sitebulb liefern die Struktursicht – zusammen mit Logdaten siehst du, welche wichtigen URLs kaum oder nie besucht werden.
- Muster suchen: Auffällige Anteile von Parameter-URLs, Weiterleitungen, 404ern oder paginierten Seiten sind typische Budget-Fresser.
Ein guter Indikator ist die Zeit zwischen Veröffentlichung und erstem Crawl. Wird neuer Content erst nach Wochen abgerufen, lohnt die genauere Analyse.
Praxis-Tipps und häufige Fehler
- Wertlose URLs reduzieren: Facetten- und Sortier-Parameter, Session-IDs und interne Suchergebnisseiten sinnvoll steuern – über
robots.txt, saubere Linkarchitektur oder gar nicht verlinken. - Weiterleitungsketten auflösen: Jeder Zwischenschritt kostet einen Abruf. Verlinke intern direkt auf die Ziel-URL.
- Interne Verlinkung nutzen: Wichtige Seiten sollten mit wenigen Klicks erreichbar und häufig verlinkt sein – das erhöht den Crawl-Bedarf.
- Serverperformance verbessern: Schnelle Antwortzeiten und wenige Fehler geben dem Crawler mehr Spielraum.
- XML-Sitemaps pflegen: Nur indexierbare, kanonische URLs mit korrekten
lastmod-Angaben aufnehmen. - Duplikate konsolidieren: Canonical-Tags und einheitliche URL-Formate verhindern, dass dieselbe Seite mehrfach gecrawlt wird.
Typische Fehler: noindex als Crawl-Steuerung missverstehen – die Seite muss zuerst gecrawlt werden, damit die Anweisung überhaupt gelesen wird. Ebenso verbreitet ist der Versuch, ein Crawl-Budget-Problem zu lösen, wo eigentlich ein Qualitäts- oder Strukturproblem vorliegt. Und: Bei kleinen Websites ist Crawl-Budget-Optimierung meist der falsche Hebel – dort bringen Content und interne Struktur deutlich mehr.
Häufige Fragen zu Crawl Budget
Ab welcher Website-Größe ist Crawl Budget relevant?
In der Regel erst bei sehr großen Projekten mit vielen zehntausend bis Millionen URLs oder bei Sites, deren Inhalte sich täglich ändern. Bei kleineren Websites crawlt Google üblicherweise ohne Engpass. Ein guter Test: Werden neue Seiten zeitnah abgerufen und indexiert, hast du kein Budget-Problem.
Kann ich mein Crawl Budget in der Google Search Console sehen?
Eine konkrete Budget-Zahl gibt Google nicht aus. Der Bericht zu den Crawling-Statistiken zeigt aber, wie viele Anfragen der Googlebot stellt, wie schnell dein Server antwortet und welche Statuscodes zurückkommen. Daraus lässt sich der Trend gut ableiten, für Details brauchst du Serverlogs.
Blockiert die robots.txt Crawl Budget effektiv?
Ja, ein Disallow verhindert den Abruf der betroffenen URLs und spart damit Crawl-Ressourcen. Allerdings kann Google blockierte URLs weiterhin kennen und in Ausnahmefällen listen, und Anweisungen wie noindex oder Canonical-Tags werden dann nicht gelesen. Blockiere deshalb nur URLs, die wirklich keine Rolle für die Suche spielen.
Verbessern mehr Backlinks das Crawl Budget?
Externe Links können den Crawl-Bedarf erhöhen, weil Crawler über sie zusätzliche Einstiegspunkte finden und populäre URLs häufiger besuchen. Als isolierte Maßnahme gegen Crawling-Probleme sind Backlinks aber ungeeignet – technische Sauberkeit, Serverperformance und interne Verlinkung wirken direkter.
Was ist der Unterschied zwischen Crawl Budget und Indexierungsbudget?
Crawl Budget betrifft das Abrufen von URLs, Indexierung die Entscheidung, ob eine abgerufene Seite in den Suchindex aufgenommen wird. Eine Seite kann regelmäßig gecrawlt und trotzdem nicht indexiert werden, etwa bei dünnen oder duplizierten Inhalten. Beide Schritte solltest du getrennt analysieren.
Das könnte dich auch interessieren
Crawling
Crawling bezeichnet das automatisierte Durchsuchen des Webs durch Programme wie den Googlebot. Diese Crawler rufen URLs ab, folgen Links und geben die Inhalte zur Auswertung weiter. Crawling ist die Voraussetzung für die Indexierung – nur was gecrawlt werden kann, hat überhaupt die Chance, in Suchergebnissen zu erscheinen.
Indexierung
Indexierung bezeichnet die Aufnahme einer URL in den Suchmaschinen-Index – also in die Datenbank, aus der Google seine Ergebnisse zusammenstellt. Erst indexierte Seiten können in den Suchergebnissen erscheinen. Gesteuert wird sie unter anderem über noindex, Canonical-Tags, Sitemaps und die Server-Antworten deiner Website.
Logfile-Analyse
Logfile-Analyse bezeichnet die systematische Auswertung von Server-Logdateien, in denen jeder Zugriff auf eine Website protokolliert wird. Im SEO zeigt sie, welche URLs Suchmaschinen-Crawler wie der Googlebot tatsächlich abrufen, wie oft und mit welchem Statuscode – und wo Crawl-Budget verloren geht.
robots.txt
robots.txt ist eine Textdatei im Wurzelverzeichnis einer Domain, die Crawlern per Robots Exclusion Protocol mitteilt, welche URL-Pfade sie abrufen dürfen und welche nicht. Sie steuert das Crawling, nicht die Indexierung – und wirkt nur bei Crawlern, die sich freiwillig an die Vorgaben halten.
XML-Sitemap
Eine XML-Sitemap ist eine maschinenlesbare Datei (meist sitemap.xml), in der du Suchmaschinen die URLs deiner Website auflistest – ergänzt um Angaben wie das letzte Änderungsdatum (lastmod). Sie hilft Crawlern, Seiten zu finden, ersetzt aber keine gute interne Verlinkung.
Google Search Console
Die Google Search Console ist ein kostenloses Tool von Google, mit dem du siehst, wie deine Website in der Google-Suche gefunden, gecrawlt und indexiert wird. Sie liefert Daten zu Klicks, Impressionen, Rankings, Indexierungsproblemen und technischen Fehlern – direkt aus Googles eigener Datenbasis.
Finde die besten Tools für
SEO
Entdecke Software-Bewertungen und Vergleiche für SEO-Tools in unserem umfangreichen Verzeichnis.