Crawling
Crawling bezeichnet das automatisierte Durchsuchen des Webs durch Programme wie den Googlebot. Diese Crawler rufen URLs ab, folgen Links und geben die Inhalte zur Auswertung weiter. Crawling ist die Voraussetzung für die Indexierung – nur was gecrawlt werden kann, hat überhaupt die Chance, in Suchergebnissen zu erscheinen.
Zuletzt aktualisiert:
■ FÜR MARKEN · SPONSORING
Marketing-Entscheider:innen treffen.
2.000+ B2B-Marketer auf der OMKI 2027 — plus laufende Reichweite über das Magazin und Directory. Vier Touchpoints, eine Audience.
Definition & Erklärung
Crawling bezeichnet das automatisierte Durchsuchen des Webs durch Programme wie den Googlebot. Diese Crawler rufen URLs ab, folgen Links und geben die Inhalte zur Auswertung weiter. Crawling ist die Voraussetzung für die Indexierung – nur was gecrawlt werden kann, hat überhaupt die Chance, in Suchergebnissen zu erscheinen.
Was ist Crawling?
Crawling ist der Prozess, bei dem automatisierte Programme – Crawler, Bots oder Spider genannt – URLs im Web abrufen und deren Inhalte einlesen. Der bekannteste Vertreter ist der Googlebot, der Crawler der Google-Suche. Daneben sind unter anderem Bingbot, Crawler von SEO-Tools sowie Bots von KI-Anbietern unterwegs.
Ein Crawler arbeitet grundsätzlich wie ein sehr schneller, sehr genügsamer Besucher: Er fordert eine URL per HTTP an, liest den zurückgegebenen Code, extrahiert Links und legt neu gefundene Adressen in eine Warteschlange. Aus diesem Kreislauf entsteht Schritt für Schritt eine Karte deiner Website. Crawling selbst entscheidet noch nicht darüber, ob und wie gut eine Seite rankt – es ist die Datengrundlage für alle weiteren Schritte.
Wie funktioniert Crawling technisch?
Der Ablauf lässt sich in wenige Phasen zerlegen:
- URL-Findung: Google entdeckt Adressen über Links (intern und extern), über eine
XML-Sitemapoder über Meldungen in der Search Console. - Priorisierung: Die gefundenen URLs landen in einer Warteschlange. Wie viele davon wie häufig abgerufen werden, hängt vom sogenannten Crawl-Budget ab – also von der Belastbarkeit deines Servers und dem Interesse der Suchmaschine an deinen Inhalten.
- Abruf: Der Crawler prüft zunächst die
robots.txtdes Hosts und ruft dann erlaubte URLs ab. Der HTTP-Statuscode ist dabei entscheidend:200heißt „Inhalt da",301verweist weiter,404/410signalisieren „weg",5xxdeuten auf Serverprobleme hin und führen typischerweise dazu, dass langsamer gecrawlt wird. - Rendering: Da viele Seiten Inhalte per JavaScript nachladen, kann Google Seiten in einem zweiten Schritt rendern, also im Browser-Modus ausführen. Das kostet Ressourcen und passiert deshalb oft zeitversetzt.
- Weitergabe: Die verarbeiteten Inhalte gehen in die Bewertung für die Indexierung.
Wichtig: Der Googlebot crawlt heute überwiegend als Smartphone-Client (Mobile-First-Indexing). Was auf der mobilen Variante deiner Seite fehlt, existiert für Google im Zweifel nicht.
Warum ist Crawling wichtig für SEO?
Crawling ist die erste Stufe einer Kette, die ohne sie komplett stillsteht:
| Stufe | Was passiert | Typisches Problem |
|---|---|---|
| Crawling | URL wird abgerufen und gelesen | Sperre in der robots.txt, Serverfehler, Endlos-URLs |
| Indexierung | Inhalt wird gespeichert und einer Seite zugeordnet | noindex, Duplicate Content, Thin Content |
| Ranking | Seite wird für Suchanfragen sortiert | fehlende Relevanz, schwache Signale |
Praktisch heißt das: Auch der beste Text bringt keine Sichtbarkeit, wenn der Crawler ihn nie erreicht. Gerade bei großen Websites – Shops mit Filtern, Portalen, Magazinen mit viel Archiv – entscheidet die Crawl-Effizienz mit darüber, wie schnell neue oder aktualisierte Inhalte in den Suchergebnissen ankommen.
Wie steuerst du Crawler sinnvoll?
Du kannst Crawling nicht erzwingen, aber du kannst es lenken. Die wichtigsten Hebel:
- robots.txt: Liegt im Root eines Hosts und regelt per
User-agentundDisallow, welche Pfade nicht abgerufen werden sollen. Sie verhindert das Crawling, nicht zwingend die Aufnahme einer URL in den Index. - Interne Verlinkung: Wichtige Seiten sollten über wenige Klicks von der Startseite erreichbar und aus dem Inhalt heraus verlinkt sein. Verwaiste Seiten ohne interne Links werden schlechter gefunden.
- XML-Sitemap: Liste der URLs, die du indexiert sehen willst – mit Statuscode 200, ohne Weiterleitungen und ohne noindex-Seiten.
- Statuscodes und Weiterleitungen: Kurze, saubere Redirect-Ketten, konsistente Canonical-Angaben, keine Soft-404s.
- Serverleistung: Schnelle Antwortzeiten erlauben höhere Crawl-Raten. Häufige Timeouts oder 5xx-Fehler bremsen das Crawling.
- Parameter-Chaos begrenzen: Filter- und Sortier-URLs können unendlich viele Varianten erzeugen. Hier helfen Canonicals, gezielte Disallow-Regeln oder ein Verzicht auf verlinkte Kombinationen.
Welche Fehler passieren in der Praxis am häufigsten?
- noindex plus Disallow kombinieren: Ist eine URL für Crawler gesperrt, kann Google das
noindexnicht lesen. Wer eine Seite aus dem Index haben will, muss sie crawlbar halten. - Staging-Sperre vergessen: Ein
Disallow: /aus der Testumgebung, das ins Live-System wandert, kann eine komplette Website vom Crawling ausschließen. - Ressourcen blockieren: Sind CSS- oder JavaScript-Dateien gesperrt, rendert Google die Seite unvollständig.
- Crawl-Budget verschwenden: Tausende Filter-URLs, Session-IDs oder paginierte Endlosseiten binden Kapazität, die für relevante Inhalte fehlt.
- Blind arbeiten: Ohne Blick in die Crawling-Statistiken der Google Search Console oder in die Server-Logfiles bleiben Bot-Probleme lange unentdeckt.
Ein pragmatischer Einstieg: Crawle deine Website regelmäßig selbst mit einem Crawler-Tool, vergleiche das Ergebnis mit den Indexierungsberichten der Search Console und prüfe bei Abweichungen zuerst robots.txt, Statuscodes und interne Verlinkung.
Häufige Fragen zu Crawling
Wie oft crawlt Google meine Website?
Dafür gibt es keinen festen Takt. Google entscheidet je URL, wie häufig ein erneuter Abruf sinnvoll ist – Seiten, die sich oft ändern und viel nachgefragt werden, werden tendenziell häufiger besucht als selten aktualisierte Unterseiten. Wie viele Anfragen tatsächlich eingehen, siehst du in den Crawling-Statistiken der Google Search Console oder in deinen Server-Logfiles.
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling ist das Abrufen und Lesen einer URL, Indexierung die anschließende Aufnahme des Inhalts in den Suchindex. Eine Seite kann gecrawlt werden, ohne indexiert zu werden – etwa bei einem noindex-Tag, bei Duplicate Content oder wenn Google den Inhalt als nicht relevant genug einstuft. Ohne Crawling ist eine reguläre Indexierung dagegen kaum möglich.
Verhindert die robots.txt, dass eine Seite bei Google erscheint?
Nein, nicht zuverlässig. Eine Sperre in der robots.txt untersagt nur den Abruf des Inhalts. Wenn andere Seiten auf die URL verlinken, kann sie trotzdem in den Suchergebnissen auftauchen – dann ohne Snippet-Inhalt. Für einen sicheren Ausschluss nutzt du ein noindex-Meta-Tag oder einen X-Robots-Tag-Header und lässt die URL crawlbar.
Wie bekomme ich eine neue Seite schneller ins Crawling?
Verlinke sie intern von bereits gut gecrawlten Seiten, nimm sie in deine XML-Sitemap auf und reiche die URL über die URL-Prüfung in der Google Search Console ein. Garantien gibt es nicht: Der Zeitpunkt bleibt eine Entscheidung der Suchmaschine, du verbesserst mit diesen Schritten nur die Wahrscheinlichkeit einer schnellen Entdeckung.
Woran erkenne ich, dass der Googlebot meine Seite besucht hat?
Am verlässlichsten über die Server-Logfiles: Dort stehen Zeitstempel, angefragte URL, User-Agent und Statuscode jeder Anfrage. Ergänzend zeigen die Crawling-Statistiken der Search Console aggregierte Abrufzahlen und Antwortcodes. Achte darauf, dass sich Bots als Googlebot ausgeben können – im Zweifel lässt sich die Herkunft per Reverse-DNS-Prüfung verifizieren.
Das könnte dich auch interessieren
Indexierung
Indexierung bezeichnet die Aufnahme einer URL in den Suchmaschinen-Index – also in die Datenbank, aus der Google seine Ergebnisse zusammenstellt. Erst indexierte Seiten können in den Suchergebnissen erscheinen. Gesteuert wird sie unter anderem über noindex, Canonical-Tags, Sitemaps und die Server-Antworten deiner Website.
Crawl Budget
Crawl Budget bezeichnet die Menge an URLs, die eine Suchmaschine auf einer Website in einem bestimmten Zeitraum abruft. Es ergibt sich aus der Crawl-Kapazität (was der Server und Google an Last zulassen) und dem Crawl-Bedarf (wie interessant und aktuell die URLs sind).
robots.txt
robots.txt ist eine Textdatei im Wurzelverzeichnis einer Domain, die Crawlern per Robots Exclusion Protocol mitteilt, welche URL-Pfade sie abrufen dürfen und welche nicht. Sie steuert das Crawling, nicht die Indexierung – und wirkt nur bei Crawlern, die sich freiwillig an die Vorgaben halten.
XML-Sitemap
Eine XML-Sitemap ist eine maschinenlesbare Datei (meist sitemap.xml), in der du Suchmaschinen die URLs deiner Website auflistest – ergänzt um Angaben wie das letzte Änderungsdatum (lastmod). Sie hilft Crawlern, Seiten zu finden, ersetzt aber keine gute interne Verlinkung.
Noindex
Noindex ist eine Anweisung an Suchmaschinen, eine URL nicht in den Suchindex aufzunehmen. Sie wird meist über das Meta-Robots-Tag im HTML-Head oder den HTTP-Header X-Robots-Tag ausgeliefert. Die Seite darf dafür weiterhin gecrawlt werden – sonst wird die Anweisung nicht gelesen.
Logfile-Analyse
Logfile-Analyse bezeichnet die systematische Auswertung von Server-Logdateien, in denen jeder Zugriff auf eine Website protokolliert wird. Im SEO zeigt sie, welche URLs Suchmaschinen-Crawler wie der Googlebot tatsächlich abrufen, wie oft und mit welchem Statuscode – und wo Crawl-Budget verloren geht.
Speaker:innen zu diesem Thema
Speaker:innen aus dem OMKI-Netzwerk mit diesem Themenschwerpunkt:
Mario Traeger
Webworks Agentur
Rene Dhemant
Rene Dhemant Online-Marketing
Finde die besten Tools für
SEO
Entdecke Software-Bewertungen und Vergleiche für SEO-Tools in unserem umfangreichen Verzeichnis.