robots.txt

Was ist robots.txt?

Die robots.txt ist eine einfache Textdatei, die im Wurzelverzeichnis eines Hosts liegt – also unter https://beispiel.de/robots.txt. Sie ist die technische Umsetzung des Robots Exclusion Protocol, einer Vereinbarung zwischen Website-Betreibenden und Crawlern (automatisierten Programmen, die Webseiten abrufen, um sie für Suchmaschinen zu erfassen). Ursprünglich als informeller Standard entstanden, ist das Protokoll inzwischen als RFC 9309 offiziell dokumentiert.

Wichtig ist der freiwillige Charakter: Seriöse Crawler wie die von Google oder Bing lesen die Datei vor dem Crawl und halten sich an die Anweisungen. Aggressive Scraper oder Bots mit schlechten Absichten ignorieren sie. Eine robots.txt ist deshalb keine Zugriffsbeschränkung und kein Sicherheitsmechanismus – wer Inhalte wirklich schützen will, braucht Passwortschutz oder serverseitige Sperren.

Die Datei gilt jeweils nur für die Kombination aus Protokoll, Hostname und Port. http://beispiel.de, https://beispiel.de und https://shop.beispiel.de brauchen also jeweils eine eigene robots.txt.

Wie funktioniert robots.txt?

Die Datei besteht aus Blöcken ("Records"), die jeweils mit einer User-agent-Zeile beginnen und danach Regeln enthalten. Ein typisches Beispiel:

• User-agent: * – gilt für alle Crawler, die keinen eigenen Block haben
• Disallow: /intern/ – dieser Pfad darf nicht abgerufen werden
• Allow: /intern/oeffentlich.html – Ausnahme innerhalb eines gesperrten Pfads
• Sitemap: https://beispiel.de/sitemap.xml – Verweis auf die XML-Sitemap, gilt unabhängig von den User-agent-Blöcken

Die wichtigsten Direktiven

Google und Bing unterstützen zusätzlich die Platzhalter * (beliebige Zeichenfolge) und $ (Zeilenende einer URL). Damit lassen sich etwa alle URLs mit Parametern sperren: Disallow: /*?sort=. Andere Crawler beherrschen das nicht zwingend.

Welche Regel gewinnt?

Ein Bot wertet nur den Block aus, der am genauesten auf ihn passt – gibt es einen Block für Googlebot, ignoriert der Googlebot den *-Block komplett. Innerhalb eines Blocks entscheidet bei Google die spezifischste, also längste Pfadregel; bei gleicher Länge gewinnt die erlaubende Regel. Pfade sind außerdem case-sensitive: /Bilder/ und /bilder/ sind zwei verschiedene Dinge.

Warum ist robots.txt wichtig für SEO?

Der Hauptnutzen liegt in der Steuerung des Crawl-Budgets – also der Ressourcen, die eine Suchmaschine für das Abrufen deiner Seiten aufwendet. Große Shops und Portale erzeugen oft tausende technisch bedingte URLs: Filterkombinationen, interne Suchergebnisse, Sortierparameter, Session-IDs, Warenkörbe. Wenn Crawler dort Zeit verbrennen, bleibt weniger für die Seiten, die Umsatz oder Reichweite bringen.

Weitere praktische Effekte:

• Serverlast senken: unnötige Bot-Zugriffe auf rechenintensive Bereiche vermeiden
• Sitemap-Discovery: Der Sitemap-Eintrag macht deine URL-Liste auch für Suchmaschinen auffindbar, bei denen du kein Konto hast
• Staging-Umgebungen: Testsysteme lassen sich vom Crawling ausnehmen – besser aber zusätzlich per Passwortschutz
• KI-Crawler: Viele Anbieter von Sprachmodellen nutzen eigene User-Agents, die du separat adressieren kannst

Entscheidend ist die Abgrenzung: robots.txt regelt das Abrufen, nicht das Aufnehmen in den Index. Eine per Disallow gesperrte URL kann trotzdem in den Suchergebnissen auftauchen, wenn sie stark verlinkt ist – dann meist ohne Snippet und mit dem Hinweis, dass keine Informationen verfügbar sind.

robots.txt, noindex oder Canonical – was wann?

Ein häufiger Denkfehler: Eine Seite gleichzeitig per robots.txt sperren und mit noindex versehen. Weil der Crawler die Seite nicht abrufen darf, sieht er das noindex nie. Wenn eine URL aus dem Index verschwinden soll, muss sie crawlbar bleiben.

Welche Fehler treten in der Praxis häufig auf?

• Komplettsperre nach Relaunch: Disallow: / bleibt vom Testsystem stehen – der Klassiker mit den größten Folgen
• CSS und JavaScript blockiert: Suchmaschinen rendern Seiten; fehlen Ressourcen, wird das Layout falsch bewertet
• Falsche Annahme von Vertraulichkeit: Die Datei ist öffentlich lesbar. Wer sensible Pfade dort listet, weist erst darauf hin
• Datei am falschen Ort: In einem Unterverzeichnis abgelegt, wird sie nicht ausgewertet
• Zu großzügige Wildcards: Ein * zu viel sperrt schnell ganze Kategoriebäume
• Fehlende Kontrolle: Änderungen nicht getestet – Google hält die Datei zudem eine Zeit lang im Cache, Anpassungen wirken also nicht sofort

Prüfe die Datei nach jeder Änderung, etwa mit dem robots.txt-Bericht in der Google Search Console oder über eine Logfile-Analyse, die zeigt, welche Bereiche Bots tatsächlich abrufen. Halte die Datei schlank und dokumentiere Regeln bei Bedarf mit Kommentarzeilen, die mit # beginnen – das erspart dem nächsten Team Rätselraten.