robots.txt

Die robots.txt ist eine kleine Textdatei im Stammverzeichnis deiner Website (deinedomain.de/robots.txt). Sie gibt Suchmaschinen-Crawlern Anweisungen, welche Bereiche sie besuchen dürfen und welche nicht.

Warum die robots.txt für deine Sichtbarkeit zählt

Die robots.txt steuert das Crawl-Budget: Sie hält Bots von unwichtigen Bereichen fern (interne Suche, Filter, Adminseiten), damit sie ihre Zeit auf deine wichtigen Seiten verwenden. Falsch konfiguriert ist sie aber auch ein klassischer Sichtbarkeits-Killer: Eine einzige falsche Zeile kann die ganze Website für Google sperren. Deshalb gilt: mächtiges Werkzeug, vorsichtig einsetzen.

Wie die robots.txt funktioniert

Typische Anweisungen:

• User-agent: * – gilt für alle Crawler
• Disallow: /admin/ – diesen Bereich nicht crawlen
• Allow: /blog/ – diesen Bereich erlauben
• Sitemap: https://deinedomain.de/sitemap.xml – Verweis auf die Sitemap

Wichtig: Disallow verhindert das Crawlen, nicht zwingend die Indexierung. Soll eine Seite gar nicht im Index erscheinen, ist ein noindex-Meta-Tag der richtige Weg.

Konkrete Maßnahmen für KMU

1. Wichtige Inhalte nie sperren: Leistungs-, Produkt- und Blogseiten müssen crawlbar sein.
2. Sitemap eintragen: den Verweis auf deine XML-Sitemap ergänzen.
3. Unwichtiges ausschließen: interne Suche, Warenkorb, Parameter-URLs.
4. Regelmäßig testen: mit dem robots.txt-Tester der Google Search Console prüfen.

Häufige Fehler

• Disallow: / auf der ganzen Domain – sperrt versehentlich alles (oft ein Überbleibsel der Entwicklungsphase).
• noindex über robots.txt erzwingen wollen: funktioniert nicht – wird die Seite blockiert, sieht Google das noindex gar nicht.
• CSS/JS sperren: dann kann Google die Seite nicht korrekt rendern und bewerten.

Häufige Fragen

Braucht jede Website eine robots.txt? Sinnvoll ist sie fast immer – schon allein für den Sitemap-Verweis. Ohne Datei crawlt Google standardmäßig alles.

Schützt die robots.txt sensible Daten? Nein. Sie ist öffentlich einsehbar und nur eine Empfehlung. Wirklich Sensibles gehört hinter einen Login, nicht in die robots.txt.

Eine falsch gesetzte Zeile kann viel kosten. Im SEO-Audit prüfen wir deine robots.txt – BAFA-gefördert bis 80 %.