Crawling ist der erste Schritt jeder Suchmaschine: Automatisierte Programme (Crawler oder Bots, bei Google der „Googlebot”) besuchen Webseiten, folgen Links und lesen die Inhalte aus, um neue und aktualisierte Seiten zu entdecken.
Warum Crawling für deine Sichtbarkeit zählt
Die Regel ist einfach: Ohne Crawling keine Indexierung, ohne Indexierung kein Ranking. Eine Seite, die der Googlebot nicht erreicht oder nicht lesen kann, existiert für die Suche schlicht nicht. Gerade bei größeren Websites oder technischen Fehlern bleiben oft wichtige Seiten ununterdeckt. Deshalb ist es entscheidend, dass deine Inhalte technisch zugänglich und intern gut verlinkt sind.
Wie Crawling funktioniert
- Der Crawler startet bei bekannten URLs und in deiner Sitemap.
- Er folgt internen und externen Links zu weiteren Seiten.
- Die robots.txt sagt ihm, welche Bereiche er besuchen darf.
- Gefundene Inhalte werden zur Auswertung an den Index weitergereicht.
Google stellt jeder Website ein gewisses Crawl-Budget zur Verfügung – die Menge an Seiten, die in einem Zeitraum besucht werden. Verschwendest du es an unwichtige URLs, bleiben wichtige Seiten liegen.
Konkrete Maßnahmen für KMU
- Interne Verlinkung stärken: Jede wichtige Seite sollte über Links erreichbar sein – Waisenseiten ohne Verlinkung findet der Crawler kaum.
- Aktuelle XML-Sitemap bereitstellen und in der Search Console einreichen.
- Crawler nicht aussperren: robots.txt und Server-Einstellungen prüfen, dass wichtige Seiten erreichbar sind.
- Crawl-Budget schonen: unnötige Parameter-URLs, Filter und Dubletten reduzieren.
Häufige Fehler
- Wichtige Seiten per robots.txt blockiert – unbeabsichtigt häufiger, als man denkt.
- Inhalte nur per JavaScript nachladen, die der Crawler nicht zuverlässig sieht.
- Tiefe Verschachtelung: Seiten, die erst nach vielen Klicks erreichbar sind, werden seltener gecrawlt.
Häufige Fragen
Wie bekomme ich Google dazu, meine Seite zu crawlen? Neue oder geänderte URLs über die Google Search Console einreichen, intern verlinken und in die Sitemap aufnehmen.
Crawling und Indexierung – was ist der Unterschied? Crawling ist das Lesen der Seite, Indexierung das Aufnehmen in die Datenbank. Eine gecrawlte Seite wird nicht automatisch indexiert.
Crawling-Probleme sind unsichtbar, kosten aber Rankings. Im SEO-Audit decken wir sie auf – BAFA-gefördert bis 80 %.