Lexikon
Crawler
Googlebot, Searchbot, Spider
Ein Crawler (z. B. der Googlebot) ist ein Programm, das automatisch Websites durchsucht, um ihre Inhalte für die Suchmaschine zu erfassen.
Zuletzt aktualisiert:
Was ist ein Crawler?
Ein Crawler (z. B. der Googlebot, auch Searchbot oder Spider genannt) ist ein Programm, das automatisch Websites durchsucht, um ihre Inhalte für die Suchmaschine zu erfassen. Bevor eine Seite bei Google erscheinen kann, muss ein Crawler sie besuchen: Er folgt Links von Seite zu Seite, liest die Inhalte aus und meldet sie an die Suchmaschine zurück. Erst danach kann eine Seite indexiert und gerankt werden.
Damit der Crawler effizient arbeitet, helfen eine saubere interne Verlinkung, eine XML-Sitemap und eine korrekte robots.txt, die steuert, was er besuchen darf.
Auf einen Blick
- Crawler = Programm, das Websites automatisch durchsucht (z. B. Googlebot).
- Erster Schritt zur Sichtbarkeit: ohne Crawl keine Indexierung.
- Folgt Links, liest Inhalte, respektiert die robots.txt.
- Steuerbar über robots.txt, XML-Sitemap und interne Verlinkung.
Wie arbeitet ein Crawler?
- 1
Seite entdecken
Über Links von bekannten Seiten oder die XML-Sitemap stößt der Crawler auf eine URL.
- 2
Inhalt auslesen
Er liest Inhalt und Struktur der Seite – Text, Überschriften, Links, Markup.
- 3
Links folgen
Von dort folgt er weiteren internen und externen Links und entdeckt so neue Seiten.
- 4
Regeln beachten
Was die robots.txt sperrt, lässt er aus; „noindex“ signalisiert, nicht aufzunehmen.
- 5
Zur Indexierung übergeben
Die erfassten Inhalte werden zur Aufnahme in den Suchindex weitergereicht.
Wie steuerst du das Crawling?
Du bestimmst mit, was ein Crawler findet und besucht. Diese Werkzeuge lenken ihn:
| Werkzeug | Funktion |
|---|---|
| robots.txt | Legt fest, welche Bereiche besucht werden dürfen |
| XML-Sitemap | Weist den Crawler auf wichtige Seiten hin |
| Interne Verlinkung | Führt den Crawler zu tieferen Seiten |
| noindex | Signalisiert, eine Seite nicht in den Index aufzunehmen |
Wie nutzt du das Crawl-Budget sinnvoll?
Den Crawler zu den wichtigen Seiten führen
Google crawlt nicht unbegrenzt. Eine klare Struktur, kurze Klickwege und eine aktuelle Sitemap sorgen dafür, dass deine wichtigsten Seiten zuverlässig gefunden werden – statt dass sich der Crawler in unwichtigen oder doppelten URLs verliert.
Welche Fehler behindern den Crawler?
Das behindert den Crawler
- Wichtige Seiten versehentlich per robots.txt sperren.
- Seiten ohne interne Verlinkung („verwaiste“ Seiten), die nie gefunden werden.
- Eine veraltete oder fehlende XML-Sitemap.
- Endlose Filter-/Parameter-URLs, die Crawl-Budget verschwenden.
FAQ
Häufige Fragen zu Crawler
Was ist ein Crawler?
Ein Crawler ist ein automatisches Programm der Suchmaschine, das Websites besucht und ihre Inhalte erfasst. Er ist der erste Schritt, damit eine Seite überhaupt in den Suchergebnissen auftauchen kann.
Was ist der Googlebot?
Der Googlebot ist der Crawler von Google. Er durchsucht das Web, liest Seiteninhalte und leitet sie zur Indexierung weiter. Es gibt ihn u. a. in einer Variante für Mobilgeräte, die Google bevorzugt nutzt.
Wie steuere ich, was gecrawlt wird?
Über die Datei robots.txt legst du fest, welche Bereiche ein Crawler besuchen darf. Mit einer XML-Sitemap weist du ihn zusätzlich auf deine wichtigen Seiten hin. So lenkst du, was erfasst wird.
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling ist das Besuchen und Auslesen einer Seite durch den Crawler. Indexierung ist der nächste Schritt: Google nimmt die Seite in seinen Suchindex auf. Eine Seite kann gecrawlt, aber trotzdem nicht indexiert werden – erst die Indexierung macht sie für die Suche sichtbar.
Crawlt nur Google meine Seite?
Nein: Neben dem Googlebot (laut Cloudflare-Daten 2025/26 rund 27 % des KI-nahen Bot-Traffics) sind zunehmend auch KI-Crawler wie GPTBot (~11 %) und ClaudeBot (~10 %) aktiv, die Inhalte für Trainingsdaten und KI-Antworten erfassen. Rund 80 % dieses KI-Crawlings dient dem Training, nur ein kleiner Teil direkt der Suche oder Nutzeraktionen.
Wie sehe ich, wie oft Google meine Seite crawlt?
Über den Crawling-Statistiken-Bericht in der Google Search Console (unter „Einstellungen“): Er zeigt, wie oft der Googlebot zugegriffen hat, welche Antwortzeiten und Fehler auftraten. Server-Logs liefern noch genauere Daten dazu, welche einzelnen Seiten besonders häufig oder selten besucht werden.
Feedback
War dieser Eintrag hilfreich?
Noch Fragen zu deinem Shop? Wir schauen im Erstgespräch konkret drauf.
Kostenloses ErstgesprächPassende Leistungen
Noch Fragen zu deinem Shop?
Wir erklären Fachbegriffe nicht nur – wir setzen sie um. In einem kostenlosen Erstgespräch schauen wir gemeinsam auf deinen Shop.