So funktioniert Website-Crawling

Crawling ist der Prozess, mit dem Suchmaschinen Webseiten entdecken und indexieren. Mit anderen Worten: So „erfahren” Suchmaschinen, welche Webseiten existieren, damit sie in den SERPs die relevantesten Antworten ausgeben können, wenn jemand nach bestimmten Informationen sucht. Der Begriff ist breit gefasst und wird auch in Verbindung mit Crawl-Budget, Crawl-Tiefe, Crawl-Fehlern und mehr verwendet.

Im Kern geht es um die Verarbeitung einer bestimmten URL. Crawling findet statt, wenn eine Website von einem oder mehreren Bots durchsucht (gecrawlt) wird. Diese Bots analysieren den Code und Content einer Seite und sammeln Informationen über die Intention Ihres Inhalts. Crawler (oder Bots) prüfen dabei auch interne und externe Links und indexieren diese Seiten.

Google weist jeder URL ein Crawl-Budget zu — wie hoch es ausfällt, hängt von einer Reihe von Faktoren ab: der Bedeutung einer Seite gemessen an ihren Trust-Signalen, der Linkstruktur der Seite und so weiter.

Arten des Crawlings

Google führt zwei Arten von Crawling durch:

• Discovery: Um neue Inhalte auf Ihrer Website zu finden
• Refresh: Um aktualisierte Informationen in bereits indexierten Inhalten zu erkennen

Warum ist Crawling für SEO wichtig?

Crawling stellt sicher, dass Nutzer Ihre Inhalte in den Suchergebnissen finden — und das ist die Grundvoraussetzung dafür, organischen Traffic zu gewinnen und in den SERPs weit oben zu ranken. Ohne Crawling kann Ihre Website nicht ordnungsgemäß indexiert werden, und Ihre Inhalte können nicht (oder nur schlecht) ranken. Crawling ist also der erste Schritt überhaupt, um online sichtbar zu werden.

Crawling hilft Suchmaschinen außerdem, relevante Suchergebnisse für bestimmte Anfragen zu liefern — und so die Qualität der SERPs zu verbessern.

Während Such-Bots verschiedene Seiten scannen, erkennen sie Bedeutung und Kontext der Inhalte. Mit diesen Informationen können Suchmaschinen Ergebnisse liefern, die der Suchintention für unterschiedliche Keywords oder Phrasen entsprechen.

Crawling erlaubt Suchmaschinen außerdem, Veränderungen auf Websites zu verfolgen — etwa neuen Content, Berechtigungen, Redirects und Metadaten. Mit diesen Daten passen Suchmaschinen die SERPs schnell an, sodass Nutzer für ihre Anfragen die aktuellsten Informationen erhalten.

Wie crawlen Suchmaschinen Websites?

Zuerst laden die Crawler die robots.txt-Datei Ihrer Website herunter. Diese Datei enthält Informationen darüber, welche Webseiten gecrawlt werden dürfen und welche nicht.

Anschließend rufen die Crawler einige Seiten Ihrer Website ab und folgen den internen Links auf diesen Seiten, um weitere Inhalte zu entdecken. Alle gefundenen Inhalte werden zur Datenbank hinzugefügt, aus der die Suchmaschine relevante URLs abrufen kann, sobald jemand nach bestimmten Informationen sucht.

So optimieren Sie Ihre Website fürs Crawling

Es gibt mehrere Wege, um sicherzustellen, dass Such-Bots Ihre Website crawlen.

1. Sorgen Sie für eine saubere, aktuelle Sitemap

Eine XML-Sitemap ist wie ein Verzeichnis mit Informationen zu allen Inhaltsseiten Ihrer Website. Sie hilft Suchmaschinen, die Seiten Ihrer Website schnell zu finden und zu crawlen. Reichen Sie Ihre Sitemap nach Updates erneut bei den Suchmaschinen zur Indexierung ein.

2. Machen Sie Ihre Inhalte für Crawler sichtbar

Inhalte, die durch No-Index-Tags, robots.txt oder andere Schutzmaßnahmen blockiert sind, werden nicht gecrawlt. Stellen Sie sicher, dass Such-Bots alle Content-Assets Ihrer Seiten — Bilder, Videos, GIFs und so weiter — sehen können.

3. Achten Sie auf Page Speed und technische Optimierung.

Je schneller Ihre Website lädt, desto schneller können Suchmaschinen ihre Inhalte crawlen und indexieren.

• Nutzen Sie Pre-Rendering-Tools, um Ladezeiten zu verbessern
• Optimieren Sie Bilder für die mobile Suche
• Beheben Sie defekte Links und richten Sie Redirects ein
• Etablieren Sie eine saubere URL-Struktur für Ihre Website

4. Bringen Sie Ihr On-Page-SEO in Ordnung

Optimieren Sie Ihre Webseiten auf relevante Keywords. Das hilft Such-Bots, Ihre Inhalte korrekt zu verstehen und einzuordnen — und verbessert Ihre Rankings.

Diese Seite zum Beispiel handelt vom Crawling, also optimieren wir sie auf Keywords wie:

• Was ist Crawling im SEO?
• Wie crawlt man eine Website
• Web-Crawling Bauen Sie diese Keywords organisch in Meta-Title, Description, Überschriften, Fließtext und andere On-Page-Elemente ein — vermeiden Sie Keyword-Stuffing. Mit „Stuffing” meinen wir das künstliche Einfügen ohne Mehrwert. Jedes eingefügte Keyword sollte sich nahtlos einfügen, denn Google analysiert die Wörter vor und nach dem Keyword, um den vollen Kontext zu verstehen.

Crawling-FAQs

Antworten auf die häufigsten Fragen zum Web-Crawling.

Was ist ein Crawl-Budget?

Ein Crawl-Budget ist die Anzahl an Webseiten, die Such-Bots zu einem bestimmten Zeitpunkt effektiv crawlen können. Es unterscheidet sich von Website zu Website.

Ist Crawling ein Ranking-Faktor?

Nein. Crawling beeinflusst nicht direkt, wie hoch Ihre Webseiten in den Suchergebnissen ranken. Allerdings müssen Ihre Inhalte gecrawlt und indexiert sein, um überhaupt in den Suchergebnissen aufzutauchen.

Crawling vs. Indexing

Beim Crawling scannen Such-Bots Ihre Website, um neue Seiten oder Änderungen an bestehenden Seiten zu entdecken. Beim Indexing dagegen werden die gecrawlten Inhalte nach Keywords und Kontext geordnet — damit Suchmaschinen für unterschiedliche Keywords relevante Ergebnisse anzeigen können.

Was ist ein Crawler?

Ein Crawler ist ein Such-Bot, der Websites automatisch nach neuen und aktualisierten Inhaltsseiten durchsucht. Googles Web-Crawler heißt Googlebot.

Kann ich Google bitten, meine Website zu crawlen?

Ja, Sie können die URL Ihrer Website auf zwei Wegen manuell zur Indexierung einreichen:

• Reichen Sie Ihre aktualisierte Sitemap über die Search Console bei Google ein
• Nutzen Sie das URL-Prüftool, um eine bestimmte Seiten-URL zur Indexierung einzureichen