Checkliste für technisches SEO: Crawling, Indexierung und Ladezeit

Was technisches SEO ist und wann es am meisten zählt

Technisches SEO ist die Arbeit daran, eine Website für Suchmaschinen leicht crawlbar, renderbar und indexierbar zu machen, damit gute Inhalte in den Ergebnissen überhaupt mithalten können. Es geht um die Infrastruktur hinter Ihren Seiten, nicht um die Texte darauf.

Bei einer kleinen Website auf einem gängigen CMS besteht technisches SEO oft aus einer kurzen Liste von Prüfungen. Bei großen Onlineshops, mehrsprachigen Websites und JavaScript-Anwendungen kann es der Hauptgrund sein, der Rankings ausbremst. Eine einzige falsche Einstellung kann Tausende Seiten aus Google entfernen.

Gehen Sie die folgende Checkliste der Reihe nach durch. Jeder Abschnitt baut auf dem vorherigen auf: Es hat keinen Sinn, die Ladezeit von Seiten zu optimieren, die Google nicht indexieren kann.

Crawling: Erreichen Suchmaschinen Ihre Seiten?

Crawling ist der erste Schritt, und die Frage ist einfach: Kann der Googlebot Ihre wichtigen URLs abrufen und erhält eine funktionierende Antwort? Wenn nicht, spielt nichts anderes auf dieser Liste eine Rolle.

Checkliste Crawling

• Crawlen Sie die Website mit einem Tool wie Screaming Frog oder Sitebulb und vergleichen Sie die Anzahl der gefundenen URLs mit der erwarteten Anzahl.
• Prüfen Sie, ob wichtige Seiten den Statuscode 200 liefern und nicht 404, 5xx oder Soft-404-Fehler.
• Stellen Sie sicher, dass wichtige Seiten über normale HTML-Links mit <a href> verlinkt sind. Google folgt Links, die nur über JavaScript-Klickereignisse funktionieren, nicht zuverlässig.
• Suchen Sie nach verwaisten Seiten, die zwar existieren, auf die aber keine internen Links zeigen.
• Prüfen Sie den Bericht „Crawling-Statistiken“ in der Search Console auf Spitzen bei Serverfehlern oder langsame Antwortzeiten.

Crawl-Budget

Das Crawl-Budget wird nur bei sehr großen Websites oder bei Websites, die automatisch viele URLs erzeugen, etwa durch Filter und Parameter, zu einem echten Thema. Trifft das auf Sie zu, ist das Ziel, Google davon abzuhalten, Zeit mit wertlosen URL-Varianten zu verbringen, damit es Ihre wichtigen Seiten schneller erreicht.

Robots.txt

Die robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Domain, die Crawlern mitteilt, welche Pfade sie crawlen dürfen und welche nicht. Sie ist ein Werkzeug zur Steuerung des Crawlings, nicht der Indexierung, und die Verwechslung der beiden gehört zu den häufigsten technischen Fehlern.

• Prüfen Sie, ob die Datei für jeden Host und jedes Protokoll unter /robots.txt liegt, zum Beispiel unter https://www.example.com/robots.txt.
• Stellen Sie sicher, dass sie keine wichtigen Bereiche und keine CSS- oder JavaScript-Dateien blockiert, die Google zum Rendern der Seiten braucht.
• Ergänzen Sie eine Zeile Sitemap:, die auf Ihre XML-Sitemap verweist.
• Bleiben Sie unter Googles Größenlimit von 500 KiB. Inhalte jenseits dieser Grenze werden ignoriert.
• Denken Sie daran, dass eine in der robots.txt blockierte URL trotzdem indexiert werden kann, wenn andere Seiten auf sie verlinken, meist ohne Beschreibung. Um eine Seite aus dem Index herauszuhalten, erlauben Sie das Crawling und verwenden noindex.

Achten Sie auf ein übrig gebliebenes Disallow: / aus einer Staging-Umgebung. Es ist ein überraschend häufiger Grund dafür, dass eine neue Website nach dem Launch ihren Traffic verliert.

Indexierung und XML-Sitemaps

Die Indexierung bestimmt, welche Ihrer gecrawlten Seiten Google speichert und in der Suche anzeigen kann. Ziel ist, dass jede Seite, die ranken soll, indexiert ist und wertlose Seiten draußen bleiben.

Checkliste Indexierung

• Öffnen Sie den Bericht „Seiten“ in der Search Console und gehen Sie jeden Grund durch, der unter „Warum Seiten nicht indexiert werden“ aufgeführt ist.
• Prüfen Sie wichtige Seiten mit dem URL-Prüftool, um zu sehen, ob sie indexiert sind und welches Canonical Google gewählt hat.
• Durchsuchen Sie den Code nach noindex in Meta-Robots-Tags und in X-Robots-Tag-HTTP-Headern und bestätigen Sie, dass jedes davon beabsichtigt ist.
• Halten Sie dünne, doppelte oder reine Funktionsseiten, etwa interne Suchergebnisse, aus dem Index heraus.

XML-Sitemaps

Eine XML-Sitemap listet die URLs auf, die Suchmaschinen kennen sollen. Sie hilft beim Auffinden, besonders bei großen oder neuen Websites, zwingt Google aber nicht dazu, etwas zu indexieren.

• Nehmen Sie nur kanonische, indexierbare URLs auf, die den Status 200 liefern.
• Halten Sie jede Sitemap-Datei innerhalb der Protokollgrenzen von 50.000 URLs und 50 MB unkomprimiert. Fassen Sie bei größeren Websites mehrere Sitemaps in einer Sitemap-Indexdatei zusammen.
• Verwenden Sie korrekte lastmod-Daten. Google nutzt diesen Wert, wenn er durchgängig stimmt, und ignoriert priority und changefreq.
• Reichen Sie die Sitemap in der Search Console ein und prüfen Sie die Zahl der gefundenen URLs.

Canonicals und Duplicate Content

Ein Canonical-Tag teilt Google mit, welche URL die Hauptversion ist, wenn mehrere URLs denselben oder sehr ähnlichen Inhalt zeigen. Klare Canonical-Signale verhindern, dass Duplikate Ihre Ranking-Signale aufteilen.

Duplikate entstehen aus vielen alltäglichen Gründen: HTTP- und HTTPS-Versionen, www und ohne www, Varianten mit und ohne abschließenden Schrägstrich, Tracking-Parameter, Sortier- und Filterparameter sowie Druckversionen.

• Ergänzen Sie auf jeder indexierbaren Seite ein selbstreferenzierendes rel="canonical"-Tag mit der vollständigen absoluten URL.
• Stellen Sie sicher, dass Canonical-Tags, interne Links, Sitemaps und Weiterleitungen alle auf dieselbe bevorzugte Version zeigen.
• Lassen Sie Canonicals nicht auf URLs zeigen, die weiterleiten, Fehler liefern oder noindex tragen.
• Denken Sie daran, dass Canonicals ein starker Hinweis sind, keine Anweisung. Widersprechen Ihre anderen Signale, wählt Google womöglich eine andere URL.

Auf mehrsprachigen Websites sollte jede Sprachversion auf sich selbst kanonisiert und per hreflang verknüpft werden, nicht auf die Hauptsprache kanonisiert. Unser Leitfaden zu internationalem SEO und hreflang behandelt das ausführlicher.

Weiterleitungen und Statuscodes

Weiterleitungen schicken Nutzer und Suchmaschinen von einer alten URL zu einer neuen. Wenn sie richtig eingerichtet sind, schützen sie die Rankings und Links, die alte URLs aufgebaut haben. Verwenden Sie für dauerhafte Umzüge permanente Weiterleitungen.

• Vermeiden Sie Weiterleitungsketten, bei denen URL A auf B und B auf C weiterleitet. Leiten Sie A direkt auf C.
• Aktualisieren Sie interne Links so, dass sie auf die Ziel-URLs zeigen, statt sich auf Weiterleitungen zu verlassen.
• Leiten Sie nicht alle entfernten Seiten auf die Startseite weiter. Google behandelt das meist als Soft-404.
• Ordnen Sie bei Migrationen vor dem Launch jeder alten URL ihr nächstliegendes neues Gegenstück zu.

JavaScript-Rendering

Google kann JavaScript rendern, aber Inhalte, die davon abhängen, werden in einem zusätzlichen Schritt verarbeitet und können auf eine Weise scheitern, die bei reinem HTML nicht vorkommt. Am sichersten ist es, wichtige Inhalte und Links bereits im HTML auszuliefern, das der Server sendet.

• Vergleichen Sie im URL-Prüftool das reine HTML mit dem gerenderten HTML. Wichtige Texte, Links, Titles und Canonical-Tags sollten in beiden vorkommen.
• Setzen Sie für Seiten, die ranken sollen, auf serverseitiges Rendering oder statische Generierung, besonders bei Websites mit React, Vue oder Angular.
• Blockieren Sie keine JavaScript- oder CSS-Dateien, die zum Rendern der Inhalte nötig sind.
• Vermeiden Sie Inhalte, die erst nach einer Nutzeraktion laden, etwa nach dem Klick auf einen Tab oder beim Scrollen, wenn sie indexiert werden sollen.
• Verwenden Sie für unterschiedliche Ansichten echte URLs statt Fragmenten nach einem #, die Google in der Regel ignoriert.

Bedenken Sie außerdem, dass viele KI-Crawler überhaupt kein JavaScript ausführen. Existieren Ihre Inhalte erst nach dem Rendern, sind sie für diese Crawler womöglich unsichtbar.

Ladezeit und Core Web Vitals

Die Ladezeit beeinflusst sowohl die Nutzererfahrung als auch die Suche, und Google misst sie mit den Core Web Vitals: Largest Contentful Paint, Interaction to Next Paint und Cumulative Layout Shift. Eine Seite besteht, wenn mindestens 75 % der echten Besuche bei jeder Metrik den Grenzwert für „gut“ erreichen.

• LCP: Der Hauptinhalt sollte innerhalb von 2,5 Sekunden geladen sein.
• INP: Die Seite sollte innerhalb von 200 Millisekunden auf Interaktionen reagieren.
• CLS: Die Layoutverschiebung sollte bei 0,1 oder darunter bleiben.

Prüfen Sie die Felddaten im Core-Web-Vitals-Bericht der Search Console und in PageSpeed Insights. Typische Korrekturen sind das Komprimieren und Skalieren von Bildern, weniger render-blockierende Skripte, der Einsatz eines CDN, weniger Drittanbieter-Tags und reservierter Platz für Bilder und Anzeigen. Unser ausführlicher Leitfaden zu den Core Web Vitals erklärt, wie Sie jede Metrik analysieren.

Auch andere Grundlagen gehören hierher: Die gesamte Website sollte über HTTPS laufen, und die Seiten sollten auf Mobilgeräten gut funktionieren, da Google die mobile Version Ihrer Website indexiert.

Wie Sie technische Korrekturen priorisieren

Beheben Sie zuerst alles, was das Crawling oder die Indexierung wichtiger Seiten verhindert, kümmern Sie sich dann um Signale, die Autorität aufteilen oder verschwenden, und optimieren Sie erst danach die Ladezeit. Diese Reihenfolge entspricht der Art, wie Suchmaschinen eine Website verarbeiten.

1. Blocker: versehentliches noindex, Sperren in der robots.txt, Serverfehler und fehlerhaftes Rendering in wichtigen Templates.
2. Konsolidierung: Canonicals, Weiterleitungsketten, doppelte URL-Varianten und das Bereinigen der Sitemap.
3. Performance: Core Web Vitals und mobile Nutzerfreundlichkeit Ihrer Templates mit dem meisten Traffic.

Arbeiten Sie wo möglich auf Template-Ebene. Eine einzige Korrektur am Produktseiten-Template behebt Tausende URLs. Wenn Sie diese Checkliste auf Ihre eigene Website anwenden und die Prioritäten für sich festlegen lassen möchten: Unser Service für technisches SEO beginnt genau mit dieser Art von Prüfung.

Häufig gestellte Fragen