Die häufigsten Indexierungsprobleme und wie man sie behebt

Indexierungsprobleme können Ihre SEO-Bemühungen zunichte machen – eine Seite mag perfekt optimiert sein und eine tolle UX haben, aber sie ist nichts wert, wenn Google sie nicht sieht. Nicht indizierte Seiten gelangen nicht in die SERPs und bringen keinen Traffic und keine Conversions.

Wenn Google umgekehrt gelegentlich eine Seite sieht und indiziert, die nicht für die Indexierung gedacht war, besteht die Gefahr, dass private Informationen verloren gehen, Google-Strafen für minderwertige Inhalte verhängt werden und andere kaum zufriedenstellende Folgen haben.

In diesem Leitfaden werde ich erläutern, welche Arten von Indexierungsproblemen es gibt und wie man sie beheben kann, damit sie nicht zu plötzlichen Ranking-Einbrüchen führen. Doch zunächst sehen wir uns an, wie Sie überprüfen können, ob auf Ihrer Website Indexierungsprobleme auftreten.

Wie erkennt man Indexierungsprobleme?

Die Google Search Console kann Ihnen einen grundlegenden, aber dennoch ausreichenden Einblick in die Indexierungsprobleme Ihrer Website geben. Sehen Sie sich den Bericht „Index“ > „Seiten“ an, um sie anzuzeigen.

Seiten, die aus irgendeinem Grund nicht indiziert sind, werden in der Rubrik „Nicht indiziert“ zusammengefasst. Seiten, die indiziert wurden, aber immer noch Probleme aufweisen und Ihre Aufmerksamkeit erfordern, finden Sie unten auf der Seite im Abschnitt „Seitendarstellung verbessern“:

Um ein Problem weiter zu untersuchen, klicken Sie auf die Fehlerzeile und dann auf das Linsensymbol neben der URL, die Sie überprüfen möchten:

Die Search Console zeigt Ihnen die Details an und hilft Ihnen dabei, herauszufinden, was mit der Seite nicht stimmt.

Wenn Sie tiefer in die Materie eintauchen und Empfehlungen dazu erhalten möchten, was Sie beheben müssen, damit eine Seite einwandfrei funktioniert, konsultieren Sie den Abschnitt „Indizierung und Crawlbarkeit“ von WebSite Auditor:

Laden Sie WebSite Auditor herunter

Das Tool erfasst alle fehlerhaften URLs, sodass Sie nicht jede Seite einzeln manuell überprüfen müssen.

Nun sind wir mit dem Teil „Wo zu finden“ fertig. Jetzt ist es an der Zeit, sich anzusehen, welche Arten von Indexierungsproblemen Sie finden können und wie Sie diese beheben können, damit Ihre Website weiterhin gecrawlt und indiziert bleibt.

Hinweis: Im weiteren Verlauf dieses Leitfadens gehe ich davon aus, dass alle URLs, von denen gemeldet wird, dass sie von Indexierungsproblemen betroffen sind, indexiert werden müssen. Soll eine URL nicht indexiert werden, blockieren Sie sie mit dem noindex-Tag oder schränken Sie den Zugriff mithilfe der robots.txt-Anleitung ein. Stellen Sie außerdem sicher, dass Sie diese Seiten aus Ihrer Sitemap entfernen. Tun Sie nichts, wenn sie nicht tatsächlich indiziert sind.

1. Nicht gefunden (404)

Nicht gefunden (404) oder eine fehlerhafte URL ist wahrscheinlich eines der häufigsten Indexierungsprobleme. Eine Seite kann aus vielen Gründen den Statuscode 404 haben. Angenommen, Sie haben die URL gelöscht, die Seite aber nicht aus der Sitemap entfernt, die URL falsch geschrieben usw.

Wie Google sagt, beeinträchtigen 404-Fehler selbst die Leistung Ihrer Website erst dann, wenn es sich um übermittelte URLs handelt (d. h. solche, die Sie Google ausdrücklich zur Indexierung aufgefordert haben).

Wenn Sie in Ihren Indexierungsberichten 404-URLs sehen, finden Sie hier mögliche Optionen, wie Sie diese beheben können, falls dies nicht beabsichtigt war:

  • Aktualisieren Sie Ihre Sitemap und prüfen Sie, ob die betroffene URL korrekt geschrieben ist.
  • Wenn die Seite an eine neue Adresse verschoben wurde, richten Sie eine 301-Weiterleitung ein.
  • Wenn die Seite ohne Ersatz oder Alternative gelöscht wird, behalten Sie den 404-Fehler bei, entfernen Sie sie jedoch aus der Sitemap. Auf diese Weise versucht Google nicht mehr, es zu finden und verschwendet Crawling-Budget.
  • Wenn Sie 404 beibehalten müssen, richten Sie eine benutzerdefinierte, benutzerfreundliche 404-Seite ein – Sie können dort einige nützliche Links hinzufügen, damit Benutzer auf Ihrer Website bleiben, anstatt die Seite einfach zu schließen. Denken Sie daran, dass eine 404-Seite immer noch eine 404-Seite ist, daher sollte Google sie nicht indizieren, egal wie schön sie ist.

Beachten Sie, dass GSC 404 (nicht gefunden) und 410 (verschwunden) nicht unterscheidet und sie unter dem 404-Bericht zusammenfasst. Früher handelte es sich dabei um verschiedene Arten von Antwortcodes: 404 bedeutete „nicht gefunden, konnte aber später gefunden werden“, während 410 früher für „nicht gefunden und wird nicht so sein, wie es für immer verschwunden ist“ stand.

Was heute angeht, gibt Google an, dass 404 und 410 gleich behandelt werden, sodass Sie sich wahrscheinlich nicht darum kümmern müssen, wenn Sie im 404-Bericht eine 410-Seite finden. Das Einzige, was ich Ihnen empfehlen würde, ist, eine benutzerdefinierte 404-Seite anstelle einer leeren 410-Seite einzurichten, um Traffic zu sparen und zu verhindern, dass Benutzer Ihre Website verlassen.

Viele SEOs und Websitebesitzer haben die Angewohnheit, 404-Fehler auf die Startseite umzuleiten, aber die Wahrheit ist, dass dies nicht die beste Vorgehensweise ist. Dies ist für Google verwirrend und führt zu Soft-404-Problemen. Schauen wir uns mal an, was diese weichen 404er sind.

2. Weich 404

Soft 404-Probleme treten auf, wenn eine Seite eine 200 OK-Antwort hat, Google ihren Inhalt jedoch nicht finden kann und ihn als 404 betrachtet. Soft 404-Fehler können aus vielen Gründen auftreten, und einige davon hängen möglicherweise nicht einmal von Ihnen ab, wie z. B. Fehler in den Browsern der Benutzer. Hier sind einige weitere Gründe:

  • Eine fehlende serverseitige Include- Datei

  • Eine unterbrochene Verbindung zur Datenbank

  • Eine leere interne Suchergebnisseite

  • Eine entladene oder anderweitig fehlende JavaScript-Datei

  • Zu wenig Inhalt

  • Seiten-Cloaking

Diese Probleme sind eigentlich nicht so schwer zu beheben. Hier sind einige häufige Szenarien:

  • Wenn der Inhalt verschoben wurde und die Seite tatsächlich in Ordnung, aber leer ist, richten Sie eine 301-Weiterleitung zur neuen Adresse ein.

  • Wenn es für den gelöschten Inhalt keine Alternative gibt, markieren Sie ihn als 404 und entfernen Sie ihn aus der Sitemap.

  • Wenn die Seite existieren soll, fügen Sie einige Inhalte hinzu und prüfen Sie, ob alle darauf befindlichen Skripte korrekt gerendert und angezeigt werden (nicht durch robots.txt blockiert, von Browsern usw. unterstützt);

  • Wenn der Fehler auftritt, weil der Server ausgefallen ist, wenn Googlebot versucht, die Seite abzurufen, prüfen Sie, ob der Server einwandfrei funktioniert. Wenn dies der Fall ist, beantragen Sie die Neuindizierung dieser Seite.

3. Aufgrund unbefugter Anfrage gesperrt (401)

Der Fehler 401 tritt auf, wenn der Googlebot versucht, auf eine Seite zuzugreifen, für die eine Autorisierung erforderlich ist, und Ihr Server den Googlebot daran hindert.

Wenn Sie möchten, dass diese Seite indexiert wird, erteilen Sie Googlebot die entsprechende Berechtigung oder entfernen Sie die Autorisierungsanfrage.

4. Gesperrt wegen Zugriffsverbot (403)

Diese Art von Fehler tritt auf, wenn der Benutzeragent Anmeldeinformationen zum Aufrufen der Seite (Login, Passwort) bereitgestellt hat, ihm jedoch kein Zugriff gewährt wurde, um dies tatsächlich zu tun. Der Googlebot stellt jedoch niemals Anmeldeinformationen bereit, sodass der Server 403 anstelle der beabsichtigten Seite zurückgibt.

Wenn eine Seite versehentlich blockiert wurde und Sie sie tatsächlich indizieren müssen, erlauben Sie nicht angemeldeten Nutzern den Zugriff oder erlauben Sie dem Googlebot ausdrücklich, die Seite zu betreten, um sie zu lesen und zu indizieren.

5. Eingereichte URL mit der Markierung „noindex“

Wie aus dem Namen hervorgeht, tritt dieser Fehler auf, wenn Sie Google explizit auffordern, eine Seite zu indizieren (d. h. sie zur Sitemap hinzufügen oder die Indizierung manuell anfordern), diese Seite jedoch über ein Noindex-Tag verfügt.

Die Lösung ist ganz einfach: Entfernen Sie das Noindex-Tag, damit Google auf die Seite zugreifen kann.

6. URL durch robots.txt blockiert

Wenn Sie eine Seite mithilfe von robots.txt blockieren, wird sie von Google nicht gecrawlt. Entfernen Sie die Einschränkungen, damit die Seite indexiert wird.

Hinweis: Robots.txt ist keine Garantie dafür, dass die Seite nicht indiziert wird. Aus diesem Grund zeigt Ihnen die Google Search Console manchmal etwas wie Folgendes an:

Solche Probleme können für Sie größere Probleme mit sich bringen als nicht indizierte Seiten, da Google möglicherweise auf Informationen zugreift und diese offenlegt, die nie in den SERPs erscheinen sollten (z. B. Einkaufswagen, private Daten usw.).

Wenn Sie auf ein solches Problem stoßen, entscheiden Sie, ob die Seite indexiert werden muss oder nicht. Wenn ja, entfernen Sie die URL aus der robots.txt-Datei. Wenn nicht, entfernen Sie es ebenfalls aus robots.txt, wenden Sie jedoch das Noindex-Tag an oder beschränken Sie den Zugriff für nicht autorisierte Benutzer. Sobald Sie neue Einschränkungen anwenden, können Sie Google auch bitten, die Seite über GSC aus dem Index zu entfernen ( Index > Entfernungen > Neue Anfrage).

7. Indiziert ohne Inhalt

Dies ist eine weitere Art von Problem, das die Leistung Ihrer Website stärker beeinträchtigen kann als nicht indizierte Seiten. Google bevorzugt keine leeren Seiten und wird Ihre Positionen höchstwahrscheinlich senken, da leere Seiten ein Signal für Spam-Websites und minderwertige Inhalte sind.

Wenn Sie feststellen, dass einige Ihrer Seiten den Status „Indiziert ohne Inhalt“ haben, überprüfen Sie die URL manuell, um den Grund herauszufinden. Zum Beispiel:

  • Möglicherweise enthält die Seite zu wenig Inhalt.

  • Die Seite enthält möglicherweise Rendering-blockierenden Inhalt, der nicht richtig geladen wird.

  • Der Inhalt ist verschleiert.

Ergreifen Sie Maßnahmen, je nachdem, was Sie sehen.

Wenn die Seite beispielsweise viel zu leer ist, fügen Sie mehr Inhalt hinzu. Hier können Sie Ihre SERP-Konkurrenten überprüfen und deren Best Practices mithilfe des Content-Editor- Bereichs von WebSite Auditor befolgen.

Laden Sie WebSite Auditor herunter

Wenn Sie den Verdacht haben, dass auf der betroffenen Seite Rendering-blockierende Inhalte vorhanden sein könnten, überprüfen Sie die Pop-ups, die Skripts von Drittanbietern verwenden, und stellen Sie sicher, dass sie ordnungsgemäß funktionieren und tatsächlich für Google lesbar sind. Alles in allem sollte Google den Inhalt Ihrer Seiten genauso sehen, wie ihn Nutzer sehen.

Wenn der Inhalt Ihrer Seite verdeckt ist, prüfen Sie, ob alle Skripte oder Bilder für Google zugänglich sind.

8. Umleitungsfehler

Die SEO-Community hat viel über URL-Weiterleitungen gesprochen. Dennoch machen SEOs immer wieder Fehler, die zu Weiterleitungsfehlern und einer beschädigten Indexierung führen. Hier sind einige häufige Gründe, warum Google Weiterleitungen nicht richtig lesen kann:

  • Eine Weiterleitungskette ist zu lang

  • Eine Weiterleitung führt zu einer Endlosschleife von Weiterleitungen (Umleitungsschleife).

  • Eine Weiterleitungs-URL überschreitet die maximale URL-Länge (2 MB für Google Chrome).

  • Eine Weiterleitungskette enthält eine fehlerhafte oder leere URL

Die einzige Möglichkeit, Weiterleitungsfehler zu beheben, besteht in einem Satz: Weiterleitungen richtig einrichten. Vermeiden Sie lange Weiterleitungsketten, die nur SEO-Crawling-Budget verschwenden und Linkjuice verbrauchen. Stellen Sie sicher, dass sich keine 404- oder 410-URLs in der Kette befinden, und leiten Sie URLs immer auf relevante Seiten um.

9. Serverfehler (5xx)

Serverfehler können auftreten, weil der Server möglicherweise abgestürzt ist, eine Zeitüberschreitung aufgetreten ist oder nicht verfügbar war, als der Googlebot auftauchte.

Hier gilt es zunächst, die betroffene URL zu prüfen. Gehen Sie zum Tool „URL prüfen“ in GSC und prüfen Sie, ob weiterhin ein Fehler angezeigt wird. Wenn alles in Ordnung ist, können Sie nur eine Neuindizierung beantragen.

Sollte weiterhin ein Fehler vorliegen, haben Sie je nach Fehlerart folgende Möglichkeiten:

  • Reduzieren Sie übermäßiges Laden von Seiten bei dynamischen Seitenanfragen

  • Stellen Sie sicher, dass der Hosting-Server Ihrer Site nicht ausgefallen, überlastet oder falsch konfiguriert ist

  • Stellen Sie sicher, dass Sie Google nicht versehentlich blockieren

  • Kontrollieren Sie das Crawlen und Indizieren der Website mit Bedacht

Nachdem Sie alles behoben haben, fordern Sie eine Neuindizierung an, damit Google die Seite schneller abruft.

10. Duplizieren ohne vom Benutzer ausgewählte Kanonik

Duplikate ohne vom Benutzer ausgewählte kanonische Inhalte sind ein häufiges Problem bei mehrsprachigen und/oder E-Commerce-Websites, die viele Seiten mit identischen oder sehr ähnlichen Inhalten enthalten, die für unterschiedliche Zwecke konzipiert sind. In diesem Fall sollten Sie eine Seite als kanonisch markieren, um Probleme mit doppeltem Inhalt zu vermeiden.

11. Duplikat, Google hat eine andere Kanonik als Benutzer ausgewählt

Das ist eine interessante Sache. Es kann vorkommen, dass Sie eine bestimmte Seite als kanonisch angegeben haben, Google sich jedoch dafür entschieden hat, eine andere Version dieser Seite als kanonisch auszuwählen und sie stattdessen zu indizieren.

Der einfachste Weg, solche Fehler zu beheben, besteht darin, ein Canonical-Tag auf der von Google ausgewählten Seite zu platzieren, um sie in Zukunft nicht zu verwirren. Wenn Sie auf der von Ihnen ausgewählten Seite kanonisch bleiben möchten, können Sie die von Google ausgewählte Seite auf die von Ihnen benötigte URL umleiten.

12. Alternative Seite mit dem richtigen Canonical-Tag

Hinweis: Jetzt werde ich die Probleme behandeln, die (in den meisten Fällen) keine besonderen Maßnahmen erfordern. Dennoch werden sie in der Google Search Console angezeigt, und ich gehe davon aus, dass Sie sich fragen, was sie bedeuten.

Google indiziert eine Seite nicht, da es sich um ein Duplikat einer kanonischen Seite handelt. Lass es einfach so wie es ist.

13. Entdeckt – derzeit nicht indiziert

Wenn eine Seite den Status „Entdeckt“ hat, hat Google sie bereits entdeckt, aber noch nicht gecrawlt und indiziert. Das einzige, was Sie hier tun können, ist, im Zweifelsfall die Indexierungsanweisungen der Seite zu überprüfen. Wenn alles in Ordnung ist (also so, wie Sie es sich vorgestellt haben), überlassen Sie Google den Rest später.

14. Gecrawlt – derzeit nicht indiziert

Logischerweise bedeutet diese Beschreibung, dass Google Ihre Seite gecrawlt, aber nicht indexiert hat. Die Seite wird indiziert, wenn in den Indizierungsanweisungen nichts Gegenteiliges angegeben ist. Sie müssen nicht um eine Neuindizierung bitten – der Googlebot weiß, dass die Seite darauf wartet, indexiert zu werden.

Überprüfen Sie noch einmal, ob von Google nicht erkannte Indexierungsprobleme vorliegen

Dieser Schritt erfordert WebSite Auditor. Sie können es jetzt kostenlos herunterladen. Herunterladen WebSite Auditor

Die Google Search Console kann Ihnen beim Erkennen und Beheben von Indexierungsproblemen sehr helfen. Aber es wäre zu schön, wenn es kein Aber gäbe. Die Sache ist, dass die Search Console nur dann Probleme anzeigt, wenn Google versucht, eine Seite abzurufen, und dies aus irgendeinem Grund fehlschlägt. Wenn eine solche Seite nicht einmal von Google entdeckt wird, ist das Indexierungsproblem in GSC nicht erkennbar. Obwohl das Problem wichtig sein kann und es tatsächlich viele davon geben kann.

WebSite Auditor kann Ihnen dabei helfen, solche Probleme zu finden und zu beheben. Gehen Sie zu Site-Struktur > Seiten und aktivieren Sie die Spalte „Cache-Datum in Google“ im gewünschten Arbeitsbereich.

Laden Sie WebSite Auditor herunter

Dadurch können Sie das Datum sehen, an dem eine Seite in Google zwischengespeichert wurde.

Hinweis: Sie fragen sich möglicherweise: „Wie schaffen Sie es, die Seiten anzuzeigen, die Google nicht sieht?“ Hier ist die Antwort: Wir verwenden unseren eigenen Index mit einer hochmodernen Crawling-Engine, die die Seiten erkennen kann, die aus irgendeinem Grund von anderen Suchmaschinen nicht erkannt werden.

Schauen Sie sich nun das Cache-Datum an.

Laden Sie WebSite Auditor herunter

Wenn das Datum etwas zu weit zurückliegt (vor mehr als einem Jahr) oder überhaupt fehlt, weiß Google höchstwahrscheinlich nicht, dass die Seite existiert. Und man muss herausfinden, warum.

Schauen Sie sich zunächst die Spalte „Links zur Seite“ im selben Arbeitsbereich an. Wenn keine Links vorhanden sind, handelt es sich um eine verwaiste Seite, die Google beim Crawlen Ihrer Website nicht finden kann. Wenn Sie möchten, dass die Seite indexiert wird, verlinken Sie sie von den relevanten und verkehrsreichen Seiten aus.

Sehen Sie sich auch die Spalte „Robots-Anweisungen“ an und stöbern Sie tiefer in den Seiten, die als „Nicht zulässig“ markiert sind. Es kann sein, dass Sie versehentlich die zur Indexierung vorgesehenen Seiten blockiert haben.

Die Visualisierung ist ein weiteres hilfreiches Modul zum Auffinden von Indexierungsproblemen

Laden Sie WebSite Auditor herunter

Hier können Sie leicht verwaiste Seiten (also solche, die keine Verbindung zu anderen Seiten haben), fehlerhafte Seiten (rot hervorgehoben) und lange Weiterleitungsketten erkennen, die auch der Grund dafür sein können, dass einige Seiten nicht indiziert werden.

Wenn Sie alle Probleme erkannt und behoben haben, bitten Sie das Tool, eine neue Sitemap (und bei Bedarf eine robots.txt-Datei) zu erstellen, die weiter an Google gesendet wird, damit alle benötigten Seiten gefunden werden können.

Laden Sie WebSite Auditor herunter

Wenn Sie eine schnelle Indizierung fester URLs benötigen, können Sie die Neuindizierung manuell in der Google Search Console beantragen.

Etwas zusammenfassen

Überprüfen Sie regelmäßig, wie Ihre Seiten indiziert sind, da jederzeit Fehler auftreten können. Und das aus irgendeinem Grund: von Problemen mit Hosting-Anbietern bis hin zu Google-Bugs und Google-Updates, die sich auf die Art und Weise auswirken können, wie Google-Algorithmen mit Dingen umgehen.

Mit welchen Indexierungsproblemen sind Sie am häufigsten konfrontiert? Teilen Sie Ihre Erfahrungen in unserer Facebook-SEO-Community.

Article stats:
Linking websites N/A
Backlinks N/A
InLink Rank N/A
Daten von Seo SpyGlass: Probieren Sie den kostenlosen Backlink-Checker aus.
Haben Sie Fragen oder Kommentare?
Treten Sie unserer Community auf Facebook bei!