21727
•
12-minütige Lektüre
•
Indexierungsprobleme können Ihre SEO-Bemühungen zunichte machen – eine Seite mag perfekt optimiert sein und eine tolle UX haben, aber sie ist nichts wert, wenn Google sie nicht sieht. Nicht indizierte Seiten gelangen nicht in die SERPs und bringen keinen Traffic und keine Conversions.
Wenn Google umgekehrt gelegentlich eine Seite sieht und indiziert, die nicht für die Indexierung gedacht war, besteht die Gefahr, dass private Informationen verloren gehen, Google-Strafen für minderwertige Inhalte verhängt werden und andere kaum zufriedenstellende Folgen haben.
In diesem Leitfaden werde ich erläutern, welche Arten von Indexierungsproblemen es gibt und wie man sie beheben kann, damit sie nicht zu plötzlichen Ranking-Einbrüchen führen. Doch zunächst sehen wir uns an, wie Sie überprüfen können, ob auf Ihrer Website Indexierungsprobleme auftreten.
Die Google Search Console kann Ihnen einen grundlegenden, aber dennoch ausreichenden Einblick in die Indexierungsprobleme Ihrer Website geben. Sehen Sie sich den Bericht „Index“ > „Seiten“ an, um sie anzuzeigen.
Seiten, die aus irgendeinem Grund nicht indiziert sind, werden in der Rubrik „Nicht indiziert“ zusammengefasst. Seiten, die indiziert wurden, aber immer noch Probleme aufweisen und Ihre Aufmerksamkeit erfordern, finden Sie unten auf der Seite im Abschnitt „Seitendarstellung verbessern“:
Um ein Problem weiter zu untersuchen, klicken Sie auf die Fehlerzeile und dann auf das Linsensymbol neben der URL, die Sie überprüfen möchten:
Die Search Console zeigt Ihnen die Details an und hilft Ihnen dabei, herauszufinden, was mit der Seite nicht stimmt.
Wenn Sie tiefer in die Materie eintauchen und Empfehlungen dazu erhalten möchten, was Sie beheben müssen, damit eine Seite einwandfrei funktioniert, konsultieren Sie den Abschnitt „Indizierung und Crawlbarkeit“ von WebSite Auditor:
Laden Sie WebSite Auditor herunterDas Tool erfasst alle fehlerhaften URLs, sodass Sie nicht jede Seite einzeln manuell überprüfen müssen.
Nun sind wir mit dem Teil „Wo zu finden“ fertig. Jetzt ist es an der Zeit, sich anzusehen, welche Arten von Indexierungsproblemen Sie finden können und wie Sie diese beheben können, damit Ihre Website weiterhin gecrawlt und indiziert bleibt.
Nicht gefunden (404) oder eine fehlerhafte URL ist wahrscheinlich eines der häufigsten Indexierungsprobleme. Eine Seite kann aus vielen Gründen den Statuscode 404 haben. Angenommen, Sie haben die URL gelöscht, die Seite aber nicht aus der Sitemap entfernt, die URL falsch geschrieben usw.
Wie Google sagt, beeinträchtigen 404-Fehler selbst die Leistung Ihrer Website erst dann, wenn es sich um übermittelte URLs handelt (d. h. solche, die Sie Google ausdrücklich zur Indexierung aufgefordert haben).
Wenn Sie in Ihren Indexierungsberichten 404-URLs sehen, finden Sie hier mögliche Optionen, wie Sie diese beheben können, falls dies nicht beabsichtigt war:
Beachten Sie, dass GSC 404 (nicht gefunden) und 410 (verschwunden) nicht unterscheidet und sie unter dem 404-Bericht zusammenfasst. Früher handelte es sich dabei um verschiedene Arten von Antwortcodes: 404 bedeutete „nicht gefunden, konnte aber später gefunden werden“, während 410 früher für „nicht gefunden und wird nicht so sein, wie es für immer verschwunden ist“ stand.
Was heute angeht, gibt Google an, dass 404 und 410 gleich behandelt werden, sodass Sie sich wahrscheinlich nicht darum kümmern müssen, wenn Sie im 404-Bericht eine 410-Seite finden. Das Einzige, was ich Ihnen empfehlen würde, ist, eine benutzerdefinierte 404-Seite anstelle einer leeren 410-Seite einzurichten, um Traffic zu sparen und zu verhindern, dass Benutzer Ihre Website verlassen.
Viele SEOs und Websitebesitzer haben die Angewohnheit, 404-Fehler auf die Startseite umzuleiten, aber die Wahrheit ist, dass dies nicht die beste Vorgehensweise ist. Dies ist für Google verwirrend und führt zu Soft-404-Problemen. Schauen wir uns mal an, was diese weichen 404er sind.
Soft 404-Probleme treten auf, wenn eine Seite eine 200 OK-Antwort hat, Google ihren Inhalt jedoch nicht finden kann und ihn als 404 betrachtet. Soft 404-Fehler können aus vielen Gründen auftreten, und einige davon hängen möglicherweise nicht einmal von Ihnen ab, wie z. B. Fehler in den Browsern der Benutzer. Hier sind einige weitere Gründe:
Eine fehlende serverseitige Include- Datei
Eine unterbrochene Verbindung zur Datenbank
Eine leere interne Suchergebnisseite
Eine entladene oder anderweitig fehlende JavaScript-Datei
Zu wenig Inhalt
Seiten-Cloaking
Diese Probleme sind eigentlich nicht so schwer zu beheben. Hier sind einige häufige Szenarien:
Wenn der Inhalt verschoben wurde und die Seite tatsächlich in Ordnung, aber leer ist, richten Sie eine 301-Weiterleitung zur neuen Adresse ein.
Wenn es für den gelöschten Inhalt keine Alternative gibt, markieren Sie ihn als 404 und entfernen Sie ihn aus der Sitemap.
Wenn die Seite existieren soll, fügen Sie einige Inhalte hinzu und prüfen Sie, ob alle darauf befindlichen Skripte korrekt gerendert und angezeigt werden (nicht durch robots.txt blockiert, von Browsern usw. unterstützt);
Wenn der Fehler auftritt, weil der Server ausgefallen ist, wenn Googlebot versucht, die Seite abzurufen, prüfen Sie, ob der Server einwandfrei funktioniert. Wenn dies der Fall ist, beantragen Sie die Neuindizierung dieser Seite.
Der Fehler 401 tritt auf, wenn der Googlebot versucht, auf eine Seite zuzugreifen, für die eine Autorisierung erforderlich ist, und Ihr Server den Googlebot daran hindert.
Wenn Sie möchten, dass diese Seite indexiert wird, erteilen Sie Googlebot die entsprechende Berechtigung oder entfernen Sie die Autorisierungsanfrage.
Diese Art von Fehler tritt auf, wenn der Benutzeragent Anmeldeinformationen zum Aufrufen der Seite (Login, Passwort) bereitgestellt hat, ihm jedoch kein Zugriff gewährt wurde, um dies tatsächlich zu tun. Der Googlebot stellt jedoch niemals Anmeldeinformationen bereit, sodass der Server 403 anstelle der beabsichtigten Seite zurückgibt.
Wenn eine Seite versehentlich blockiert wurde und Sie sie tatsächlich indizieren müssen, erlauben Sie nicht angemeldeten Nutzern den Zugriff oder erlauben Sie dem Googlebot ausdrücklich, die Seite zu betreten, um sie zu lesen und zu indizieren.
Wie aus dem Namen hervorgeht, tritt dieser Fehler auf, wenn Sie Google explizit auffordern, eine Seite zu indizieren (d. h. sie zur Sitemap hinzufügen oder die Indizierung manuell anfordern), diese Seite jedoch über ein Noindex-Tag verfügt.
Die Lösung ist ganz einfach: Entfernen Sie das Noindex-Tag, damit Google auf die Seite zugreifen kann.
Wenn Sie eine Seite mithilfe von robots.txt blockieren, wird sie von Google nicht gecrawlt. Entfernen Sie die Einschränkungen, damit die Seite indexiert wird.
Hinweis: Robots.txt ist keine Garantie dafür, dass die Seite nicht indiziert wird. Aus diesem Grund zeigt Ihnen die Google Search Console manchmal etwas wie Folgendes an:
Solche Probleme können für Sie größere Probleme mit sich bringen als nicht indizierte Seiten, da Google möglicherweise auf Informationen zugreift und diese offenlegt, die nie in den SERPs erscheinen sollten (z. B. Einkaufswagen, private Daten usw.).
Wenn Sie auf ein solches Problem stoßen, entscheiden Sie, ob die Seite indexiert werden muss oder nicht. Wenn ja, entfernen Sie die URL aus der robots.txt-Datei. Wenn nicht, entfernen Sie es ebenfalls aus robots.txt, wenden Sie jedoch das Noindex-Tag an oder beschränken Sie den Zugriff für nicht autorisierte Benutzer. Sobald Sie neue Einschränkungen anwenden, können Sie Google auch bitten, die Seite über GSC aus dem Index zu entfernen ( Index > Entfernungen > Neue Anfrage).
Dies ist eine weitere Art von Problem, das die Leistung Ihrer Website stärker beeinträchtigen kann als nicht indizierte Seiten. Google bevorzugt keine leeren Seiten und wird Ihre Positionen höchstwahrscheinlich senken, da leere Seiten ein Signal für Spam-Websites und minderwertige Inhalte sind.
Wenn Sie feststellen, dass einige Ihrer Seiten den Status „Indiziert ohne Inhalt“ haben, überprüfen Sie die URL manuell, um den Grund herauszufinden. Zum Beispiel:
Möglicherweise enthält die Seite zu wenig Inhalt.
Die Seite enthält möglicherweise Rendering-blockierenden Inhalt, der nicht richtig geladen wird.
Der Inhalt ist verschleiert.
Ergreifen Sie Maßnahmen, je nachdem, was Sie sehen.
Wenn die Seite beispielsweise viel zu leer ist, fügen Sie mehr Inhalt hinzu. Hier können Sie Ihre SERP-Konkurrenten überprüfen und deren Best Practices mithilfe des Content-Editor- Bereichs von WebSite Auditor befolgen.
Laden Sie WebSite Auditor herunterWenn Sie den Verdacht haben, dass auf der betroffenen Seite Rendering-blockierende Inhalte vorhanden sein könnten, überprüfen Sie die Pop-ups, die Skripts von Drittanbietern verwenden, und stellen Sie sicher, dass sie ordnungsgemäß funktionieren und tatsächlich für Google lesbar sind. Alles in allem sollte Google den Inhalt Ihrer Seiten genauso sehen, wie ihn Nutzer sehen.
Wenn der Inhalt Ihrer Seite verdeckt ist, prüfen Sie, ob alle Skripte oder Bilder für Google zugänglich sind.
Die SEO-Community hat viel über URL-Weiterleitungen gesprochen. Dennoch machen SEOs immer wieder Fehler, die zu Weiterleitungsfehlern und einer beschädigten Indexierung führen. Hier sind einige häufige Gründe, warum Google Weiterleitungen nicht richtig lesen kann:
Eine Weiterleitungskette ist zu lang
Eine Weiterleitung führt zu einer Endlosschleife von Weiterleitungen (Umleitungsschleife).
Eine Weiterleitungs-URL überschreitet die maximale URL-Länge (2 MB für Google Chrome).
Eine Weiterleitungskette enthält eine fehlerhafte oder leere URL
Die einzige Möglichkeit, Weiterleitungsfehler zu beheben, besteht in einem Satz: Weiterleitungen richtig einrichten. Vermeiden Sie lange Weiterleitungsketten, die nur SEO-Crawling-Budget verschwenden und Linkjuice verbrauchen. Stellen Sie sicher, dass sich keine 404- oder 410-URLs in der Kette befinden, und leiten Sie URLs immer auf relevante Seiten um.
Serverfehler können auftreten, weil der Server möglicherweise abgestürzt ist, eine Zeitüberschreitung aufgetreten ist oder nicht verfügbar war, als der Googlebot auftauchte.
Hier gilt es zunächst, die betroffene URL zu prüfen. Gehen Sie zum Tool „URL prüfen“ in GSC und prüfen Sie, ob weiterhin ein Fehler angezeigt wird. Wenn alles in Ordnung ist, können Sie nur eine Neuindizierung beantragen.
Sollte weiterhin ein Fehler vorliegen, haben Sie je nach Fehlerart folgende Möglichkeiten:
Reduzieren Sie übermäßiges Laden von Seiten bei dynamischen Seitenanfragen
Stellen Sie sicher, dass der Hosting-Server Ihrer Site nicht ausgefallen, überlastet oder falsch konfiguriert ist
Stellen Sie sicher, dass Sie Google nicht versehentlich blockieren
Kontrollieren Sie das Crawlen und Indizieren der Website mit Bedacht
Nachdem Sie alles behoben haben, fordern Sie eine Neuindizierung an, damit Google die Seite schneller abruft.
Duplikate ohne vom Benutzer ausgewählte kanonische Inhalte sind ein häufiges Problem bei mehrsprachigen und/oder E-Commerce-Websites, die viele Seiten mit identischen oder sehr ähnlichen Inhalten enthalten, die für unterschiedliche Zwecke konzipiert sind. In diesem Fall sollten Sie eine Seite als kanonisch markieren, um Probleme mit doppeltem Inhalt zu vermeiden.
Das ist eine interessante Sache. Es kann vorkommen, dass Sie eine bestimmte Seite als kanonisch angegeben haben, Google sich jedoch dafür entschieden hat, eine andere Version dieser Seite als kanonisch auszuwählen und sie stattdessen zu indizieren.
Der einfachste Weg, solche Fehler zu beheben, besteht darin, ein Canonical-Tag auf der von Google ausgewählten Seite zu platzieren, um sie in Zukunft nicht zu verwirren. Wenn Sie auf der von Ihnen ausgewählten Seite kanonisch bleiben möchten, können Sie die von Google ausgewählte Seite auf die von Ihnen benötigte URL umleiten.
Google indiziert eine Seite nicht, da es sich um ein Duplikat einer kanonischen Seite handelt. Lass es einfach so wie es ist.
Wenn eine Seite den Status „Entdeckt“ hat, hat Google sie bereits entdeckt, aber noch nicht gecrawlt und indiziert. Das einzige, was Sie hier tun können, ist, im Zweifelsfall die Indexierungsanweisungen der Seite zu überprüfen. Wenn alles in Ordnung ist (also so, wie Sie es sich vorgestellt haben), überlassen Sie Google den Rest später.
Logischerweise bedeutet diese Beschreibung, dass Google Ihre Seite gecrawlt, aber nicht indexiert hat. Die Seite wird indiziert, wenn in den Indizierungsanweisungen nichts Gegenteiliges angegeben ist. Sie müssen nicht um eine Neuindizierung bitten – der Googlebot weiß, dass die Seite darauf wartet, indexiert zu werden.
Die Google Search Console kann Ihnen beim Erkennen und Beheben von Indexierungsproblemen sehr helfen. Aber es wäre zu schön, wenn es kein Aber gäbe. Die Sache ist, dass die Search Console nur dann Probleme anzeigt, wenn Google versucht, eine Seite abzurufen, und dies aus irgendeinem Grund fehlschlägt. Wenn eine solche Seite nicht einmal von Google entdeckt wird, ist das Indexierungsproblem in GSC nicht erkennbar. Obwohl das Problem wichtig sein kann und es tatsächlich viele davon geben kann.
WebSite Auditor kann Ihnen dabei helfen, solche Probleme zu finden und zu beheben. Gehen Sie zu Site-Struktur > Seiten und aktivieren Sie die Spalte „Cache-Datum in Google“ im gewünschten Arbeitsbereich.
Laden Sie WebSite Auditor herunterDadurch können Sie das Datum sehen, an dem eine Seite in Google zwischengespeichert wurde.
Schauen Sie sich nun das Cache-Datum an.
Laden Sie WebSite Auditor herunterWenn das Datum etwas zu weit zurückliegt (vor mehr als einem Jahr) oder überhaupt fehlt, weiß Google höchstwahrscheinlich nicht, dass die Seite existiert. Und man muss herausfinden, warum.
Schauen Sie sich zunächst die Spalte „Links zur Seite“ im selben Arbeitsbereich an. Wenn keine Links vorhanden sind, handelt es sich um eine verwaiste Seite, die Google beim Crawlen Ihrer Website nicht finden kann. Wenn Sie möchten, dass die Seite indexiert wird, verlinken Sie sie von den relevanten und verkehrsreichen Seiten aus.
Sehen Sie sich auch die Spalte „Robots-Anweisungen“ an und stöbern Sie tiefer in den Seiten, die als „Nicht zulässig“ markiert sind. Es kann sein, dass Sie versehentlich die zur Indexierung vorgesehenen Seiten blockiert haben.
Die Visualisierung ist ein weiteres hilfreiches Modul zum Auffinden von Indexierungsproblemen
Laden Sie WebSite Auditor herunterHier können Sie leicht verwaiste Seiten (also solche, die keine Verbindung zu anderen Seiten haben), fehlerhafte Seiten (rot hervorgehoben) und lange Weiterleitungsketten erkennen, die auch der Grund dafür sein können, dass einige Seiten nicht indiziert werden.
Wenn Sie alle Probleme erkannt und behoben haben, bitten Sie das Tool, eine neue Sitemap (und bei Bedarf eine robots.txt-Datei) zu erstellen, die weiter an Google gesendet wird, damit alle benötigten Seiten gefunden werden können.
Laden Sie WebSite Auditor herunterWenn Sie eine schnelle Indizierung fester URLs benötigen, können Sie die Neuindizierung manuell in der Google Search Console beantragen.
Überprüfen Sie regelmäßig, wie Ihre Seiten indiziert sind, da jederzeit Fehler auftreten können. Und das aus irgendeinem Grund: von Problemen mit Hosting-Anbietern bis hin zu Google-Bugs und Google-Updates, die sich auf die Art und Weise auswirken können, wie Google-Algorithmen mit Dingen umgehen.
Mit welchen Indexierungsproblemen sind Sie am häufigsten konfrontiert? Teilen Sie Ihre Erfahrungen in unserer Facebook-SEO-Community.