Meest voorkomende indexeringsproblemen en hoe u deze kunt oplossen

Indexeringsproblemen kunnen uw SEO-inspanningen tenietdoen. Een pagina kan perfect geoptimaliseerd zijn en een geweldige UX hebben, maar het is niets waard als Google het niet ziet. Niet-geïndexeerde pagina’s komen niet in SERP’s terecht en zullen geen verkeer en conversies opleveren.

Omgekeerd, als Google af en toe een pagina ziet en indexeert die niet bedoeld was om te worden geïndexeerd, loop je het risico dat privé-informatie wordt gelekt, dat Google boetes oplegt voor inhoud van lage kwaliteit en andere nauwelijks bevredigende gevolgen.

In deze handleiding ga ik vertellen welke soorten indexeringsproblemen er bestaan ​​en hoe ik deze kan oplossen, zodat ze geen plotselinge rankingdalingen veroorzaken. Maar laten we eerst kijken hoe u kunt controleren of er indexeringsproblemen op uw website zijn.

Hoe indexeringsproblemen opsporen?

Google Search Console kan u een basis maar toch voldoende inzicht geven in de indexeringsproblemen van uw site. Raadpleeg het rapport Index > Pagina's om ze te bekijken.

Pagina's die om welke reden dan ook niet zijn geïndexeerd, worden onder één sectie geplaatst, Niet geïndexeerd. Pagina's die zijn geïndexeerd maar nog steeds problemen vertonen en uw aandacht vereisen, vindt u onderaan de pagina in de sectie Paginaweergave verbeteren:

Als u een probleem verder wilt onderzoeken, klikt u op de foutregel en vervolgens op het lenspictogram naast de URL die u wilt controleren:

Search Console toont u de details en helpt u te identificeren wat er mis is met de pagina.

Als u dieper wilt graven en aanbevelingen wilt krijgen over wat u moet oplossen om een ​​pagina goed te laten klinken, raadpleeg dan de sectie Indexering en crawlbaarheid van WebSite Auditor:

De tool verzamelt alle URL's met fouten, zodat u niet elke pagina afzonderlijk handmatig hoeft te controleren.

Welnu, nu zijn we klaar met het gedeelte 'Waar te vinden'. Nu is het tijd om te kijken welke soorten indexeringsproblemen u kunt tegenkomen en hoe u deze kunt oplossen, zodat uw website gecrawld en geïndexeerd blijft.

1. Niet gevonden (404)

Niet gevonden (404), of een kapotte URL, is waarschijnlijk een van de meest voorkomende indexeringsproblemen. Een pagina kan om verschillende redenen een 404-statuscode hebben. Stel dat u de URL heeft verwijderd, maar de pagina niet uit de sitemap heeft verwijderd, de URL verkeerd heeft geschreven, enz.

Zoals Google zegt, zijn 404's zelf niet schadelijk voor de prestaties van uw site totdat deze URL's worden ingediend (dat wil zeggen de URL's die u expliciet aan Google heeft gevraagd te indexeren).

Als u 404-URL's in uw indexeringsrapporten ziet, vindt u hier mogelijke opties om deze te corrigeren als dit niet de bedoeling was:

Merk op dat GSC geen onderscheid maakt tussen 404 (niet gevonden) en 410 (verdwenen) en deze samenvoegt onder het 404-rapport. Vroeger waren dit verschillende soorten antwoordcodes: 404 betekende 'niet gevonden maar kon later gevonden worden', terwijl 410 vroeger stond voor 'niet gevonden en zal niet meer zijn omdat het voorgoed verdwenen is'.

Wat vandaag betreft, zegt Google dat ze zowel 404 als 410 op dezelfde manier behandelen, dus u hoeft zich waarschijnlijk geen zorgen te maken als u een 410-pagina in het 404-rapport aantreft. Het enige dat ik u zou willen voorstellen is een aangepaste 404-pagina in te stellen in plaats van een lege 410 om verkeer te besparen en te voorkomen dat gebruikers van uw site afketsen.

Veel SEO's en site-eigenaren hebben de gewoonte om 404's door te sturen naar de startpagina, maar de waarheid is dat dit niet de beste praktijk is. Dit is verwarrend voor Google en resulteert in zachte 404-problemen. Laten we eens kijken naar wat deze zachte 404's zijn.

2. Zacht 404

Soft 404-problemen doen zich voor wanneer een pagina een 200 OK-antwoord heeft, maar Google de inhoud ervan niet kan vinden en deze als een 404 beschouwt. Soft 404-problemen kunnen om vele redenen voorkomen, en sommige daarvan zijn mogelijk niet eens van u afhankelijk, zoals fouten in de browsers van gebruikers. Hier zijn nog enkele redenen:

Deze problemen zijn eigenlijk niet zo moeilijk op te lossen. Hier zijn enkele veelvoorkomende scenario's:

3. Geblokkeerd vanwege ongeautoriseerd verzoek (401)

Er treedt een 401-fout op wanneer Googlebot een pagina probeert te bereiken waarvoor autorisatie vereist is, en uw server Googlebot blokkeert om dit te doen.

Als u wilt dat die pagina wordt geïndexeerd, verleent u Googlebot de relevante toestemming of verwijdert u het autorisatieverzoek.

4. Geblokkeerd wegens verboden toegang (403)

Dit type fout treedt op wanneer de user-agent inloggegevens heeft verstrekt om de pagina te betreden (login, wachtwoord), maar geen toegang kreeg om dat daadwerkelijk te doen. Googlebot verstrekt echter nooit inloggegevens, dus retourneert de server 403 in plaats van de bedoelde pagina.

Als een pagina per ongeluk is geblokkeerd en u deze daadwerkelijk wilt indexeren, sta dan toegang toe aan niet-ingelogde gebruikers of geef Googlebot expliciet toegang tot de pagina om deze te lezen en te indexeren.

5. Ingediende URL gemarkeerd met 'noindex'

Zoals uit de naam duidelijk blijkt, treedt deze fout op wanneer u Google expliciet vraagt ​​een pagina te indexeren (dwz deze toe te voegen aan de sitemap of handmatig indexering aan te vragen), maar die pagina een noindex-tag heeft.

De oplossing is vrij eenvoudig: verwijder de noindex-tag zodat Google toegang krijgt tot de pagina.

6. URL geblokkeerd door robots.txt

Als je een pagina blokkeert met behulp van robots.txt, zal Google deze niet crawlen. Verwijder de beperkingen om de pagina te laten indexeren.

Let op: Robots.txt is geen garantie dat de pagina niet wordt geïndexeerd. Dat is de reden waarom Google Search Console u soms zoiets als dit laat zien:

Dergelijke problemen kunnen u meer problemen opleveren dan niet-geïndexeerde pagina's, omdat Google toegang kan krijgen tot informatie en deze kan onthullen die niet bedoeld was om ooit in SERP's te verschijnen (zoals winkelwagentjes, privégegevens, enz.).

Als u een dergelijk probleem tegenkomt, beslis dan of u de pagina wilt laten indexeren of niet. Als dit het geval is, verwijdert u de URL uit het robots.txt-bestand. Als dit niet het geval is, verwijdert u het ook uit robots.txt, maar past u de noindex-tag toe, of beperkt u de toegang voor niet-geautoriseerde gebruikers. Zodra u nieuwe beperkingen heeft toegepast, kunt u Google ook vragen de pagina uit de index te verwijderen via GSC ( Index > Verwijderingen > Nieuw verzoek).

7. Geïndexeerd zonder inhoud

Dit is een ander type probleem dat de prestaties van uw site erger kan schaden dan niet-geïndexeerde pagina's. Google heeft geen voorkeur voor lege pagina's en zal uw positie waarschijnlijk verlagen, omdat lege pagina's een signaal zijn van sites met spam en inhoud van lage kwaliteit.

Als u merkt dat sommige van uw pagina's de status Geïndexeerd zonder inhoud hebben, controleer dan handmatig de URL om de reden te achterhalen. Bijvoorbeeld:

Neem maatregelen afhankelijk van wat u ziet.

Als de pagina bijvoorbeeld veel te leeg is, voeg dan meer inhoud toe. Hier kunt u uw SERP-concurrenten controleren en hun best practices volgen met behulp van de Content Editor- sectie van WebSite Auditor.

Als u vermoedt dat er op de betreffende pagina inhoud wordt weergegeven die de weergave blokkeert, controleer dan de pop-ups die scripts van derden gebruiken en zorg ervoor dat deze correct werken en daadwerkelijk leesbaar zijn voor Google. Al met al zou Google de inhoud van uw pagina's op dezelfde manier moeten zien als gebruikers deze zien.

Als de inhoud van uw pagina verborgen is, controleer dan of alle scripts of afbeeldingen toegankelijk zijn voor Google.

8. Omleidingsfout

De SEO-gemeenschap heeft veel gesproken over URL-omleidingen. Toch blijven SEO’s fouten maken die leiden tot omleidingsfouten en corrupte indexering. Hier volgen enkele veelvoorkomende redenen waarom Google omleidingen niet correct kan lezen:

De enige manier om omleidingsfouten op te lossen komt neer op één zin: stel omleidingen correct in. Vermijd lange omleidingsketens die alleen maar het SEO-crawlbudget verspillen en de link-sap leegmaken, zorg ervoor dat er geen 404- of 410-URL's in de keten zitten en URL's altijd omleiden naar relevante pagina's.

9. Serverfout (5xx)

Er kunnen serverfouten optreden omdat de server mogelijk is gecrasht, een time-out heeft gehad of niet beschikbaar was toen Googlebot verscheen.

Het eerste dat u hier moet doen, is de betreffende URL controleren. Ga naar de tool URL inspecteren in GSC en kijk of er nog steeds een fout wordt weergegeven. Als het goed is, kunt u alleen een herindexering aanvragen.

Als er nog steeds een fout optreedt, heeft u, afhankelijk van de aard van de fout, de volgende opties:

Nadat u alles heeft opgelost, vraagt ​​u een herindexering aan, zodat Google de pagina sneller kan ophalen.

10. Dupliceren zonder door de gebruiker geselecteerde canoniek

Dupliceren zonder door de gebruiker geselecteerde canoniek is een veelvoorkomend probleem voor meertalige en/of e-commercesites die veel pagina's hebben met identieke of zeer vergelijkbare inhoud die voor verschillende doeleinden zijn ontworpen. In dit geval moet u één pagina als canoniek markeren om problemen met dubbele inhoud te voorkomen.

11. Duplicaat, Google heeft een andere canoniek dan gebruiker gekozen

Dit is een interessant ding. Het kan gebeuren dat u een bepaalde pagina als canoniek heeft aangegeven, maar Google heeft besloten een andere versie van die pagina als canoniek te kiezen en deze in plaats daarvan te indexeren.

De eenvoudigste manier om dergelijke fouten op te lossen is door een canonieke tag op de door Google gekozen pagina te plaatsen, om deze in de toekomst niet te verwarren. Als je canoniek wilt blijven op de pagina die je hebt gekozen, kun je de door Google gekozen pagina omleiden naar de URL die je nodig hebt.

12. Alternatieve pagina met de juiste canonieke tag

Google indexeert een pagina niet omdat deze een duplicaat is van een canonieke pagina. Laat het gewoon zoals het is.

13. Ontdekt - momenteel niet geïndexeerd

Als een pagina de status Ontdekt heeft, heeft Google deze al ontdekt, maar nog niet gecrawld en geïndexeerd. Het enige dat u hier kunt doen, is bij twijfel de indexeringsinstructies van de pagina controleren. Als alles in orde is (dwz zoals u het bedoeld had), laat Google de rest later doen.

14. Gecrawld - momenteel niet geïndexeerd

Logischerwijs betekent deze beschrijving dat Google uw pagina heeft gecrawld, maar niet heeft geïndexeerd. De pagina wordt geïndexeerd als de indexeringsinstructies niet het tegenovergestelde aangeven. U hoeft niet om herindexering te vragen: Googlebot is zich ervan bewust dat de pagina wacht op zijn beurt om te worden geïndexeerd.

Controleer indexeringsproblemen die niet door Google zijn gedetecteerd

Google Search Console kan u veel helpen bij het opsporen en oplossen van indexeringsproblemen. Maar het zou te mooi zijn als er geen maren waren. Het punt is dat Search Console alleen problemen laat zien wanneer Google een pagina probeert op te halen en om welke reden dan ook faalt. Als een dergelijke pagina niet eens door Google wordt ontdekt, zal er geen notie zijn van het indexeringsprobleem in GSC. Hoewel de kwestie belangrijk kan zijn, en er kunnen er zelfs veel zijn.

WebSite Auditor kan u helpen dit soort problemen te vinden en op te lossen. Ga naar Sitestructuur > Pagina's en schakel de kolom Cachedatum in Google in de werkruimte in die u nodig heeft.

Als u dit doet, ziet u de datum waarop een pagina in het cachegeheugen van Google is opgeslagen.

Kijk nu eens naar de cachedatum.

Als de datum iets te ver weg is (meer dan een jaar geleden) of helemaal ontbreekt, weet Google hoogstwaarschijnlijk niet dat de pagina bestaat. En je moet uitzoeken waarom.

Kijk eerst eens naar de kolom Links naar pagina in dezelfde werkruimte. Als er geen links zijn, betekent dit dat dit een weespagina is en dat Google deze niet kan vinden door uw website te crawlen. Als u wilt dat de pagina wordt geïndexeerd, link dan ernaar vanaf de relevante en verkeersrijke pagina's.

Controleer ook de kolom Robotinstructies en graaf dieper in de pagina's die zijn gemarkeerd als Niet toegestaan. Het kan zijn dat u per ongeluk de pagina's hebt geblokkeerd die moesten worden geïndexeerd.

Visualisatie is nog een nuttige module voor het vinden van indexeringsproblemen

Hier kunt u gemakkelijk verweesde pagina's (die geen verbindingen met andere pagina's hebben), kapotte pagina's (rood gemarkeerd) en lange omleidingsketens herkennen, wat ook de reden kan zijn waarom sommige pagina's niet worden geïndexeerd.

Zodra u alle problemen heeft opgemerkt en opgelost, vraagt ​​u de tool om een ​​nieuwe sitemap te genereren (en indien nodig een robots.txt-bestand), die verder naar Google wordt verzonden, zodat deze alle pagina's kan vinden die u nodig heeft.

Als u vaste URL's zo snel mogelijk wilt indexeren, kunt u handmatig herindexering aanvragen in Google Search Console.

Het opsommen

Controleer regelmatig hoe uw pagina's worden geïndexeerd, aangezien er op elk moment fouten kunnen optreden. En om welke reden dan ook: van problemen met de hostingprovider tot Google-bugs en Google-updates die van invloed kunnen zijn op de manier waarop Google-algoritmen met zaken omgaan.

Met welke indexeringsproblemen wordt u het vaakst geconfronteerd? Deel uw ervaringen in onze Facebook SEO-community.