Najczęstsze problemy z indeksowaniem i sposoby ich rozwiązywania

Problemy z indeksowaniem mogą sprawić, że Twoje wysiłki SEO będą zerowe – strona może być doskonale zoptymalizowana i mieć świetny UX, ale nie będzie nic warta, jeśli Google jej nie zobaczy. Strony niezindeksowane nie zostaną umieszczone w SERPach i nie przyniosą ruchu ani konwersji.

I odwrotnie, jeśli Google od czasu do czasu odkryje i zaindeksuje stronę, która nie była przeznaczona do indeksowania, istnieje ryzyko wycieku prywatnych informacji, kar Google za treści o niskiej jakości i innych mało satysfakcjonujących konsekwencji.

W tym przewodniku pokażę, jakie rodzaje problemów z indeksowaniem występują i jak je naprawić, aby nie powodowały nagłych spadków rankingów. Ale najpierw zobaczmy, jak sprawdzić, czy w Twojej witrynie nie występują problemy z indeksowaniem.

Jak wykryć problemy z indeksowaniem?

Google Search Console może zapewnić podstawową, ale wystarczającą wiedzę na temat problemów z indeksowaniem Twojej witryny. Aby je zobaczyć, zapoznaj się z raportem Indeks > Strony.

Strony niezindeksowane z jakiegokolwiek powodu umieszczane są w jednej sekcji Nieindeksowane. Strony, które zostały zaindeksowane, ale nadal wykazują jakieś problemy i wymagają Twojej uwagi, można znaleźć na dole strony, w sekcji Popraw wygląd strony:

Aby dokładniej zbadać problem, kliknij linię błędu, a następnie ikonę soczewki obok adresu URL, który chcesz sprawdzić:

Search Console wyświetli szczegółowe informacje i pomoże określić, co jest nie tak ze stroną.

Gdy będziesz musiał sięgnąć głębiej i uzyskać zalecenia dotyczące tego, co należy poprawić, aby strona brzmiała prawidłowo, zapoznaj się z sekcją Indeksowanie i możliwość indeksowania witryny internetowej Audytora witryn internetowych:

Narzędzie zbierze wszystkie adresy URL z błędami, dzięki czemu nie będziesz musiał ręcznie sprawdzać każdej strony z osobna.

Cóż, teraz skończyliśmy z częścią „Gdzie znaleźć”. Nadszedł czas, aby sprawdzić, jakie rodzaje problemów z indeksowaniem można znaleźć i jak je naprawić, aby Twoja witryna była dobrze przeszukiwana i indeksowana.

1. Nie znaleziono (404)

Nie znaleziono (404) lub uszkodzony adres URL to prawdopodobnie jeden z najczęstszych problemów z indeksowaniem. Strona może mieć kod stanu 404 z wielu powodów. Załóżmy, że usunąłeś adres URL, ale nie usunąłeś strony z mapy witryny, nieprawidłowo wpisałeś adres URL itp.

Jak twierdzi Google, błędy 404 same w sobie nie szkodzą wydajności Twojej witryny, dopóki nie zostaną przesłane adresy URL (tj. te, które wyraźnie poprosiłeś Google o zaindeksowanie).

Jeśli w raportach indeksowania widzisz adresy URL 404, oto możliwe opcje ich naprawienia, jeśli nie miały one mieć miejsca:

Należy zauważyć, że GSC nie rozróżnia 404 (nie znaleziono) od 410 (zniknęło) i łączy je w ramach raportu 404. Kiedyś były to różne rodzaje kodów odpowiedzi: 404 oznaczało „nie znaleziono, ale można je znaleźć później”, podczas gdy 410 oznaczało „nie znaleziono i nie będzie, ponieważ zniknęło na dobre”.

Na dzień dzisiejszy Google twierdzi, że traktują zarówno 404, jak i 410 tak samo, więc prawdopodobnie nie musisz się przejmować, jeśli w raporcie 404 znajdziesz stronę 410. Jedyne, co sugerowałbym, to ustawić niestandardową stronę 404 zamiast pustej strony 410, aby zaoszczędzić ruch i zapobiec odbijaniu się użytkowników od Twojej witryny.

Wielu SEO i właścicieli witryn ma zwyczaj przekierowywania błędów 404 na stronę główną, ale prawda jest taka, że ​​nie jest to najlepsza praktyka. Takie postępowanie jest mylące dla Google i skutkuje miękkimi problemami 404. Cóż, spójrzmy, czym są te miękkie 404.

2. Miękkie 404

Miękkie błędy 404 mają miejsce, gdy strona ma odpowiedź 200 OK, ale Google nie może znaleźć jej treści i uznaje ją za błąd 404. Miękkie błędy 404 mogą wystąpić z wielu powodów, a niektóre z nich mogą nawet nie zależeć od Ciebie, jak np. błędy w przeglądarkach użytkowników. Oto więcej powodów:

W rzeczywistości problemy te nie są aż tak trudne do naprawienia. Oto kilka typowych scenariuszy:

3. Zablokowano z powodu nieautoryzowanego żądania (401)

Błąd 401 pojawia się, gdy Googlebot próbuje uzyskać dostęp do strony wymagającej autoryzacji, a Twój serwer blokuje tę czynność.

Jeśli chcesz, aby ta strona została zindeksowana, przyznaj Googlebotowi odpowiednie uprawnienia lub usuń prośbę o autoryzację.

4. Zablokowany z powodu zakazu dostępu (403)

Ten typ błędu ma miejsce, gdy agent użytkownika podał dane uwierzytelniające umożliwiające wejście na stronę (login, hasło), ale nie uzyskał dostępu, aby to zrobić. Googlebot jednak nigdy nie podaje danych uwierzytelniających, więc serwer zwraca 403 zamiast zamierzonej strony.

Jeśli strona została przez pomyłkę zablokowana i rzeczywiście potrzebujesz jej zindeksowania, zezwól na dostęp niezalogowanym użytkownikom lub wyraźnie zezwól Googlebotowi na wejście na stronę w celu jej przeczytania i zaindeksowania.

5. Przesłany adres URL oznaczony jako „noindex”

Jak wynika z nazwy, ten błąd występuje, gdy wyraźnie poprosisz Google o zaindeksowanie strony (tj. dodasz ją do mapy witryny lub ręcznie zażądasz indeksowania), ale strona ta ma tag noindex.

Rozwiązanie jest dość proste — usuń tag noindex, aby Google mógł uzyskać dostęp do strony.

6. Adres URL zablokowany przez plik robots.txt

Jeśli zablokujesz stronę za pomocą pliku robots.txt, Google nie będzie jej indeksować. Usuń ograniczenia, aby strona została zaindeksowana.

Uwaga: plik Robots.txt nie gwarantuje, że strona nie zostanie zaindeksowana. Dlatego czasami Google Search Console może pokazać coś takiego:

Tego typu problemy mogą powodować więcej problemów niż strony niezindeksowane, ponieważ Google może uzyskać dostęp do informacji, które nie miały nigdy pojawiać się w SERPach (takich jak koszyki, dane prywatne itp.) i je ujawnić.

Jeśli napotkasz taki problem, zdecyduj, czy chcesz zaindeksować stronę, czy nie. Jeśli tak, usuń adres URL z pliku robots.txt. Jeśli nie, usuń go również z pliku robots.txt, ale zastosuj tag noindex lub ogranicz dostęp dla nieautoryzowanych użytkowników. Po zastosowaniu nowych ograniczeń możesz także poprosić Google o usunięcie strony z indeksu za pośrednictwem GSC ( Indeks > Usunięcia > Nowy wniosek).

7. Indeksowane bez treści

Jest to inny rodzaj problemu, który może pogorszyć działanie Twojej witryny w większym stopniu niż strony niezindeksowane. Google nie faworyzuje pustych stron i najprawdopodobniej obniży Twoje pozycje, ponieważ puste strony są sygnałem spamerskich witryn i niskiej jakości treści.

Jeśli zauważysz, że niektóre Twoje strony mają status Zaindeksowane bez zawartości, ręcznie sprawdź adres URL, aby znaleźć przyczynę. Na przykład:

Podejmij działania w zależności od tego, co widzisz.

Na przykład, jeśli strona jest zbyt pusta, dodaj więcej treści. Tutaj możesz sprawdzić konkurencję SERP i zastosować się do ich najlepszych praktyk za pomocą sekcji Edytora treści WebSite Auditor.

Jeśli podejrzewasz, że na dotkniętej stronie może znajdować się treść blokująca renderowanie, sprawdź wyskakujące okienka korzystające ze skryptów innych firm i upewnij się, że działają poprawnie i czy rzeczywiście są czytelne dla Google. Podsumowując, Google powinien widzieć treść Twoich stron w taki sam sposób, w jaki widzą ją użytkownicy.

Jeśli treść Twojej strony jest zamaskowana, sprawdź, czy Google ma dostęp do wszystkich skryptów i obrazów.

8. Błąd przekierowania

Społeczność SEO dużo mówiła o przekierowaniach URL. Mimo to SEO wciąż popełniają błędy, które prowadzą do błędów przekierowań i uszkodzonego indeksowania. Oto kilka typowych powodów, dla których Google nie może poprawnie odczytać przekierowań:

Jedyny sposób na naprawienie błędów przekierowań sprowadza się do jednego wyrażenia: poprawnie skonfiguruj przekierowania. Unikaj długich łańcuchów przekierowań, które tylko marnują budżet SEO i wyczerpują zasoby linków. Upewnij się, że w łańcuchu nie ma adresów URL 404 lub 410 i zawsze przekierowuj adresy URL do odpowiednich stron.

9. Błąd serwera (5xx)

Błędy serwera mogą wystąpić na skutek awarii serwera, przekroczenia limitu czasu lub jego wyłączenia po pojawieniu się Googlebota.

Pierwszą rzeczą do zrobienia jest sprawdzenie adresu URL, którego dotyczy problem. Przejdź do narzędzia Inspect URL w GSC i sprawdź, czy nadal wyświetla błąd. Jeśli wszystko jest w porządku, jedyne, co możesz zrobić, to poprosić o ponowne indeksowanie.

Jeśli błąd nadal występuje, w zależności od charakteru błędu dostępne są następujące opcje:

Gdy już wszystko naprawisz, poproś o ponowne indeksowanie, by przyspieszyć pobieranie strony przez Google.

10. Duplikuj bez kanonicznego wybranego przez użytkownika

Duplikat bez kanonicznego wybranego przez użytkownika jest częstym problemem w przypadku witryn wielojęzycznych i/lub witryn e-commerce, które mają wiele stron z identyczną lub bardzo podobną treścią, zaprojektowanych do różnych celów. W takim przypadku powinieneś oznaczyć jedną stronę jako kanoniczną, aby zapobiec problemom z duplikacją treści.

11. Duplikat, Google wybrał inny plik kanoniczny niż użytkownik

To jest ciekawa rzecz. Może się zdarzyć, że wskazałeś jakąś stronę jako kanoniczną, ale Google zdecydował się wybrać inną wersję tej strony jako kanoniczną i zamiast tego ją zaindeksował.

Najprostszym sposobem na naprawienie tego typu błędów jest umieszczenie na wybranej przez Google stronie tagu kanonicznego, aby nie wprowadzać w błąd w przyszłości. Jeśli chcesz zachować kanoniczną stronę, którą wybrałeś, możesz przekierować wybraną przez Google stronę na potrzebny Ci adres URL.

12. Alternatywna strona z odpowiednim tagiem kanonicznym

Google nie indeksuje strony, ponieważ jest ona duplikatem strony kanonicznej. Po prostu zostaw to tak, jak jest.

13. Odkryte - obecnie nieindeksowane

Jeśli strona ma status Odkryta, oznacza to, że Google już ją odkrył, ale jeszcze jej nie zaindeksował. Jedyne, co możesz tutaj zrobić, to w razie wątpliwości sprawdzić instrukcję indeksowania strony. Jeśli wszystko jest w porządku (tj. jest tak, jak tego chciałeś), pozwól Google zająć się resztą później.

14. Przeszukane - obecnie nieindeksowane

Logicznie rzecz biorąc, ten opis oznacza, że ​​Google zaindeksował Twoją stronę, ale jej nie zaindeksował. Strona zostanie zaindeksowana, jeśli instrukcja indeksowania nie stanowi inaczej. Nie musisz prosić o ponowne indeksowanie — Googlebot wie, że strona czeka na swoją kolej na zaindeksowanie.

Dokładnie sprawdź problemy z indeksowaniem, które nie zostały wykryte przez Google

Google Search Console może Ci bardzo pomóc w wykrywaniu i naprawianiu problemów z indeksowaniem. Ale byłoby zbyt dobrze, gdyby nie było żadnych „ale”. Rzecz w tym, że Search Console pokazuje problemy tylko wtedy, gdy Google próbuje pobrać stronę i z jakiegoś powodu kończy się to niepowodzeniem. Jeżeli taka strona nawet nie zostanie odkryta przez Google, w GSC nie będzie żadnego pojęcia o problemie z indeksowaniem. Chociaż kwestia może być istotna, a może być ich faktycznie wiele.

WebSite Auditor może pomóc Ci znaleźć i naprawić tego typu problemy. Przejdź do Struktura witryny > Strony i włącz kolumnę Data pamięci podręcznej w Google w potrzebnym obszarze roboczym.

Dzięki temu zobaczysz datę zapisania strony w pamięci podręcznej w Google.

Teraz spójrz na datę w pamięci podręcznej.

Jeśli data jest nieco za odległa (ponad rok temu) lub w ogóle jej nie ma, Google najprawdopodobniej nie wie, że dana strona istnieje. I musisz dowiedzieć się dlaczego.

Najpierw spójrz na kolumnę Łącza do strony w tym samym obszarze roboczym. Jeśli nie ma żadnych linków, oznacza to, że jest to strona osierocona i Google nie może jej znaleźć, przeszukując Twoją witrynę. Jeśli chcesz, aby strona została zaindeksowana, umieść link do niej na odpowiednich i obciążonych ruchem stronach.

Sprawdź także kolumnę Instrukcje dotyczące robotów i zajrzyj głębiej na strony oznaczone jako Niedozwolone. Być może przez pomyłkę zablokowałeś strony przeznaczone do zaindeksowania.

Wizualizacja to kolejny moduł pomocny przy wyszukiwaniu problemów z indeksowaniem

Tutaj łatwo znajdziesz strony osierocone (te, które nie mają połączeń z innymi stronami), strony uszkodzone (podświetlone na czerwono) i długie łańcuchy przekierowań, które mogą być również przyczyną braku indeksowania niektórych stron.

Po wykryciu i rozwiązaniu wszystkich problemów poproś narzędzie o wygenerowanie nowej mapy witryny (i w razie potrzeby pliku robots.txt), która zostanie następnie przesłana do Google, aby mogło znaleźć wszystkie potrzebne strony.

Jeśli chcesz jak najszybciej zaindeksować stałe adresy URL, możesz ręcznie poprosić o ponowne indeksowanie w Google Search Console.

Podsumowując

Regularnie sprawdzaj sposób indeksowania swoich stron, ponieważ w każdej chwili mogą wystąpić błędy. I z dowolnego powodu: od problemów z dostawcą hostingu po błędy Google i aktualizacje Google, które mogą mieć wpływ na sposób, w jaki algorytmy Google traktują różne rzeczy.

Z jakimi problemami z indeksowaniem spotykasz się najczęściej? Podziel się swoim doświadczeniem w naszej społeczności SEO na Facebooku.