Jak znaleźć wszystkie strony w witrynie internetowej — 8 łatwych sposobów

Jak znaleźć wszystkie strony istniejące w witrynie? Pierwszym pomysłem, który przychodzi na myśl, jest sprawdzenie w Google nazwy domeny witryny.

Ale co z adresami URL, które nie są indeksowane? Albo strony osierocone? Lub pamięć podręczna sieci Web?

Znalezienie wszystkich stron witryny internetowej jest dość łatwe; wymaga to jednak dodatkowej uwagi, biorąc pod uwagę, że niektóre strony są ukryte przed oczami odwiedzających lub botów wyszukiwania. W tym przewodniku przedstawiono 8 różnych metod wyszukiwania wszystkich stron witryny wraz z narzędziami, których należy użyć.

Dlaczego może być konieczne znalezienie wszystkich stron witryny internetowej

Istnieje mnóstwo powodów, dla których konieczne może być znalezienie wszystkich stron witryny internetowej. Aby wymienić tylko kilka:

1. Aby przeprowadzić audyt witryny nowego klienta i znaleźć problemy z indeksowaniem.

Problemy techniczne, takie jak uszkodzone linki, błędy serwera, niska prędkość strony lub zła użyteczność na urządzeniach mobilnych, uniemożliwiają Google indeksowanie stron. Zatem audyty witryn ujawniają, ile adresów URL ma dana witryna i które z nich są problematyczne. W ostatecznym rozrachunku pomaga SEO oszacować zakres przyszłych prac w projekcie.

2. Aby wykryć strony własnej witryny, które nie zostały przez pomyłkę zaindeksowane.

Jeśli Twoja witryna zawiera zduplikowane treści, Google może nie zaindeksować wszystkich duplikatów. To samo dotyczy długich łańcuchów przekierowań i adresów URL 404: jeśli na stronie jest ich wiele, budżet na indeksowanie jest wydawany na marne. W rezultacie boty wyszukujące rzadziej odwiedzają witrynę i będzie ona ogólnie gorzej indeksowana. Dlatego potrzebne są regularne audyty, nawet jeśli ogólnie rzecz biorąc, coś wygląda normalnie.

3. Aby wykryć zaindeksowane strony, które nie są przeznaczone do indeksowania Google.

Niektóre strony nie są potrzebne w indeksie wyszukiwania – na przykład strony logowania dla administratorów, strony w przygotowaniu lub koszyki zakupowe. Mimo to strony te mogą zostać zaindeksowane wbrew Twojej woli z powodu sprzecznych zasad lub błędów w Twoich plikach technicznych. Na przykład, jeśli w celu zablokowania strony polegasz wyłącznie na pliku robots.txt, adres URL może mimo to zostać zindeksowany i pojawić się w wyszukiwaniu.

4. Aby znaleźć nieaktualne strony i zaplanować całkowitą zmianę treści.

Google stara się zapewniać swoim użytkownikom jak najlepsze wyniki, więc jeśli Twoje treści są niskiej jakości, cienkie lub zduplikowane, mogą nie zostać zaindeksowane. Dobrze jest mieć listę wszystkich swoich stron, aby wiedzieć, jakich tematów jeszcze nie poruszyłeś. Mając pod ręką cały swój asortyment treści, będziesz mógł skuteczniej planować strategię dotyczącą treści.

5. Znalezienie osieroconych stron i zaplanowanie strategii linkowania.

Sieroty to strony bez linków przychodzących, przez co użytkownicy i boty wyszukiwarek odwiedzają je rzadko lub nie odwiedzają ich wcale. Strony osierocone mogą zostać zaindeksowane w Google i przyciągnąć przypadkowych użytkowników. Jednak duża liczba osieroconych stron w witrynie psuje jej autorytet: struktura witryny nie jest krystalicznie przejrzysta, strony mogą wyglądać na nieprzydatne lub nieistotne, a cały martwy punkt zmniejszy całkowitą widoczność witryny.

6. Przeprojektować stronę internetową i zmienić jej architekturę.

Aby zaplanować przeprojektowanie witryny internetowej i poprawić wygodę użytkownika, musisz najpierw znaleźć wszystkie jej strony i odpowiednie wskaźniki.

Przejrzysta i zorganizowana struktura z logiczną hierarchią wszystkich stron może pomóc wyszukiwarkom łatwiej znaleźć Twoje treści. Dlatego wszystkie ważne adresy URL muszą być osiągalne w odległości jednego, dwóch lub trzech kliknięć od strony głównej.

Chociaż doświadczenie użytkownika nie wpływa na indeksowanie i ranking, ma ono znaczenie dla sygnałów jakości Twojej witryny – udane zakupy, liczba powracających gości, odsłony strony na odwiedzającego i mnóstwo innych wskaźników pokazujących, jak bardzo Twoja witryna jest użyteczna dla odwiedzających.

7. Aby analizować strony internetowe konkurencji.

Audytując strony konkurencji, możesz głębiej poznać ich strategie SEO: ujawnić strony o największym ruchu, strony z największą liczbą linków, najlepsze źródła poleceń itp. W ten sposób możesz uzyskać cenne informacje i dowiedzieć się, że działa to dobrze na konkurencję. Możesz pożyczyć ich techniki i porównać wyniki, aby zobaczyć, jak ulepszyć własną witrynę internetową.

Istnieje wiele sposobów na znalezienie wszystkich stron witryny internetowej, ale w każdym przypadku można to zrobić inną metodą. Przyjrzyjmy się zatem zaletom i wadom każdej metody oraz sposobom jej bezproblemowego stosowania.

1. Wyszukaj to za pomocą operatorów wyszukiwania Google

Wyszukiwarka Google może szybko pomóc znaleźć wszystkie strony witryny. Wystarczy wpisać w pasku wyszukiwania „site: twoja domena”, a Google wyświetli wszystkie strony witryny, które zaindeksował.

Wyniki site:search pokazują wszystkie adresy URL, które Google znalazł w Twojej witrynie

Należy jednak pamiętać, że wyniki wyszukiwania wyświetlane za pomocą operatora „site:” niekoniecznie odzwierciedlają dokładną liczbę zaindeksowanych stron Twojej witryny.

Po pierwsze, nie ma gwarancji, że Google zaindeksuje każdą stronę bezpośrednio po jej zaindeksowaniu. Może wykluczyć niektóre strony z indeksu z różnych powodów: na przykład uważa niektóre strony za duplikaty lub niskiej jakości.

Po drugie, operator wyszukiwania „site:” może również pokazywać strony, które zostały usunięte z Twojej witryny, ale są one przechowywane w Google jako strony w pamięci podręcznej lub zarchiwizowane.

Dlatego wyszukiwane hasło „site:” to dobry początek, aby uzyskać przybliżony obraz wielkości Twojej witryny. Aby jednak znaleźć resztę stron, których może brakować w indeksie, będziesz potrzebować innych narzędzi.

2. Sprawdź plik robots.txt

‌Robots.txt to plik techniczny, który instruuje roboty wyszukiwarek, jak przeszukiwać Twoją witrynę za pomocą reguł zezwalania/zakazywania dla poszczególnych stron lub całych katalogów.

Dlatego plik nie wyświetli wszystkich stron Twojej witryny. Może jednak pomóc w zlokalizowaniu stron, do których boty wyszukiwania nie mają dostępu.

Jak

Oto kroki, jak znaleźć strony z ograniczeniami przy użyciu pliku robots.txt:

Oto przykład dyrektyw dotyczących robotów dla YouTube.

Dyrektywy dotyczące robotów dla witryny YouTube

Sprawdź jak to działa. Na przykład strona rejestracji jest niedozwolona. Jednak nadal możesz go uzyskać, wyszukując w Google – zwróć uwagę, że dla strony nie są dostępne żadne informacje opisowe.

W wynikach wyszukiwania pojawia się strona niedozwolona przez dyrektywy dotyczące robotów

Konieczne jest ponowne sprawdzenie reguł pliku robots.txt, aby upewnić się, że wszystkie strony są prawidłowo indeksowane. Dlatego do sprawdzenia możesz potrzebować narzędzia takiego jak Google Search Console lub robota indeksującego. Zatrzymam się nad tym za chwilę.

A póki co, jeśli chcesz dowiedzieć się więcej o przeznaczeniu pliku, przeczytaj ten poradnik ukrywania stron internetowych przed indeksowaniem.

3. Sprawdź mapę witryny

Mapa witryny to kolejny plik techniczny, którego webmasterzy używają do prawidłowego indeksowania witryny. Dokument ten, często w formacie XML, zawiera listę wszystkich adresów URL witryny internetowej, które należy zaindeksować. Mapa witryny jest cennym źródłem informacji o strukturze i zawartości witryny internetowej.

Duże witryny internetowe mogą mieć kilka map witryn: ponieważ rozmiar pliku jest ograniczony do 50 000 adresów URL i 50 MB, można go podzielić na kilka i zawierać oddzielną mapę witryny dla katalogów, obrazów, filmów itp. Platformy handlu elektronicznego, takie jak Shopify lub Wix automatycznie generuj mapy witryn. W przypadku innych dostępne są wtyczki lub narzędzia do generowania map witryn do tworzenia plików.

Jak

Mapa witryny pozwala między innymi łatwo znaleźć wszystkie znajdujące się na niej strony i zapewnić ich indeksację:

Przykład kilku map witryn zawierających listę wszystkich stron witryny internetowej

Powinieneś także raz na jakiś czas ponownie sprawdzić poprawność mapy witryny, ponieważ może ona również powodować problemy: może być pusta, odpowiadać kodem 404, znajdować się w pamięci podręcznej dawno temu lub może po prostu zawierać nieprawidłowe adresy URL, których nie chcesz pojawić się w indeksie.

Dobrą metodą sprawdzenia mapy witryny jest użycie narzędzia do indeksowania witryny. W Internecie dostępnych jest kilka narzędzi do przeszukiwania witryn, a jednym z nich jest WebSite Auditor, które jest potężnym narzędziem SEO do audytów całej witryny. Zobaczmy, jak może pomóc Ci znaleźć wszystkie strony w witrynie i sprawdzić poprawność plików technicznych.

4. Indeksuj za pomocą pająka SEO

Jak

Oto jak możesz użyć narzędzia WebSite Auditor do znalezienia wszystkich stron w swojej witrynie:

Możesz określić instrukcje dla określonego bota wyszukiwania lub agenta użytkownika; poinstruuj robota, aby ignorował parametry adresu URL, przeszukiwał witrynę zabezpieczoną hasłem, przeszukiwał samą domenę lub razem z subdomenami itp.

Konfigurowanie robota sieciowego tak, aby znajdował wszystkie strony, także te niepołączone z innymi stronami

Po kliknięciu OK narzędzie przeprowadzi audyt Twojej witryny i zbierze wszystkie strony w sekcji Struktura witryny > Strony.

WebSite Auditor pomoże Ci ponownie sprawdzić, czy adresy URL są odpowiednio zoptymalizowane pod kątem wyszukiwarek. Narzędzie poznasz w ciągu kilku minut, ponieważ konfiguracja jest szybka, a interfejs jest dość intuicyjny.

Oto krótki poradnik wideo dla Ciebie:

Zobaczmy, co można uzyskać dzięki narzędziu do indeksowania witryn.

Zbierz listę stron ze wszystkimi ich zasobami

Na karcie Wszystkie strony możesz posortować listę według adresu URL, tytułu lub dowolnej innej kolumny, klikając nagłówek kolumny.

Uzyskaj listę wszystkich stron ze wszystkimi znajdującymi się na nich zasobami w sekcji Struktura witryny > Strony

Możesz użyć pola wyszukiwania, aby przefiltrować listę stron według słowa kluczowego lub adresu URL strony. Może to być przydatne, jeśli szukasz określonej strony lub grupy stron.

Poza tym możesz dodać widoczne kolumny, aby zaprezentować więcej informacji o tej stronie, takich jak metatagi, nagłówki, słowa kluczowe, przekierowania lub inne elementy SEO na stronie.

Na koniec możesz kliknąć dowolny adres URL, aby sprawdzić wszystkie zasoby na stronie w dolnej połowie obszaru roboczego.

Wszystkie dane można przetwarzać wewnątrz narzędzia lub kopiować/eksportować w formacie CSV lub Excel.

Uzyskaj listę stron dotkniętych błędami technicznymi

Sekcja Audyt witryny pokaże Ci listy stron podzielone według typów błędów, takich jak:

Znajdź wszystkie strony witryny wymienione według rodzaju błędów

Pod każdym typem problemu znajdziesz wyjaśnienie, dlaczego ten czynnik jest ważny, oraz kilka sugestii, jak go rozwiązać.

Zobacz wizualizowaną strukturę witryny

Poza tym możesz sprawdzić wizualną mapę witryny w strukturze witryny > wizualizacji, która pokazuje relacje między wszystkimi adresami URL. Interaktywna mapa umożliwia dodawanie lub usuwanie stron i łączy w celu dostosowania struktury witryny. Możesz ponownie obliczyć wartość wewnętrznego PageRank i sprawdzić odsłony strony (śledzone przez Google Analytics).

Zobacz wszystkie strony witryny w wizualnej mapie witryny

Użyj narzędzi generatora do sprawdzenia poprawności plików technicznych

Oprócz tego WebSite Auditor sprawdza również dostępność zarówno pliku robots.txt, jak i mapy witryny.

Umożliwia edycję plików technicznych w narzędziach Serwisu i przesyłanie ich bezpośrednio na Twoją stronę z odpowiednimi ustawieniami.

Tworzenie mapy witryny w programie WebSite Auditor

Podczas edycji plików nie będziesz musiał przestrzegać żadnej specjalnej składni – po prostu wybierz wymagane adresy URL i zastosuj niezbędne zasady. Następnie kliknij, aby wygenerować pliki i zapisać je na swoim komputerze lub przesłać na stronę poprzez FTP.

Edycja dyrektyw robots w WebSite Auditor

5. Sprawdź swoje strony w Search Console

Jeszcze jednym doskonałym narzędziem do odkrywania wszystkich stron Twojej witryny jest Google Search Console. Pomoże Ci to sprawdzić indeksowanie stron i ujawnić problemy, które utrudniają botom wyszukiwania prawidłowe indeksowanie tych adresów URL.

Jak

Możesz uzyskać zestawienie wszystkich swoich stron według ich stanu indeksowania, łącznie z tymi stronami, które nie zostały jeszcze zaindeksowane.

Oto, jak znaleźć wszystkie strony swojej witryny za pomocą Search Console:

1. Przejdź do raportu Indeksowanie i kliknij Wyświetl dane o zaindeksowanych stronach. Zobaczysz wszystkie strony, które bot wyszukiwania ostatnio przeglądał w Twojej witrynie. Należy jednak pamiętać, że tabela będzie ograniczona do 1000 adresów URL. Dostępny jest szybki filtr sortujący wszystkie znane strony ze wszystkich przesłanych adresów URL itp.

Wszystkie zaindeksowane strony w Search Console

2. Włącz zakładkę Nieindeksowane. Poniżej narzędzie zawiera szczegółowe informacje na temat powodów, dla których każdy adres URL nie jest indeksowany.

Wszystkie strony witryny, które Google jeszcze nie zaindeksowały

Kliknij każdą przyczynę i zobacz adresy URL, których dotyczy problem.

Trudność polega na tym, że otrzymasz nie tylko główne adresy URL swoich stron, ale także linki zakotwiczone, strony paginacji, parametry adresu URL i inne śmieci wymagające ręcznego sortowania. Lista może być niekompletna ze względu na limit 1000 wpisów w tabeli.

Należy między innymi pamiętać, że różne wyszukiwarki mogą mieć inne reguły indeksowania i aby znaleźć i rozwiązać takie problemy, należy skorzystać z ich narzędzi dla webmasterów. Na przykład użyj narzędzi dla webmasterów Bing, Yandex Webmaster, Naver Webmaster i innych, aby sprawdzić indeksowanie w odpowiednich wyszukiwarkach.

6. Korzystaj z Google Analytics

Myślę, że Google Analytics jest jedną z najpowszechniej używanych platform analitycznych, więc zna ją każdy właściciel lub redaktor witryny. Stary, dobry Universal Analytics zostanie wkrótce zastąpiony przez Google Analytics 4. Zobaczmy więc obie wersje narzędzia.

Jak

Aby zebrać strony swojej witryny w Universal Analytics Google, wykonaj następujące kroki:

Wyświetlanie wszystkich Twoich stron w Universal Analytics

Zobaczysz strony ze statystykami zachowań użytkowników, takimi jak odsłony, współczynnik odrzuceń, średni czas spędzony na stronie itp. Zwróć uwagę na strony z najmniejszą liczbą odsłon w historii – prawdopodobnie są to strony osierocone.

Aby odtworzyć podobny przepływ w Google Analytics 4:

Znajdowanie wszystkich stron Twojej witryny w Google Analytics 4

Podobnie jak w przypadku konsoli, będzie zawierać parametry adresu URL i tym podobne. Możesz wyeksportować listę stron jako plik CSV lub arkusz Excel, klikając przycisk Eksportuj u góry strony.

7. Analizuj logi

Niektóre witryny są naprawdę ogromne i nawet potężne pająki SEO mogą mieć trudności z przeszukaniem wszystkich ich stron. Analiza logów to dobra opcja do wyszukiwania i sprawdzania wszystkich stron dużych witryn internetowych.

Analizując plik dziennika witryny, możesz zidentyfikować wszystkie strony, z których korzystają użytkownicy, ich odpowiedzi HTTP, częstotliwość odwiedzania stron przez roboty itd.

Pliki dziennika znajdują się na Twoim serwerze, a do ich pobrania potrzebny jest wymagany poziom dostępu oraz narzędzie do analizowania dzienników. Dlatego ta metoda jest bardziej odpowiednia dla osób znających się na technologii, webmasterów i programistów.

Jak

Oto kroki, jak znaleźć wszystkie strony swojej witryny za pomocą analizy logów:

8. Pracuj ze swoim CMS-em

Innym sposobem na znalezienie wszystkich stron witryny jest skorzystanie z systemu zarządzania treścią (CMS), ponieważ będzie on zawierał wszystkie adresy URL witryny, którą utworzyłeś. Przykładami systemów CMS są Wordpress lub Squarespace, które zawierają narzędzia do tworzenia witryn internetowych do edycji treści w różnych domenach – wiadomości i blogi, handel elektroniczny, witryny korporacyjne i tym podobne.

Jak

Chociaż systemy CMS różnią się wyglądem, ogólne kroki dotyczą większości z nich:

Pamiętaj, że mogą istnieć kategorie, wpisy na blogu lub strony docelowe, czyli różne typy stron, które mogą należeć do różnych sekcji w systemie CMS.

Znajdowanie wszystkich stron Twojej witryny w CMS WordPress

Większość systemów CMS umożliwia sortowanie adresów URL według daty ich utworzenia, autora, kategorii lub innych kryteriów. Możesz także użyć pola wyszukiwania, aby przefiltrować listę stron według słów kluczowych lub tytułów.

Streszczenie

Aby znaleźć wszystkie strony w witrynie internetowej, istnieje szeroki wachlarz metod i narzędzi. To, który wybierzesz, zależy od celu i zakresu pracy, którą chcesz wykonać.

Mam nadzieję, że ta lista okazała się dla Ciebie przydatna i teraz będziesz mógł łatwo zebrać wszystkie strony swojej witryny, nawet jeśli nie masz doświadczenia w SEO.

Jeśli nie masz jeszcze odpowiedzi na pytanie, możesz je zadać w naszej grupie użytkowników na Facebooku.