Hogyan találhat meg minden oldalt egy webhelyen – 8 egyszerű módszer

Hogyan találja meg a webhely összes oldalát? Az első ötlet, ami eszünkbe jut, az, hogy keressük a Google-ban a webhely domain nevét.

De mi a helyzet azokkal az URL-ekkel, amelyeket nem sikerül indexelni? Vagy árva oldalak? Vagy web gyorsítótár?

A webhely összes oldalának megtalálása meglehetősen egyszerű; azonban különös figyelmet igényel, mivel vannak olyan oldalak, amelyek rejtve vannak a látogatók vagy a keresőrobotok szeme elől. Ez az útmutató 8 különböző módszert mutat be a webhely összes oldalának megtalálásához, valamint a használható eszközöket.

Miért kell esetleg egy webhely összes oldalát megtalálnia

Rengeteg oka lehet annak, hogy egy webhely összes oldalát meg kell találnia. Hogy csak néhányat említsünk:

1. Új ügyfél webhelyének auditálása és indexelési problémák feltárása.

Az olyan technikai problémák, mint a hibás hivatkozások, szerverhibák, lassú oldalsebesség vagy rossz mobilhasználat, megakadályozzák a Google-t az oldalak indexelésében. Tehát a webhely-ellenőrzések felfedik, hogy egy webhely hány URL-lel rendelkezik, és ezek közül melyik a problémás. Végül segít a keresőoptimalizálóknak megbecsülni a projekt jövőbeli munkájának hatókörét.

2. Saját webhelye azon oldalainak észlelése, amelyek véletlenül nincsenek indexelve.

Ha webhelye ismétlődő tartalommal rendelkezik, előfordulhat, hogy a Google nem indexeli az összes ismétlődést. Ugyanez vonatkozik a hosszú átirányítási láncokra és a 404-es URL-ekre: ha sok ilyen van egy webhelyen, a feltérképezési költségkeretet hiába költik el. Ennek eredményeként a keresőrobotok ritkábban keresik fel az oldalt, és összességében rosszabb lesz az indexelés. Ezért van szükség rendszeres auditokra, még akkor is, ha valami általánosságban normálisnak tűnik.

3. Olyan indexelt oldalak észlelése, amelyek nem a Google indexelésére szolgálnak.

Egyes oldalakra nincs szükség a keresési indexben – például a rendszergazdák bejelentkezési oldalaira, fejlesztés alatt álló oldalakra vagy bevásárlókosarakra. Ennek ellenére előfordulhat, hogy ezeket az oldalakat akarata ellenére indexeljük az ütköző szabályok vagy a műszaki fájlokban lévő hibák miatt. Ha például pusztán a robots.txt fájlra hagyatkozik egy oldal letiltásához, az URL-cím továbbra is feltérképezhető, és megjelenhet a keresésben.

4. Elavult oldalak felkutatása és teljes tartalomfelújítás megtervezése.

A Google arra törekszik, hogy a lehető legjobb eredményeket nyújtsa felhasználóinak, így ha a tartalom rossz minőségű, vékony vagy duplikált, előfordulhat, hogy nem sikerül indexelni. Jó, ha van egy listája az összes oldaláról, hogy megtudja, mely témákkal még nem foglalkozott. Ha az összes tartalomkészlet kéznél van, hatékonyabban tervezheti meg tartalmi stratégiáját.

5. Árva oldalak felkutatása és linkelési stratégiák tervezése.

Az árvák olyan oldalak, amelyekben nincsenek bejövő linkek, ezért a felhasználók és a keresőrobotok ritkán vagy egyáltalán nem látogatják meg őket. Az árva oldalakat a Google indexeli, és véletlen felhasználókat vonzhat. A weboldalon található árva oldalak nagy száma azonban rontja a tekintélyét: az oldal szerkezete nem kristálytiszta, az oldalak haszontalannak vagy jelentéktelennek tűnhetnek, és minden holtfa lerontja a webhely teljes láthatóságát.

6. Weboldal újratervezése és architektúrájának megváltoztatása.

A webhely újratervezésének megtervezéséhez és a felhasználói élmény javításához először meg kell találnia az összes oldalt és a releváns mérőszámokat.

Az összes oldal logikus hierarchiájával rendelkező világos és szervezett struktúra segíthet a keresőmotoroknak abban, hogy könnyebben megtalálják a tartalmat. Tehát minden fontos URL-nek elérhetőnek kell lennie a kezdőlaptól egy, két vagy három kattintással.

Bár a felhasználói élmény nem befolyásolja a feltérképezést és a rangsorolást, a webhely minőségi jelzései szempontjából fontos – a sikeres vásárlások, a visszatérő látogatók száma, az egy látogatónkénti oldalmegtekintések és még rengeteg egyéb mutató megmutatja, hogy webhelye mennyire hasznos a látogatók számára.

7. A versenytársak weboldalainak elemzése.

A versenytársak oldalainak auditálásával mélyebbre áshat a SEO stratégiáikban: felfedheti a legnagyobb forgalmú oldalaikat, az oldalakra leginkább hivatkozott oldalakat, a legjobb hivatkozási forrásokat stb. Így értékes betekintést nyerhet, és megtanulhatja, hogy a versenytársak jól működnek.. Kölcsönözheti technikáikat, és összehasonlíthatja az eredményeket, hogy megtudja, hogyan javíthatja saját webhelyét.

Sokféleképpen megkeresheti a webhely összes oldalát, de minden esetben más módszert is használhat. Lássuk tehát az egyes módszerek előnyeit és hátrányait, valamint azt, hogy hogyan lehet őket gond nélkül alkalmazni.

1. Nézz utána a Google keresési operátoraival

A Google kereső segítségével gyorsan megtalálhatja a webhely összes oldalát. Egyszerűen írja be a "site: your domain" kifejezést a keresősávba, és a Google megmutatja a webhely összes indexelt oldalát.

A site:search eredményei megmutatják az összes URL-t, amelyet a Google talált az Ön webhelyén

Fontos azonban megjegyezni, hogy a „site:” operátor által megjelenített keresési eredmények nem feltétlenül tükrözik webhelye indexelt oldalainak pontos számát.

Először is, nincs garancia arra, hogy a Google minden oldalt közvetlenül a feltérképezés után indexel. Különféle okok miatt kizárhat bizonyos oldalakat az indexből: például bizonyos oldalakat ismétlődőnek vagy rossz minőségűnek tekint.

Másodszor, a „site:” keresési operátor megjelenítheti azokat az oldalakat is, amelyeket eltávolítottunk a webhelyéről, de ezek a Google gyorsítótárazott vagy archivált oldalaiként megőrződnek.

Ezért a „site:” keresési lekérdezés jó kiindulópont ahhoz, hogy hozzávetőleges képet kapjon webhelye méretéről. De ahhoz, hogy megtalálja a többi oldalt, amely esetleg hiányzik az indexből, más eszközökre lesz szüksége.

2. Ellenőrizze a robots.txt fájlt

A Robots.txt egy technikai fájl, amely az egyes oldalakra vagy teljes könyvtárakra vonatkozó engedélyezési/letiltási szabályok segítségével utasítja a keresőrobotokat a webhely feltérképezésére vonatkozóan.

Így a fájl nem jeleníti meg a webhely összes oldalát. Segítségével azonban megtalálhatja azokat az oldalakat, amelyekhez nem férhetnek hozzá keresőrobotok.

Hogyan kell

Íme a lépések, hogyan találhatja meg a korlátozott oldalakat a robots.txt használatával:

Íme egy példa a YouTube robotokra vonatkozó direktíváira.

Robot irányelvek a YouTube webhelyhez

Ellenőrizze, hogyan működik. Például a regisztrációs oldal nem engedélyezett. Azonban továbbra is megtalálhatja, ha a Google-on keres – vegye figyelembe, hogy az oldalról nem áll rendelkezésre leíró információ.

A keresési eredmények között olyan oldal jelenik meg, amelyet a robotok direktívája nem engedélyezett

Szükséges újra ellenőrizni a robots.txt szabályait, hogy megbizonyosodjon arról, hogy minden oldala megfelelően fel van térképezve. Ezért előfordulhat, hogy egy eszközre, például a Google Search Console-ra vagy egy webhelyrobotra van szüksége az áttekintéshez. Egy pillanat múlva kitérek rá.

És eddig, ha többet szeretne megtudni a fájl céljáról, olvassa el ezt az útmutatót a weboldalak elrejtéséhez az indexelés elől.

3. Vizsgálja meg az oldaltérképet

A webhelytérkép egy másik technikai fájl, amelyet a webmesterek a webhely megfelelő indexeléséhez használnak. Ez a dokumentum, gyakran XML formátumban, felsorolja a webhelyen található összes URL-t, amelyet indexelni kell. A webhelytérkép értékes információforrás a webhely szerkezetéről és tartalmáról.

A nagy webhelyeknek több webhelytérkép is lehet: mivel a fájl mérete 50 000 URL-re és 50 MB-ra korlátozódik, több részre osztható, és külön webhelytérképet tartalmazhat a könyvtárak, képek, videók stb. számára. E-kereskedelmi platformok, például a Shopify vagy a Wix oldaltérképeket automatikusan létrehozni. Mások számára beépülő modulok vagy webhelytérkép-generátorok állnak rendelkezésre a fájlok létrehozásához.

Hogyan kell

Többek között egy webhely webhelytérképe lehetővé teszi, hogy könnyen megtalálja az összes oldalt, és gondoskodjon azok indexeléséről:

Példa több webhelytérképre, amelyek felsorolják a webhely összes oldalát

Időnként ellenőriznie kell a webhelytérkép helyességét is, mert azzal is előfordulhatnak problémák: lehet, hogy üres, 404-es kóddal válaszol, régen tárolt, vagy egyszerűen rossz URL-eket tartalmaz, amelyeket nem szeretne. hogy megjelenjen az indexben.

A webhelytérkép ellenőrzésének jó módja egy webhely-feltérképező eszköz használata. Számos webhely-feltérképező eszköz érhető el online, és ezek egyike a WebSite Auditor, amely egy hatékony SEO eszköz az egész webhelyre kiterjedő auditokhoz. Nézzük meg, hogyan segíthet a webhely összes oldalának megtalálásában és a technikai fájlok érvényesítésében.

4. Feltérképezés SEO pókkal

Hogyan kell

A következőképpen használhatja a WebSite Auditort webhelye összes oldalának megtalálásához:

Megadhatja az utasításokat egy bizonyos keresőbothoz vagy felhasználói ügynökhöz; kérje meg a robotot, hogy hagyja figyelmen kívül az URL-paramétereket, térképezzen fel jelszóval védett webhelyet, térképezzen fel egy domaint önmagában vagy aldomainekkel együtt stb.

A webrobot beállítása az összes oldal megtalálásához, beleértve azokat is, amelyek nem kapcsolódnak más oldalakhoz

Miután az OK gombra kattintott, az eszköz auditálja a webhelyet, és összegyűjti az összes oldalt a Webhelyszerkezet > Oldalak részben.

A WebSite Auditor segít újra ellenőrizni, hogy az URL-ek megfelelően vannak-e optimalizálva a keresőmotorokhoz. Néhány perc alatt megismerheti az eszközt, mivel a telepítés gyors, a felület pedig meglehetősen intuitív.

Íme egy rövid videó útmutató:

Lássuk, mit kaphat a webhely-feltérképező eszközből.

Gyűjtsd össze az oldalak listáját az összes forrással együtt

Az Összes oldal lapon az oszlopfejlécre kattintva rendezheti a listát URL, cím vagy bármely más oszlop szerint.

A Webhelyszerkezet > Oldalak szakaszban megtalálhatja az összes oldal listáját az összes erőforrással

A keresőmező használatával szűrheti az oldalak listáját kulcsszó vagy oldal URL-címe alapján. Ez akkor lehet hasznos, ha egy adott oldalt vagy oldalcsoportot keres.

Emellett látható oszlopokat is hozzáadhat az oldallal kapcsolatos további információk megjelenítéséhez, például metacímkék, címsorok, kulcsszavak, átirányítások vagy bármely más oldalon található SEO elem.

Végül bármelyik URL-re kattintva megvizsgálhatja a munkaterület alsó felében található oldal összes erőforrását.

Az összes adat kezelhető az eszközön belül, vagy másolható/exportálható CSV vagy Excel formátumban.

Lekérheti a technikai hibák által érintett oldalak listáját

A Webhely-ellenőrzés szakasz az oldalak listáját jeleníti meg a hibatípusok szerint, például:

Keresse meg a webhely összes oldalát a hibatípusok szerint

Az egyes problématípusok alatt magyarázatot talál arra vonatkozóan, hogy miért fontos ez a tényező, és néhány javaslatot talál a megoldására.

Tekintse meg a megjelenített webhelyszerkezetet

Ezenkívül megvizsgálhatja vizuális webhelytérképét a Webhelyszerkezet > Megjelenítés részben, amely az összes URL-címe közötti kapcsolatokat mutatja. Az interaktív térkép lehetővé teszi oldalak és hivatkozások hozzáadását vagy eltávolítását a webhely szerkezetének módosításához. Újraszámíthatja a belső PageRank értékét, és ellenőrizheti az oldalmegtekintéseket (a Google Analytics által nyomon követett).

A webhely összes oldalának megtekintése vizuális webhelytérképen

Használjon generátoreszközöket a műszaki fájlok érvényesítéséhez

Ezen felül a WebSite Auditor ellenőrzi a robots.txt fájl és a webhelytérkép elérhetőségét is.

Lehetővé teszi a technikai fájlok szerkesztését a Webhely eszközökben, és a megfelelő beállításokkal közvetlenül a webhelyére való feltöltését.

Webhelytérkép létrehozása a WebSite Auditorban

A fájlok szerkesztésekor nem kell különösebb szintaxist betartania – csak válassza ki a szükséges URL-eket, és alkalmazza a szükséges szabályokat. Ezután kattintson a fájlok létrehozásához, és mentse őket számítógépére, vagy töltse fel a webhelyre FTP-n keresztül.

Robotdirektívák szerkesztése a WebSite Auditorban

5. Ellenőrizze oldalait a Search Console-ban

Egy másik nagyszerű eszköz webhelye összes oldalának felfedezéséhez a Google Search Console. Segít ellenőrizni az oldalak indexelését, és feltárja azokat a problémákat, amelyek akadályozzák a keresőrobotokat az URL-ek megfelelő indexelésében.

Hogyan kell

Az összes oldalt indexelési állapotuk szerint lebonthatja, beleértve a még nem indexelt oldalakat is.

Így találhatja meg webhelye összes oldalát a Search Console segítségével:

1. Nyissa meg az Indexelés jelentést, és kattintson az Indexelt oldalak adatainak megtekintése elemre. Látni fogja az összes oldalt, amelyet a keresőrobot utoljára feltérképezett a webhelyén. Ne feledje azonban, hogy a táblázatban legfeljebb 1000 URL szerepelhet. Van egy gyorsszűrő az összes ismert oldal rendezésére az összes beküldött URL-ből stb.

A Search Console összes indexelt oldala

2. Engedélyezze a Nem indexelt lapot. Az alábbiakban az eszköz részletesen bemutatja, hogy az egyes URL-címek miért nincsenek indexelve.

A webhely összes olyan oldala, amelyet a Google még nem indexelt

Kattintson az egyes okokra, és tekintse meg a probléma által érintett URL-eket.

A nehézséget az jelenti, hogy nem csak az oldalak fő URL-jeit kapja meg, hanem a horgonylinkeket, az oldalszámozási oldalakat, az URL-paramétereket és más, kézi rendezést igénylő szemetet is. És előfordulhat, hogy a lista hiányos a táblázatban szereplő 1000 bejegyzés korlátja miatt.

Többek között vegye figyelembe, hogy a különböző keresőmotorok más indexelési szabályokkal is rendelkezhetnek, és Önnek a webmesteri eszközöket kell használnia az ilyen problémák megtalálásához és kezeléséhez. Például használja a Bing Webmaster eszközöket, a Yandex Webmastert, a Naver Webmastert és másokat az indexelés ellenőrzéséhez a megfelelő keresőmotorokban.

6. Használja a Google Analytics szolgáltatást

Azt hiszem, a Google Analytics az egyik legszélesebb körben használt elemzési platform, így minden webhelytulajdonos vagy szerkesztő ismeri. A jó öreg Universal Analyticset hamarosan felváltja a Google Analytics 4. Lássuk tehát az eszköz mindkét verzióját.

Hogyan kell

Ha webhelye oldalait össze szeretné gyűjteni a Google Universal Analytics rendszerében, kövesse az alábbi lépéseket:

Az összes oldal megtekintése a Universal Analytics szolgáltatásban

Látni fogja az oldalakat a felhasználói viselkedés statisztikáival, mint például az oldalmegtekintések, a visszafordulási arány, az átlagos oldalon töltött idő stb. Ügyeljen azokra az oldalakra, amelyek minden idők során a legkevesebb oldalmegtekintést kaptak – valószínűleg árva oldalak.

Hasonló folyamat újbóli létrehozása a Google Analytics 4- ben:

Webhelyének összes oldalának megkeresése a Google Analytics 4-ben

Csakúgy, mint a konzol esetében, ez is tartalmazni fog URL-paramétereket és hasonlókat. Az oldalak listáját CSV- vagy Excel-lapként exportálhatja az oldal tetején található Exportálás gombra kattintva.

7. Elemezze a naplókat

Egyes webhelyek valóban hatalmasak, és még az erőteljes SEO-pókok is nehezen tudják feltérképezni az összes oldalukat. A naplóelemzés jó lehetőség a nagy webhelyek összes oldalának megtalálására és vizsgálatára.

Webhelye naplófájljának elemzésével azonosíthatja az összes olyan oldalt, amelyre látogatók érkeznek az internetről, a HTTP-válaszaikat, a feltérképező robotok látogatásának gyakoriságát és így tovább.

A naplófájlok a kiszolgálón vannak, és lekéréséhez a szükséges hozzáférési szintre és egy naplóelemző eszközre lesz szüksége. Tehát ez a módszer jobban megfelel a technológiában jártas embereknek, webmestereknek vagy fejlesztőknek.

Hogyan kell

Íme a lépések, amelyekkel megkeresheti webhelye összes oldalát naplóelemzés segítségével:

8. Dolgozzon a CMS-szel

Egy másik lehetőség a webhely összes oldalának megtalálására, ha a Tartalomkezelő rendszerére (CMS) hivatkozik, mivel ez tartalmazza az Ön által létrehozott webhely összes URL-jét. A CMS-ekre példa a Wordpress vagy a Squarespace, amelyek webhely-építő eszközöket tartalmaznak a tartalom szerkesztéséhez különböző területeken – hírek és blogírás, e-kereskedelem, vállalati webhelyek és hasonlók.

Hogyan kell

Bár a CMS-ek megjelenésükben meglehetősen eltérőek, az általános lépések a legtöbbre vonatkoznak:

Ne feledje, hogy lehetnek kategóriák, blogbejegyzések vagy céloldalak, amelyek különböző típusú oldalak, amelyek a CMS különböző szakaszaihoz tartozhatnak.

Webhelye összes oldalának megkeresése a WordPress CMS-ben

A legtöbb CMS lehetővé teszi az URL-ek rendezését létrehozásuk dátuma, szerző, kategória vagy más kritériumok szerint. A keresőmezővel kulcsszavak vagy címek alapján is szűrheti az oldalak listáját.

Összegzés

A webhely összes oldalának megtalálásához számos módszer és eszköz áll rendelkezésre. Az, hogy melyiket választja, a céltól és az elvégzendő munka terjedelmétől függ.

Remélem, hasznosnak találta ezt a listát, és most könnyedén össze tudja gyűjteni webhelye összes oldalát, még akkor is, ha még nem ismeri a SEO-t.

Ha még meg nem válaszolt kérdésed van, tedd fel bátran Facebook felhasználói csoportunkban.