가장 일반적인 색인 문제 및 해결 방법

색인 생성 문제로 인해 SEO 노력이 무용지물이 될 수 있습니다. 페이지가 완벽하게 최적화되고 훌륭한 UX를 갖추고 있을 수 있지만 Google에서 이를 확인하지 못하면 아무 가치도 없습니다. 색인이 생성되지 않은 페이지는 SERP에 포함되지 않으며 트래픽과 전환을 가져오지 않습니다.

반대로, Google에서 색인을 생성할 의도가 없었던 페이지를 가끔 확인하고 색인을 생성하는 경우 개인정보 유출 위험이 있고 품질이 낮은 콘텐츠에 대한 Google의 처벌 및 기타 만족스럽지 못한 결과가 발생할 수 있습니다.

이 가이드에서는 어떤 종류의 색인 문제가 존재하는지, 그리고 이러한 문제로 인해 급격한 순위 하락이 발생하지 않도록 수정하는 방법을 공유하겠습니다. 하지만 먼저 웹사이트에 색인 생성 문제가 있는지 확인하는 방법을 살펴보겠습니다.

인덱싱 문제를 발견하는 방법은 무엇입니까?

Google Search Console은 귀하의 사이트에 어떤 색인 생성 문제가 있는지에 대한 기본적이면서도 충분한 이해를 제공할 수 있습니다. 이를 보려면 색인 > 페이지 보고서를 참조하세요.

어떤 이유로든 색인이 생성되지 않은 페이지는 색인이 생성되지 않음 섹션 아래에 배치됩니다. 색인이 생성되었지만 여전히 문제가 있어 주의가 필요한 페이지는 페이지 하단의 페이지 모양 개선 섹션에서 확인할 수 있습니다.

문제를 더 자세히 조사하려면 오류 줄을 클릭한 다음 확인하려는 URL 근처의 렌즈 아이콘을 클릭하세요.

Search Console은 세부정보를 표시하고 페이지에 어떤 문제가 있는지 식별하는 데 도움을 줍니다.

더 깊이 파고들어 페이지 사운드를 만들기 위해 수정해야 할 사항에 대한 권장 사항을 얻으려면 WebSite Auditor 의 색인 생성 및 크롤링 가능성 섹션을 참조하세요.

이 도구는 오류가 있는 모든 URL을 수집하므로 각 페이지를 별도로 수동으로 확인할 필요가 없습니다.

자, 이제 "찾을 수 있는 곳" 부분은 끝났습니다. 이제 어떤 유형의 색인 문제를 찾을 수 있는지, 그리고 웹사이트의 크롤링 및 색인을 유지하기 위해 문제를 해결하는 방법을 살펴보겠습니다.

1. 찾을 수 없음(404)

찾을 수 없음(404) 또는 손상된 URL은 아마도 가장 일반적인 색인 생성 문제 중 하나일 것입니다. 여러 가지 이유로 페이지에 404 상태 코드가 있을 수 있습니다. 예를 들어, URL을 삭제했지만 사이트맵에서 페이지를 제거하지 않았거나 URL을 잘못 입력한 경우 등이 있습니다.

Google이 말했듯 이 404 자체는 URL(즉, Google에 명시적으로 색인을 생성하도록 요청한 URL)이 제출될 때까지 사이트 성능에 해를 끼치지 않습니다.

색인 생성 보고서에 404 URL이 표시되는 경우 의도하지 않은 문제가 발생할 경우 이를 해결하는 방법에 대한 가능한 옵션은 다음과 같습니다.

GSC는 404(찾을 수 없음)와 410(사라짐)을 구별하지 않고 404 보고서에 함께 표시합니다. 이는 다양한 유형의 응답 코드였습니다. 404는 '찾을 수 없지만 나중에 찾을 수 있음'을 의미하고, 410은 '찾을 수 없으며 영원히 사라지지 않을 것'을 의미했습니다.

현재 Google에서는 404와 410을 모두 동일하게 취급하므로 404 보고서에서 410 페이지를 발견하더라도 걱정할 필요가 없다고 말합니다. 제가 제안하는 유일한 방법은 트래픽을 절약하고 사용자가 귀하의 사이트에서 이탈하는 것을 방지하기 위해 빈 410 대신 맞춤 404 페이지를 설정하는 것입니다.

많은 SEO와 사이트 소유자는 404를 홈페이지로 리디렉션하는 습관을 갖고 있지만 사실 이는 최선의 방법은 아닙니다. 그렇게 하면 Google에 혼란을 주고 소프트 404 문제가 발생하게 됩니다. 자, 이 소프트 404가 무엇인지 살펴보겠습니다.

2. 소프트 404

Soft 404 문제는 페이지에 200 OK 응답이 있지만 Google이 해당 콘텐츠를 찾을 수 없어 404로 간주할 때 발생합니다. Soft 404는 여러 가지 이유로 발생할 수 있으며 그 중 일부는 사용자 브라우저의 오류와 같이 사용자에게 의존하지 않을 수도 있습니다. 다음은 몇 가지 이유입니다.

이러한 문제는 실제로 해결하기가 그리 어렵지 않습니다. 다음은 몇 가지 일반적인 시나리오입니다.

3. 승인되지 않은 요청으로 인해 차단됨(401)

401 오류는 Googlebot이 승인이 필요한 페이지에 접근하려고 시도하고 서버가 Googlebot의 접근을 차단할 때 발생합니다.

해당 페이지의 색인을 생성하려면 Googlebot에 관련 권한을 부여하거나 승인 요청을 삭제하세요.

4. 접근금지(403)로 인해 차단되었습니다.

이러한 유형의 오류는 사용자 에이전트가 페이지에 들어가기 위한 자격 증명(로그인, 비밀번호)을 제공했지만 실제로 그렇게 할 수 있는 액세스 권한이 부여되지 않았을 때 발생합니다. 하지만 Googlebot은 사용자 인증 정보를 제공하지 않으므로 서버는 의도한 페이지 대신 403을 반환합니다.

페이지가 실수로 차단되어 실제로 색인을 생성해야 하는 경우 로그인하지 않은 사용자의 액세스를 허용하거나 Googlebot이 페이지에 들어가 페이지를 읽고 색인을 생성하도록 명시적으로 허용하세요.

5. 'NOINDEX'라고 표시된 제출된 URL

이름에서 알 수 있듯이 이 오류는 Google에 페이지 색인을 명시적으로 요청했지만(예: 페이지를 사이트맵에 추가하거나 색인 생성을 수동으로 요청하는 경우) 해당 페이지에 NOINDEX 태그가 있는 경우에 발생합니다.

해결 방법은 매우 간단합니다. Google이 페이지에 액세스할 수 있도록 noindex 태그를 제거하세요.

6. robots.txt에 의해 차단된 URL

robots.txt를 사용하여 페이지를 차단하면 Google은 해당 페이지를 크롤링하지 않습니다. 페이지 색인을 생성하려면 제한사항을 제거하세요.

참고: Robots.txt는 페이지의 색인이 생성되지 않는다는 것을 보장하지 않습니다. 그렇기 때문에 때때로 Google Search Console에 다음과 같은 내용이 표시될 수 있습니다.

이와 같은 문제는 색인이 생성되지 않은 페이지보다 더 많은 문제를 가져올 수 있습니다. Google은 SERP에 표시할 의도가 없었던 정보(장바구니, 개인 데이터 등)에 액세스하고 공개할 수 있기 때문입니다.

그러한 문제가 발생하면 페이지 색인이 필요한지 여부를 결정하십시오. 그렇다면 robots.txt 파일에서 URL을 제거하세요. 그렇지 않은 경우 robots.txt에서도 삭제하되 NOINDEX 태그를 적용하거나 승인되지 않은 사용자의 액세스를 제한하세요. 새로운 제한사항을 적용한 후에는 GSC( Index > Removals > New request)를 통해 색인에서 페이지를 삭제하도록 Google에 요청할 수도 있습니다.

7. 콘텐츠 없이 색인이 생성됨

이는 색인이 생성되지 않은 페이지보다 사이트 성능에 더 나쁜 영향을 미칠 수 있는 또 다른 유형의 문제입니다. Google은 빈 페이지를 선호하지 않으며 빈 페이지는 스팸 사이트 및 품질이 낮은 콘텐츠를 나타내는 신호이므로 게재순위를 낮출 가능성이 높습니다.

일부 페이지가 콘텐츠 없이 색인이 생성됨 상태인 경우 수동으로 URL을 확인하여 이유를 알아보세요. 예를 들어:

보이는 것에 따라 조치를 취하십시오.

예를 들어 페이지가 너무 비어 있으면 콘텐츠를 더 추가하세요. 여기에서 WebSite Auditor 의 콘텐츠 편집기 섹션을 통해 SERP 경쟁사를 확인하고 모범 사례를 따를 수 있습니다.

영향을 받은 페이지에 일부 렌더링 차단 콘텐츠가 있을 수 있다고 의심되는 경우 타사 스크립트를 활용하는 팝업을 확인하고 해당 팝업이 올바르게 작동하고 실제로 Google에서 읽을 수 있는지 확인하세요. 전체적으로 Google은 사용자가 보는 것과 동일한 방식으로 페이지 콘텐츠를 보아야 합니다.

페이지 콘텐츠가 가려진 경우 Google이 모든 스크립트나 이미지에 액세스할 수 있는지 확인하세요.

8. 리디렉션 오류

SEO 커뮤니티에서는 URL 리디렉션에 대해 많이 이야기해 왔습니다. 그럼에도 불구하고 SEO는 리디렉션 오류와 색인 손상으로 이어지는 실수를 계속하고 있습니다. Google이 리디렉션을 올바르게 읽을 수 없는 몇 가지 일반적인 이유는 다음과 같습니다.

리디렉션 오류를 해결하는 유일한 방법은 한 가지 문구로 요약됩니다. 리디렉션을 올바르게 설정하세요. SEO 크롤링 예산 만 낭비하고 링크 주스만 낭비하는 긴 리디렉션 체인을 피하고 체인에 404 또는 410 URL이 없는지 확인하고 항상 URL을 관련 페이지로 리디렉션하십시오.

9. 서버 오류(5xx)

서버 오류는 서버가 충돌하거나, 시간이 초과되었거나, Googlebot이 왔을 때 다운되었기 때문에 발생할 수 있습니다.

여기서 가장 먼저 해야 할 일은 영향을 받은 URL을 확인하는 것입니다. GSC의 URL 검사 도구로 이동하여 여전히 오류가 표시되는지 확인하세요. 괜찮다면 할 수 있는 유일한 일은 재색인을 요청하는 것뿐입니다.

여전히 오류가 있는 경우 오류 특성에 따라 다음 옵션을 사용할 수 있습니다.

모든 문제를 해결한 후에는 Google에서 페이지를 더 빠르게 가져올 수 있도록 색인 다시 생성을 요청하세요.

10. 사용자가 선택한 표준 없이 복제

사용자가 선택한 표준이 없는 중복은 다양한 목적을 위해 디자인된 동일하거나 매우 유사한 콘텐츠가 포함된 페이지가 많은 다중 언어 및/또는 전자상거래 사이트에서 흔히 발생하는 문제입니다. 이 경우 중복 콘텐츠 문제를 방지하려면 한 페이지를 표준 페이지로 표시해야 합니다.

11. 중복, Google은 사용자와 다른 표준을 선택했습니다.

이것은 흥미로운 것입니다. 귀하가 특정 페이지를 표준 페이지로 지정했지만 Google이 해당 페이지의 다른 버전을 표준 페이지로 선택하여 대신 색인을 생성하는 경우가 발생할 수 있습니다.

이러한 오류를 수정하는 가장 쉬운 방법은 Google이 선택한 페이지에 표준 태그를 추가하여 향후 혼동을 방지하는 것입니다. 선택한 페이지의 표준을 유지하려면 Google에서 선택한 페이지를 필요한 URL로 리디렉션할 수 있습니다.

12. 적절한 표준 태그가 있는 대체 페이지

Google은 페이지가 표준 페이지와 중복되기 때문에 페이지의 색인을 생성하지 않습니다. 그냥 그대로 두세요.

13. 발견됨 - 현재 색인이 생성되지 않음

페이지가 발견됨 상태인 경우 Google이 이미 해당 페이지를 발견했지만 아직 크롤링 및 색인화하지 않은 것입니다. 여기서 할 수 있는 유일한 일은 의심스러운 경우 페이지의 색인 생성 지침을 확인하는 것입니다. 모든 것이 괜찮다면(즉, 의도한 대로) 나머지는 나중에 Google에 맡기세요.

14. 크롤링됨 - 현재 색인이 생성되지 않음

논리적으로 이 설명은 Google이 페이지를 크롤링했지만 색인을 생성하지 않았음을 의미합니다. 색인 생성 지침에 반대 내용이 명시되어 있지 않으면 페이지가 색인화됩니다. 색인 다시 생성을 요청할 필요가 없습니다. Googlebot은 페이지가 색인 생성될 차례를 기다리고 있다는 것을 알고 있습니다.

Google에서 감지하지 못한 색인 생성 문제를 다시 확인하세요.

Google Search Console은 색인 생성 문제를 찾아 해결하는 데 많은 도움을 줄 수 있습니다. 하지만 단점만 없으면 너무 좋을 것 같아요. 문제는 Search Console은 Google이 페이지를 가져오려고 시도했지만 어떤 이유로든 실패할 때만 문제를 표시한다는 것입니다. 이러한 페이지가 Google에서 발견되지 않은 경우 GSC에는 색인 문제에 대한 개념이 없습니다. 문제가 중요할 수도 있고 실제로는 그 중 많은 문제가 있을 수도 있습니다.

WebSite Auditor는 이와 같은 문제를 찾아 해결하는 데 도움을 줄 수 있습니다. 사이트 구조 > 페이지 로 이동하여 필요한 작업 공간에서 Google 열의 캐시 날짜를 활성화하세요.

그러면 페이지가 Google에 캐시된 날짜를 확인할 수 있습니다.

이제 캐시 날짜를 살펴보세요.

날짜가 다소 너무 멀거나(1년 이상 전) 전혀 누락된 경우 Google은 해당 페이지가 존재하는지 알지 못할 가능성이 높습니다. 그리고 그 이유를 알아내야 합니다.

먼저, 동일한 작업 공간에 있는 페이지 링크 열을 살펴보세요. 링크가 없으면 이는 고립된 페이지이고 Google이 귀하의 웹사이트를 크롤링하여 해당 페이지를 찾을 수 없음을 의미합니다. 페이지 색인을 생성하려면 관련성이 높고 트래픽이 많은 페이지에서 해당 페이지로 연결하세요.

또한 로봇 지침 열을 확인하고 허용되지 않음 으로 표시된 페이지를 자세히 살펴보세요. 색인을 생성하려는 페이지를 실수로 차단했을 수도 있습니다.

시각화는 인덱싱 문제를 찾는 데 유용한 또 하나의 모듈입니다.

여기서는 고아 페이지(다른 페이지에 연결되지 않은 페이지), 손상된 페이지(빨간색으로 강조 표시됨) 및 긴 리디렉션 체인을 쉽게 발견할 수 있습니다. 이는 일부 페이지가 색인화되지 않는 이유이기도 합니다.

모든 문제를 발견하고 수정한 후에는 도구에 새 사이트맵(및 필요한 경우 robots.txt 파일)을 생성하도록 요청하세요. 이 사이트맵은 필요한 모든 페이지를 검색할 수 있도록 Google에 추가로 전송됩니다.

고정 URL을 최대한 빨리 인덱싱해야 하는 경우 Google Search Console에서 수동으로 재인덱싱을 요청할 수 있습니다.

그것을 요 ​​약하기

언제든지 오류가 발생할 수 있으므로 페이지 색인 생성 방법을 정기적으로 감사하세요. 어떤 이유로든 호스팅 제공업체 문제부터 Google 알고리즘이 사물을 처리하는 방식에 영향을 미칠 수 있는 Google 버그 및 Google 업데이트에 이르기까지 다양합니다.

가장 자주 직면하는 색인 ​​생성 문제는 무엇입니까? Facebook SEO 커뮤니티에서 귀하의 경험을 공유해 보세요.