Google 색인 생성 문제가 있습니까?이 문제는 트래픽과 전환율을 떨어뜨릴 수 있습니다.
문제를 신속하게 해결하려면 사이트의 색인이 생성된 페이지와 색인이 생성되지 않은 페이지를 확인해야 합니다 .여기에서는 Google Search Console – 색인 범위 보고서를 사용하여 수행하는 방법을 단계별로 설명합니다 .
다음 방법을 사용하여 수백만 또는 수십억 개의 제외 페이지가 있는 수백 개의 웹 사이트에서 색인 적용 범위 문제를 해결할 수 있었습니다.관련 페이지 중 어느 것도 검색 결과에서 가시성을 잃지 않고 SEO 트래픽을 높이도록 사용하십시오!
목차
1단계: 인덱스 커버리지 보고서 확인
Search Console 범위 보고서는 Google에서 크롤링하고 색인을 생성한 페이지와 URL이 특정 상태에 있는 이유를 알려줍니다. 이를 사용 하여 크롤링 및 인덱싱 프로세스 중에 발견된 오류 를 감지할 수 있습니다.
색인 적용 범위 보고서를 확인하려면 Google Search Console로 이동하여 적용 범위(색인 바로 아래)를 클릭하십시오.열면 URL을 분류하는 4가지 상태의 요약이 표시됩니다.
오류: 이 페이지는 색인을 생성할 수 없으며 일부 오류로 인해 검색 결과에 표시되지 않습니다.
경고와 함께 유효함: 이 페이지는 Google 검색 결과에 표시되거나 표시되지 않을 수 있습니다.
유효함: 이 페이지는 색인이 생성되었으며 검색 결과에 표시될 수 있습니다.당신은 아무것도 할 필요가 없습니다.
제외됨: 이 페이지는 색인이 생성되지 않았으며 검색 결과에 나타나지 않습니다.Google은 색인을 생성하고 싶지 않거나 콘텐츠가 색인을 생성할 가치가 없다고 생각한다고 생각합니다.
오류 섹션 에서 찾은 모든 페이지를 확인하고 최대한 빨리 수정해야 합니다. 사이트로 트래픽을 유도할 기회를 잃을 수 있기 때문입니다.
시간이 있다면 어떤 상황에서도 검색 결과에 나타나지 않아야 하는 중요한 페이지가 있을 수 있으므로경고와 함께 유효 상태에 포함된 페이지를 살펴보십시오 .
마지막으로제외된 페이지가 색인 생성을 원하지 않는 페이지인지 확인하십시오.
2단계: 각 인덱스 커버리지 상태에서 발견된 문제를 해결하는 방법
색인 범위 보고서를 연 후 원하는 상태(오류, 경고가 있는 유효 또는 제외) 를 선택 하고 페이지 하단에 제공된 세부 정보를 확인하십시오.심각도 와 영향을 받는 페이지 수에 따라 오류 유형 목록을 찾을 수있으므로 표 상단에서 문제 조사를 시작하는 것이 좋습니다.
다양한 상태의 각 오류와 수정 방법을 살펴보겠습니다.
오류 상태
서버 오류(5xx):
Google에 5xx 상태 코드를 반환하는 URL입니다.
취해야 할 조치:
어떤 종류의 500 상태 코드가 반환되는지 확인하십시오 .여기에 각 서버 오류 상태 코드에 대한 정의가 포함된 전체 목록이 있습니다.
URL을 다시 로드하여 오류가 지속되는지 확인합니다.5xx 오류는 일시적이며 조치가 필요하지 않습니다.
서버가 과부하되거나 잘못 구성되지 않았는지 확인하십시오.이 경우 개발자에게 도움을 요청하거나 호스팅 제공업체에 문의하세요.
로그 파일 분석 을 수행하여 서버의 오류 로그를 확인하십시오.이 방법은 문제에 대한 추가 정보를 제공합니다.
최근에 웹 사이트에서 변경한 사항을 검토하여 근본 원인이 있는지 확인하십시오.ex) 플러그인, 새로운 백엔드 코드 등
리디렉션 오류:
리디렉션 프로세스 중에 GoogleBot에서 페이지 크롤링을 허용하지 않는 오류가 발생했습니다.다음 이유 중 하나로 인해 종종 이 문제가 발생합니다.
너무 긴 리디렉션 체인
리디렉션 루프
최대 URL 길이를 초과한 리디렉션 URL
리디렉션 체인에 URL이 잘못되었거나 비어 있습니다.
취해야 할 조치:
리디렉션 체인과 루프를 제거합니다.각 URL이 하나의 리디렉션만 수행하도록 합니다.즉, 첫 번째 URL에서 마지막 URL로 리디렉션합니다.
Robots.txt에 의해 차단된 제출 URL:
XML Sitemap을 Google Search Console에 업로드하는 Google에 제출했지만 Robots.txt 파일에 의해 차단된 URL입니다.
취해야 할 조치:
검색 엔진이 해당 페이지의 색인을 생성하도록 할 것인지 여부를 확인하십시오.
색인을 생성하지 않으려면 URL을 제거한 XML 사이트맵을 업로드하세요.
반대로 색인을 생성하려면 Robots.txt에서 지침을 변경하십시오. 다음은 robots.txt를 수정하는 방법에 대한 안내입니다.
"NOINDEX"로 표시된 제출된 URL:
이 페이지는 XML 사이트맵을 통해 Google에 제출되었지만 메타 로봇 태그 또는 HTTP 헤더에 'noindex' 지시문이 있습니다.
취해야 할 조치:
URL의 색인을 생성하려면 noindex 지시문을 제거해야 합니다.
Google에서 색인 생성을 원하지 않는 URL이 있는 경우 XML Sitemap에서 제거하십시오.
제출된 URL은 Soft 404인 것 같습니다.
색인 생성을 위해 XML Sitemap을 통해 제출한 URL이 소프트 404를 반환합니다 .이 오류는 서버가 요청에 대해 200 상태 코드를 반환하지만 Google은 404를 표시해야 한다고 생각하는 경우에 발생합니다. 즉, 페이지는 Google에 404 오류처럼 보입니다.경우에 따라 페이지에 콘텐츠가 없거나 잘못되었거나 Google에 품질이 낮기 때문일 수 있습니다.
취해야 할 조치:
이러한 URL이 (실제) 404 상태 코드를 반환해야 하는지 조사하십시오.이 경우 XML 사이트맵에서 제거하십시오.
오류를 반환해서는 안 된다고 생각되면 이 페이지에 적절한 콘텐츠를 제공해야 합니다.얇거나 중복되는 콘텐츠를 피하세요.리디렉션이 있는 경우 올바른지 확인합니다.
제출된 URL이 승인되지 않은 요청을 반환함(401):
XML Sitemap을 통해 Google에 제출된 URL이 401 오류를 반환합니다 .이 상태 코드는 URL에 액세스할 수 있는 권한이 없음을 알려줍니다.사용자 이름과 암호가 필요하거나 IP 주소에 따라 액세스 제한이 있을 수 있습니다.
취해야 할 조치:
URL이 401을 반환해야 하는지 확인하십시오. 이 경우 XML 사이트맵에서 제거하십시오.
401 코드를 표시하지 않으려면 HTTP 인증이 있으면 제거하세요.
제출된 URL을 찾을 수 없음(404):
색인 생성을 위해 URL을 Google Search Console에 제출했지만 위에서 언급한 것과 다른 문제로 인해 Google에서 크롤링할 수 없습니다 .
취해야 할 조치:
페이지의 색인을 생성할지 여부를 확인합니다.대답이 예인 경우 수정하여 200 상태 코드를 반환합니다.URL에 301 리디렉션을 할당하여 적절한 페이지를 표시할 수도 있습니다.리디렉션을 선택하는 경우 할당된 URL을 XML 사이트맵에 추가하고 404를 제공하는 URL을 제거해야 합니다.
페이지의 색인을 생성하지 않으려면 XML 사이트맵에서 제거하세요.
제출된 URL에 크롤링 문제가 있습니다.
색인 생성을 위해 URL을 GSC에 제출했지만 위에서 언급한 것과 다른 문제로 인해 Google에서 크롤링할 수 없습니다.
취해야 할 조치:
URL 검사 도구를 사용 하여 문제의 원인에 대한 자세한 정보를 얻으십시오.
때때로 이러한 오류는 일시적이므로 조치가 필요하지 않습니다.
경고 상태와 함께 유효
이러한 페이지는 robots.txt에 의해 차단되지만 색인이 생성됩니다.Google은 항상 robots.txt 파일에 제공된 지시를 따르려고 합니다.그러나 때로는 다르게 작동합니다.예를 들어 누군가가 주어진 URL에 링크할 때 이런 일이 발생할 수 있습니다.
Google이 검색 결과에서 이러한 페이지를 차단할지 여부를 의심 하기 때문에 이 카테고리에서 URL을 찾았습니다.
취해야 할 조치:
페이지 색인 생성을 피하기 위해 robots.txt 파일을 사용하지 않는 것이 좋습니다.대신 이러한 페이지의 색인이 생성되는 것을 원하지 않으면 메타 로봇 또는 HTTP 응답 헤더에서 noindex를 사용하십시오.
Google이 페이지에 액세스하지 못하도록 하는 또 다른 좋은 방법은 HTTP 인증을 구현하는 것입니다.
페이지를 차단하지 않으려면 robots.txt 파일에서 필요한 사항을 수정하세요.
robots.txt 테스터를 사용하여 페이지를 차단하는 규칙을 식별할 수 있습니다.
나치르 투라도, 판당고SEO 어드바이저 기술 SEO 프리랜서 @ Natzir Turrado
SalesForce로의 대규모 마이그레이션에서 우리는 인덱싱하고 싶지 않은 필터를 액세스할 수 없도록(난독화) 개발자에게 요청했습니다. Salesforce 웹 사이트가 가동되었을 때 모든 것이 성공적이었습니다. 그러나 몇 달 후 새 버전이 출시되었을 때 난독화가 실수로 중단되었습니다. 단 7일 만에 Googlebot-Mobile 요청이 1,750만 건, Googlebot/2.1이 1,250만 건, 적중률 캐시가 2%였기 때문에 모든 경보가 울렸습니다. 아래에서 Search Console에서 색인이 생성되었지만 로봇에 의해 차단된 페이지가 어떻게 증가했는지 확인할 수 있습니다.
이것이 내가 지속적으로 로그를 모니터링하고 GSC 적용 범위 보고서를 검토하는 것을 권장하는 이유입니다. robots.txt는 페이지의 색인 생성을 막지 않습니다. Google이 URL을 크롤링하지 않도록 하려면 URL에 액세스할 수 없도록 하는 것이 가장 좋습니다!
제외 상태
이 페이지는 검색 결과에 색인이 생성되지 않으며 Google은 이것이 옳은 일이라고 생각합니다.예를 들어, 색인이 생성된 페이지의 중복 페이지이거나 색인을 생성하도록 검색 엔진에 웹사이트 지침을 제공하기 때문일 수 있습니다.
적용 범위 보고서는 귀하의 페이지가 제외될 수 있는 15가지 상황을 보여줍니다 .
'noindex' 태그에 의해 제외됨:
"noindex" 지시어를 제공하여 검색 엔진에 페이지의 색인을 생성하지 않도록 지시하고 있습니다.
페이지를 열고 응답 본문과 응답 헤더에서 "noindex"를 검색하여 이 지시문이 있는지 확인할 수 있습니다.
페이지 제거 도구에 의해 차단됨:
GSC에서 이 페이지에 대한 URL 제거 요청을 제출했습니다.
취해야 할 조치:
Google은 90일 동안만 이 요청에 참석하므로 페이지의 색인을 생성하지 않으려면 "noindex" 지시문을 사용하거나 HTTP 인증을 구현하거나 페이지를 제거하십시오.
robots.txt에 의해 차단됨:
robots.txt 파일을 사용하여 이 페이지에 대한 Googlebot의 액세스를 차단하고 있습니다.그러나 Google이 페이지를 로드하지 않고 이 페이지에 대한 정보를 찾을 수 있다면 여전히 색인이 생성될 수 있습니다.robots.txt에 허용 안 함을 추가하기 전에 Google에서 페이지를 색인 생성했을 수 있습니다.
취해야 할 조치:
페이지의 색인을 생성하지 않으려면 "noindex" 지시문을 사용하고 robots.txt 블록을 제거하세요.
무단 요청으로 인해 차단됨(401):
요청 승인(401 응답)을 사용하여 Google에 대한 액세스를 차단하고 있습니다.
취해야 할 조치:
GoogleBot이 페이지를 방문하도록 허용하려면 승인 요구 사항을 제거하세요.
크롤링 이상:
4xx 또는 5xx 오류 응답 코드로 인해 페이지가 인덱싱되지 않았습니다.
취해야 할 조치:
URL 검사 도구를 사용하여 문제에 대한 자세한 정보를 얻으십시오.
크롤링 - 현재 색인이 생성되지 않음
이 페이지는 GoogleBot에서 크롤링했지만 색인이 생성되지 않았습니다.나중에 색인이 생성될 수도 있고 그렇지 않을 수도 있습니다.크롤링을 위해 이 URL을 제출할 필요가 없습니다.
취해야 할 조치:
검색 결과에서 페이지의 색인을 생성하려면 중요한 정보를 제공해야 합니다.
발견됨 – 현재 인덱싱되지 않음:
Google에서 이 페이지를 찾았지만 아직 크롤링하지 못했습니다 .이 상황은 일반적으로 GoogleBot이 페이지를 크롤링하려고 할 때 사이트에 과부하가 걸리기 때문에 발생합니다.크롤링이 다른 시간에 예약되었습니다.
조치가 필요하지 않습니다.
적절한 표준 태그가 있는 대체 페이지:
이 페이지는 표준 페이지를 가리키므로 Google은 귀하가 색인을 생성하고 싶지 않다는 것을 이해합니다.
취해야 할 조치:
이 페이지의 색인을 생성 하려면rel=canonical 속성을 변경하여 Google에 원하는 지침을 제공해야 합니다.
사용자가 선택한 표준 없이 복제:
페이지에 중복 항목이 있지만 어느 것도 표준으로 표시되지 않습니다.Google은 이것이 표준이 아니라고 생각합니다.
취해야 할 조치:
표준 태그를 사용하여 어떤 페이지가 표준 페이지이고(인덱싱해야 함) 어떤 페이지가 중복 페이지인지 Google에 명확하게 알립니다. URL 검사 도구 를 사용하여 Google에서 표준으로 선택한 페이지를 확인할 수 있습니다.
중복, Google은 사용자와 다른 표준을 선택했습니다.
이 페이지를 표준으로 표시했지만 대신 Google에서 표준으로 더 잘 기능한다고 생각하는 다른 페이지의 색인을 생성했습니다.
취해야 할 조치:
Google의 선택을 따를 수 있습니다.이 경우 색인이 생성된 페이지를 표준으로 표시하고 이 페이지를 표준 URL의 복제본으로 표시합니다.
그렇지 않은 경우 Google이 선택한 페이지보다 다른 페이지를 선호하는 이유를 찾아 필요한 변경을 수행합니다.URL 검사 도구를 사용하여 Google이 선택한 "표준 페이지"를 찾습니다.
페란 개빈, SEO 관리자 @ Softonic
Index Coverage Report에서 우리가 경험한 가장 흥미로운 "실패" 중 하나는 Google이 표준을 올바르게 처리하지 않는다는 것을 발견한 것입니다(그리고 우리는 수년간 잘못 처리했습니다!). Google은 페이지 형식이 완벽할 때 지정된 표준이 유효하지 않다고 Search Console에 표시했습니다. 결국 Gary Ilyes가 확인한 Google 자체의 버그로 밝혀졌습니다.
찾을 수 없음(404):
Google에서 요청할 때 페이지에서 404 오류 상태 코드를 반환합니다 .GoogleBot은 사이트맵을 통해 페이지를 찾지 못했지만 아마도 URL에 링크된 다른 웹사이트를 통해 페이지를 찾았을 것입니다.이 URL이 과거에 존재하고 제거되었을 수도 있습니다.
취해야 할 조치:
404 응답이 의도적이라면 그대로 두어도 됩니다.SEO 성능에 해를 끼치 지 않습니다.그러나 페이지가 이동했다면 301 리디렉션을 구현하세요.
법적 신고로 인해 삭제된 페이지:
이 페이지는 법적 불만 사항으로 인해 색인에서 제거되었습니다.
취해야 할 조치:
귀하가 위반했을 수 있는 법적 규칙을 조사하고 이를 시정하기 위해 필요한 조치를 취하십시오.
리디렉션이 있는 페이지:
이 URL은 리디렉션이므로 색인이 생성되지 않았습니다.
취해야 할 조치:
URL이 리디렉션되지 않아야 하는 경우 리디렉션 구현을 제거합니다.
소프트 404:
페이지는 Google이 소프트 404 응답이라고 생각하는 것을 반환합니다.200 상태 코드를 제공하지만 Google에서는 404를 반환해야 한다고 생각하기 때문에 페이지의 색인이 생성되지 않습니다 .
취해야 할 조치:
Google이 제안한 대로 페이지에 404를 할당해야 하는지 검토하세요.
페이지에 중요한 콘텐츠를 추가하여 Google에 Soft 404가 아님을 알립니다.
중복 제출된 URL이 표준으로 선택되지 않음:
색인 생성을 위해 URL을 GSC에 제출했습니다.그러나 페이지에 표준 태그가 없는 중복 항목이 있기 때문에 색인이 생성되지 않았으며 Google은 표준 태그가 더 나은 후보가 있다고 생각합니다.
취해야 할 조치:
표준 페이지에 대한 Google의 선택을 따를 것인지 결정하십시오. 이 경우 Google에서 선택한 페이지를 가리 키도록 rel=canonical 속성 을 할당합니다 .
URL 검사 도구를 사용하여 Google에서 표준으로 선택한 페이지를 확인할 수 있습니다.
이 URL을 표준으로 사용하려면 Google이 다른 페이지를 선호하는 이유를 분석하세요.선택한 페이지에 더 높은 가치의 콘텐츠를 제공합니다.
3단계. 인덱스 커버리지 보고 가장 일반적인 문제
이제 Index Coverage 보고서에서 찾을 수 있는 다양한 유형의 오류와 각 오류가 발생했을 때 취해야 할 조치를 알게 되었습니다.다음은 가장 자주 발생하는 문제에 대한 간략한 개요입니다.
유효한 페이지보다 더 많이 제외됨
때로는 유효한 페이지보다 제외된 페이지가 더 많을 수 있습니다.이러한 상황은 일반적으로 URL이 크게 변경된 대규모 사이트에서 발생합니다 .아마도 오랜 역사를 가진 오래된 사이트이거나 웹 코드가 수정되었을 것입니다.
두 상태(제외됨 및 유효함)의 페이지 수에 상당한 차이가 있으면 심각한 문제가 있는 것입니다.위에서 설명한 대로 제외된 페이지 검토를 시작합니다.
에스테브 카스텔스, 그룹 SEO 관리자 @ Adevinta
Coverage Report에서 내가 본 가장 큰 문제는 내가 관리하는 웹 사이트 중 하나이며 결국 50억 페이지가 제외되었습니다.네, 정확히 50억 페이지를 읽었습니다.패싯 탐색은 완전히 미쳤고 모든 페이지뷰에 대해 Googlebot이 크롤링할 20개의 새로운 URL을 생성했습니다.
이는 크롤링 측면에서 가장 값비싼 실수로 끝이 났습니다.Googlebot이 하루에 2천 5백만 건 이상의 조회로 서버를 중단시켰기 때문에 robots.txt를 통해 패싯 탐색 URL을 완전히 허용하지 않아야 했습니다.
오류 스파이크
오류가 기하급수적으로 증가하면 오류를 확인하고 최대한 빨리 수정해야 합니다.Google은 웹사이트의 성능을 심각하게 손상시키는 몇 가지 문제를 감지했습니다 .오늘 문제를 수정하지 않으면 내일 심각한 문제가 발생합니다.
서버 오류
이러한 오류가 503(서비스를 사용할 수 없음)이 아닌지 확인하십시오 .이 상태 코드는 서버가 일시적인 과부하 또는 유지 보수로 인해 요청을 처리할 수 없음을 의미합니다.처음에는 오류가 저절로 사라져야 하지만 계속 발생하면 문제를 살펴보고 해결해야 합니다.
다른 유형의 5xx 오류가 있는 경우 가이드를 확인하여 각 경우에 취해야 하는 조치를 확인하는 것이 좋습니다.
404 오류
Google이 404(찾을 수 없는 페이지)를 생성하는 웹사이트의 일부 영역을 감지한 것 같습니다.볼륨이 상당히 커지면 가이드를 검토하여 끊어진 링크를 찾아 수정하십시오.
누락된 페이지 또는 사이트
보고서에 페이지나 사이트가 표시되지 않는 경우 여러 가지 이유가 있을 수 있습니다.
구글은 아직 그것을 발견하지 못했습니다.페이지나 사이트가 새로운 경우 Google에서 페이지나 사이트를 찾는 데 시간이 걸릴 수 있습니다.색인 생성 프로세스를 가속화하려면 사이트맵 또는 페이지 크롤링 요청을 제출하세요.또한 페이지가 고아가 아니며 웹 사이트에서 링크되어 있는지 확인하십시오.
로그인 요청으로 인해 Google에서 귀하의 페이지에 액세스할 수 없습니다 .GoogleBot이 페이지를 크롤링할 수 있도록 승인 요구 사항을 제거하세요.
페이지에 noindex 태그가 있거나 어떤 이유로 색인에서 삭제되었습니다 .noindex 태그를 제거하고 페이지에서 가치 있는 콘텐츠를 제공하고 있는지 확인하십시오.
"제출되었지만/제출됨" 오류 및 제외
이 문제는 불일치가 있을 때 발생합니다.사이트맵을 통해 페이지를 보내는 경우 해당 페이지가 인덱싱에 유효한지, 사이트에 링크되어 있는지 확인해야 합니다.
귀하의 사이트는 대부분 연결할 가치가 있는 가치 있는 페이지로 구성되어야 합니다.
요약
다음은 "색인 적용 범위 오류를 찾고 수정하는 방법" 문서의 3단계 요약입니다.
색인 범위 보고서를 사용할 때 가장 먼저 하고 싶은 일은 오류 상태에 나타나는 페이지를 수정하는 것입니다 .Google 처벌을 피하려면 0이어야 합니다.
둘째, 제외된 페이지를 확인하고 색인을 생성하고 싶지 않은 페이지인지 확인하십시오.그렇지 않은 경우 지침에 따라 문제를 해결하십시오.
시간이 있다면 경고와 함께 유효한 페이지를 확인하는 것이 좋습니다 .robots.txt에 제공한 지침이 정확하고 불일치가 없는지 확인하십시오.
도움이 되셨기를 바랍니다.지수 커버리지 보고서에 대해 질문이 있으면 알려주십시오.아래 의견에서 조언을 듣고 싶습니다.
