Google에서 웹사이트 색인을 생성하는 10가지 효과적인 SEO 팁

게시 됨: 2021-01-29

인덱싱되지 않은 웹사이트는 검색어에 나타나지 않고 유기적 트래픽이 발생하지 않기 때문에 존재하지 않는 것과 같습니다. 그렇기 때문에 Google에서 웹사이트 색인을 생성하지 못하도록 할 수 없습니다. 불행히도 이것은 상당히 일반적인 문제입니다.

당황하지 마세요! 이 게시물에서는 Google에서 웹사이트 색인을 생성하는 주요 기술에 대해 설명합니다.

목차

Google 색인은 어떻게 작동합니까?

Google은 다소 복잡한 알고리즘을 기반으로 하지만 페이지 색인을 생성하는 과정은 간단합니다. 검색 엔진은 웹 스파이더, 크롤러 또는 봇으로 알려진 일련의 코드에 의존합니다.

이 스파이더는 웹 페이지를 검사하여 새롭고 업데이트된 콘텐츠를 찾습니다. 이것은 기존 사이트의 새 페이지일 수도 있고 완전히 새로운 웹사이트일 수도 있습니다. 봇은 몇 개의 웹 페이지를 크롤링한 다음 해당 페이지의 링크를 따라 새 URL을 찾습니다 .

얼마 전 Google SERP는 '조작'하기 쉬웠고 기본적으로 키워드와 링크로 웹사이트 색인을 생성하도록 할 수 있었습니다.

오늘날 상황은 완전히 다릅니다. 이러한 키워드는 여전히 중요하지만 Google 은 검색 이면의 사용자 경험과 의도에도 큰 비중을 둡니다. 이제 스파이더가 더 똑똑해졌다고 말할 수 있습니다.

Google 인덱싱은 스파이더가 페이지를 크롤링할 때 페이지에서 찾은 데이터를 처리하는 방법을 나타냅니다.

Google에서 웹사이트 색인을 빠르게 만드는 방법

우리가 말했듯이 Google이 페이지를 색인하지 않는 것은 매우 일반적이지만 원인은 일반적으로 동일합니다.

다음 솔루션을 적용하여 해결할 수 있습니다.

검색 엔진

적절한 robots.txt 지시문이 있는지 확인하십시오.

Google이 사이트의 색인을 생성하지 못하는 이유는 robots.txt 파일에 제공된 지시문 때문일 수 있습니다.

확인하려면 yourdomain.com/robots.txt로 이동하여 다음 두 코드 중 하나를 찾으세요.

 User-agent: Googlebot Disallow: /
 User-agent: * Disallow: /

둘 다 사이트의 어떤 페이지도 크롤링하지 않아야 함을 GoogleBot에 나타냅니다. 더 이상 고민하지 않고 문제를 해결하려면 제거해야 합니다.

noindex 태그 제거

귀하가 그렇게 하지 말라고 지시하면 Google은 귀하의 페이지에 대한 색인을 생성하지 않습니다 . 이는 특정 웹 페이지의 개인 정보를 유지하는 데 유용할 수 있습니다.

검색 엔진에 사이트 색인을 생성하지 않도록 지시하는 두 가지 방법이 있습니다.

메타 태그

Google은 HTML의 <head>에 다음 메타 태그가 있는 페이지의 색인을 생성하지 않습니다.

 <meta name=“robots” content=“noindex”>
 <meta name=“googlebot” content=“noindex”>

Google에서 색인을 생성할 페이지에 있는 "noindex" 태그를 제거해야 합니다. 그렇게 하려면 FandangoSEO와 같은 SEO 크롤러를 사용하여 noindex 태그가 있는 모든 페이지를 빠르게 식별할 수 있습니다.

X-로봇-태그

GoogleBot 은 X-Robots Tag 지시문 도 준수합니다. Google Search Console의 URL 검사 도구를 사용하여 이 지시문으로 인해 Google이 페이지를 크롤링할 수 없는지 확인할 수 있습니다.

이 헤더를 반환하지 않도록 색인을 생성하려는 페이지를 제외하도록 개발자에게 요청해야 합니다.

Google의 Indexing API 또는 GSC 사용

콘텐츠(광고, 채용 정보 등)가 거의 없는 페이지가 많은 사이트는 Google의 Indexing API를 사용 하여 크롤링 및 색인 생성할 새로운 콘텐츠 및 콘텐츠 변경 사항을 자동으로 요청할 수 있습니다.

API를 사용하면 개별 URL을 제출할 수 있습니다. Google이 페이지 색인을 최신 상태로 유지하는 것이 좋습니다. 이 API 덕분에 다음을 수행할 수 있습니다.

  • URL 업데이트 : 크롤링할 새 URL 또는 업데이트된 URL을 Google에 알립니다.
  • URL 삭제: 사이트에서 오래된 페이지가 제거되었음을 검색 엔진에 알립니다.
  • 요청 상태 확인 : GoogleBot이 URL을 마지막으로 크롤링한 시간을 확인합니다.

이것은 FandangoSEO로도 할 수 있는 일입니다. 이 도구를 사용하면 한 번에 최대 200개의 URL을 색인화하도록 Google에 요청할 수 있습니다.

웹 페이지 색인 생성을 가속화하는 또 다른 방법은 Google Search Console을 사용하는 것입니다. GSC URL 검사 도구 를 사용하여 Google에 페이지 재크롤링을 요청하세요. 이는 개별 URL의 크롤링을 요청하는 데 유용합니다. 하루에 최대 12개의 URL 제출이 가능하므로 더 많이 제출해야 하는 경우 XML 사이트맵을 사용하는 것이 좋습니다.

시작하려면 URL 검사 도구를 통해 URL을 검사해야 합니다. 그런 다음 인덱싱 요청 을 선택합니다. 도구는 먼저 색인 문제가 있는지 확인합니다. 그렇지 않은 경우 URL은 크롤링을 위해 대기합니다.

잘못된 표준 태그 제거

표준 태그는 Google에 어떤 버전의 페이지가 우선 적용되는지 알려줍니다. 대부분의 페이지에는 해당 페이지가 포함되어 있지 않으므로 검색 엔진은 해당 페이지를 색인화해야 한다고 가정합니다. 그러나 페이지 에 잘못된 표준 태그가 있는 경우 존재하지 않는 기본 버전에 대해 Google에 알려 오류가 발생할 수 있습니다 .

검색 봇

웹사이트의 표준 태그를 검토하려면 Google URL 검사 도구 또는 SEO 크롤러를 사용하세요. 표준 태그를 포함하지 않아야 하는 페이지를 발견하면 해당 페이지에서 태그를 제거하세요.

사이트맵에 관련 페이지 포함

사이트맵은 필수 페이지와 그렇지 않은 페이지를 Google에 알려줍니다 . 따라서 Google에 사이트맵을 제공하는 것이 중요합니다.

진실은 검색 엔진이 사이트맵에 있는지 여부에 관계없이 귀하의 웹사이트에서 페이지를 찾을 수 있어야 한다는 것입니다. 그러나 Google을 '쉽게 만들어주기' 때문에 페이지를 포함하는 것이 좋습니다.

GSC의 URL 검사 도구를 사용하여 사이트맵에 페이지가 포함되어 있는지 확인할 수 있습니다.

고아 페이지 감지

고아 페이지는 내부 링크가 없는 페이지입니다. Google은 웹을 크롤링할 때 새 콘텐츠를 발견하지만 해당 콘텐츠에 대한 링크가 없으면 논리적으로 분리된 페이지를 찾을 수 없습니다. 사이트 방문자도 마찬가지입니다.

SEO 크롤러를 사용하여 웹사이트에 고아 페이지가 있는지 감지할 수 있습니다. Orphan Pages 가이드에서 자세히 알아보세요.

nofollow 속성이 포함된 내부 링크 수정

Nofollow 링크는 rel=”nofollow” 태그를 포함하고 PageRank가 도착 URL로 전송되는 것을 방지하는 데 사용되는 링크입니다. Google은 이 속성이 이제 힌트로만 작동 한다고 명시한 2020년 3월 1일 Nofollow 업데이트 전까지 이러한 유형의 링크를 추적하지 않았습니다.

내부 링크를 검토하여 nofollow 속성이 포함된 링크를 식별해야 합니다. 대상 페이지의 색인을 생성 하려면 nofollow 지침을 제거 해야 합니다.

강력한 내부 링크 추가

Google이 페이지의 색인을 빠르게 생성하도록 하려면 해당 페이지에 상당한 양의 링크 주스(또는 권한)를 제공하여 이 페이지의 가치를 보여줄 수 있습니다. 페이지를 귀하의 홈페이지에 가능한 한 가깝게 연결하여 이를 수행할 수 있습니다. 페이지에 있는 인링크의 수도 귀하의 사이트에서 차지하는 비중을 나타냅니다.

링크 빌딩

가이드에서 강력한 내부 연결을 만드는 방법에 대해 자세히 알아보세요.

중복 콘텐츠 방지

중복 콘텐츠가 있으면 Google 봇이 혼란스러워합니다 . 검색 엔진은 처음에 각 고유 콘텐츠 집합에 대해 하나의 URL만 인덱싱하므로 유사한 콘텐츠로 인해 인덱싱할 버전을 결정하기 어렵습니다.

유사한 콘텐츠 페이지가 서로 "경쟁"하므로 모든 페이지의 성능에 부정적인 영향을 미칩니다. 그렇기 때문에 중복 콘텐츠를 피해야 합니다.

귀하의 페이지에 가치가 있는지 확인하십시오

품질이 낮은 페이지는 사용자에게 가치를 제공하지 않으므로 Google에서 색인을 생성할 가능성은 낮습니다. 따라서 인덱싱 실패를 설명하는 기술적인 문제가 없다면 그 이유 는 콘텐츠 가치가 부족할 수 있습니다.

페이지가 가치 있고 클릭할 가치가 있는지 자문해 보십시오. 그렇지 않은 경우 내용을 개선해야 합니다. 항상 사용자 의도를 염두에 두십시오.

보시다시피 요점은 기술적인 문제가 페이지의 인덱싱을 방해하지 않는지 확인하는 것입니다. 그리고 이것이 배제되면 사용자에게 가치를 제공하는지 여부를 살펴봐야 합니다.