구글봇이란? Google 색인 생성에 대해 알아야 할 모든 것

구글봇이란?

Googlebot은 Google 웹 크롤러의 이름입니다. 웹 페이지를 "읽고" 색인을 생성하여 검색 용어에 대한 응답으로 검색자에게 제공될 수 있습니다.

Googlebot에는 두 가지 중요한 작업이 있습니다.

1. 가능한 한 많은 콘텐츠를 색인화할 수 있도록 웹 페이지에서 새 링크를 지속적으로 탐색하고,
2. Google 색인을 최신 상태로 유지하기 위해 페이지에 대한 새로운 정보를 수집합니다.

이름은 하나뿐이지만 실제로 Googlebot에는 두 가지 유형이 있습니다. 하나는 모바일용(Googlebot 스마트폰)이고 다른 하나는 데스크톱용(Googlebot Desktop)입니다. 전자는 스마트폰과 태블릿에서 사이트가 얼마나 잘 렌더링되는지 확인하고 후자는 웹사이트의 데스크톱 버전에 중점을 둡니다.

Googlebot 최적화는 Google이 웹사이트에 더 쉽게 액세스하고 크롤링하고 '읽을 수 있도록' 만드는 것입니다. 많은 SEO 전술이 검색 성능에 영향을 미치지만 사이트의 "색인성"을 개선하고 Google 사용자가 페이지를 사용할 수 있는지 여부에 직접적인 영향을 줄 수 있는 몇 가지 필수 구현이 있습니다. 온페이지 및 오프페이지 SEO 전략 외에도 SEO 전략에는 검색 엔진 결과에 나타날 가능성을 높이는 데 도움이 되는 기술적 SEO 목표가 포함되어야 합니다.

Googlebot에만 집중하는 이유는 무엇입니까? 다른 검색 엔진의 크롤러는 어떻습니까? 글쎄요, 구글은 현재 검색 시장의 92%를 차지하고 있기 때문에 대부분의 타겟 고객이 그것을 사용하고 있을 것입니다. 그러나 다음 권장 사항을 따르면 모든 크롤러가 페이지를 더 쉽게 읽을 수 있습니다.

Google 인덱싱은 어떻게 작동합니까?

Google이 사이트의 색인을 생성할 때 기본적으로 해당 사이트를 지식 데이터베이스에 추가하고 페이지의 내용, 페이지의 사용자 친화성 등을 기록합니다. 그러나 Googlebot은 웹사이트가 존재하고 색인이 생성되어야 한다는 것을 어떻게 알 수 있습니까?

이전에 웹사이트를 만든 적이 있다면 게시하자마자 유기적 트래픽이 발생하지 않았다는 사실을 알아차렸을 것입니다. 페이지를 크롤링할 수 있도록 Googlebot이 웹사이트를 인식하도록 해야 하기 때문입니다. XML 사이트맵을 Google Search Console(이전의 Google 웹마스터 도구)에 제출하면 됩니다.

Googlebot은 사이트맵과 과거 크롤링의 링크 데이터베이스를 사용하여 웹사이트를 크롤링합니다. 웹사이트에서 새 링크를 찾으면 방문할 페이지 목록에 추가합니다. Googlebot 데스크톱과 Googlebot 스마트폰 모두 깨진 링크나 기타 문제가 발생하면 색인을 업데이트합니다.

이것은 Google이 쿼리를 수신할 때 가져오는 색인입니다. 그런 다음 검색의 문맥적 단서를 사용하여 관련 결과의 순위를 매기는 방법을 결정합니다.

Google은 내 사이트를 얼마나 자주 크롤링합니까?

Google은 다양한 속도로 URL을 크롤링합니다. 일부 URL은 매일 크롤링될 수 있지만 다른 URL은 매주 또는 매월 크롤링될 수 있습니다. robots.txt 파일이나 메타 로봇 ​​태그에 달리 지정하지 않는 한 Googlebot은 웹사이트의 모든 페이지로 이동하여 정보를 기록하여 콘텐츠를 더 잘 이해하고 색인을 업데이트합니다.

지금까지는 주로 Googlebot 크롤러에 중점을 두었지만 실제로는 여러 Google 웹 크롤러가 있다는 점에 주목하고 싶습니다. 여기에서 전체 Google 크롤러 목록을 찾을 수 있습니다.

Google에서 사이트를 크롤링하고 색인을 생성하는 빈도가 궁금하면 Google Search Console(GSC)로 이동하세요. 설정에서 크롤링 통계 보고서를 찾을 수 있습니다.

Googlebot에 맞게 사이트를 최적화하는 5단계

다음 5가지 간단한 단계에 따라 검색 엔진 스파이더가 귀하의 사이트에 액세스할 수 있도록 하여 검색에서 귀하의 페이지를 찾을 수 있습니다.

1. 코드를 단순하게 유지

웹사이트의 크롤링 가능성을 높이는 큰 부분은 작업을 단순하게 유지하는 것입니다. Google은 Flash, Ajax, 프레임, 쿠키, 세션 ID 또는 DHTML을 크롤링하지 않으며 JavaScript를 렌더링해야 하기 때문에 색인을 생성하는 데 시간이 더 오래 걸립니다.

웹사이트를 구축할 때 크롤링 문제를 방지하고 페이지의 색인을 쉽게 생성할 수 있도록 Google의 일반 및 품질 가이드라인을 따라야 합니다.

2. Robots.txt 확인

robots.txt 파일은 사이트에서 액세스할 수 있는 URL을 Googlebot에 알려줍니다. robots.txt 지시문을 사용하여 요청으로 인해 사이트에 과부하가 걸리는 것을 방지하고 검색 엔진에서 색인을 생성할 페이지에 대해 더 많은 크롤링 예산을 절약할 수 있습니다. robots.txt가 없으면 Googlebot이 미디어, 리소스 파일 또는 검색결과에 포함하고 싶지 않은 기타 중요하지 않은 페이지의 색인을 생성하는 데 너무 많은 시간을 할애할 수 있습니다. Robots.txt는 프로토콜 전반에 걸친 지시문입니다. 하위 도메인이 여러 개인 경우가 아니면 웹사이트에 하나만 있어야 합니다. 페이지별로 Googlebot과 크롤러를 관리하려면 메타 로봇 ​​태그를 사용하세요.

3. 내부 연결 사용

내부 링크는 동일한 웹 사이트의 한 페이지에서 다른 페이지로 이동하는 하이퍼링크입니다. 탐색형(메뉴, 사이드바, 머리글, 바닥글)일 수도 있고 문맥적일 수도 있습니다(페이지 본문에 배치). Googlebot이 페이지를 더 쉽게 찾고 페이지가 서로 어떻게 관련되어 있는지 이해할 수 있도록 내부 링크를 사용하여 사이트 계층 구조를 강조하세요. 모든 페이지는 어떤 방식으로든 함께 연결되어야 합니다. 예를 들어 홈페이지는 서비스 페이지, 사례 연구 및 블로그로 연결되어야 합니다. 그런 다음 각각은 관련 페이지로 연결되어야 합니다.

여기에서 내부 연결 모범 사례에 대해 자세히 알아보세요.

GSC에서 링크 보고서를 확인하여 홈페이지 및 서비스 페이지와 같은 가장 중요한 페이지에 가장 많은 링크가 있는지 확인하십시오. 이는 Google에 해당 페이지가 귀하의 사이트에서 가장 중요한 페이지임을 나타냅니다.

4. XML 사이트맵 만들기

Googlebot이 웹사이트를 쉽게 크롤링할 수 있도록 웹 크롤러가 사이트의 계층 구조를 빠르게 이해할 수 있도록 모든 페이지를 구성하는 XML 사이트맵을 제공하세요. (XML 사이트맵이 무엇인지 잘 모르겠으면 사이트맵 예제를 보고 여기에서 자세히 알아보세요.)

확인 과정에서 GSC를 통해 XML 사이트맵을 Google에 제출합니다.

사이트맵을 동적으로 업데이트하는 콘텐츠 관리 시스템(CMS)을 사용하지 않는 경우 XML 사이트맵을 수동으로 업데이트하고 사이트 계층 구조를 변경할 때 다시 제출해야 합니다. 왼쪽 사이드바에서 "사이트맵"을 클릭하기만 하면 됩니다. 이렇게 하면 Google이 웹사이트에서 적절한 페이지의 색인을 생성하는 데 도움이 됩니다.

5. Google 색인 생성 요청

새 페이지를 게시하거나 기존 콘텐츠를 크게 업데이트할 때 Google에서 찾을 때까지 기다릴 필요가 없습니다. 색인 생성을 요청하여 스캔할 새 페이지나 업데이트된 페이지가 있다고 Google에 알립니다.

GSC에 로그인하고 페이지 상단의 돋보기 아이콘 왼쪽에 색인을 생성할 URL을 입력하고 Enter 키를 누릅니다.

Google은 데이터를 검색하고 있음을 알 수 있습니다.

그런 다음 페이지가 이미 인덱싱되었는지 여부를 알려줍니다.

그렇지 않은 경우 색인 생성을 요청할 수 있습니다. 페이지의 색인이 생성되고 페이지를 크게 변경한 경우 색인 생성을 요청할 수도 있습니다.

새 블로그 게시물이나 제품 페이지와 같이 사이트에 페이지를 자주 추가하는 경우 이 프로세스를 모범 사례의 일부로 만들어 모든 페이지가 지체 없이 인덱싱되도록 하십시오.

Googlebot이 사이트를 크롤링하는 방식을 분석하는 4가지 방법

검색 엔진 크롤러가 더 쉽게 읽을 수 있도록 사이트를 최적화했으면 사이트가 제대로 크롤링되고 색인이 생성되었는지 다시 확인해야 합니다.

크롤링 통계

크롤링 통계는 Googlebot이 서버로 보낸 총 크롤링 요청 수와 문제가 발생한 시기와 여부를 보여줍니다.

또한 Google Search Console의 크롤링 통계 보고서에는 Googlebot이 발견한 항목(크롤링 응답), 발견된 파일 형식, Googlebot이 새 페이지를 검색했는지 또는 이전 페이지의 색인을 다시 생성했는지 여부, 사이트를 크롤링하는 데 사용된 Googlebot 유형이 표시됩니다.

크롤링 통계 보고서에서 항목을 클릭하면 추가 정보가 제공됩니다. 예를 들어 404 오류를 반환하는 페이지를 찾으려면 크롤링 응답 상자에서 해당 행을 클릭하면 Googlebot이 찾지 못한 URL 목록과 해당 페이지를 마지막으로 크롤링하려고 시도한 시간으로 이동합니다.

크롤링 목적 아래의 '새로고침' 또는 '검색' 항목을 클릭하면 Googlebot이 최근에 색인을 생성한 URL을 확인할 수 있습니다. 가장 최근 페이지의 색인이 생성되지 않은 경우 보고서 상단의 검색창을 사용하여 쉽게 제출할 수 있습니다.

크롤링 오류

크롤링 오류는 검색 엔진이 페이지 중 하나에 액세스할 수 없을 때 발생합니다. 크롤링 보고서에서 SEO에 부정적인 영향을 줄 수 있는 두 가지 유형의 Googlebot 크롤링 오류를 식별할 수 있습니다.

1. 사이트 오류: 사이트 오류 가 있는 경우 Googlebot이 사이트를 크롤링하지 못할 수 있습니다. 사이트 오류는 누락되거나 액세스할 수 없는 robots.txt 파일, DNS 확인 실패 또는 서버 연결 문제로 인해 발생할 수 있습니다.
2. URL 오류: URL 오류 로 인해 Googlebot은 특정 페이지를 크롤링할 수 없습니다. 한 번에 여러 URL 오류가 있을 수 있습니다.

Moz는 크롤링 오류를 수정하는 방법을 훌륭하게 공유합니다.

차단된 URL

사이트에 Google 크롤러가 액세스하지 못하도록 하는 섹션이 있는 경우 robots.txt에 해당 디렉토리를 지정하여 로봇이 콘텐츠를 색인화해야 하는 방법에 대한 정보를 제공할 수 있습니다.

GSC를 확인하여 Google에서 인식하는 차단된 URL의 수를 확인하여 robots.txt가 작동하는지 확인하세요. 차단된 URL 수가 예상보다 적은 경우 robots.txt 파일을 수정해야 합니다. 반대로 숫자가 예상보다 높으면 검색 결과에 표시하려는 페이지가 크롤링에서 부주의하게 차단되었을 수 있습니다.

URL 매개변수

쿼리 문자열이라고도 하는 URL 매개변수를 사용하면 동적 URL 끝에 추가 정보를 추가할 수 있습니다. 전자 상거래 사이트의 제품 검색 결과와 같이 페이지가 매겨진 콘텐츠를 방문한 경우 페이지 URL 끝에 "?page=2" 또는 이와 유사한 것을 보았을 것입니다. URL 매개변수입니다. 이러한 매개변수는 다음에도 사용할 수 있습니다.

• 콘텐츠 필터
• 번역
• 사이트 검색
• 추적

URL에 매개변수를 사용하려는 경우 중복 콘텐츠, 크롤링 예산 낭비 및 추적 문제와 같은 심각한 문제를 유발할 수 있으므로 매개변수에 액세스하고 색인을 생성할 것인지 여부를 고려하십시오.

다음 단계에 따라 매개변수화된 콘텐츠의 크롤링을 차단할 수 있습니다.

SEO용 Google 도구에 대해 자세히 알아보기

Google은 사이트 실적을 측정하는 데 도움이 되는 다양한 도구를 제공합니다. 이를 활용하여 SEO 전략을 모니터링하고 개선하십시오.

Google 도구 가이드는 Google에서 제공하는 각 무료 SEO 도구를 안내하고 기술 개념을 추가 리소스로 가득 찬 실행 가능하고 이해하기 쉬운 장으로 나눕니다.

SEO용 Google 도구 가이드

이 가이드를 다운로드하여 SEO 프로세스와 성능을 개선하기 위해 Google이 제공하는 강력한 무료 도구를 최대한 활용하는 방법을 알아보세요.