크롤링 및 색인 생성: 알아야 할 모든 것
게시 됨: 2022-09-11웹사이트로 유입되는 트래픽의 품질과 양을 늘리는 방법을 SEO(검색 엔진 최적화)라고 합니다. 자연스럽게 더 높은 검색 순위를 얻기 위해 웹 페이지를 최적화하는 과정입니다. 검색 엔진의 힘이 무엇인지 생각해 본 적이 있습니까? 일부 메커니즘이 웹 인덱싱 또는 웹 크롤링을 위해 체계적인 방식으로 World Wide Web을 스캔할 수 있는 방법은 놀랍습니다.
계속해서 증가하는 SEO 트렌드에 비추어 검색 결과를 제공하는 데 있어 크롤링 및 인덱싱의 기본적인 역할에 대해 자세히 살펴보겠습니다.
크롤링
크롤링은 검색 엔진이 웹 크롤러를 사용하여 새 링크, 새 웹사이트 또는 방문 페이지, 현재 데이터 업데이트, 깨진 링크 등을 감지하는 프로세스입니다. 웹 크롤러는 "거미", "봇" 또는 "거미"라고도 합니다. 봇은 웹사이트를 방문할 때 내부 링크를 사용하여 사이트의 다른 페이지를 크롤링합니다.
결과적으로 Google Bot이 웹사이트를 더 쉽게 크롤링할 수 있도록 하는 가장 중요한 이유 중 하나는 사이트맵을 만드는 것입니다. 중요한 URL 목록은 사이트맵에서 찾을 수 있습니다.
예: https://iquelab.in/sitemap_index.xml
DOM 모델은 봇이 웹사이트나 웹페이지를 탐색할 때마다 사용됩니다(문서 개체 모델). 이 DOM은 웹사이트의 논리적 트리 구조를 반영합니다.
페이지의 렌더링된 HTML 및 Javascript 코드를 DOM이라고 합니다. 전체 웹사이트를 한 번에 크롤링하는 것은 사실상 불가능하며 시간이 오래 걸립니다. 결과적으로 Google 봇은 사이트의 가장 중요한 영역만 크롤링하며, 이는 해당 웹사이트의 순위를 지정하는 데 도움이 될 수 있는 특정 통계를 측정하는 데 비교적 중요합니다.
Google 크롤러용 웹사이트 최적화
때때로 Google Crawler가 웹사이트의 특정 중요한 페이지에 대한 색인을 생성하지 않는 상황이 발생합니다. 결과적으로 우리는 사이트를 크롤링하는 방법을 검색 엔진에 지시해야 합니다. 이렇게 하려면 robots.txt 파일을 생성하고 도메인의 루트 디렉토리에 저장하십시오.
Robots.txt 파일은 크롤러가 웹 페이지를 체계적으로 크롤링하는 데 도움이 됩니다. robots.txt 파일은 크롤링해야 하는 URL을 크롤러에 지시합니다. 봇이 robots.txt 파일을 찾을 수 없으면 크롤링 작업을 계속합니다. 또한 웹사이트의 크롤링 예산 관리에도 도움이 됩니다.
크롤링에 영향을 주는 요소
로그인 페이지는 보안 페이지이기 때문에 봇은 로그인 양식 뒤에 있는 자료를 크롤링하지 않거나 사용자가 로그인해야 하는 웹사이트가 있는 경우에도 봇이 크롤링하지 않습니다.
사이트의 검색창 정보는 Googlebot에서 크롤링하지 않습니다. 많은 사람들은 고객이 검색창에 원하는 제품을 입력하면 Google 크롤러가 사이트를 크롤링한다고 생각합니다. 이것은 전자 상거래 웹 사이트에 특히 해당됩니다.
봇이 사진, 오디오, 비디오, 텍스트 등과 같은 미디어 유형을 크롤링한다는 보장은 없습니다. 권장되는 방법은 HTML> 코드에 텍스트(이미지 이름으로)를 포함하는 것입니다.
검색 엔진 봇에 클로킹 
특정 방문자를 위한 웹사이트의 표현입니다(예: 봇에 표시되는 페이지는 사용자와 다릅니다).
검색 엔진 크롤러는 때때로 인터넷의 다른 웹사이트에서 귀하의 웹사이트로 연결되는 링크를 발견할 수 있습니다. 마찬가지로 크롤러는 사이트의 링크를 사용하여 다른 방문 사이트로 이동합니다.
고아 페이지는 크롤러가 접근할 수 있는 방법을 찾을 수 없기 때문에 할당된 내부 링크가 없는 페이지입니다. 또한 봇이 사이트를 크롤링할 때 거의 보이지 않습니다.
크롤러는 404, 500 등과 같은 웹사이트에서 '크롤링 오류'를 만나면 좌절하고 페이지를 포기합니다. 권장 사항은 '302 – 리디렉션' 또는 '301 – 영구 리디렉션'을 사용하여 웹 페이지를 일시적으로 리디렉션하는 것입니다. 검색 엔진 크롤러를 위한 브리지를 배치하는 것이 중요합니다.
웹 크롤러 중 일부는 다음과 같습니다.
구글봇
Googlebot은 Google용 웹사이트를 크롤링하고 색인을 생성하는 웹 크롤러(스파이더 또는 로봇이라고도 함)입니다. 판단 없이 웹사이트에서 검색 가능한 텍스트만 검색합니다. 이름은 두 가지 유형의 웹 크롤러와 관련이 있습니다. 하나는 데스크톱용이고 다른 하나는 모바일 장치용입니다.
빙봇
Microsoft는 2010년 10월 일종의 인터넷 봇인 Bingbot을 출시했습니다. 이는 Googlebot과 같은 방식으로 작동하여 웹사이트에서 문서를 수집하여 SERP에 대한 검색 가능한 정보를 제공합니다.
슬러프봇
Yahoo 웹 크롤러의 결과는 Slurp 봇에 의해 생성됩니다. 파트너 웹사이트에서 정보를 수집하고 Yahoo의 검색 엔진에 맞게 자료를 조정합니다. 이러한 크롤링 페이지는 여러 웹 페이지에서 사용자 인증을 확인합니다.
바이두스파이더
Baidu의 거미는 중국 검색 엔진의 로봇입니다. 봇은 모든 크롤러와 마찬가지로 사용자의 쿼리와 관련된 정보를 수집하는 소프트웨어입니다. 그것은 점차적으로 인터넷 웹 페이지를 크롤링하고 인덱싱합니다.
얀덱스 봇
Yandex는 러시아 검색 엔진이자 같은 이름의 검색 엔진을 위한 크롤러입니다. 마찬가지로 Yandex 봇은 페이지를 정기적으로 크롤링하고 관련 데이터를 데이터베이스에 기록합니다. 사용자 친화적인 검색 결과를 생성하는 데 도움이 됩니다. Yandex는 러시아에서 시장 점유율이 60%인 세계 5위의 검색 엔진입니다.
이제 Google이 페이지의 색인을 생성하는 방법을 이해하기 위해 계속 진행해 보겠습니다.
인덱싱
인덱스는 검색 엔진 크롤러에 의해 인덱싱된 모든 데이터 또는 페이지의 모음입니다. 인덱싱 과정은 획득한 자료를 검색 인덱스 데이터베이스에 저장하는 과정이다. 그런 다음 이전에 저장된 데이터는 인덱싱된 데이터를 사용하여 유사한 페이지와 비교하여 SEO 알고리즘 메트릭으로 평가됩니다. 인덱싱의 중요성은 웹사이트 순위에 도움이 되기 때문에 아무리 강조해도 지나치지 않습니다.
Google에서 색인을 생성한 항목을 어떻게 알 수 있습니까?
SERP에 색인된 페이지 수를 보려면 검색 상자에 "site:yourdomain"을 입력하십시오. 그러면 페이지, 기사 및 사진을 포함하여 Google에서 색인을 생성한 모든 페이지가 표시됩니다.
URL의 색인을 생성하는 가장 쉬운 방법은 모든 중요한 페이지의 목록이 포함된 사이트맵을 Google Search Console에 제출하는 것입니다.
SERP의 모든 중요한 페이지를 표시할 때 웹사이트 인덱싱은 매우 중요합니다. Googlebot이 자료를 볼 수 없으면 색인이 생성되지 않습니다. Googlebot은 전체 웹사이트를 HTML, CSS 및 Javascript와 같은 여러 형식으로 구문 분석합니다. 액세스할 수 없는 구성 요소에 대해서는 인덱싱이 수행되지 않습니다.
Google은 색인을 생성할 대상을 어떻게 결정합니까?
사용자가 Google에 쿼리를 입력하면 데이터베이스의 색인이 생성된 사이트에서 가장 관련성이 높은 답변을 찾으려고 합니다. Google은 자체 알고리즘 집합을 사용하여 정보를 색인화합니다. 일반적으로 Google이 사용자 경험을 향상시킬 것으로 생각하는 웹사이트의 새 콘텐츠를 색인화합니다. 콘텐츠의 품질이 높을수록 웹사이트의 링크 품질이 높을수록 SEO에 더 좋습니다.
당사 웹사이트가 인덱싱 프로세스에 도달하는 방법을 식별합니다.
캐시된 버전
Google은 사이트 페이지를 정기적으로 크롤링합니다. URL 옆에 있는 '드롭다운' 기호를 클릭하면 웹페이지의 캐시된 버전이 표시됩니다(아래 스크린샷 참조).
제거된 URL
예! SERP에서 색인이 생성된 후 웹 페이지를 제거할 수 있습니다. 제거된 웹 사이트가 404 오류를 반환하거나 URL을 리디렉션하거나 링크가 끊어졌을 수 있습니다. 'noindex' 태그도 URL에 추가됩니다.
메타 태그
사이트 <head> 섹션의 HTML 코드에 있습니다.
- 인덱스, 노인덱스
이 기능은 페이지를 색인화해야 하는지 여부를 검색 엔진 크롤러에 나타냅니다. 봇은 기본적으로 이를 '인덱스' 함수로 취급합니다. 'noindex'를 선택하면 크롤러에게 SERP에서 페이지를 제거하도록 지시하는 것입니다.
- 팔로우/비팔로우
검색 엔진 크롤러가 모니터링해야 하는 페이지와 전달해야 하는 링크 자산의 양을 결정할 수 있도록 합니다.
다음은 샘플 코드입니다.
< 헤드 >< 메타 이름 =”로봇” 콘텐츠=”noindex, nofollow” /></ head >
필요한 모든 정보를 수집한 후 Kerala의 주요 SEO 대행사에서 제공하는 고급 SEO 서비스를 사용하여 웹사이트를 최적화하십시오. 아래 댓글 섹션에서 대화에 참여하세요.