Shopify 스토어에서 색인을 생성할 항목과 방법은 무엇입니까? robots.txt 및 로봇 메타 태그 가이드

게시 됨: 2022-07-01

robots.txt 파일은 항상 신경써야 하는 기술적 SEO의 기본 중 하나입니다. 검색 엔진이 사이트를 크롤링하는 방법을 제어하는 데 도움이 됩니다. 따라서 중요한 모든 것이 검색 결과에 표시되고 표시되고 싶지 않은 모든 항목이 차단됩니다.

‍

페이지 크롤링 및 색인 생성을 제어하는 것이 왜 그렇게 중요한가요?

크롤링 예산을 절약하고 있습니다. 검색 봇이 주어진 시간에 처리할 수 있는 페이지 수에는 제한이 있습니다. 가장 중요한 페이지가 크롤링되고 정기적으로 다시 크롤링되도록 하려면 검색 결과에 표시할 필요가 없는 페이지를 제외해야 합니다.

기술 페이지가 검색에 표시되는 것을 방지합니다. 상점에서 사용자의 편의를 위해 생성하는 페이지가 많이 있습니다. 로그인, 결제, 내부 검색 등의 페이지가 있습니다. UX에는 중요하지만 검색에서 순위를 매길 필요는 없습니다.

중복 콘텐츠 문제 방지. 우리가 언급한 기술 페이지에 대해 말하자면, 그들은 중복을 생성할 수 있습니다. 예를 들어, 다른 정렬 옵션은 다른 URL에서 제공되지만 동일한 제품을 다른 순서로 표시합니다. 검색 엔진은 중복 콘텐츠를 좋아하지 않기 때문에 해당 페이지가 순위에 포함되는 것을 원하지 않습니다.

상점의 페이지 인덱싱을 어떻게 제어할 수 있습니까?

중요한 페이지에 가치를 부여하고 검색 봇에 의한 색인 생성을 용이하게 하려면 항상 업데이트되고 올바른 사이트맵이 있어야 합니다. 또한 내부 링크를 관리하고 외부 소스가 귀하의 콘텐츠에 링크되도록 하여 검색 엔진의 눈에 귀하의 페이지가 더 권위 있게 보이도록 합니다.

100% 인덱싱을 보장할 수 있는 확실한 방법은 없지만 이러한 측정은 페이지의 검색 순위를 거의 보장합니다.

100% 보장할 수 있는 것은 검색에 표시되고 싶지 않은 특정 페이지를 제외하는 것입니다. 이를 위해 robots.txt 파일 또는 robots 메타 태그에서 noindex 지시문을 사용할 수 있습니다. 언뜻 보기에는 매우 기술적으로 들리지만 실제로는 매우 쉽습니다. 특히 Shopify 판매자의 경우 플랫폼이 적절한 인덱싱의 대부분을 자동으로 처리하기 때문입니다.

그렇다면 Shopify 스토어에서 무엇을 NOINDEX해야 합니까?

온라인 상점의 경우 다음 유형의 페이지에 대한 색인 생성을 차단하는 것이 좋습니다.

사용자 계정과 관련된 모든 것. 이러한 페이지는 각 고객에게 고유하며 검색에 필요하지 않습니다.
게스트 체크아웃과 관련된 모든 것. 사용자가 자신의 계정에 로그인하지 않고 게스트로 구매할 수 있다고 해도 결제 단계가 생성된 페이지는 검색용이 아닙니다.
패싯 탐색 및 내부 검색. 이미 언급했듯이 이러한 URL을 검색 봇에 제공하면 봇을 혼란스럽게 만들고 크롤링 예산을 소모하며 중복 콘텐츠 문제를 일으킬 수 있습니다.
검색에서 숨기고 싶은 제품. 특정 제품이 검색 결과에 표시되는 것을 원하지 않는 경우(예: 품절 항목 또는 더 이상 관련이 없는 시간에 민감한 항목) Shopify robots.txt 파일의 검색에서 제품을 숨길 수 있습니다.

Shopify의 Robots.txt

자동으로 생성된 robots.txt 파일을 확인하려면 /robots.txt를 스토어 도메인에 추가하세요.

이 파일은 일반적으로 무엇을 포함합니까? 특정 검색 봇( User-agent 필드)을 나타내고 크롤링 지시를 제공합니다( Disallow 는 액세스 차단을 의미함). 위의 예에서 첫 번째 규칙 세트는 모든 검색 봇에 제공됩니다( User-agent 는 *로 설정됨). 차례로 Disallow 지시문은 지정된 페이지의 크롤링을 금지합니다. 이 예에서 파일이 관리자, 장바구니, 결제 등과 같은 기술 페이지 크롤링을 금지한다는 것을 알 수 있습니다.

Robots.txt에는 사이트맵에 대한 링크도 포함되어 있어 검색 크롤러가 사이트 구조와 색인 생성 우선 순위를 이해하는 데 도움이 됩니다.

최근까지 Shopify는 이 파일에 유연성을 제공하지 않았습니다. 그러나 2021년 6월에 Shopify 판매자에게 robots.txt를 편집할 수 있는 기회가 주어졌습니다. 사전 정의된 규칙은 대부분 충분하지만 모든 경우를 고려하지는 않을 수 있습니다. 내부 검색용 앱을 사용하면 URL이 자주 변경되고 기본 규칙이 적용되지 않습니다. 또는 패싯 탐색이 있는 경우 선택한 각 필터에 따라 URL이 변경되고 기본 규칙이 모든 것을 고려하지 않을 수 있습니다. 파일에 더 많은 페이지와 규칙을 추가하고 더 많은 사용자 에이전트 등을 지정할 수 있습니다.

적용할 수 있는 기존 지침에 대해 알아보려면 robots.txt에 대한 Google 가이드를 확인하세요.

또한 새로운 규칙이 항상 나타납니다. 예를 들어, 2022년 초 Google은 포함된 콘텐츠의 색인 생성을 제어하는 새로운 태그인 indexifembedded를 도입했습니다. iframe 또는 유사한 HTML 태그를 통해 삽입된 일부 위젯이 상점에 있고 색인 생성을 원하지 않는 경우 적용할 수 있습니다.

Shopify에서 robots.txt를 편집하는 방법은 무엇입니까?

테마 코드에서 많은 템플릿을 볼 수 있습니다( 온라인 스토어 > 테마 로 이동 > 현재 테마에서 작업 클릭 > 코드 편집 선택 > 템플릿 으로 이동). 목록에는 robots.txt.liquid 파일이 포함되어야 합니다.

어떤 이유로 파일이 없는 경우 새 템플릿 추가 를 클릭하고 robots.txt를 선택하여 파일을 만들 수 있습니다.

예를 들어 내부 검색이 인덱싱되지 않도록 차단해 보겠습니다. 템플릿에서 다음과 같이 표시됩니다.

자세한 내용은 robots.txt 편집에 대한 Shopify 도움말 페이지를 참조하십시오.

robots.txt에서 페이지가 허용되지 않더라도 외부 소스의 링크가 있으면 색인이 생성될 수 있습니다. 따라서 예를 들어 과거에 상당한 양의 트래픽을 수신했지만 더 이상 상점과 관련이 없는 오래된 페이지가 있는 경우 로봇 메타 태그로 차단하거나 완전히 제거하는 것이 좋습니다.

robots 메타 태그를 사용하여 Shopify 콘텐츠 인덱싱 없음

robots.txt 외에도 robots 메타 태그를 사용하여 테마 코드의 <head> 섹션에 noindex 지시문을 삽입할 수 있습니다. 태그의 구문은 <meta name=”robots” content=”noindex”>입니다.

Shopify robots.txt 코드를 편집하거나 생성하는 방법과 유사하게 레이아웃 섹션에서 theme.liquid로 이동합니다. 예를 들어 /new-collection 페이지의 색인을 생성하지 않는 규칙을 추가하면 다음과 같이 표시됩니다.

이런 식으로 좋은 검색에서 페이지를 숨길 수 있습니다.

nofollow 또는 follow 지시문과 함께 noindex 를 사용할 수 있습니다. Follow 를 사용하면 페이지가 인덱싱에서 차단되지만 검색 봇이 해당 페이지에 있는 다른 링크를 크롤링할 수 있습니다. 반면 nofollow 를 사용하면 페이지 자체와 페이지의 모든 링크에 검색 봇이 액세스할 수 없습니다.

앱의 도움으로 Shopify 콘텐츠 인덱싱

이 모든 것이 너무 번거롭다면 코드를 한 줄도 작성하지 않고도 페이지 인덱싱을 훨씬 쉽게 제어할 수 있는 방법이 있습니다. Shopify 스토어의 검색에서 제품을 숨기거나 다른 페이지를 차단하는 데 도움이 되는 Shopify용 SEO 앱이 여러 개 있습니다.

이 두 가지를 살펴보십시오.

Sitemap Noindex SEO 도구(모든 유형의 페이지에 대해 월 $3.49)
NoIndexify - 사이트맵 관리자(제품, 컬렉션 및 블로그 페이지의 경우 무료, 다른 페이지의 경우 월 $2.99: 검색, 페이지 매김, 로그인 등)

NoIndexify의 인터페이스는 다음과 같습니다. 각 페이지에 대해 일련의 지시문을 선택할 수 있습니다.

페이지 인덱싱을 개선하여 SEO 개선

이상입니다. Shopify의 robots.txt가 작동하는 방식과 이점을 활용하는 방법을 더 잘 이해하시기 바랍니다. robots.txt 및 robots 메타 태그의 도움으로 페이지 인덱싱에 대한 제어를 개선하고 SEO 문제를 방지하며 가장 중요한 페이지에 더 많은 가치를 부여하여 검색에서 빛나고 더 많은 방문자를 유치할 수 있습니다.

더 많은 Shopify SEO 팁을 찾고 있다면 SEO 가이드를 확인하십시오.