중복 콘텐츠 SEO: 중복 콘텐츠를 확인하는 방법

중복 콘텐츠란 무엇입니까?

중복 콘텐츠는 동일한 콘텐츠가 고유한 URL을 사용하여 둘 이상의 위치에 나타날 때 발생합니다.

콘텐츠가 중복으로 등록되기 위해 정확히 일치할 필요는 없습니다. Google에서 "상당히 유사"하다고 부르는 콘텐츠일 수도 있습니다. 이 콘텐츠는 일부 텍스트가 다를 수 있지만 본질적으로 중복 콘텐츠로 간주될 정도로 "충분히 가깝습니다".

대부분의 사이트 소유자는 콘텐츠가 신선하고 독창적인지 확인하기 위해 열심히 노력하지만 웹에는 여전히 중복 콘텐츠가 많이 있습니다. 때로는 사이트 소유자조차 그것을 인식하지 못합니다. 어떻게 이런 일이 발생합니까?

중복 콘텐츠가 발생하는 이유는 무엇입니까?

웹에서 대부분의 중복 콘텐츠는 페이지의 인쇄용 버전, 여러 다른 URL에 있거나 연결된 제품, 데스크톱 및 제거된 모바일 버전을 생성하는 토론 포럼과 같은 항목의 색인으로 인해 발생합니다. .

그러나 이것이 사이트에 중복 콘텐츠가 생기는 유일한 방법은 아닙니다. 다음은 귀하의 사이트 내부와 외부 사이트에서 중복 콘텐츠가 어떻게 발생할 수 있는지에 대한 몇 가지 예입니다.

내부적 으로 생성된 중복

상당히 유사한 제품 페이지

때로는 특히 전자 상거래에서 의도적으로 상당히 유사한 페이지를 만드는 것이 합리적일 수 있습니다. 예를 들어, 두 국가에서 동일한 제품을 판매한다고 가정합니다. 이 경우 하나는 미국 달러로 가격을 표시하고 다른 하나는 캐나다 달러로 가격을 표시한다는 점을 제외하면 거의 동일한 두 페이지를 선택할 수 있습니다.

또 다른 예로는 제품 사진, 제품 이름 및 제품 가격이 다를 뿐 실제 차이점은 동일하기 때문에 상당히 유사하게 보이는 제품 페이지가 있습니다.

콘텐츠 관리 시스템

때때로 콘텐츠 관리 시스템은 사용자가 인식하지 못하는 중복 콘텐츠를 생성합니다. 일부 시스템은 검색을 위해 태그와 URL 매개변수를 자동으로 추가하여 정확히 동일한 콘텐츠에 대한 여러 경로를 생성합니다.

URL 변형

동일한 콘텐츠를 특징으로 하는 다른 URL 변형이 있는 경우 중복 콘텐츠로 끝날 수도 있습니다. 앞서 언급했듯이 콘텐츠 관리 시스템은 이 작업을 자체적으로 수행할 수 있으며 https://www.website.com/blog1 및 https://www.website.com/blogs/blog1 과 같은 두 가지 URL 변형으로 끝날 수 있습니다. 후행 슬래시 또는 대문자 URL과 같은 다른 URL 변형도 동일한 문제를 일으킬 수 있습니다.

이런 일이 발생하면 Google은 순위를 매길 페이지를 알지 못할 수 있으며 일부 외부 소스는 이러한 페이지 중 하나에 링크되는 반면 다른 소스는 중복 페이지에 링크하여 프로세스에서 페이지의 링크 형평성을 깨뜨릴 수 있습니다.

HTTP 대 HTTPS 및 www 대 www가 아닌 ​​것

대부분의 웹사이트는 www가 있거나 없거나 또는 HTTP 또는 HTTPS URL 모두에서 액세스할 수 있습니다. 그러나 사이트를 올바르게 구성하지 않은 경우 Google은 둘 이상의 페이지에서 색인을 생성하여 콘텐츠가 중복될 수 있습니다.

프린터 친화적 및 모바일 친화적 URL

원본 페이지와 다른 URL에서 호스팅되는 프린터 친화적이거나 모바일 친화적인 페이지는 색인이 제대로 생성되지 않는 한 콘텐츠가 중복됩니다.

세션 ID

세션 ID는 사이트를 체크아웃하는 방문자를 추적하는 유용한 도구가 될 수 있습니다. 이것은 일반적으로 URL에 긴 세션 ID 문자열을 추가하여 수행됩니다. 각 세션 ID가 고유하기 때문에 새 URL이 생성되고 콘텐츠가 복제됩니다.

UTM 매개변수

매개변수는 다양한 소스에서 들어오는 방문자를 추적할 수 있습니다. 세션 ID와 마찬가지로 페이지의 콘텐츠가 동일하더라도 고유한 URL을 생성하므로 인덱싱되면 중복 콘텐츠가 생성됩니다.

외부 에서 생성된 중복

신디케이트된 콘텐츠

귀하의 콘텐츠를 웹의 다른 사이트에 신디케이트하는 것은 귀하의 웹사이트로 더 많은 트래픽을 유도하고 귀하의 이름을 알리기에 좋은 방법이 될 수 있습니다. 그러나 이 콘텐츠는 적절한 표준 헤더 태그로 형식이 지정되지 않은 경우 여전히 중복 콘텐츠로 표시될 수 있습니다. 예를 들어 Medium 기사에 표준 태그를 사용하면 원본 콘텐츠가 중복으로 등록되지 않도록 보호할 수 있습니다.

표절

대부분의 중복 콘텐츠는 본질적으로 악의가 없지만 일부 웹마스터는 의도적으로 콘텐츠를 복사하여 자신이 제작하지 않은 콘텐츠에서 이익을 얻습니다.

중복 콘텐츠 SEO: 왜 중요한가요?

중복 콘텐츠가 그렇게 자주 발생한다면 왜 문제가 될까요? 다음은 검색 결과에서 순위를 매기는 능력에 영향을 미칠 수 있는 5가지 방법입니다.

1. 구글 중복 콘텐츠 처벌

Google은 대부분의 경우 중복 콘텐츠를 직접적으로 처벌하지 않습니다. 귀하의 사이트에 있는 중복 콘텐츠가 "기만적"이고 "검색 엔진 결과를 조작하기 위한 것"이라고 Google이 판단하는 경우 중복 콘텐츠 패널티를 적용하는 조치를 취할 수 있습니다. 따라서 자주 발생하지는 않지만 Google 중복 콘텐츠 가이드라인에 따르면 중복 콘텐츠가 충분히 심각하고 악의적인 의도로 생성된 것으로 의심되는 경우 여전히 직접적인 처벌을 받을 수 있습니다.

중복 콘텐츠에 대한 Google 페널티는 드물기 때문에 중복 콘텐츠와 SEO 간의 관계가 더 시급합니다.

2. 인덱스 팽창

색인 팽창은 검색 엔진 크롤러가 내가 언급한 프린터 친화적 페이지와 같이 중요하지 않거나 품질이 낮은 콘텐츠에 액세스하고 색인을 생성할 때 발생합니다. 이는 검색 엔진이 사용자에게 제안할 귀하의 콘텐츠 버전을 알지 못하고 귀하가 선호하는 것과 다른 버전의 순위를 매길 수 있기 때문에 중요한 페이지의 순위를 매기는 능력에 영향을 미칩니다. 크롤링 예산에도 영향을 미칩니다.

3. 크롤링 예산

Google은 사이트 크롤링에 소요되는 시간을 제한합니다. Google이 사이트를 크롤링하고 색인을 생성하기 위해 제공하는 리소스의 양은 크롤링 예산입니다. 중복 콘텐츠가 많으면 중요하지 않은 페이지에 크롤링 예산을 낭비할 위험이 있습니다.

4. 키워드 자기잠식

페이지의 사본이 두 개 이상 순위가 매겨지면 페이지는 동일한 키워드 및 가시성을 놓고 서로 경쟁하게 됩니다. 남들과 겨루는 것도 힘든데 왜 자신과 겨루어서 더 힘들게 하느냐?

궁극적으로 SEO 중복 콘텐츠 문제를 무시할 수 없습니다. 가능하면 중복 콘텐츠를 통합하거나 제거하십시오.

5. 링크 자산 감소

Google이 귀하의 눈에 띄게 유사한 두 페이지의 순위를 지정하기로 결정했다고 가정해 보겠습니다. 콘텐츠의 모든 가치를 한 페이지에 귀속해야 하는지 아니면 권한, 링크 형평성 및 신뢰를 대신 두 페이지 간에 분할해야 하는지 어떻게 알 수 있습니까? 이러한 상황은 콘텐츠의 SEO 가치를 감소시켜 성능이 저하될 수 있습니다.

백링크의 링크 자산은 다른 사이트가 링크하기로 선택했는지 여부에 따라 두 페이지 간에 분할됩니다.

자신의 사이트에서 중복 콘텐츠를 확인하는 방법

사이트에서 중복 콘텐츠를 찾는 것은 무료이며 쉽습니다. Screaming Frog 및 Siteliner의 무료 버전을 사용하여 사이트를 체계적으로 크롤링하고 정확하거나 거의 중복되는 페이지를 식별하십시오.

Screaming Frog를 사용하여 중복 콘텐츠를 찾는 방법

Screaming Frog는 웹사이트의 중복 콘텐츠 문제를 식별하는 데 도움이 되는 웹사이트 크롤러 및 SEO 감사 도구입니다. Screaming Frog를 사용하여 최대 500개의 URL을 무료로 스캔하는 방법은 다음과 같습니다.

1. SEO Spider로 사이트 크롤링

먼저 Screaming Frog를 다운로드하여 엽니다. 'Spider URL 입력' 필드에 크롤링하려는 웹사이트의 URL을 입력하고 '시작'을 클릭합니다.

2. '콘텐츠' 탭에서 중복 확인

'내용' 탭을 클릭하여 정확한 중복 항목과 거의 중복 항목을 확인하십시오. 실시간으로 정확한 중복 항목을 볼 수 있지만 거의 중복 항목 목록을 보려면 '크롤링 분석'을 수행해야 합니다.

3. 거의 중복 확인

메뉴 모음에서 '크롤링 분석' 탭을 클릭하고 드롭다운 메뉴에서 '시작'을 선택합니다.

크롤링 분석이 완료되면 중복 열 근처에 채워진 것을 볼 수 있습니다. '분석' 진행률 표시줄이 100%로 표시되고 거의 중복 필터에 더 이상 '크롤링 분석 필요' 메시지가 표시되지 않기 때문에 완료되었음을 알 수 있습니다.

4. '콘텐츠' 탭에서 중복 보기

'가장 가까운 유사성 일치', '아니오. Near Duplicates' 및 'Address' 열은 크롤링 분석이 완료되면 채워집니다.

'정확한 중복' 필터는 HTML 코드 스캔을 기반으로 서로 동일한 페이지를 표시합니다. 설정된 유사성 임계값은 '중복에 가까운 항목'에 해당하는 항목을 결정합니다. 임계값을 변경하려면 '설정 → 스파이더 → 콘텐츠. 이 임계값은 기본적으로 90%로 설정되어 있지만 원하는 대로 자유롭게 변경할 수 있습니다.

이제 스캔이 완료되었으므로 정확하거나 거의 중복으로 표시되는 페이지를 수동으로 검토하십시오.

Siteliner를 사용하여 중복 콘텐츠를 찾는 방법

Siteliner는 웹사이트(또는 모든 웹사이트)에서 중복 콘텐츠를 검색하는 데 사용할 수 있는 또 다른 무료 도구입니다. 그러나 무료 버전은 30일에 한 번으로 제한되며 결과 수는 250페이지로 제한됩니다. 여러 검색을 수행해야 하거나 더 많은 결과를 보려면 프리미엄 버전에 가입하세요.

Siteliner로 중복 콘텐츠를 확인하려면 홈페이지의 검색 상자에 검색하려는 URL을 입력하기만 하면 됩니다.

그런 다음 Siteliner는 사이트를 청소하고 얼마나 많은 중복 콘텐츠가 발견되었는지 알려주고 가장 중요한 문제로 여겨지는 부분을 강조 표시합니다. 또한 평균 페이지 로드 시간, 내부 및 외부 링크, 인바운드 링크와 같이 SEO에 유용할 수 있는 몇 가지를 포함하여 몇 가지 더 많은 메트릭을 표시합니다.

주 메뉴에서 '중복 콘텐츠'를 클릭하여 Siteline에서 중복 콘텐츠가 있는 것으로 식별한 페이지를 확인합니다.

각 개별 줄을 클릭하여 중복된 것으로 표시된 텍스트를 확인하십시오.

참고: 사이트라인은 여러 페이지에 나타나는 머리글과 바닥글을 중복 콘텐츠로 식별하므로 동일한 메뉴 또는 바닥글 콘텐츠를 공유하기 때문에 일치율이 낮은 페이지가 많이 나타날 수 있습니다.

다른 사람이 귀하의 콘텐츠를 복사했는지 확인하는 방법

웹상의 다른 사람이 귀하의 콘텐츠를 복사했는지 확인하는 데 사용할 수 있는 중복 콘텐츠 검색 도구도 있습니다. Copyscape는 효과적이고 사용하기 쉬운 무료 웹사이트 콘텐츠 검사 도구입니다.

검색 상자에 URL을 입력하고 바로 옆에 있는 '이동' 버튼을 클릭하기만 하면 됩니다. 그런 다음 Copyscape는 유사한 텍스트 콘텐츠가 다른 곳에 존재하는지 확인하기 위해 웹 전체에서 검색을 수행합니다.

무언가를 찾으면 Copyscape는 결과를 반환하고 Google의 검색 결과처럼 보이는 목록으로 구성합니다. 이를 통해 쉽게 스크롤하고 콘텐츠가 얼마나 많이 복사되었는지 확인할 수 있습니다. 일종의 Google 복제 콘텐츠 검사기라고 생각할 수 있습니다.

다른 사람이 귀하의 콘텐츠를 표절한 경우 어떻게 해야 합니까?

먼저 웹사이트 소유자에게 연락하여 콘텐츠를 제거하거나 웹사이트의 원본 콘텐츠에 대한 표준 링크를 추가하도록 요청하세요. 그래도 문제가 해결되지 않으면 Google에 DMCA 게시 중단 요청을 제출하세요.

참고: 의도적으로 콘텐츠를 신디케이트하고 다른 웹사이트에서 콘텐츠를 게시하도록 허용한 경우에도 중복으로 표시됩니다. 그렇기 때문에 출판 사이트가 검색 엔진 순위에서 귀하의 페이지와 경쟁하지 않도록 페이지에 표준 링크 또는 noindex 태그를 포함하도록 요구하는 것이 중요합니다.

중복 콘텐츠를 수정하는 방법

중복 콘텐츠 문제를 해결하려면 Google에서 원본 버전으로 인식할 사본을 식별하세요. 또한 중복 페이지를 완전히 제거할지 아니면 단순히 Google에 색인을 생성하지 않도록 지시할지 결정해야 합니다. 결정한 내용에 따라 중복 콘텐츠를 정리하는 몇 가지 방법이 있습니다.

메타 로봇 ​​태그 및 Robots.txt가 있는 NOINDEX

중복 콘텐츠가 SEO에 미치는 영향을 최소화하는 한 가지 방법은 메타 로봇 ​​태그를 수정하여 중복 페이지의 색인을 수동으로 제거하는 것입니다. 이렇게 하려면 메타 로봇 ​​태그를 사용하고 해당 값을 "noindex, follow"로 설정합니다. 검색 결과에서 제외하려는 각 페이지의 HTML 제목에 이 태그를 적용하십시오.

메타 로봇 ​​태그를 사용하면 검색 엔진이 해당 태그가 적용된 페이지의 링크를 크롤링할 수 있지만 검색 크롤러가 해당 태그를 색인에 포함할 수 없습니다.

색인 생성을 원하지 않는다면 왜 Google이 페이지를 크롤링하도록 허용합니까? Google이 사이트의 중복 콘텐츠에 대한 크롤링 액세스를 제한하지 않도록 명시적으로 경고했기 때문입니다. 그들은 당신이 그것을 인덱싱하는 것을 원하지 않더라도 그것이 거기에 있다는 것을 알고 싶어합니다.

noindex 태그는 HTML 코드에 적용될 때 다음과 같아야 합니다.

<head> [code] <meta name="robots" content="noindex, follow"> [필요한 경우 다른 코드] </head>

메타 로봇 ​​태그는 중복 콘텐츠의 색인을 제거하고 웹사이트에 상당히 유사하거나 정확한 중복 페이지가 있는 SEO 문제를 방지하는 간단하고 효과적인 방법입니다.

Google 및 기타 검색 엔진의 색인 생성을 차단하려는 전체 디렉토리가 있는 경우 robots.txt 파일을 수정하십시오.

301 리디렉션

중복 콘텐츠 문제를 처리하는 또 다른 방법은 301 리디렉션을 사용하는 것입니다. 301은 중복 페이지에서 다른 URL로 트래픽을 전달하는 영구 리디렉션입니다. 301 리디렉션은 SEO 친화적이며 여러 페이지를 단일 URL로 결합하여 링크 자산을 통합하는 데 도움이 됩니다.

301 리디렉션을 사용하는 경우 중복되거나 상당히 유사한 페이지는 더 이상 트래픽을 허용하지 않으므로 콘텐츠를 정리할 때처럼 중복 페이지에 더 이상 액세스할 수 없는 것이 정상인 경우에만 사용하십시오. 여전히 페이지에 액세스할 수 있도록 하려면 메타 로봇 ​​태그를 사용하여 색인을 생성하지 마십시오.

상대 정식

중복 콘텐츠를 관리하는 또 다른 방법은 rel=canonical 속성을 사용하여 페이지의 우선 순위를 지정하는 것입니다. rel=canonical 속성을 <head> HTML 태그 안에 배치하여 검색 엔진에 특정 페이지가 다른 페이지의 복사본으로 존재하고 이 페이지에 속하는 모든 링크와 순위권이 실제로 표준에 귀속되어야 함을 알립니다. 페이지.

rel=canonical 태그는 HTML 코드에 적용될 때 다음과 같습니다.

<head> [코드] <link href="우선순위 페이지의 URL" rel="canonical" /> </head>

또한 자체 참조 표준 태그를 사용하여 특정 페이지를 원본 버전으로 처리하기를 원함을 나타낼 수 있습니다.

XML Sitemap에서 URL 제거

XML 사이트맵에는 색인을 생성하려는 URL만 포함되어야 합니다. 사이트맵을 자동으로 업데이트하는 동적 URL을 사용하지 않는 경우 사이트맵을 수동으로 수정하고 색인을 생성하지 않거나 리디렉션하는 모든 URL을 제거해야 합니다.

Google Search Console에서 URL 제거

페이지를 리디렉션하거나 색인 생성을 제한하도록 선택한 경우 색인에서 해당 URL을 제거하도록 Google에 요청하십시오.

Google Search Console에 로그인하고 왼쪽 메뉴에서 '제거'를 선택합니다.

URL을 제출하면 단 6개월 동안 Google 색인에서 제외된다는 상자가 나타납니다. 그 후 Google이 사이트를 크롤링하고 URL을 발견하면 리디렉션되거나 로봇 태그에 의해 차단되지 않는 한 색인이 다시 생성됩니다. 접두사를 공유하는 URL이 여러 개 있는 경우 접두사를 제출하여 Google 색인에서 모든 URL을 일시적으로 제거할 수도 있습니다.

6개월 후 Google에서 URL 크롤링을 다시 시도합니다. 올바르게 리디렉션하거나 색인을 생성하지 않은 경우 검색 엔진 결과 페이지(SERP)에 더 이상 표시되지 않습니다.

기술 SEO 문제를 식별하는 데 도움이 필요하십니까?

사이트의 순위 지정 기능을 개선하고 싶으십니까? 데이터 기반 SEO 대행사와 협력하여 웹사이트에서 기술적 SEO 문제를 식별하고 SERP를 높이는 데 도움이 되는 성공적인 SEO 전략을 개발할 수 있습니다. 오늘 무료 SEO 상담을 예약하고 우리가 무엇을 할 수 있는지 확인하십시오!