インデックスカバレッジの問題を見つけて修正する方法

Googleのインデックス作成の問題が発生していますか？ この問題により、トラフィックとコンバージョン率が低下する可能性があります。

問題をすばやく解決するには、サイトのインデックス付きページとインデックスなしページを確認する必要があります。 ここでは、Google検索コンソール–インデックスカバレッジレポートを使用してそれを行う方法を段階的に説明します。

次の方法で、数百万または数十億の除外ページがある数百のWebサイトのインデックスカバレッジの問題を修正することができました。 関連するページが検索結果で表示されなくなり、SEOトラフィックが増加しないように使用してください。

ステップ1：インデックスカバレッジレポートを確認する

Search Console Coverage Reportは、Googleによってクロールされてインデックスに登録されたページと、URLがその特定の状態にある理由を示します。 これを使用して、クロールとインデックス作成のプロセス中に見つかったエラーを検出できます。

インデックスカバレッジレポートを確認するには、Google検索コンソールに移動し、[カバレッジ]（[インデックス]のすぐ下）をクリックします。 開くと、URLを分類する4つの異なるステータスの概要が表示されます。

• エラー：これらのページはインデックスに登録できず、エラーのために検索結果に表示されません。
• 警告付きで有効：これらのページは、Googleの検索結果に表示される場合と表示されない場合があります。
• 有効：これらのページはインデックスに登録されており、検索結果に表示できます。 何もする必要はありません。
• 除外：これらのページはインデックスに登録されておらず、検索結果に表示されません。 Googleは、それらをインデックスに登録したくない、またはコンテンツをインデックスに登録する価値がないと考えていると考えています。

サイトへのトラフィックを増やす機会を失う可能性があるため、[エラー]セクションにあるすべてのページを確認し、できるだけ早く修正する必要があります。

時間がある場合は、「有効」の状態に含まれるページを確認してください。どのような状況でも検索結果に表示されない可能性のある重要なページがいくつかある可能性があります。

最後に、除外されたページがインデックスに登録されたくないページであることを確認してください。

ステップ2：各インデックスカバレッジステータスで見つかった問題を解決する方法

インデックスカバレッジレポートを開いたら、目的のステータス（エラー、警告付きで有効、または除外）を選択し、ページの下部に表示される詳細を確認します。 重大度と影響を受けるページ数ごとにエラータイプのリストが表示されるため、表の上から問題の調査を開始することをお勧めします。

さまざまなステータスの各エラーと、それらを修正する方法を見てみましょう。

エラーステータス

サーバーエラー（5xx）：

これらは、5xxステータスコードをGoogleに返すURLです。

実行するアクション：

• 返される500ステータスコードの種類を確認してください。 ここに、各サーバーエラーステータスコードの定義を含む完全なリストがあります。
• URLをリロードして、エラーが続くかどうかを確認します。 5xxエラーは一時的なものであり、アクションは必要ありません。
• サーバーが過負荷になっていないか、正しく構成されていないことを確認してください。 その場合は、開発者にサポートを依頼するか、ホスティングプロバイダーに連絡してください。
• ログファイル分析を実行して、サーバーのエラーログを確認します。 この方法では、問題に関する追加情報が提供されます。
• 最近Webサイトに加えた変更を確認して、それらのいずれかが根本的な原因である可能性があるかどうかを確認します。 例）プラグイン、新しいバックエンドコードなど。

リダイレクトエラー：

GoogleBotは、ページをクロールできないリダイレクトプロセス中にエラーを検出しました。 次の理由のいずれかがこの問題を引き起こすことがよくあります。

• 長すぎるリダイレクトチェーン
• リダイレクトループ
• 最大URL長を超えたリダイレクトURL
• リダイレクトチェーンに間違ったURLまたは空のURLがありました

実行するアクション：

• リダイレクトチェーンとループを排除します。 各URLに1つのリダイレクトのみを実行させます。 つまり、最初のURLから最後のURLへのリダイレクトです。

Robots.txtによってブロックされた送信済みURL：

これらは、XMLサイトマップをGoogle検索コンソールにアップロードするためにGoogleに送信したが、Robots.txtファイルによってブロックされたURLです。

実行するアクション：

検索エンジンに問題のページのインデックスを作成するかどうかを確認します。

• インデックスに登録したくない場合は、URLを削除してXMLサイトマップをアップロードします。
• 逆に、インデックスを作成する場合は、Robots.txtのガイドラインを変更してください。 これがrobots.txtの編集方法に関するガイドです。

「noindex」とマークされた送信済みURL：

これらのページはXMLサイトマップを介してGoogleに送信されていますが、メタロボットタグまたはHTTPヘッダーのいずれかに「noindex」ディレクティブがあります。

実行するアクション：

• URLにインデックスを付ける場合は、noindexディレクティブを削除する必要があります
• Googleにインデックスを付けたくないURLがある場合は、XMLサイトマップからそれらを削除します

送信されたURLはSoft404のようです。

インデックス作成の目的でXMLサイトマップを介して送信したURLは、ソフト404を返します。 このエラーは、サーバーがリクエストに200ステータスコードを返したときに発生しますが、Googleは404を表示する必要があると考えています。つまり、ページはGoogleにとって404エラーのように見えます。 場合によっては、ページにコンテンツがないか、間違っているように見えるか、Googleにとって品質が低いことが原因である可能性があります。

実行するアクション：

• これらのURLが（実際の）404ステータスコードを返す必要があるかどうかを調べます。 その場合は、XMLサイトマップから削除してください。
• エラーが返ってこない場合は、これらのページに適切なコンテンツを提供してください。 薄いコンテンツや重複するコンテンツは避けてください。 リダイレクトがある場合は、それらが正しいことを確認します。

送信されたURLは不正なリクエストを返します（401）：

XMLサイトマップを介してGoogleに送信されたURLは、401エラーを返します。 このステータスコードは、URLへのアクセスが許可されていないことを示しています。 ユーザー名とパスワードが必要な場合があります。または、IPアドレスに基づいてアクセス制限がある場合があります。

実行するアクション：

• URLが401を返す必要があるかどうかを確認します。その場合は、XMLサイトマップからそれらを削除します。
• 401コードを表示したくない場合は、HTTP認証がある場合は削除します。

送信されたURLが見つかりません（404）：

インデックス作成の目的でURLをGoogle検索コンソールに送信しましたが、上記とは異なる問題のため、GoogleはそのURLをクロールできません。

実行するアクション：

• ページにインデックスを付けるかどうかを確認します。 答えが「はい」の場合は修正して、200ステータスコードを返します。 URLに301リダイレクトを割り当てて、適切なページを表示することもできます。 リダイレクトを選択した場合は、割り当てられたURLをXMLサイトマップに追加し、404を提供するURLを削除する必要があることに注意してください。
• ページにインデックスを付けたくない場合は、XMLサイトマップからページを削除してください。

送信されたURLにクロールの問題があります：

インデックス作成の目的でURLをGSCに送信しましたが、上記とは異なる問題があるため、Googleでクロールできません。

実行するアクション：

• URL検査ツールを使用して、問題の原因に関する詳細情報を取得します。
• これらのエラーは一時的なものである場合があるため、アクションは必要ありません。

警告ステータスで有効

これらのページはrobots.txtによってブロックされていますが、インデックスが作成されています。 Googleは常にrobots.txtファイルで指定された指示に従おうとします。 ただし、動作が異なる場合があります。 これは、たとえば、誰かが特定のURLにリンクしている場合に発生する可能性があります。

Googleは、検索結果でこれらのページをブロックするかどうかを疑うため、このカテゴリのURLを見つけます。

実行するアクション：

• ページのインデックス作成を避けるために、robots.txtファイルを使用することはお勧めしません。 代わりに、これらのページのインデックスを表示したくない場合は、メタロボットのnoindexまたはHTTP応答ヘッダーを使用してください。
• Googleがページにアクセスできないようにするもう1つの良い方法は、HTTP認証を実装することです。
• ページをブロックしたくない場合は、robots.txtファイルで必要な修正を行います。
• robots.txtテスターを使用して、ページをブロックしているルールを特定できます。

Natzir Turrado、
FandangoSEOアドバイザー
テクニカルSEOフリーランス@NatzirTurrado

SalesForceへの大規模な移行では、インデックスを作成したくない（難読化された）フィルターを作成するように開発者に依頼しました。 Salesforce Webサイトが公開されたとき、すべてが成功しました。 しかし、数か月後に新しいバージョンがリリースされたとき、難読化は誤って破られました。 わずか7日間で約1750万のGooglebot-Mobileリクエストと約1250万のGooglebot/2.​​1があり、2％のヒット率のキャッシュがあったため、これはすべての警告を引き起こしました。 以下に、検索コンソールで、インデックスが作成されたがロボットによってブロックされたページがどのように増加したかを示します。

これが、ログを継続的に監視し、GSCカバレッジレポートを確認することをお勧めする理由です（ただし、ログを確認するとすぐに問題が検出されます）。 また、robots.txtはページのインデックス登録を妨げないことを忘れないでください。 GoogleがURLをクロールしないようにする場合は、URLにアクセスできないようにすることをお勧めします。

除外ステータス

これらのページは検索結果にインデックス付けされておらず、Googleはそれが正しいことだと信じています。 たとえば、これは、インデックスが作成されたページの重複ページであるか、ウェブサイトで検索エンジンにガイドラインを提供してインデックスを作成していることが原因である可能性があります。

カバレッジレポートには、ページを除外できる15の状況が表示されます。

'noindex'タグで除外：

「noindex」ディレクティブを指定して、ページにインデックスを付けないように検索エンジンに指示しています。

実行するアクション：

• 実際にページにインデックスを付けたくないかどうかを確認します。 ページにインデックスを付ける場合は、「noindex」タグを削除します。
• このディレクティブの存在を確認するには、ページを開き、応答本文と応答ヘッダーで「noindex」を検索します。

ページ削除ツールによってブロックされました：

GSCのこれらのページのURL削除リクエストを送信しました。

実行するアクション：

• Googleはこのリクエストに90日間しか参加しないため、ページのインデックスを作成したくない場合は、「noindex」ディレクティブを使用するか、HTTP認証を実装するか、ページを削除してください。

robots.txtによってブロックされました：

robots.txtファイルを使用して、これらのページへのGooglebotへのアクセスをブロックしています。 ただし、Googleがこのページを読み込まずにこのページに関する情報を見つけることができれば、インデックスに登録される可能性があります。 robots.txtに不許可を追加する前に、おそらくGoogleがページのインデックスを作成しました

実行するアクション：

• ページにインデックスを付けたくない場合は、「noindex」ディレクティブを使用して、robots.txtブロックを削除します。

不正なリクエストによりブロックされました（401）：

リクエスト認証（401応答）を使用してGoogleへのアクセスをブロックしています。

実行するアクション：

• GoogleBotがページにアクセスできるようにする場合は、承認要件を削除します。

クロール異常：

4xxまたは5xxエラー応答コードが原因で、ページのインデックスが作成されませんでした。

実行するアクション：

• URL検査ツールを使用して、問題に関する詳細情報を取得します。

クロール–現在インデックス付けされていません

このページはGoogleBotによってクロールされましたが、インデックスに登録されていません。 将来、インデックスが作成される場合とされない場合があります。 クロールのためにこのURLを送信する必要はありません。

実行するアクション：

• 検索結果でページのインデックスを作成する場合は、貴重な情報を提供するようにしてください。

検出済み–現在インデックス付けされていません：

Googleはこのページを見つけましたが、まだクロールできていません。 この状況は通常、GoogleBotがページをクロールしようとしたときに、サイトが過負荷になったために発生します。 クロールは別の時間にスケジュールされています。

アクションは必要ありません。

適切な正規タグを持つ代替ページ：

このページは正規のページを指しているため、Googleはあなたがそのページをインデックスに登録したくないことを理解しています。

実行するアクション：

• このページのインデックスを作成する場合は、 rel = canonical属性を変更して、Googleに希望のガイドラインを与える必要があります。

ユーザーが選択した正規情報なしで複製：

ページに重複がありますが、いずれも正規としてマークされていません。 Googleは、これは標準的なものではないと見なしています。

実行するアクション：

• 正規タグを使用して、どのページが正規ページであり（インデックスを作成する必要があります）、どのページが重複しているのかをGoogleに明確にします。 URL検査ツールを使用して、Googleによってカノニカルとして選択されたページを確認できます。

重複して、Googleはユーザーとは異なる正規を選択しました：

このページを正規としてマークしましたが、代わりに、Googleは正規として機能する方が良いと考える別のページにインデックスを付けました。

実行するアクション：

• あなたはグーグルの選択に従うことができます。 その場合、インデックス付けされたページを正規としてマークし、これを正規URLの複製としてマークします。
• そうでない場合は、Googleが選択したページよりも別のページを好む理由を調べ、必要な変更を加えます。 URL検査ツールを使用して、Googleが選択した「正規ページ」を見つけます。

フェラン・ギャビン、
SEOマネージャー@Softonic

インデックスカバレッジレポートで私たちが経験した最も奇妙な「失敗」の1つは、Googleがカノニカルを正しく処理していないことを発見したことです（そして私たちは何年も間違っていました！）。 Googleは、ページが完全にフォーマットされている場合、指定された正規が無効であることを検索コンソールに示していました。 結局、それはグーグル自体からのバグであることが判明し、ゲイリー・イリーズによって確認されました。

見つかりません（404）：

Googleがリクエストを行うと、ページは404エラーステータスコードを返します。 GoogleBotはサイトマップからページを見つけませんでしたが、おそらくURLにリンクしている別のウェブサイトから見つけました。 このURLが過去に存在し、削除された可能性もあります。

実行するアクション：

• 404応答が意図的なものである場合は、そのままにしておくことができます。 それはあなたのSEOパフォーマンスを損なうことはありません。 ただし、ページが移動した場合は、301リダイレクトを実装します。

法的な申し立てによりページが削除されました：

このページは、法的な申し立てによりインデックスから削除されました。

実行するアクション：

• 侵害した可能性のある法的規則を調査し、それを修正するために必要な措置を講じます。

リダイレクトのあるページ：

このURLはリダイレクトであるため、インデックスに登録されませんでした。

実行するアクション：

• URLがリダイレクトすることになっていない場合は、リダイレクトの実装を削除します。

ソフト404：

このページは、Googleがソフト404応答であると信じているものを返します。 このページは200のステータスコードを提供しますが、Googleは404を返す必要があると考えているため、インデックスに登録されていません。

実行するアクション：

• Googleが提案するように、ページに404を割り当てる必要があるかどうかを確認します。
• ページに貴重なコンテンツを追加して、それがSoft404ではないことをGoogleに知らせます。

重複して送信されたURLが正規として選択されていません：

インデックス作成の目的で、URLをGSCに送信しました。 それでも、ページに正規タグのない重複があるため、インデックスに登録されていません。Googleは、正規タグのより良い候補があると考えています。

実行するアクション：

• 正規ページに対するGoogleの選択に従うかどうかを決定します。 その場合、 Googleが選択したページを指すようにrel=canonical属性を割り当てます。
• URL検査ツールを使用して、Googleが正規として選択したページを確認できます。
• このURLを正規のURLにする場合は、Googleが他のページを優先する理由を分析してください。 選択したページで、より価値の高いコンテンツを提供します。

ステップ3.インデックスカバレッジレポート最も一般的な問題

これで、インデックスカバレッジレポートで検出できるさまざまなタイプのエラーと、それぞれに遭遇したときに実行するアクションがわかりました。 以下は、最も頻繁に発生する問題の概要です。

有効なページよりも除外されている

有効なページよりも除外されたページが多い場合があります。 この状況は通常、URLが大幅に変更された大規模なサイトで発生します。 おそらく長い歴史を持つ古いサイトであるか、Webコードが変更されています。

2つのステータス（除外と有効）のページ数に大きな違いがある場合は、重大な問題があります。 上で説明したように、除外されたページの確認を開始します。

Esteve Castells、
グループSEOマネージャー@Adevinta

カバレッジレポートで私が今まで見た中で最大の問題は、私が管理しているWebサイトの1つであり、最終的に50億ページが除外されました。 はい、あなたはそれを正しく読みました、50億ページ。 ファセットナビゲーションは完全に狂ってしまい、ページビューごとに、Googlebotがクロールするための20個の新しいURLを作成していました。

これは、クロールに関してこれまでで最も費用のかかる間違いでした。 Googlebotが1日に2500万回以上のヒットでサーバーを停止していたため、robots.txtを介してファセットナビゲーションURLを完全に禁止する必要がありました。

エラースパイク

エラーの数が指数関数的に増加する場合は、エラーを確認してできるだけ早く修正する必要があります。 Googleは、ウェブサイトのパフォーマンスを著しく損なう問題を検出しました。 今日問題を修正しないと、明日は重大な問題が発生します。

サーバーエラー

これらのエラーが503（Service Unavailable）でないことを確認してください。 このステータスコードは、一時的な過負荷またはメンテナンスのためにサーバーが要求を処理できないことを意味します。 最初はエラーが自然に消えるはずですが、それが続く場合は、問題を調べて解決する必要があります。

他の種類の5xxエラーがある場合は、ガイドをチェックして、それぞれの場合に実行する必要のあるアクションを確認することをお勧めします。

404エラー

Googleが404を生成しているウェブサイトの一部の領域を検出したようです-ページが見つかりません。 ボリュームが大幅に増加した場合は、ガイドを確認して、壊れたリンクを見つけて修正してください。

欠落しているページまたはサイト

レポートにページまたはサイトが表示されない場合は、いくつかの理由が考えられます。

1. Googleはまだそれを発見していません。 ページまたはサイトが新しい場合、Googleがそれを見つけるまでに時間がかかる場合があります。 サイトマップまたはページクロールリクエストを送信して、インデックス作成プロセスを高速化します。 また、ページが孤立しておらず、Webサイトからリンクされていないことを確認してください。
2. ログインリクエストが原因で、Googleはページにアクセスできません。 GoogleBotがページをクロールできるようにするための承認要件を削除します。
3. ページにnoindexタグがあるか、何らかの理由でインデックスから削除されました。 noindexタグを削除し、ページに価値のあるコンテンツを提供していることを確認してください。

「送信されたが/送信された」エラーと除外

この問題は、不一致がある場合に発生します。 サイトマップを介してページを送信する場合は、そのページがインデックス作成に有効であり、サイトにリンクされていることを確認する必要があります。

サイトは、相互にリンクする価値のある貴重なページで構成されている必要があります。

概要

これは、「インデックスカバレッジエラーを見つけて修正する方法」の記事の3つのステップの要約です。

• インデックスカバレッジレポートを使用するときに最初に実行することは、エラーステータスに表示されるページを修正することです。 Googleのペナルティを回避するには、これを0にする必要があります。
• 次に、除外されたページをチェックして、これらがインデックスに登録したくないページであるかどうかを確認します。 そうでない場合は、ガイドラインに従って問題を解決してください。
• 時間がある場合は、警告付きで有効なページを確認することを強くお勧めします。 robots.txtに記載されているガイドラインが正しく、矛盾がないことを確認してください。

お役に立てば幸いです。 インデックスカバレッジレポートについてご不明な点がございましたら、お気軽にお問い合わせください。 また、以下のコメントであなたからのヒントを聞いてみたいです。