Googlebotとは何ですか？ Googleインデックスについて知っておくべきことすべて

公開: 2022-04-22

最適化されたウェブサイトは、Googleでランク付けし、ターゲットオーディエンスに見つけてもらうために不可欠です。検索エンジン最適化（SEO）は、検索エンジンのクローラーとユーザーの両方がWebサイトを読みやすくアクセスしやすくするのに役立ちます。

すべての検索エンジンには独自のウェブクローラーがありますが、ほとんどの検索ストラテジストは1つだけに焦点を当てています—Googlebot。

では、Googlebotとは何ですか。また、そのためにWebサイトを最適化するにはどうすればよいでしょうか。

Googlebotとは何ですか？

Googlebotは、Googleのウェブクローラーの名前です。 Webページを「読み取り」、インデックスを作成して、検索語に応じて検索者に提供できるようにします。

Googlebotには2つの重要な仕事があります。

可能な限り多くのコンテンツにインデックスを付けることができるように、新しいリンクのWebページを継続的に探索します。
Googleのインデックスを最新の状態に保つために、ページに関する新しい情報を収集します。

名前は1つだけですが、実際には2種類のGooglebotがあります。1つはモバイル用（Googlebotスマートフォン）、もう1つはデスクトップ用（Googlebotデスクトップ）です。前者はあなたのサイトがスマートフォンやタブレットでどれだけうまくレンダリングされるかをチェックし、後者はあなたのウェブサイトのデスクトップバージョンに焦点を合わせます。

Googlebotの最適化とは、Googleがウェブサイトにアクセスし、クロールし、「読む」ことを容易にすることです。多くのSEO戦術は検索パフォーマンスに影響を与えますが、サイトの「インデックス作成性」を向上させ、ページがGoogleユーザーに利用可能かどうかに直接影響を与える可能性のある必須の実装がいくつかあります。オンページおよびオフページのSEO戦術に加えて、SEO戦略には、検索エンジンの結果に表示される可能性を高めるのに役立つ技術的なSEO目標を含める必要があります。

なぜGooglebotだけに焦点を合わせるのですか？他の検索エンジンのクローラーはどうですか？グーグルは現在検索市場の92％を占めているので、ターゲットオーディエンスのほとんどがそれを使用している可能性があります。ただし、以下の推奨事項により、すべてのクローラーがページを読みやすくなります。

Googleのインデックス作成はどのように機能しますか？

Googleがサイトのインデックスを作成するときは、基本的にそのサイトをナレッジデータベースに追加し、ページの内容やユーザーフレンドリーなどを記録します。しかし、Googlebotは、Webサイトが存在し、インデックスに登録する必要があることをどのようにして知るのでしょうか。

以前にWebサイトを作成したことがある場合は、公開した直後にオーガニックトラフィックが発生していないことに気付いたと思います。これは、Googlebotにウェブサイトを認識させて、ページをクロールできるようにする必要があるためです。これを行うには、XMLサイトマップをGoogle検索コンソール（以前のGoogleウェブマスターツール）に送信します。

Googlebotは、過去のクロールのサイトマップとリンクデータベースを使用してウェブサイトをクロールします。 Webサイトで新しいリンクが見つかると、アクセスするページのリストに追加されます。リンク切れやその他の問題が発生した場合、GooglebotデスクトップとGooglebotスマートフォンの両方がインデックスを更新します。

これは、Googleがクエリを受信したときに取得するインデックスです。次に、検索からのコンテキストの手がかりを使用して、関連する結果をランク付けする方法を決定します。

Googleはどのくらいの頻度で私のサイトをクロールしますか？

GoogleはさまざまなレートでURLをクロールします。一部のURLは毎日クロールされる場合がありますが、他のURLは毎週または毎月のみクロールされる場合があります。 robots.txtファイルまたはメタロボットタグで特に指定しない限り、Googlebotは、コンテンツをよりよく理解してインデックスを更新できるように、ウェブサイトのすべてのページに移動して情報を記録しようとします。

これまでは主にGooglebotクローラーに焦点を当ててきましたが、実際には複数のGoogleWebクローラーがあることに注意してください。 Googleクローラーの完全なリストはここにあります。

Googleがサイトをクロールしてインデックスに登録する頻度について知りたい場合は、Google検索コンソール（GSC）にアクセスしてください。設定の下にクロール統計レポートがあります。

Googlebot用にサイトを最適化するための5つのステップ

次の5つの簡単な手順に従って、検索エンジンスパイダーがサイトにアクセスできるようにして、検索でページを見つけられるようにします。

1.コードをシンプルに保つ

あなたのウェブサイトのクロール可能性を高めることの大きな部分は物事を単純に保つことです。 GoogleはFlash、Ajax、フレーム、Cookie、セッションID、またはDHTMLをクロールしません。また、JavaScriptをレンダリングする必要があるため、JavaScriptのインデックス作成に時間がかかります。

ウェブサイトを構築するときは、クロールの問題を回避し、ページのインデックス作成を容易にするために、Googleの一般的な品質ガイドラインに従うことが不可欠です。

2.Robots.txtを確認します

robots.txtファイルは、サイトでアクセスできるURLをGooglebotに通知します。 robot.txtディレクティブを使用して、リクエストによるサイトの過負荷を回避し、検索エンジンでインデックスを作成するページのクロール予算を節約します。 robots.txtがないと、Googlebotは、メディア、リソースファイル、または検索結果に含めたくないその他の重要でないページのインデックス作成に多くの時間を費やす可能性があります。 Robots.txtはプロトコル全体のディレクティブです。複数のサブドメインがない限り、Webサイトには1つだけ存在する必要があります。 Googlebotとクローラーをページごとに管理するには、メタロボットタグを使用します。

3.内部リンクを使用する

内部リンクは、同じWebサイトのあるページから別のページに移動するハイパーリンクです。それらはナビゲーション（メニュー、サイドバー、ヘッダー、フッターなど）である場合もあれば、コンテキスト（ページの本文に配置される）である場合もあります。 Googlebotがページを見つけて相互にどのように関連しているかを理解しやすくするために、内部リンクを使用してサイト階層を強調します。すべてのページを何らかの方法でリンクする必要があります。たとえば、ホームページはサービスページ、ケーススタディ、ブログにリンクする必要があります。次に、それらのそれぞれが関連するページにリンクする必要があります。

内部リンクのベストプラクティスについて詳しくは、こちらをご覧ください。

GSCのリンクレポートをチェックして、ホームページやサービスページなどの最も重要なページが最も多くのリンクを取得していることを確認してください。これは、それらがサイトで最も重要なページであることをGoogleに示しています。

4.XMLサイトマップを作成します

Googlebotがウェブサイトを簡単にクロールできるようにするには、ウェブクローラーがサイトの階層をすばやく理解できるようにすべてのページを整理するXMLサイトマップを提供します。（XMLサイトマップが何であるかわからない場合は、サイトマップの例を参照して、詳細をここで確認してください。）

確認プロセス中に、GSCを介してXMLサイトマップをGoogleに送信します。

サイトマップを動的に更新するコンテンツ管理システム（CMS）を使用していない場合は、XMLサイトマップを手動で更新し、サイト階層に変更を加えたときに再送信してください。左側のサイドバーにある[サイトマップ]をクリックするだけです。これにより、Googleがウェブサイトの適切なページをインデックスに登録できるようになります。

5.Googleインデックスをリクエストする

新しいページを公開したり、既存のコンテンツを大幅に更新したりする場合、Googleがそれらを見つけるまで待つ必要はありません。インデックスをリクエストして、スキャンする新しいページまたは更新されたページがあることをGoogleに伝えてください。

GSCにサインインし、ページ上部の虫眼鏡アイコンの左側にインデックスを作成するURLを入力して、Enterキーを押します。

Googleは、データを取得していることに注意します。

そして、あなたのページがすでにインデックスに登録されているかどうかを教えてくれます。

そうでない場合は、インデックス作成をリクエストできます。ページにインデックスが付けられていて、ページに大幅な変更を加えた場合は、インデックスをリクエストすることもできます。

新しいブログ投稿や製品ページなど、サイトにページを頻繁に追加する場合は、このプロセスをベストプラクティスの一部にして、すべてのページが遅滞なくインデックスに登録されるようにします。

Googlebotがサイトをクロールする方法を分析する4つの方法

検索エンジンのクローラーが読みやすくなるようにサイトを最適化したら、サイトが適切にクロールされ、インデックスが作成されていることを再確認する必要があります。

クロール統計

クロール統計には、Googlebotがサーバーに送信したクロールリクエストの総数と、問題が発生したかどうかが示されます。

Google Search Consoleのクロール統計レポートには、Googlebotが検出したもの（クロール応答）、検出したファイルタイプ、Googlebotが新しいページを検出したか古いページのインデックスを再作成したか、サイトのクロールに使用されたGooglebotタイプも表示されます。

クロール統計レポートの広告申込情報をクリックすると、追加情報が表示されます。たとえば、404エラーを返しているページを確認したい場合は、クロール応答ボックスのその行をクリックすると、Googlebotが検出できなかったURLのリストと、それらのページを最後にクロールしようとした日時が表示されます。

クロールの目的で[更新]または[検出]の広告申込情報をクリックすると、Googlebotが最近インデックスに登録したURLを確認できます。最新のページがインデックスに登録されていないことがわかった場合は、レポートの上部にある検索バーを使用して簡単に送信できます。

クロールエラー

クロールエラーは、検索エンジンがページの1つにアクセスできない場合に発生します。クロールレポートで、SEOに悪影響を与える可能性のある2種類のGooglebotクロールエラーを特定できます。

サイトエラー：サイトエラーが発生すると、Googlebotがサイトをクロールできない場合があります。サイトエラーは、robot.txtファイルの欠落またはアクセス不能、DNS解決の失敗、またはサーバー接続の問題が原因である可能性があります。
URLエラー： URLエラーがあると、Googlebotは特定のページをクロールできません。一度に複数のURLエラーが発生する可能性があります。

Mozは、クロールエラーを修正する方法を共有するという素晴らしい仕事をしています。

ブロックされたURL

Googleクローラーにアクセスさせたくないサイトのセクションがある場合は、robots.txtでそれらのディレクトリを指定して、ロボットがコンテンツにインデックスを付ける方法に関する情報を提供できます。

GSCをチェックして、robots.txtが機能していることを確認するためにGoogleが認識するブロックされたURLの数を確認します。ブロックされたURLの数が本来より少ない場合は、robots.txtファイルを編集する必要があります。逆に、数が本来よりも多い場合は、検索結果に表示したいページが誤ってクロールからブロックされている可能性があります。

URLパラメータ

クエリ文字列とも呼ばれるURLパラメータを使用すると、動的URLの末尾に情報を追加できます。 eコマースサイトの商品検索結果など、ページ分割されたコンテンツにアクセスしたことがある場合は、ページのURLの最後に「？page=2」などが表示されている可能性があります。これはURLパラメータです。これらのパラメーターは、次の目的にも使用できます。

コンテンツフィルター
翻訳
サイト検索
追跡

URLでパラメータを使用する場合は、コンテンツの重複、クロール予算の浪費、追跡の問題などの重大な問題が発生する可能性があるため、パラメータにアクセスしてインデックスを作成するかどうかを検討してください。

次の手順に従って、パラメータ化されたコンテンツのクロールをブロックできます。

SEOのためのGoogleツールについてもっと知る

Googleは、サイトのパフォーマンスを測定するのに役立つさまざまなツールを提供しています。これらを利用して、SEO戦略を監視および改善します。

Googleツールのガイドでは、Googleが提供する無料のSEOツールのそれぞれについて説明し、技術的な概念を、追加のリソースが豊富な実用的で理解しやすい章に分解します。

SEOのためのGoogleツールへのガイド

このガイドをダウンロードして、Googleが提供する無料の強力なツールを最大限に活用してSEOプロセスとパフォーマンスを向上させる方法を学びましょう。