什麼是谷歌機器人？ 你需要知道的關於谷歌索引的一切

什麼是 Googlebot？

Googlebot 是 Google 網絡爬蟲的名稱。 它“讀取”網頁並將其編入索引，以便可以將它們提供給搜索者以響應他們的搜索詞。

Googlebot 有兩個關鍵工作：

1. 它不斷探索網頁中的新鏈接，以便可以索引盡可能多的內容，並且
2. 它收集有關頁面的新信息，以使 Google 的索引保持最新。

雖然只有一個名稱，但實際上有兩種類型的 Googlebot：一種用於移動設備（Googlebot Smartphone），另一種用於桌面設備（Googlebot Desktop）。 前者檢查您的網站在智能手機和平板電腦上的呈現效果，而後者則專注於您網站的桌面版本。

Googlebot 優化旨在讓 Google 更輕鬆地訪問、抓取和“閱讀”您的網站。 雖然許多 SEO 策略會影響搜索性能，但有一些必備的實現可以提高您網站的“可索引性”，並且可以直接影響您的頁面是否可供 Google 用戶使用。 除了頁內和頁外 SEO 策略外，您的 SEO 策略還應包括技術 SEO 目標，以幫助您增加出現在搜索引擎結果中的機會。

為什麼只關注 Googlebot？ 其他搜索引擎的爬蟲呢？ 好吧，由於谷歌目前擁有 92% 的搜索市場，你的大多數目標受眾可能都在使用它。 但是，以下建議應該使所有爬蟲更容易閱讀您的頁面。

谷歌索引如何工作？

當谷歌索引一個網站時，它本質上是將它添加到它的知識數據庫中，並記錄頁面的內容、它們的用戶友好性等等。 但是，Googlebot 是如何知道一個網站存在並且應該將其編入索引的呢？

如果您以前創建過一個網站，您可能會注意到您在發布它後沒有獲得任何自然流量。 這是因為您需要讓 Googlebot 了解您的網站，以便它可以抓取您的網頁。 您可以通過將 XML 站點地圖提交到 Google Search Console（以前稱為 Google 網站管理員工具）來完成此操作。

Googlebot 使用站點地圖和過去抓取的鏈接數據庫來抓取您的網站。 當它在您的網站上找到新鏈接時，會將其添加到要訪問的頁面列表中。 如果遇到任何斷開的鏈接或其他問題，Googlebot Desktop 和 Googlebot Smartphone 都會更新索引。

這是 Google 在收到查詢時從中提取的索引。 然後，它使用來自搜索的上下文線索來確定如何對相關結果進行排名。

Google 多久抓取一次我的網站？

Google 以不同的速率抓取網址。 雖然某些 URL 可能每天都會被抓取，但其他 URL 可能只能每週或每月抓取一次。 除非您在 robots.txt 文件或元機器人標籤中另有說明，否則 Googlebot 將嘗試訪問您網站上的每個頁面並沿途記錄信息，以便更好地了解您的內容並更新其索引。

雖然到目前為止我主要關注的是 Googlebot 爬蟲，但我確實想指出實際上有多個 Google 網絡爬蟲。 您可以在此處找到 Google 抓取工具的完整列表。

如果您對 Google 多久抓取一次您的網站並將其編入索引感到好奇，請訪問您的 Google Search Console (GSC)。 您將在設置下找到您的抓取統計報告。

為 Googlebot 優化網站的 5 個步驟

按照這五個簡單的步驟，讓搜索引擎蜘蛛可以訪問您的網站，以便在搜索中找到您的頁面。

1. 保持代碼簡單

提高網站可抓取性的很大一部分是保持簡單。 Google 不會抓取 Flash、Ajax、幀、cookie、會話 ID 或 DHTML，並且索引 JavaScript 需要更長的時間，因為它必須呈現它。

在構建您的網站時，必須遵循 Google 的一般和質量指南，以避免出現抓取問題並更輕鬆地為您的網頁編制索引。

2. 檢查你的 Robots.txt

robots.txt 文件告訴 Googlebot 它可以訪問您網站上的哪些網址。 使用 robots.txt 指令可避免您的網站因請求而過載，並為您希望被搜索引擎編入索引的頁面節省更多抓取預算。 如果沒有 robots.txt，Googlebot 可能會花費太多時間來索引您不希望包含在搜索結果中的媒體、資源文件或其他不重要的頁面。 Robots.txt 是一個協議範圍的指令。 除非您有多個子域，否則您的網站上應該只有一個。 要逐頁管理 Googlebot 和抓取工具，請使用元機器人標籤。

3.使用內部鏈接

內部鏈接是將您從同一網站的一個頁面帶到另一個頁面的超鏈接。 它們可能是導航的（想想菜單、側邊欄、頁眉、頁腳），也可能是上下文的（放置在頁面的正文中）。 為了讓 Googlebot 更容易找到您的網頁並了解它們之間的關係，請使用內部鏈接來強調您的網站層次結構。 您的所有頁面都應該以某種方式鏈接在一起。 例如，您的主頁應該鏈接到您的服務頁面、案例研究和博客。 然後，每一個都應該鏈接到相關頁面。

在此處了解有關內部鏈接最佳實踐的更多信息。

在 GSC 中查看您的鏈接報告，以確保您最重要的頁面（例如您的主頁和服務頁面）獲得最多的鏈接。 這向 Google 表明它們是您網站上最重要的頁面。

4. 創建 XML 站點地圖

為了方便 Googlebot 抓取您的網站，請提供一個 XML 站點地圖來組織您的所有頁面，以便網絡抓取工具快速了解您網站的層次結構。 （不確定 XML 站點地圖是什麼，請參閱站點地圖示例並在此處了解更多信息。）

在驗證過程中，通過 GSC 將您的 XML 站點地圖提交給 Google。

如果您沒有使用為您動態更新站點地圖的內容管理系統 (CMS)，請務必手動更新您的 XML 站點地圖，並在更改站點層次結構時重新提交。 只需單擊左側邊欄上的“站點地圖”。 這將有助於確保 Google 將您網站上的相應頁面編入索引。

5.請求谷歌索引

當您發布新頁面或對現有內容進行重大更新時，您不必等到 Google 找到它們——通過請求索引告訴 Google 您有一個新的或更新的頁面供他們掃描。

登錄到您的 GSC 並在頁面頂部的放大鏡圖標左側輸入要編入索引的 URL，然後按 Enter。

谷歌會注意到它正在檢索數據。

然後會告訴你你的頁面是否已經被索引。

如果不是，您可以請求索引。 如果您的頁面已編入索引並且您對其進行了重大更改，您也可以請求編入索引。

如果您經常將頁面添加到您的站點，例如新的博客文章或產品頁面，請將此過程作為您的最佳實踐的一部分，這樣您就可以確保您的所有頁面都被立即編入索引。

分析 Googlebot 如何抓取您的網站的四種方法

一旦您優化了您的網站以使搜索引擎爬蟲更容易閱讀，您將需要仔細檢查它是否已正確爬網和編入索引。

抓取統計

您的抓取統計信息顯示 Googlebot 向您的服務器發送了多少抓取請求，以及它何時以及是否遇到任何問題。

您在 Google Search Console 中的抓取統計報告還會顯示 Googlebot 發現的內容（抓取響應）、遇到的文件類型、Googlebot 是在發現新頁面還是重新索引舊頁面，以及已使用哪些 Googlebot 類型來抓取您的網站。

單擊抓取統計報告中的行項目將提供更多信息。 例如，如果您想查明哪些網頁返回了 404 錯誤，請單擊抓取響應框中的該行，以轉到 Googlebot 無法找到的網址列表以及上次嘗試抓取這些網頁的時間。

通過點擊抓取目的下的“刷新”或“發現”行項目，您可以查看 Googlebot 最近已將哪些 URL 編入索引。 如果您發現最近的網頁尚未編入索引，您可以使用報告頂部的搜索欄輕鬆提交它們。

抓取錯誤

當搜索引擎無法訪問您的某個頁面時，就會出現抓取錯誤。 您可以在抓取報告中識別兩種類型的 Googlebot 抓取錯誤，這些錯誤會對您的 SEO 產生負面影響：

1. 網站錯誤：當您遇到網站錯誤時，Googlebot 可能無法抓取您的網站。 站點錯誤可能是由丟失或無法訪問 robots.txt 文件、DNS 解析失敗或服務器連接問題引起的。
2. URL 錯誤：由於 URL 錯誤，Googlebot 無法抓取特定頁面。 您可能會同時出現多個 URL 錯誤。

Moz 在分享如何修復抓取錯誤方面做得很好。

被阻止的 URL

如果您不希望 Google 抓取工具訪問您網站的某些部分，您可以在 robots.txt 中指定這些目錄，以提供有關機器人應如何索引您的內容的信息。

檢查您的 GSC 以查看 Google 識別的被阻止網址的數量，以確保您的 robots.txt 正常工作。 如果被阻止的 URL 數量低於應有的數量，則需要編輯 robots.txt 文件。 相反，如果該數字高於應有的數字，則可能會無意中阻止抓取您希望出現在搜索結果中的頁面。

網址參數

URL 參數，也稱為查詢字符串，允許您在動態 URL 的末尾添加附加信息。 如果您訪問過分頁內容，例如電子商務網站上的產品搜索結果，您可能會在頁面 URL 的末尾看到“?page=2”或類似內容。 這是一個 URL 參數。 這些參數也可用於：

• 內容過濾器
• 翻譯
• 網站搜索
• 追踪

如果您想在 URL 中使用參數，請考慮是否希望它們被訪問和索引，因為它們可能會導致嚴重的問題，例如重複內容、浪費的抓取預算和跟踪問題。

您可以按照以下步驟阻止參數化內容的爬網。

了解有關 SEO 的 Google 工具的更多信息

Google 提供了多種工具來幫助您衡量網站的性能。 利用這些來監控和改進您的 SEO 策略。

我們的 Google 工具指南將引導您了解 Google 提供的每個免費 SEO 工具，並將技術概念分解為可操作且易於理解的章節，其中充滿了額外的資源。

用於 SEO 的 Google 工具指南

下載本指南，了解如何充分利用 Google 提供的免費、強大的工具來改進您的 SEO 流程和性能。