使用 Screaming Frog 和 Google 表格進行快速 SEO 抓取和審核

已發表: 2022-04-12

需要快速抓取網站嗎？想要快速可視化洞察力，以便您決定下一步做什麼？在本視頻中，我將向您介紹如何使用 Screaming Frog SEO Spider 快速、高級地抓取網站。然後我們將在 Google Sheets 的幫助下可視化一些關鍵數據點。

資源：

尖叫的青蛙 SEO 蜘蛛
谷歌表格模板

視頻記錄：

在最新一期的 Hack My Growth 中，我將向您介紹使用 Screaming Frog SEO Spider 進行的快速 SEO 爬網，以及我們如何使用 Google 表格模板快速可視化該數據。嘿，感謝您觀看此視頻。如果您喜歡我們在此頻道上創建的視頻，請點擊訂閱，並且不要忘記打開該通知按鈕。我們每週都會創建新內容，以幫助您充分利用您的數字營銷工作。

因此，正如我在開場白中談到的那樣，我們將逐步介紹如何使用 Screaming Frog SEO Spider 設置快速 SEO 爬網。這是一個非常棒的工具。這是我們在該機構幾乎每天都使用的工具。它可以幫助我們獲得 30,000 英尺的網站視圖以及極其精細的網站詳細視圖。今天我們談論的是快速審計。這將使我們能夠從非常基本的層面查看網站，但有助於讓我們了解我們可以與客戶或潛在潛在客戶一起使用的一些重大或快速的勝利。

搜索引擎優化爬行與尖叫的青蛙

好吧，讓我們進入內容。好的，所以在本視頻中，我將帶您快速了解使用 Screaming Frog 進行的基本網站爬網。 Screaming Frog SEO Spider 可能是任何 SEO 或任何真正想了解更多有關其網站的網站所有者最有用的工具之一。我們將快速概述它的工作原理、設置方式以及運行方式。然後我還將快速分享一個我們可以在 Google 表格中完成的非常簡單的報告可視化。

爬行

所以你要對 Screaming Frog 做的第一件事是你可以在這裡添加你的 URL，如果你只是想去，你可以繼續點擊開始。但是有很多方法可以實際運行這種爬網。你可以在這裡做你的整個域，但如果你只想運行幾個頁面，你也可以這樣做。你在這裡有不同的模式。所以你可以運行一個列表，你實際上可以從搜索結果中提取數據，然後你可以進行比較。因此，如果您想真正了解您的網站，可能是頁面列表以及搜索結果本身，這是一個非常有用的工具。

現在在這個視頻中，我們專門討論爬取我們自己的網站。現在，我喜歡先進去做一些配置。如果您要進行深度爬網，您可能希望點擊並檢查很多這些內容。

但是，如果您只想快速抓取網站並在非常基本的層面上了解該網站的優化程度或該網站的基礎是什麼，您不必實際抓取和恢復所有這些不同的東西。如果您在 JavaScript 中抓取 CSS 中的圖像，則需要更長的時間。如果您正在進行深度爬網，並且想要深入了解該網站，我強烈建議您檢查這些。

但是，如果您真的只是想了解網站的基本情況，或者您正在做一個快速審核，或者有人問您喜歡，“嘿，您想與我們的網站合作嗎？ " 您不必在第一次訪問時非常深入地了解該站點是否是您想要參與的東西。

但是現在，如您所見，您可以抓取所有這些不同的元素。您可以抓取不同的頁面鏈接。您可以改變抓取行為的方式。如果您願意，您甚至可以抓取站點地圖。

萃取

您還可以使用 Screaming Frog 提取許多東西，這真的很酷。你可以在 metas 中做頁面標題，但你也可以做 JSON-LD、RDFa 和 schema.org。所有這些東西。因此，如果您想查看他們是否使用結構化數據，您需要檢查這些。您也可以存儲 HTML。

限制

在這裡你可以設定你的極限。那麼你要爬多少頁呢？根據您的業務，您可以抓取包含 50 個鏈接的頁面，最多可以抓取 10,030 個頁面。我們已經對超過 30,000 個鏈接進行了爬網。這需要很多時間，但它絕對是一個可以為您處理此類工作的工具。所以這是您真正想要在此處設置這些設置的地方。您想跟踪多少個重定向，對嗎？因此，如果他們有一個重定向鍊和所有不同的 URL，以及你想要多深。

渲染

渲染，這使您可以抓取可能無法與爬蟲配合使用的網站。現在，它被設置為僅文本，所以它只是呈現文本本身。正如你所看到的，如果你將鼠標懸停在它上面，它會告訴你更多關於它的信息。你可以改變它，看看你是否得到不同的結果。所以這裡還有其他模式，比如 Old Ajax 爬行和 JavaScript。現在，由於它們的構建方式，您必須使用 JavaScript 才能抓取某些站點。因此，如果您開始抓取一個站點並且您發現您沒有獲得任何鏈接，請嘗試其中一些不同的呈現設置，您實際上可能會開始提取您想要提取的數據。

高級和偏好

Screaming Frog 在偏好設置中也有很多高級功能，您可以在此處設置所有這些自定義設置。您要設置的所有不同規則以真正幫助您的爬網完成您希望它執行的操作。

演練

現在我已經在這裡設置了一個爬行，我們不必看它。正如您在此處看到的，我們擁有所有不同的選項卡。 Screaming Frog 將提取大量數據。我們有 URL，所有的站點數據。每當您單擊其中一個鏈接時，您將獲得越來越多的信息，正如您在此處看到的那樣，這真的非常酷。允許您查看有關該網站的幾乎所有內容。

在這裡，他們總是給我們一個總結，總結也總是有這些漂亮的小可視化。所以我可以查看我們遇到的所有 URL。我可以查看如何查看爬網數據。我可以看看網站本身的安全性。正如您在此處注意到的那樣，窗格也發生了變化。我可以查看不同的 URL 結構和頁面標題以及我現在可以用來優化的所有這些非常酷的數據。

假設您要獲取這些數據，並且只想從復制和粘貼的角度進行一些基本分析。好吧，您可以做的是轉到此處的此內部選項卡，然後單擊導出。這將構建一個 CSV 文件。您還可以在此處選擇要選擇的任何其他內容。谷歌表格之類的。繼續保存該文件。這將允許您現在將此文件複製並粘貼到 Google 表格中。

我將與您分享此 Google 表格。你所要做的就是把這些數據粘貼到這裡，這就是所有的爬取數據，內部爬取數據。所以你已經得到了頁麵類型，這些頁面的狀態代碼之類的一切。他們好嗎？它們是實時頁面嗎？他們被重定向了嗎？什麼是可索引性？我的意思是，名單還在繼續。正如您在此處看到的，我們從字數、文本比例、抓取深度等方面獲得了所有信息。

如果您想在此處獲得此分數，則稱為鏈接分數，這是內部鏈接的 Screaming Frog 指標。在此處運行此爬網後，您實際上可以在此處進行爬網分析並點擊開始。

這將做的是它將在此爬網數據之上運行另一個分析，這就是您將獲得鏈接分數的地方。鏈接分數基本上是您頁面的內部頁面排名，由 Screaming Frog 計算得出。所以，如果你想看看一個特定頁面與其他頁面相比有多強，就像我們在這裡看到這個頁面有 100，但是這些頁面就像在 30 年代一樣，並且隨著它越來越低現在，因為我們已經將其排名在那裡，所以這些頁面的權重可能會更小。或者這些可能是我們需要獲得更多內部鏈接的頁面，以便我們可以提高這些頁面的鏈接分數。所以它就像一個內部鏈接指標，非常酷。

在我們現在構建的東西中，只是快速概述，我們沒有這個。但這是一件不錯的小事，您可以再次執行此操作，您只需進行爬網分析並點擊開始即可。但正如你所見，我們已經掌握了所有這些數據，但有時很難。就像你只是在看一個網站，或者有人來找你說，“嘿，你能做一個快速的審計嗎？我想看看網站正在發生的事情的高級視圖。” 你真的沒有時間去查看這些數據，你只是想看看一些大事然後說，“好吧，是的。這裡有一些機會，或者可能沒有。”

因此，將數據粘貼到此處後，您可以轉到此可視化選項卡。我們在這裡所做的只是將其縮小到我們想要查看的一些高級事物。所以我們得到了 URL，這個網站爬取的 URL 總數，我們爬取的頁面的平均字數是多少？這些頁面的可索引性狀態是什麼？它們是可索引的，還是不是？什麼是響應代碼？我們是否有很多破損的頁面，諸如此類？

正如你所看到的，我們已經把所有的數據都拉到了這裡，這一切都是用一些 Excel 命令完成的，然後我們在這裡將其可視化。所以，好吧。我們可以做一些標題標籤優化。需要進行一些元標記優化。可能需要進行規範化。抓取深度相當不錯，但是這裡有很多頁面需要點擊三四次。我們怎樣才能把這個網站弄平，也許讓它變得更好一點？

所以這不是你的深度爬行。這不會告訴您有關該網站的所有信息，因為我們是從快速的角度來看的。這是一個快速的 SEO 抓取，幫助我們在這個網站上只看到 1,000 英尺的視圖，我們可以使用 Screaming Frog 快速完成。然後我們在這裡建立了一些可視化讓我們走，“好吧，我們看到這裡有一些我們可以做點什麼的快速機會。” 現在您可以返回您的爬網，您可以找到這些頁面是什麼，並且您可以真正開始操作數據以使其重新為您工作，因此現在您可以實施這些更改。

所以這是一個使用谷歌表格進行一些可視化的快速搜索引擎優化。我希望你覺得這很有幫助。如果您對 Google 表格或 Screaming Frog 以及如何設置有任何疑問，請告訴我們。我們很樂意繼續與您進行對話。直到下一次，快樂的營銷。