使用 Screaming Frog 和 Google 表格进行快速 SEO 抓取和审核

已发表: 2022-04-12

需要快速抓取网站吗？想要快速可视化洞察力，以便您决定下一步做什么？在本视频中，我将向您介绍如何使用 Screaming Frog SEO Spider 快速、高级地抓取网站。然后我们将在 Google Sheets 的帮助下可视化一些关键数据点。

资源：

尖叫的青蛙 SEO 蜘蛛
谷歌表格模板

视频记录：

在最新一期的 Hack My Growth 中，我将向您介绍使用 Screaming Frog SEO Spider 进行的快速 SEO 爬网，以及我们如何使用 Google 表格模板快速可视化该数据。嘿，感谢您观看此视频。如果您喜欢我们在此频道上创建的视频，请点击订阅，并且不要忘记打开该通知按钮。我们每周都会创建新内容，以帮助您充分利用您的数字营销工作。

因此，正如我在开场白中谈到的那样，我们将逐步介绍如何使用 Screaming Frog SEO Spider 设置快速 SEO 爬网。这是一个非常棒的工具。这是我们在该机构几乎每天都使用的工具。它可以帮助我们获得 30,000 英尺的网站视图以及极其精细的网站详细视图。今天我们谈论的是快速审计。这将使我们能够从非常基本的层面查看网站，但有助于让我们了解我们可以与客户或潜在潜在客户一起使用的一些重大或快速的胜利。

搜索引擎优化爬行与尖叫的青蛙

好吧，让我们进入内容。好的，所以在本视频中，我将带您快速了解使用 Screaming Frog 进行的基本网站爬网。 Screaming Frog SEO Spider 可能是任何 SEO 或任何真正想了解更多有关其网站的网站所有者最有用的工具之一。我们将快速概述它的工作原理、设置方式以及运行方式。然后我还将快速分享一个我们可以在 Google 表格中完成的非常简单的报告可视化。

爬行

所以你要对 Screaming Frog 做的第一件事是你可以在这里添加你的 URL，如果你只是想去，你可以继续点击开始。但是有很多方法可以实际运行这种爬网。你可以在这里做你的整个域，但如果你只想运行几个页面，你也可以这样做。你在这里有不同的模式。所以你可以运行一个列表，你实际上可以从搜索结果中提取数据，然后你可以进行比较。因此，如果您想真正了解您的网站，可能是页面列表以及搜索结果本身，这是一个非常有用的工具。

现在在这个视频中，我们专门讨论爬取我们自己的网站。现在，我喜欢先进去做一些配置。如果您要进行深度爬网，您可能希望点击并检查很多这些内容。

但是，如果您只想快速抓取网站并在非常基本的层面上了解该网站的优化程度或该网站的基础是什么，您不必实际抓取和恢复所有这些不同的东西。如果您在 JavaScript 中抓取 CSS 中的图像，则需要更长的时间。如果您正在进行深度爬网，并且想要深入了解该网站，我强烈建议您检查这些。

但是，如果您真的只是想了解网站的基本情况，或者您正在做一个快速审核，或者有人问您喜欢，“嘿，您想与我们的网站合作吗？ " 您不必在第一次访问时非常深入地了解该站点是否是您想要参与的东西。

但是现在，如您所见，您可以抓取所有这些不同的元素。您可以抓取不同的页面链接。您可以改变抓取行为的方式。如果您愿意，您甚至可以抓取站点地图。

萃取

您还可以使用 Screaming Frog 提取许多东西，这真的很酷。你可以在 metas 中做页面标题，但你也可以做 JSON-LD、RDFa 和 schema.org。所有这些东西。因此，如果您想查看他们是否使用结构化数据，您需要检查这些。您也可以存储 HTML。

限制

在这里你可以设定你的极限。那么你要爬多少页呢？根据您的业务，您可以抓取包含 50 个链接的页面，最多可以抓取 10,030 个页面。我们已经对超过 30,000 个链接进行了爬网。这需要很多时间，但它绝对是一个可以为您处理此类工作的工具。所以这是您真正想要在此处设置这些设置的地方。您想跟踪多少个重定向，对吗？因此，如果他们有一个重定向链和所有不同的 URL，以及你想要多深。

渲染

渲染，这使您可以抓取可能无法与爬虫配合使用的网站。现在，它被设置为仅文本，所以它只是呈现文本本身。正如你所看到的，如果你将鼠标悬停在它上面，它会告诉你更多关于它的信息。你可以改变它，看看你是否得到不同的结果。所以这里还有其他模式，比如 Old Ajax 爬行和 JavaScript。现在，由于它们的构建方式，您必须使用 JavaScript 才能抓取某些站点。因此，如果您开始抓取一个站点并且您发现您没有获得任何链接，请尝试其中一些不同的呈现设置，您实际上可能会开始提取您想要提取的数据。

高级和偏好

Screaming Frog 在偏好设置中也有很多高级功能，您可以在此处设置所有这些自定义设置。您要设置的所有不同规则以真正帮助您的爬网完成您希望它执行的操作。

演练

现在我已经在这里设置了一个爬行，我们不必看它。正如您在此处看到的，我们拥有所有不同的选项卡。 Screaming Frog 将提取大量数据。我们有 URL，所有的站点数据。每当您单击其中一个链接时，您将获得越来越多的信息，正如您在此处看到的那样，这真的非常酷。允许您查看有关该网站的几乎所有内容。

在这里，他们总是给我们一个总结，总结也总是有这些漂亮的小可视化。所以我可以查看我们遇到的所有 URL。我可以查看如何查看爬网数据。我可以看看网站本身的安全性。正如您在此处注意到的那样，窗格也发生了变化。我可以查看不同的 URL 结构和页面标题以及我现在可以用来优化的所有这些非常酷的数据。

假设您要获取这些数据，并且只想从复制和粘贴的角度进行一些基本分析。好吧，您可以做的是转到此处的此内部选项卡，然后单击导出。这将构建一个 CSV 文件。您还可以在此处选择要选择的任何其他内容。谷歌表格之类的。继续保存该文件。这将允许您现在将此文件复制并粘贴到 Google 表格中。

我将与您分享此 Google 表格。你所要做的就是把这些数据粘贴到这里，这就是所有的爬取数据，内部爬取数据。所以你已经得到了页面类型，这些页面的状态代码之类的一切。他们好吗？它们是实时页面吗？他们被重定向了吗？什么是可索引性？我的意思是，名单还在继续。正如您在此处看到的，我们从字数、文本比例、抓取深度等方面获得了所有信息。

如果您想在此处获得此分数，则称为链接分数，这是内部链接的 Screaming Frog 指标。在此处运行此爬网后，您实际上可以在此处进行爬网分析并点击开始。

这将做的是它将在此爬网数据之上运行另一个分析，这就是您将获得链接分数的地方。链接分数基本上是您页面的内部页面排名，由 Screaming Frog 计算得出。所以，如果你想看看一个特定页面与其他页面相比有多强，就像我们在这里看到这个页面有 100，但是这些页面就像在 30 年代一样，并且随着它越来越低现在，因为我们已经将其排名在那里，所以这些页面的权重可能会更小。或者这些可能是我们需要获得更多内部链接的页面，以便我们可以提高这些页面的链接分数。所以它就像一个内部链接指标，非常酷。

在我们现在构建的东西中，只是快速概述，我们没有这个。但这是一件不错的小事，您可以再次执行此操作，您只需进行爬网分析并点击开始即可。但正如你所见，我们已经掌握了所有这些数据，但有时很难。就像你只是在看一个网站，或者有人来找你说，“嘿，你能做一个快速的审计吗？我想看看网站正在发生的事情的高级视图。” 你真的没有时间去查看这些数据，你只是想看看一些大事然后说，“好吧，是的。这里有一些机会，或者可能没有。”

因此，将数据粘贴到此处后，您可以转到此可视化选项卡。我们在这里所做的只是将其缩小到我们想要查看的一些高级事物。所以我们得到了 URL，这个网站爬取的 URL 总数，我们爬取的页面的平均字数是多少？这些页面的可索引性状态是什么？它们是可索引的，还是不是？什么是响应代码？我们是否有很多破损的页面，诸如此类？

正如你所看到的，我们已经把所有的数据都拉到了这里，这一切都是用一些 Excel 命令完成的，然后我们在这里将其可视化。所以，好吧。我们可以做一些标题标签优化。需要进行一些元标记优化。可能需要进行规范化。抓取深度相当不错，但是这里有很多页面需要点击三四次。我们怎样才能把这个网站弄平，也许让它变得更好一点？

所以这不是你的深度爬行。这不会告诉您有关该网站的所有信息，因为我们是从快速的角度来看的。这是一个快速的 SEO 抓取，帮助我们在这个网站上只看到 1,000 英尺的视图，我们可以使用 Screaming Frog 快速完成。然后我们在这里建立了一些可视化让我们走，“好吧，我们看到这里有一些我们可以做点什么的快速机会。” 现在您可以返回您的爬网，您可以找到这些页面是什么，并且您可以真正开始操作数据以使其重新为您工作，因此现在您可以实施这些更改。

所以这是一个使用谷歌表格进行一些可视化的快速搜索引擎优化。我希望你觉得这很有帮助。如果您对 Google 表格或 Screaming Frog 以及如何设置有任何疑问，请告诉我们。我们很乐意继续与您进行对话。直到下一次，快乐的营销。