爬网深度：审计和优化指南

什么是爬行深度？

抓取深度或点击深度是指机器人必须抓取的链接数量，或用户登陆您网站的特定页面所需的点击次数。 主页通常是起点。 直接从主页链接的页面被视为第二级。 这些页面链接到其他页面，并且该网站继续从那里分支出来。

为什么我们应该关心爬行深度？

我们关心抓取深度，因为我们关心用户体验，以及确保您最重要的内容能够被搜索引擎及时抓取和索引。

用户体验

在用户体验方面，假设您是第一次登陆网站主页然后尝试导航到特定产品页面的用户。 如果这是您第一次尝试浏览网站，并且您正在寻找的产品距离主页只有几次点击，您可能会在此过程中感到沮丧或困惑并最终离开该网站。 拥有一个定义明确、清晰且合乎逻辑的路径以及适当数量的页面供用户浏览，对于用户体验来说是理想的选择，并且还可以提高转化率。

快速抓取重要内容并编制索引

页面在您网站的层次结构中的位置越深，它对搜索引擎的重要性就越低，因此这些页面可能不会被经常抓取。 对此有一些变通方法，例如在 Google Search Console 中手动提交页面并请求对其进行抓取和索引。 虽然，这只是一个建议，并不一定会加快该页面的抓取和索引。 您可以帮助确保经常抓取最重要的内容的一种方法是减少其抓取深度并将关键页面放置在更靠近整个站点层次结构的顶部。

用 Screaming Frog 审计爬行深度

过程

Screaming Frog 是分析爬行深度的有用工具。 您可以通过多种方式使用 Screaming Frog 进行此类审查，但以下步骤是获得洞察力的简单方法：

1. 1. 从主页开始使用 Screaming Frog 抓取网站。
   2. 在“内部”选项卡中，按“HTML”过滤并将数据导出到电子表格。
   3. 过滤“可索引性”列并删除所有不可索引的页面（因为可索引的页面可能是我们关心用户和搜索引擎查找的唯一页面）。
   4. 将“Crawl Depth”列按降序排序，因此爬取深度最大的页面将出现在顶部。
   5. 识别爬网深度大于三的网站关键页面。
   6. 如有必要，确定减少爬行深度的方法。 优先考虑最重要的页面。

需要考虑的事情

“三键规则”

SEO 在审核爬网深度时通常使用“3-Click Rule”。 3-Click Rule 规定，任何页面距离主页的点击次数都不应超过 3 次。 然而，这并不是一个完美的经验法则，只能用作帮助识别潜在问题的一般指南。 应考虑 3-Click Rule 的一些例外情况。

3-Click 规则的例外情况

有时，让页面距离主页超过 3 次点击才有意义。 这在非常大的网站以及分页和电子商务网站中尤其常见。 电子商务网站有时会将内容分解为单独的类别、子类别和产品页面。

以下是大型电子商务网站上产品页面的导航路径：

首页→分类页面→子分类1页面→子分类2（子子分类）页面→产品页面。

那是四次点击！ 那么这是一个问题吗？ 不一定，只要路径合乎逻辑且合理。

我的一般建议是从主页开始并手动浏览页面，直到到达目的地。 这可以帮助您确定路径是否有意义并且用户是否易于遵循。 如果是这样，那么您应该可以保持原样。

提示：您可以在 Google Analytics（分析）中查看您的转化路径，看看是否有任何页面的退出率更高。 如果是这样，用户可能会离开网站，因为他们对访问产品页面或转换所需的点击量感到沮丧。 如果情况确实如此，您可能需要寻找沿路径合并页面的方法，以减少爬网深度并使其对用户更有效。

减少爬行深度的方法

在您的内容中添加指向重要页面的内部链接

如果一个重要页面位于您的站点深处，您可以通过从站点层次结构最开始处的一个页面直接链接到它来减少点击深度。 例如，您可以链接到主页内容中的热门产品页面。 这将点击深度减少到只有两次，因为主页被认为是一次点击。

更新您的导航菜单

通过更改导航或添加新类型的导航菜单，可以减少访问网站某些页面所需的点击次数。 大型电子商务网站可能会受益于使用多个下拉菜单甚至是大型菜单，以确保可以通过导航菜单直接快速轻松地访问网站中非常深入的页面。

有许多不同类型的导航菜单。 您网站的最佳类型取决于许多因素，例如您拥有的页面数量、行业、CMS 限制等。一些最常见的类型包括：

• 单栏导航
• 双栏导航
• 二级下拉菜单
• 三级下拉菜单
• 超级菜单
• 侧边栏菜单
• 页脚导航

以下是其中一些菜单的一些示例：

单栏导航

双栏导航

二级和三级下拉菜单

超级菜单

请记住，每种类型的导航菜单都有优缺点。 在选择使用哪个导航菜单时，您应该仔细研究您所在行业的竞争对手，并尽可能测试不同的选项。 此外，请务必为您选择的导航菜单研究理想的实施方法。 这一点非常重要，因为如果实施不正确，Google 可能无法通过链接抓取您网站上的所有页面。

链接到 HTML 站点地图

创建 HTML 站点地图并在站点的页脚中链接到它可以大大减少爬网深度。 站点地图基本上是指向您网站上所有重要页面的链接列表。 在页脚中链接到您的站点地图很有帮助，因为页脚通常可以在每个页面上访问。 这意味着所有页面都将链接到一个页面（也称为站点地图），该页面直接链接到您网站上的所有其他页面。

结论

优化的爬网深度可以提升用户体验，并有助于确保您最重要的内容经常被爬网并被快速索引。 在审核您的爬行深度时，不要忘记检查您的直觉。 如果导航路径感觉很长或具有挑战性，这是一个好兆头，有改进的机会。 有几个选项可以帮助减少爬行深度。 进行研究并选择最适合您和您的网站的选项。