在您的 Shopify 商店中没有什么索引以及如何操作？ robots.txt 和 robots 元标记指南
已发表: 2022-07-01robots.txt 文件是您应该始终注意的技术 SEO 的基础知识之一。 它可以帮助您控制搜索引擎对您网站的抓取方式——这样所有重要的内容都会出现在搜索结果中，而您不想在那里显示的所有内容都会被屏蔽。
为什么控制您的页面抓取和索引如此重要？
- 节省爬行预算。 搜索机器人在给定时间内可以处理的页面数量是有限制的。 为确保您最重要的页面被抓取并定期重新抓取，您应该排除那些不需要在搜索结果中显示的页面。
- 防止技术页面显示在搜索中。 您的商店为方便用户而生成了很多页面：登录、结帐、内部搜索等页面。它们对用户体验至关重要，但不需要在搜索中排名。
- 避免重复内容问题。 说到我们提到的技术页面，它们可能会造成重复：例如，不同的排序选项会出现在不同的 URL 上，但会显示相同的产品，只是顺序不同。 您不希望这些页面参与排名，因为搜索引擎不喜欢重复的内容。
如何控制商店的页面索引？
为了使您的重要页面有价值并促进搜索机器人对其进行索引，您应该始终拥有更新且正确的站点地图。 另外，请注意内部链接并让外部资源链接到您的内容，以便您的页面在搜索引擎眼中看起来更具权威性。
这些措施几乎可以保证您的页面将在搜索中排名，尽管没有可靠的方法来确保 100% 索引。
您可以保证 100% 排除您不想出现在搜索中的某些页面。 为此，您可以使用 robots.txt 文件或 robots 元标记中的noindex指令。 乍一看听起来很技术性，但实际上很容易。 特别是对于 Shopify 商家，因为该平台会自动处理大部分正确索引。
那么，你应该在 Shopify 商店中使用什么？
对于在线商店，阻止索引以下类型的页面是有意义的：
- 与用户帐户相关的所有内容。 这些页面对每个客户都是唯一的，在搜索中不需要。
- 与客人结账相关的一切。 即使用户没有登录他们的帐户并被允许以访客身份购买，为他们生成结帐步骤的页面也不适合搜索。
- 分面导航和内部搜索。 正如我们已经提到的，将这些 URL 提供给搜索机器人只会使它们感到困惑，耗尽您的抓取预算，并产生重复的内容问题。
- 您想在搜索中隐藏的产品。 如果您不希望某些产品显示在搜索结果中（例如，缺货商品或不再相关的对时间敏感的商品），您可以在 Shopify robots.txt 文件中隐藏商品以进行搜索。
Shopify 中的 Robots.txt
要检查自动为您生成的 robots.txt 文件，您可以将 /robots.txt 添加到商店的域中：
这个文件通常包含什么？ 它指示一个特定的搜索机器人（用户代理字段）并给出抓取指令（禁止意味着阻止被访问）。 在上面的示例中，第一组规则提供给所有搜索机器人（用户代理设置为 *）。 反过来， Disallow指令禁止爬取指定页面。 在示例中，我们可以看到该文件禁止抓取技术页面，例如 admin、cart、checkout 等。
Robots.txt 还包含指向您的站点地图的链接，这也有助于搜索爬虫了解您的站点结构和索引优先级。
直到最近，Shopify 才对该文件提供任何灵活性。 但在 2021 年 6 月，Shopify 商家获得了编辑 robots.txt 的可能性。 预定义的规则就足够了，但可能不会考虑所有情况。 如果您使用应用程序进行内部搜索，它通常会更改 URL，并且不会应用默认规则。 或者，如果您有分面导航，则 URL 会根据每个选择的过滤器而变化，并且默认规则可能不会考虑所有内容。 您可以向文件中添加更多页面和规则，指定更多用户代理等。
要了解您可以应用的现有指令，请查看 Google 的 robots.txt 指南。
另外，请注意新规则会一直出现。 例如，在 2022 年初，谷歌引入了一个控制嵌入内容索引的新标签：indexifembedded。 如果您的商店中有一些通过iframe或类似 HTML 标记插入的小部件并且您不希望它们被索引，则可以应用它。
如何在 Shopify 上编辑您的 robots.txt？
在您的主题代码中，您会看到一堆模板（转到在线商店>主题> 单击当前主题上的操作> 选择编辑代码> 转到模板）。 该列表应包含 robots.txt.liquid 文件。
如果由于某种原因您没有该文件，您可以通过单击添加新模板并选择 robots.txt 来创建它。
例如，让我们从索引中阻止内部搜索——它在模板中看起来像这样：
有关更多详细信息，请参阅 Shopify 关于编辑 robots.txt 的帮助页面。
请注意，即使某个页面在 robots.txt 中被禁止，如果它具有来自外部来源的链接，它仍然可以被编入索引。 因此，例如，如果您有一个旧页面过去获得了相当多的流量但不再与您的商店相关，那么最好使用机器人元标记阻止它或将其完全删除。
Noindexing Shopify 内容与机器人元标记
除了 robots.txt，在 robots 元标记的帮助下，可以将noindex指令插入主题代码的 <head> 部分。 该标签的语法如下：<meta name=”robots” content=”noindex”>。
与编辑或创建 Shopify robots.txt 代码的方式类似，请转到布局部分中的 theme.liquid。 例如，如果您添加一条规则以不为您的 /new-collection 页面编制索引，这就是它的外观：
这样，您将永远隐藏页面以防止搜索。
请注意，您可以将noindex与nofollow或follow指令一起使用。 使用follow ，您的页面将被阻止编制索引，但允许搜索机器人抓取放置在该页面上的其他链接，而使用nofollow ，搜索机器人将无法访问页面本身及其上的所有链接。
在应用程序的帮助下不为 Shopify 内容编制索引
如果所有这些听起来对您来说太麻烦了，有一些方法可以更轻松地控制您的页面索引，而无需编写任何代码。 Shopify 有几个 SEO 应用程序可以帮助您在 Shopify 商店中隐藏产品搜索或阻止任何其他页面。
看看这两个：
- 网站地图 Noindex SEO 工具（所有类型的页面每月 3.49 美元）
- NoIndexify - 站点地图管理器（产品、收藏和博客页面免费；其他页面每月 2.99 美元：搜索、分页、登录等）
这就是 NoIndexify 的界面的样子——对于每个页面，您可以选择一组指令：
通过改进页面索引来改进您的 SEO
就是这样：我们希望您更好地了解 Shopify 的 robots.txt 的工作原理以及如何利用它来发挥自己的优势。 在 robots.txt 和 robots 元标记的帮助下，您可以改进对页面索引的控制，防止 SEO 问题，并为您最重要的页面赋予更多价值，以便它们在搜索中大放异彩并吸引更多访问者。
如果您正在寻找更多 Shopify SEO 提示，请查看我们的 SEO 指南。