Что не индексировать в вашем магазине Shopify и как? Руководство по robots.txt и метатегу robots

Файл robots.txt — это одна из основ технического SEO, о которой вы всегда должны заботиться. Это помогает вам контролировать, как поисковые системы сканируют ваш сайт, чтобы все важное отображалось в результатах поиска, а все, что вы не хотите там показывать, блокировалось.

‍

Почему так важно контролировать сканирование и индексирование страниц?

• Сохранение краулингового бюджета. Существует ограничение на количество страниц, которое поисковый бот может обработать за определенное время. Чтобы ваши наиболее важные страницы сканировались и сканировались регулярно, вам следует исключить те страницы, которые не нужно показывать в результатах поиска.

• Предотвращение показа технических страниц в поиске. Есть много страниц, которые ваш магазин генерирует для удобства пользователей: страницы входа, оформления заказа, внутреннего поиска и т. д. Они важны для UX, но не нужны для ранжирования в поиске.

• Избегайте проблем с дублированием контента. Говоря о технических страницах, которые мы упомянули, они могут создавать дублирование: например, разные параметры сортировки будут отображаться по разным URL-адресам, но показывать одни и те же продукты, только в другом порядке. Вы не хотите, чтобы эти страницы участвовали в ранжировании, поскольку поисковые системы не ценят дублированный контент.

Как вы можете контролировать индексацию страниц вашего магазина?

Чтобы повысить ценность ваших важных страниц и облегчить их индексацию поисковыми ботами, у вас всегда должна быть обновленная и правильная карта сайта. Кроме того, позаботьтесь о внутренних ссылках и о том, чтобы внешние источники ссылались на ваш контент, чтобы ваши страницы выглядели более авторитетными в глазах поисковых систем.

Эти меры в значительной степени гарантируют, что ваши страницы будут ранжироваться в поиске, хотя нет надежного способа обеспечить 100% индексацию.

Что вы можете гарантировать на 100%, так это исключение определенных страниц, которые вы не хотите показывать в поиске. Для этого можно использовать директиву noindex в файле robots.txt или метатег robots . На первый взгляд звучит очень технично, но на самом деле это очень просто. Особенно для продавцов Shopify, поскольку платформа автоматически заботится о большей части правильной индексации.

Итак, что вы не должны индексировать в магазине Shopify?

Для интернет-магазинов имеет смысл блокировать от индексации следующие типы страниц:

• Все, что связано с учетными записями пользователей. Эти страницы уникальны для каждого клиента и не нужны для поиска.
• Все, что связано с гостевой кассой. Даже если пользователи не входят в свою учетную запись и им разрешено совершать покупки в качестве гостей, страницы с созданными для них шагами оформления заказа не предназначены для поиска.
• Фасетная навигация и внутренний поиск. Как мы уже упоминали, предложение этих URL-адресов поисковым ботам только запутает их, истощит ваш краулинговый бюджет и создаст проблемы с дублированием контента.
• Товары, которые вы хотите скрыть из поиска. Если вы не хотите, чтобы определенные продукты отображались в результатах поиска — например, товары, которых нет в наличии, или товары, требующие срочности, которые больше не актуальны, — вы можете скрыть продукты из поиска в файле Shopify robots.txt.

Robots.txt в Shopify

Чтобы проверить файл robots.txt, который создается автоматически, вы можете добавить /robots.txt в домен вашего магазина:

Что обычно содержит этот файл? Он указывает на конкретного поискового бота (поле User-agent ) и дает директивы для сканирования ( Disallow означает блокировку доступа). В приведенном выше примере всем поисковым ботам дается первый набор правил ( User-agent имеет значение *). В свою очередь, директива Disallow запрещает сканирование указанных страниц. В примере мы видим, что файл запрещает сканирование технических страниц, таких как admin, cart, checkout и так далее.

Robots.txt также содержит ссылку на вашу карту сайта, которая также полезна для поисковых роботов для понимания структуры вашего сайта и приоритетов индексации.

До недавнего времени Shopify не давал гибкости этому файлу. Но в июне 2021 года продавцы Shopify получили возможность редактировать robots.txt. Предопределенных правил обычно достаточно, но они могут не учитывать все случаи. Если вы используете приложение для внутреннего поиска, оно часто меняет URL-адрес, и правила по умолчанию не применяются. Или, если у вас многогранная навигация, URL-адрес меняется в соответствии с каждым выбранным фильтром, и правила по умолчанию могут не учитывать все. Вы можете добавить больше страниц и правил в свой файл, указать больше пользовательских агентов и т. д.

Чтобы узнать о существующих директивах, которые вы можете применить, ознакомьтесь с руководством Google по файлу robots.txt.

Также обратите внимание, что постоянно появляются новые правила. Например, в начале 2022 года Google представила новый тег, управляющий индексацией встроенного контента: indexifembedded. Его можно применять, если в вашем магазине есть виджеты, которые вставляются через iframe или аналогичный HTML-тег, и вы не хотите, чтобы они индексировались.

Как отредактировать файл robots.txt на Shopify?

В коде вашей темы вы увидите набор шаблонов (перейдите в « Интернет-магазин » > « Темы » > щелкните « Действия » в текущей теме > выберите « Редактировать код » > перейдите к « Шаблоны »). Список должен содержать файл robots.txt.liquid.

Если по какой-то причине у вас нет файла, вы можете создать его, нажав Добавить новый шаблон и выбрав robots.txt.

Например, запретим индексацию внутреннего поиска — в шаблоне это будет выглядеть так:

Обратитесь к странице справки Shopify по редактированию robots.txt для получения более подробной информации.

Обратите внимание: даже если страница запрещена в robots.txt, она все равно может быть проиндексирована, если на нее есть ссылки из внешних источников. Так, например, если у вас есть старая страница, которая в прошлом получала приличный объем трафика, но больше не актуальна для вашего магазина, лучше заблокировать ее с помощью метатега robots или полностью удалить.

Не индексировать содержимое Shopify с помощью метатега robots

Помимо robots.txt, директиву noindex можно вставить в секцию <head> кода вашей темы с помощью метатега robots. Тег имеет следующий синтаксис: <meta name="robots" content="noindex">.

Аналогично тому, как вы редактируете или создаете код Shopify robots.txt, перейдите к theme.liquid в разделе « Макет ». Например, вот как это будет выглядеть, если вы добавите правило для запрета индексации вашей страницы /new-collection:

Так вы навсегда скроете страницу из поиска.

Обратите внимание, что вы можете использовать noindex с директивой nofollow или вместе следовать директивам. С помощью follow ваша страница будет заблокирована от индексации, но позволит поисковым роботам сканировать другие ссылки, размещенные на этой странице, а с nofollow и сама страница, и все ссылки на ней не будут доступны для поисковых роботов.

Не индексировать Shopify контент с помощью приложений

Если все это кажется вам слишком хлопотным, есть способы еще проще управлять индексацией вашей страницы, не написав ни единой строчки кода. Есть несколько SEO-приложений для Shopify, которые помогут вам скрыть продукты из поиска в вашем магазине Shopify или заблокировать любые другие страницы.

Взгляните на эти два:

• Карта сайта Noindex SEO Tools ($3,49 в месяц для всех типов страниц)
• NoIndexify — диспетчер карт сайта (бесплатно для страниц продуктов, коллекций и блогов; 2,99 долл. США в месяц для других страниц: поиск, нумерация страниц, вход и т. д.)

Вот как выглядит интерфейс NoIndexify — для каждой страницы можно выбрать набор директив:

Улучшите SEO, улучшив индексацию страниц

Вот и все: мы надеемся, что вы лучше понимаете, как работает файл robots.txt Shopify и как использовать его в своих интересах. С помощью robots.txt и метатега robots вы можете улучшить контроль над индексацией страниц, предотвратить проблемы с SEO и повысить ценность своих самых важных страниц, чтобы они выделялись в поиске и привлекали больше посетителей.

Если вам нужны дополнительные советы по SEO для Shopify, ознакомьтесь с нашим руководством по SEO.