10 эффективных советов по SEO, которые помогут Google проиндексировать ваш сайт

Опубликовано: 2021-01-29

Сайт, который не проиндексирован, как будто его не существует, так как он не будет отображаться в поисковых запросах и не будет получать органический трафик. Вот почему мы не можем позволить Google не индексировать наш веб-сайт. К сожалению, это довольно распространенная проблема.

Не паникуйте! В этом посте мы объясним основные методы индексации вашего веб-сайта Google.

Оглавление

Как работает индексация Google?

Google основан на несколько сложных алгоритмах, но процесс индексации страницы прост. Поисковая система использует ряд кодов, известных нам как веб-пауки, сканеры или боты .

Эти пауки проверяют веб-страницы, чтобы найти новый и обновленный контент. Это может быть новая страница на существующем сайте или совершенно новый сайт. Боты начинают с обхода нескольких веб-страниц, а затем переходят по ссылкам этих страниц, чтобы найти новые URL-адреса .

Некоторое время назад поисковой выдачей Google было легко «манипулировать», и мы могли заставить Google индексировать веб-сайт в основном по его ключевым словам и ссылкам.

Сегодня ситуация совершенно иная. Хотя эти ключевые слова по-прежнему важны, Google также придает большое значение опыту пользователя и намерениям, стоящим за поиском. Можно сказать, что Пауки стали умнее.

Индексация Google относится к тому, как пауки обрабатывают данные, найденные на странице, при ее сканировании.

Как быстро проиндексировать ваш сайт в Google

Как мы уже говорили, Google довольно часто не индексирует страницу, но причины обычно одни и те же.

Вы можете решить их, применив следующие решения:

поисковый движок

Убедитесь, что у вас есть правильные директивы robots.txt.

Причиной, по которой Google может не индексировать ваш сайт, могут быть директивы, указанные в файле robots.txt.

Чтобы проверить это, перейдите на yourdomain.com/robots.txt и найдите любой из этих двух кодов:

 User-agent: Googlebot Disallow: /
 User-agent: * Disallow: /

Оба указывают роботу GoogleBot, что он не должен сканировать никакую страницу сайта. Вам нужно удалить их, чтобы решить проблему без лишних слов.

Удалить теги noindex

Google не будет индексировать вашу страницу, если вы запретите это делать . Это может быть полезно для сохранения конфиденциальности определенных веб-страниц.

Есть два способа запретить поисковой системе индексировать сайт:

Мета-теги

Google не индексирует страницы с любым из этих метатегов в <head> HTML:

 <meta name=“robots” content=“noindex”>
 <meta name=“googlebot” content=“noindex”>

Вам нужно удалить теги «noindex», расположенные на страницах, которые вы хотите проиндексировать в Google. Для этого вы можете использовать SEO-краулер, такой как FandangoSEO, чтобы быстро идентифицировать все страницы с тегом noindex.

X-Robots-Tag

GoogleBot также соблюдает директиву X-Robots Tag . Вы можете проверить, не может ли Google просканировать страницу из-за этой директивы, используя инструмент проверки URL из Google Search Console.

Вы должны попросить своего разработчика исключить страницы, которые вы хотите проиндексировать, чтобы они не возвращали этот заголовок.

Используйте Google Indexing API или GSC

Сайты с большим количеством страниц с небольшим содержанием (объявления, предложения о работе и т. д.) могут использовать Google Indexing API для автоматического запроса нового контента и изменений контента для сканирования и индексации.

API позволяет отправлять отдельные URL-адреса. Это полезно, так как Google поддерживает индекс вашей страницы в актуальном состоянии. Благодаря этому API вы сможете:

  • Обновить URL-адрес . Уведомление Google о новом или обновленном URL-адресе для сканирования.
  • Удалить URL: Сообщите поисковой системе, что устаревшая страница удалена с сайта.
  • Проверьте статус запроса : посмотрите, когда робот GoogleBot в последний раз сканировал URL-адрес.

Это то, что вы также можете сделать с FandangoSEO. Инструмент позволяет запрашивать у Google до 200 URL-адресов для индексации одновременно.

Еще один способ ускорить индексацию вашей веб-страницы — через Google Search Console. Используйте инструмент проверки URL-адресов GSC, чтобы попросить Google повторно просканировать ваши страницы. Это полезно для запроса сканирования отдельных URL-адресов. Он позволяет отправлять не более 12 URL-адресов в день, поэтому, если вам нужно отправить больше, лучше использовать XML-карту сайта.

Для начала вам нужно будет проверить URL-адреса с помощью инструмента проверки URL-адресов. Затем выберите Запросить индексирование . Инструмент сначала проверит, есть ли у вас проблемы с индексацией. Если это не так, URL-адрес будет помещен в очередь для сканирования.

Удалите неправильные канонические теги

Тег canonical сообщает Google, какая версия страницы является предпочтительной. Большинство страниц его не содержат, поэтому поисковые системы считают, что должны их проиндексировать. Однако, если на вашей странице указан неправильный канонический тег, это может вызвать ошибку , сообщая Google о предпочтительной версии, которой не существует.

поисковый бот

Если вы хотите просмотреть канонические теги на веб-сайте, используйте инструмент проверки URL-адресов Google или поисковый робот SEO. Если вы обнаружите какую-либо страницу, которая не должна содержать канонический тег, удалите с нее этот тег.

Включите соответствующие страницы в вашу карту сайта

Ваша карта сайта сообщает Google, какие страницы важны, а какие нет. Отсюда важность предоставления карты сайта в Google.

Правда в том, что поисковая система должна иметь возможность находить страницы на вашем веб-сайте независимо от того, находятся ли они на карте сайта или нет, но было бы неплохо включить их, поскольку это «облегчает задачу» для Google.

Вы можете использовать инструмент проверки URL от GSC, чтобы проверить, включена ли страница в карту сайта.

Обнаружение потерянных страниц

Потерянная страница — это страница без внутренних ссылок. Google обнаруживает новый контент при сканировании Интернета, но логически он не может найти потерянные страницы, если на них нет ссылок. И посетители сайта тоже не могут.

Вы можете определить, есть ли на веб-сайте страницы-сироты, с помощью поискового робота SEO. Узнайте больше в нашем Руководстве по страницам-сиротам.

Исправление внутренних ссылок, содержащих атрибут nofollow

Ссылки nofollow — это те, которые содержат тег rel="nofollow" и используются для предотвращения передачи PageRank на целевой URL. Google не отслеживал этот тип ссылок до обновления Nofollow от 1 марта 2020 года, когда они заявили, что этот атрибут теперь работает только как подсказка .

Вам следует просмотреть свои внутренние ссылки, чтобы определить те из них, которые содержат атрибут nofollow. Если вы хотите, чтобы целевая страница была проиндексирована, вам необходимо удалить правила nofollow .

Добавьте мощные внутренние ссылки

Если вы хотите, чтобы Google быстро проиндексировал страницу, вы можете показать, насколько ценна эта страница, предоставив ей достаточное количество ссылок (или авторитета). Вы можете сделать это, связав страницу как можно ближе к своей домашней странице. Количество внутренних ссылок, которые имеет страница, также показывает ее вес на вашем сайте.

построение ссылок

Узнайте больше о том, как создать сильную внутреннюю ссылку, в нашем Руководстве.

Избегайте дублированного контента

Боты Google сбиваются с толку, если есть дублированный контент . Поисковая система изначально индексирует только один URL-адрес для каждого уникального набора контента, поэтому похожий контент затрудняет выбор версии для индексации.

Поскольку страницы с похожим контентом «конкурируют» друг с другом, это негативно сказывается на производительности всех из них. Вот почему вы должны избегать дублирования контента.

Убедитесь, что ваша страница имеет ценность

Маловероятно, что Google будет индексировать некачественные страницы, поскольку они не представляют ценности для пользователя. Поэтому, если нет технической проблемы, объясняющей сбой индексации, причиной может быть отсутствие ценности контента .

Спросите себя, ценна ли страница и стоит ли на нее кликать. Если нет, то необходимо улучшить его содержание. Всегда помните о намерениях пользователя.

Как видите, суть в том, чтобы проверить, что никакие технические проблемы не мешают индексации страницы. И как только это будет исключено, вам нужно посмотреть, представляет ли это ценность для пользователя.