Что такое Googlebot? Все, что вам нужно знать об индексации Google

Что такое Googlebot?

Googlebot — это название поискового робота Google. Он «читает» веб-страницы и индексирует их, чтобы они могли быть предоставлены пользователям, выполняющим поиск, в ответ на их условия поиска.

Googlebot выполняет две важные задачи:

1. Он постоянно исследует веб-страницы на наличие новых ссылок, чтобы индексировать как можно больше контента, и
2. Он собирает новую информацию о страницах, чтобы поддерживать индекс Google в актуальном состоянии.

Хотя есть только одно имя, на самом деле существует два типа роботов Google: один для мобильных устройств (Googlebot Smartphone) и один для настольных компьютеров (Googlebot Desktop). Первый проверяет, насколько хорошо ваш сайт отображается на смартфонах и планшетах, а второй фокусируется на настольной версии вашего сайта.

Оптимизация Googlebot заключается в том, чтобы облегчить Google доступ, сканирование и «чтение» вашего веб-сайта. Хотя многие тактики SEO влияют на производительность поиска, есть несколько обязательных реализаций, которые улучшают «индексируемость» вашего сайта и могут напрямую влиять на то, доступны ли ваши страницы для пользователей Google. В дополнение к тактикам SEO на странице и за ее пределами, ваша стратегия SEO должна включать технические цели SEO, которые помогут вам увеличить ваши шансы на появление в результатах поиска.

Зачем фокусироваться только на Googlebot? А как насчет сканеров других поисковых систем? Что ж, поскольку Google в настоящее время владеет 92% поискового рынка, большая часть вашей целевой аудитории, вероятно, использует его. Однако приведенные ниже рекомендации должны облегчить чтение ваших страниц всеми поисковыми роботами.

Как работает индексация Google?

Когда Google индексирует сайт, он, по сути, добавляет его в свою базу знаний и отмечает, о чем страницы, насколько они удобны для пользователя и многое другое. Но откуда роботу Googlebot известно, что веб-сайт существует и что его нужно проиндексировать?

Если вы уже создавали веб-сайт раньше, вы, вероятно, заметили, что не получаете никакого органического трафика, как только публикуете его. Это потому, что вам нужно сообщить роботу Googlebot о вашем веб-сайте, чтобы он мог сканировать ваши страницы. Вы можете сделать это, отправив свою XML-карту сайта в консоль поиска Google (ранее инструменты Google для веб-мастеров).

Робот Googlebot сканирует ваш веб-сайт, используя карты сайта и базы данных ссылок из прошлых обходов. Когда он находит новую ссылку на вашем сайте, он добавляет ее в список страниц для посещения. И Googlebot Desktop, и Googlebot Smartphone обновят индекс, если обнаружат какие-либо неработающие ссылки или другие проблемы.

Это индекс, который Google извлекает при получении запроса. Затем он использует контекстные подсказки из поиска, чтобы определить, как ранжировать релевантные результаты.

Как часто Google сканирует мой сайт?

Google сканирует URL-адреса с разной скоростью. В то время как некоторые URL-адреса могут сканироваться каждый день, другие могут сканироваться только еженедельно или ежемесячно. Если вы не укажете иное в файле robots.txt или метатегах robots, робот Googlebot попытается перейти на каждую страницу вашего веб-сайта и записать информацию по пути, чтобы он мог лучше понять ваш контент и обновить свой индекс.

Хотя до сих пор я сосредоточился в основном на поисковом роботе Googlebot, я хочу отметить, что на самом деле веб-сканеров Google существует несколько. Вы можете найти полный список поисковых роботов Google здесь.

Если вам интересно, как часто Google сканирует и индексирует ваш сайт, перейдите в консоль поиска Google (GSC). Отчет о статистике сканирования вы найдете в настройках.

5 шагов по оптимизации вашего сайта для робота Googlebot

Следуйте этим пяти простым шагам, чтобы ваш сайт был доступен для поисковых роботов, чтобы ваши страницы можно было найти в поиске.

1. Держите свой код простым

Большая часть повышения сканируемости вашего веб-сайта заключается в том, чтобы все было просто. Google не будет сканировать Flash, Ajax, фреймы, файлы cookie, идентификаторы сеансов или DHTML, а для индексации JavaScript требуется больше времени, поскольку он должен отображать его.

При создании веб-сайта важно следовать общим рекомендациям Google и рекомендациям по обеспечению качества, чтобы избежать проблем со сканированием и упростить индексацию страниц.

2. Проверьте файл robots.txt.

Файл robots.txt сообщает роботу Googlebot, к каким URL-адресам на вашем сайте он может получить доступ. Используйте директивы robot.txt, чтобы не перегружать свой сайт запросами и сэкономить больше краулингового бюджета для страниц, которые вы хотите проиндексировать поисковыми системами. Без robots.txt робот Googlebot мог бы тратить слишком много времени на индексирование медиафайлов, файлов ресурсов или других неважных страниц, которые вы не хотите включать в результаты поиска. Robots.txt — это директива для всего протокола. У вас должен быть только один на вашем сайте, если у вас нет нескольких поддоменов. Чтобы управлять роботом Googlebot и поисковыми роботами на постраничной основе, используйте метатеги роботов.

3. Используйте внутренние ссылки

Внутренние ссылки — это гиперссылки, которые ведут вас с одной страницы на другую на том же веб-сайте. Они могут быть навигационными (например, меню, боковые панели, верхние и нижние колонтитулы) или контекстуальными (размещаться в теле страницы). Чтобы роботу Googlebot было проще найти ваши страницы и понять, как они связаны друг с другом, используйте внутренние ссылки, чтобы подчеркнуть иерархию вашего сайта. Все ваши страницы должны быть каким-то образом связаны друг с другом. Например, ваша домашняя страница должна ссылаться на страницы ваших услуг, ваши тематические исследования и ваш блог. Затем каждый из них должен ссылаться на соответствующие страницы.

Узнайте больше о лучших практиках внутренних ссылок здесь.

Проверьте свой отчет о ссылках в GSC, чтобы убедиться, что ваши самые важные страницы, такие как домашняя страница и страницы ваших услуг, получают наибольшее количество ссылок. Это указывает Google, что они являются наиболее важными страницами на вашем сайте.

4. Создайте XML-карту сайта

Чтобы упростить роботу Googlebot сканирование вашего веб-сайта, предоставьте XML-карту сайта, которая упорядочивает все ваши страницы, чтобы веб-сканер мог быстро понять иерархию вашего сайта. (Не уверен, что такое XML-карта сайта, см. пример карты сайта и узнайте больше здесь.)

Отправьте свою XML-карту сайта в Google через GSC во время процесса проверки.

Если вы не используете систему управления контентом (CMS), которая динамически обновляет вашу карту сайта, обязательно вручную обновите карту сайта XML и повторно отправьте ее при внесении изменений в иерархию сайта. Просто нажмите «Карты сайта» на левой боковой панели. Это поможет убедиться, что Google индексирует соответствующие страницы вашего веб-сайта.

5. Запросите индексирование Google

Когда вы публикуете новую страницу или вносите значительные обновления в существующий контент, вам не нужно ждать, пока Google их найдет — сообщите Google, что у вас есть новая или обновленная страница для сканирования, запросив индексацию.

Войдите в свой GSC и введите URL-адрес, который вы хотите проиндексировать, слева от значка увеличительного стекла в верхней части страницы и нажмите Enter.

Google заметит, что он извлекает данные.

А затем сообщит вам, проиндексирована ли уже ваша страница.

Если это не так, вы можете запросить индексацию. Если ваша страница проиндексирована и вы внесли в нее существенные изменения, вы также можете запросить индексацию.

Если вы часто добавляете страницы на свой сайт, например новую запись в блоге или страницу продукта, сделайте этот процесс частью передового опыта, чтобы убедиться, что все ваши страницы проиндексированы без промедления.

Четыре способа анализа того, как робот Googlebot сканирует ваш сайт

После того, как вы оптимизировали свой сайт, чтобы его было легче читать поисковым роботам, вам необходимо перепроверить, правильно ли он просканирован и проиндексирован.

Статистика сканирования

Статистика сканирования показывает, сколько запросов на сканирование было отправлено роботом Googlebot на ваш сервер, а также когда он столкнулся с какими-либо проблемами и столкнулся с ними.

В отчете о статистике сканирования в Google Search Console также показано, что нашел робот Googlebot (ответы сканирования), типы файлов, с которыми он столкнулся, обнаруживал ли робот Googlebot новые страницы или переиндексировал старые, а также какие типы роботов Googlebot использовались для сканирования вашего сайта.

Если щелкнуть элемент строки в отчете о статистике обхода, будет предоставлена ​​дополнительная информация. Например, если вы хотите узнать, какие страницы возвращают ошибку 404, нажмите на эту строку в поле ответов сканирования, чтобы перейти к списку URL-адресов, которые робот Googlebot не смог найти, и когда он в последний раз пытался сканировать эти страницы.

Нажав на позиции «обновить» или «обнаружение» в разделе «Цель сканирования», вы увидите, какие URL недавно проиндексировал робот Googlebot. Если вы видите, что ваши самые последние страницы не были проиндексированы, вы можете легко отправить их, используя панель поиска в верхней части отчета.

Ошибки сканирования

Ошибки сканирования возникают, когда поисковые системы не могут получить доступ к одной из ваших страниц. Вы можете определить два типа ошибок сканирования Googlebot в своем отчете о сканировании, которые могут негативно повлиять на вашу поисковую оптимизацию:

1. Ошибки сайта. Если у вас есть ошибка сайта, робот Googlebot не сможет просканировать ваш сайт. Ошибки сайта могут быть вызваны отсутствующими или недоступными файлами robot.txt, ошибками разрешения DNS или проблемами с подключением к серверу.
2. Ошибки URL. Из-за ошибки URL робот Googlebot не может просканировать определенную страницу. У вас может быть несколько ошибок URL одновременно.

Moz отлично справляется с тем, как исправить ошибки сканирования.

Заблокированные URL-адреса

Если есть разделы вашего сайта, к которым вы не хотите, чтобы поисковый робот Google имел доступ, вы можете указать эти каталоги в файле robots.txt, чтобы предоставить информацию о том, как роботы должны индексировать ваш контент.

Проверьте свой GSC, чтобы увидеть количество заблокированных URL-адресов, которые Google распознает, чтобы убедиться, что ваш файл robots.txt работает. Если количество заблокированных URL-адресов меньше, чем должно быть, вам необходимо отредактировать файл robots.txt. И наоборот, если число выше, чем должно быть, возможно, есть страницы, непреднамеренно заблокированные для сканирования, которые вы хотите отобразить в результатах поиска.

URL-параметры

Параметры URL-адреса, также известные как строки запроса, позволяют добавлять дополнительную информацию в конец динамических URL-адресов. Если вы посещали контент с разбивкой на страницы, например результаты поиска продуктов на сайте электронной коммерции, вы, вероятно, видели «?page=2» или что-то подобное в конце URL-адреса страницы. Это параметр URL. Эти параметры также можно использовать для:

• Контентные фильтры
• Переводы
• Поиск по сайту
• Отслеживание

Если вы хотите использовать параметры в своих URL-адресах, подумайте, хотите ли вы, чтобы они были доступны и проиндексированы, поскольку они могут привести к серьезным проблемам, таким как дублирование контента, потраченный впустую бюджет сканирования и проблемы с отслеживанием.

Вы можете выполнить следующие действия, чтобы заблокировать сканирование параметризованного контента.

Узнайте больше об инструментах Google для SEO

Google предлагает множество инструментов, которые помогут вам измерить эффективность вашего сайта. Воспользуйтесь этим, чтобы отслеживать и улучшать свою SEO-стратегию.

Наше руководство по инструментам Google расскажет вам о каждом бесплатном SEO-инструменте от Google и разберет технические концепции на практические и простые для понимания главы, наполненные дополнительными ресурсами.

Руководство по инструментам Google для SEO

Загрузите это руководство, чтобы узнать, как наилучшим образом использовать бесплатные мощные инструменты, которые Google предоставляет для улучшения ваших процессов и эффективности SEO.