O que é o Googlebot? Tudo o que você precisa saber sobre a indexação do Google

O que é o Googlebot?

Googlebot é o nome do rastreador da web do Google. Ele “lê” páginas da web e as indexa para que possam ser veiculadas aos pesquisadores em resposta aos termos de pesquisa.

O Googlebot tem dois trabalhos críticos:

1. Ele explora continuamente as páginas da web em busca de novos links para que possa indexar o máximo de conteúdo possível e
2. Ele reúne novas informações sobre as páginas para manter o índice do Google atualizado.

Embora haja apenas um nome, na verdade existem dois tipos de Googlebots: um para celular (Googlebot Smartphone) e outro para desktop (Googlebot Desktop). O primeiro verifica o desempenho do seu site em smartphones e tablets, enquanto o segundo se concentra na versão desktop do seu site.

A otimização do Googlebot visa tornar mais fácil para o Google acessar, rastrear e “ler” seu site. Embora muitas táticas de SEO afetem o desempenho da pesquisa, existem algumas implementações obrigatórias que melhoram a “indexabilidade” do seu site e podem influenciar diretamente se suas páginas estão ou não disponíveis para os usuários do Google. Além das táticas de SEO na página e fora da página, sua estratégia de SEO deve incluir objetivos técnicos de SEO para ajudá-lo a aumentar suas chances de aparecer nos resultados dos mecanismos de pesquisa.

Por que focar apenas no Googlebot? E os rastreadores de outros mecanismos de pesquisa? Bem, como o Google atualmente tem 92% do mercado de buscas, a maior parte do seu público-alvo provavelmente está usando. No entanto, as recomendações a seguir devem facilitar a leitura de suas páginas por todos os rastreadores.

Como funciona a indexação do Google?

Quando o Google indexa um site, está essencialmente adicionando-o ao seu banco de dados de conhecimento e anotando sobre o que são as páginas, quão amigáveis ​​elas são e muito mais. Mas como o Googlebot sabe que um site existe e que deve ser indexado?

Se você já criou um site antes, provavelmente notou que não obteve nenhum tráfego orgânico assim que o publicou. Isso porque você precisa tornar o Googlebot ciente do seu site para que ele possa rastrear suas páginas. Você pode fazer isso enviando seu sitemap XML para o Google Search Console (antigo Google Webmaster Tools).

O Googlebot rastreia seu site usando mapas do site e bancos de dados de links de rastreamentos anteriores. Quando encontra um novo link em seu site, ele o adiciona à lista de páginas a serem visitadas. Tanto o Googlebot Desktop quanto o Googlebot Smartphone atualizarão o índice se encontrarem links quebrados ou outros problemas.

Este é o índice que o Google extrai quando recebe uma consulta. Em seguida, ele usa pistas contextuais da pesquisa para determinar como classificar resultados relevantes.

Com que frequência o Google rastreia meu site?

O Google rastreia URLs em taxas diferentes. Enquanto alguns URLs podem ser rastreados todos os dias, outros podem ser rastreados apenas semanalmente ou mensalmente. A menos que você indique o contrário em seu arquivo robots.txt ou em suas meta robots tags, o Googlebot tentará acessar todas as páginas do seu site e registrar as informações ao longo do caminho para que possa entender melhor seu conteúdo e atualizar seu índice.

Embora eu tenha focado principalmente no rastreador do Googlebot até agora, quero observar que, na verdade, existem vários rastreadores da web do Google. Você pode encontrar a lista completa de rastreadores do Google aqui.

Se você estiver curioso sobre a frequência com que o Google está rastreando e indexando seu site, acesse o Google Search Console (GSC). Você encontrará seu Relatório de estatísticas de rastreamento em configurações.

5 etapas para otimizar seu site para o Googlebot

Siga estas cinco etapas simples para manter seu site acessível aos spiders dos mecanismos de pesquisa, para que suas páginas possam ser encontradas na pesquisa.

1. Mantenha seu código simples

Uma grande parte do aumento da rastreabilidade do seu site é manter as coisas simples. O Google não rastreará Flash, Ajax, frames, cookies, IDs de sessão ou DHTML, e leva mais tempo para indexar o JavaScript porque precisa renderizá-lo.

Ao criar seu site, é essencial seguir as diretrizes gerais e de qualidade do Google para evitar problemas de rastreamento e facilitar a indexação de suas páginas.

2. Verifique seu Robots.txt

Um arquivo robots.txt informa ao Googlebot quais URLs ele pode acessar em seu site. Use diretivas robot.txt para evitar sobrecarregar seu site com solicitações e economizar mais orçamento de rastreamento para páginas que você deseja indexar pelos mecanismos de pesquisa. Sem o robots.txt, o Googlebot pode gastar muito tempo indexando mídia, arquivos de recursos ou outras páginas sem importância que você não deseja incluir nos resultados da pesquisa. Robots.txt é uma diretiva de todo o protocolo. Você deve ter apenas um em seu site, a menos que tenha vários subdomínios. Para gerenciar o Googlebot e os rastreadores página por página, use meta tags de robô.

3. Use links internos

Links internos são hiperlinks que levam você de uma página para outra no mesmo site. Eles podem ser de navegação (pense em menus, barras laterais, cabeçalhos, rodapés) ou podem ser contextuais (colocados no corpo de uma página). Para tornar mais fácil para o Googlebot encontrar suas páginas e entender como elas se relacionam, use links internos para enfatizar a hierarquia do seu site. Todas as suas páginas devem estar vinculadas de alguma forma. Por exemplo, sua página inicial deve ter um link para suas páginas de serviços, seus estudos de caso e seu blog. Cada um deles deve, então, vincular a páginas relevantes.

Saiba mais sobre as práticas recomendadas de vinculação interna aqui.

Confira seu Relatório de links no GSC para garantir que suas páginas mais importantes — como sua página inicial e suas páginas de serviços — estejam recebendo o maior número de links. Isso indica ao Google que elas são as páginas mais importantes do seu site.

4. Crie um Sitemap XML

Para facilitar o rastreamento do seu site pelo Googlebot, forneça um sitemap XML que organize todas as suas páginas para que o rastreador da Web entenda rapidamente a hierarquia do seu site. (Não tenho certeza do que é um sitemap XML, veja um exemplo de sitemap e saiba mais aqui.)

Envie seu sitemap XML para o Google via GSC durante o processo de verificação.

Se você não estiver usando um sistema de gerenciamento de conteúdo (CMS) que atualiza dinamicamente o mapa do site para você, certifique-se de atualizar manualmente o mapa do site XML e reenviá-lo quando fizer alterações na hierarquia do site. Basta clicar em “Sitemaps” na barra lateral esquerda. Isso ajudará a garantir que o Google esteja indexando as páginas apropriadas em seu site.

5. Solicite a indexação do Google

Quando você publica uma nova página ou faz atualizações significativas em um conteúdo existente, não precisa esperar até que o Google os encontre. Informe ao Google que você tem uma página nova ou atualizada para eles verificarem solicitando a indexação.

Faça login no seu GSC e insira o URL que você deseja indexar à esquerda do ícone da lupa na parte superior da página e pressione Enter.

O Google notará que está recuperando dados.

E então lhe dirá se sua página já está indexada.

Se não for, você pode solicitar a indexação. Se sua página estiver indexada e você tiver feito alterações significativas nela, você também poderá solicitar a indexação.

Se você adiciona páginas ao seu site com frequência, como uma nova postagem de blog ou página de produto, torne esse processo parte de suas práticas recomendadas para garantir que todas as suas páginas sejam indexadas sem demora.

Quatro maneiras de analisar como o Googlebot rastreia seu site

Depois de otimizar seu site para facilitar a leitura de um rastreador de mecanismo de pesquisa, verifique novamente se ele foi rastreado e indexado corretamente.

Estatísticas de rastreamento

Suas estatísticas de rastreamento mostram o total de solicitações de rastreamento que o Googlebot enviou ao seu servidor e quando e se ele encontrou algum problema.

Seu relatório de estatísticas de rastreamento no Google Search Console também mostra o que o Googlebot encontrou (respostas de rastreamento), os tipos de arquivo encontrados, se o Googlebot estava descobrindo novas páginas ou reindexando páginas antigas e quais tipos de Googlebot foram usados ​​para rastrear seu site.

Clicar em um item de linha em seu relatório de estatísticas de rastreamento fornecerá informações adicionais. Por exemplo, se você quiser descobrir quais páginas estão retornando um erro 404, clique nessa linha na caixa de respostas de rastreamento para ser levado a uma lista de URLs que o Googlebot não conseguiu encontrar e quando ele tentou rastrear essas páginas pela última vez.

Ao clicar nos itens de linha "atualizar" ou "descoberta" em Objetivo do rastreamento, você pode ver quais URLs o Googlebot indexou recentemente. Se você perceber que suas páginas mais recentes não foram indexadas, poderá enviá-las facilmente usando a barra de pesquisa na parte superior do relatório.

Erros de rastreamento

Erros de rastreamento ocorrem quando os mecanismos de pesquisa não conseguem acessar uma de suas páginas. Você pode identificar dois tipos de erros de rastreamento do Googlebot em seu Relatório de rastreamento que podem afetar negativamente seu SEO:

1. Erros do site: quando você tem um erro no site, o Googlebot pode não conseguir rastrear seu site. Os erros do site podem ser causados ​​por arquivos robot.txt ausentes ou inacessíveis, falhas de resolução de DNS ou problemas de conectividade do servidor.
2. Erros de URL: com um erro de URL, o Googlebot não consegue rastrear uma página específica. Você pode ter vários erros de URL ao mesmo tempo.

A Moz faz um ótimo trabalho ao compartilhar como corrigir erros de rastreamento.

URLs bloqueados

Se houver seções de seu site que você não deseja que o rastreador do Google acesse, você pode especificar esses diretórios em robots.txt para fornecer informações sobre como os robôs devem indexar seu conteúdo.

Verifique seu GSC para ver o número de URLs bloqueados que o Google reconhece para garantir que seu robots.txt esteja funcionando. Se o número de URLs bloqueados for menor do que deveria, você precisará editar seu arquivo robots.txt. Por outro lado, se o número for maior do que deveria, pode haver páginas inadvertidamente bloqueadas de rastreamento que você deseja que apareçam nos resultados da pesquisa.

Parâmetros de URL

Os parâmetros de URL, também conhecidos como strings de consulta, permitem adicionar informações adicionais ao final de URLs dinâmicos. Se você visitou conteúdo paginado, como resultados de pesquisa de produtos em um site de comércio eletrônico, provavelmente viu “?page=2” ou algo semelhante no final do URL da página. Esse é um parâmetro de URL. Esses parâmetros também podem ser usados ​​para:

• Filtros de conteúdo
• Traduções
• Pesquisas de sites
• Rastreamento

Se você quiser usar parâmetros em seus URLs, considere se deseja que eles sejam acessados ​​e indexados, pois eles podem levar a problemas significativos, como conteúdo duplicado, orçamento de rastreamento desperdiçado e problemas de rastreamento.

Você pode seguir estas etapas para bloquear o rastreamento de conteúdo parametrizado.

Saiba mais sobre as ferramentas do Google para SEO

O Google oferece uma variedade de ferramentas para ajudar você a avaliar o desempenho do seu site. Aproveite-os para monitorar e melhorar sua estratégia de SEO.

Nosso Guia para as Ferramentas do Google o guiará por cada uma das ferramentas de SEO gratuitas do Google e dividirá os conceitos técnicos em capítulos acionáveis ​​e fáceis de entender, repletos de recursos adicionais.

Um guia para ferramentas do Google para SEO

Baixe este guia para saber como fazer o melhor uso das ferramentas gratuitas e poderosas que o Google fornece para melhorar seus processos e desempenho de SEO.