O que noindex na sua loja Shopify e como? O guia para robots.txt e metatag robots

O arquivo robots.txt é um dos fundamentos do SEO técnico que você deve sempre cuidar. Ele ajuda você a controlar como os mecanismos de pesquisa rastreiam seu site, para que tudo o que é importante apareça nos resultados da pesquisa e tudo o que você não deseja que seja mostrado lá seja bloqueado.

‍

Por que controlar o rastreamento e a indexação de sua página é tão importante?

• Salvando o orçamento de rastreamento. Há um limite de quantas páginas um bot de pesquisa pode processar em um determinado momento. Para garantir que suas páginas mais importantes sejam rastreadas e rastreadas novamente regularmente, exclua as páginas que não precisam ser exibidas nos resultados da pesquisa.

• Impedindo que páginas técnicas sejam exibidas na pesquisa. São muitas as páginas que sua loja gera para a conveniência dos usuários: páginas com login, checkout, busca interna, etc. Elas são cruciais para UX, mas não precisam ser ranqueadas nas buscas.

• Evitando problemas de conteúdo duplicado. Falando das páginas técnicas que mencionamos, elas podem criar duplicação: por exemplo, diferentes opções de classificação virão em URLs diferentes, mas mostrarão os mesmos produtos, apenas em uma ordem diferente. Você não quer que essas páginas se envolvam em classificações, pois os mecanismos de pesquisa não apreciam conteúdo duplicado.

Como você pode controlar a indexação da página da sua loja?

Para dar valor às suas páginas importantes e facilitar sua indexação por bots de busca, você deve sempre ter um sitemap atualizado e correto. Além disso, cuide dos links internos e obtenha fontes externas para vincular ao seu conteúdo, para que suas páginas pareçam mais autorizadas aos olhos dos mecanismos de pesquisa.

Essas medidas praticamente garantem que suas páginas serão classificadas na pesquisa, embora não haja uma maneira segura de garantir 100% de indexação.

O que você pode garantir 100% é excluir determinadas páginas que você não deseja que apareçam na pesquisa. Para isso, você pode usar a diretiva noindex no arquivo robots.txt ou a metatag robots . Parece muito técnico à primeira vista, mas na verdade é muito fácil. Especialmente para os lojistas da Shopify, pois a plataforma cuida automaticamente da maior parte da indexação adequada.

Então, o que você deve noindex em uma loja Shopify?

Para lojas online, faz sentido bloquear a indexação dos seguintes tipos de páginas:

• Tudo associado a contas de usuário. Essas páginas são exclusivas para cada cliente e não são necessárias na pesquisa.
• Tudo associado ao check-out do convidado. Mesmo que os usuários não façam login em suas contas e tenham permissão para comprar como convidados, as páginas com etapas de checkout geradas para eles não são destinadas à pesquisa.
• Navegação facetada e busca interna. Como já mencionamos, oferecer esses URLs aos bots de pesquisa apenas os confundirá, drenará seu orçamento de rastreamento e criará problemas de conteúdo duplicado.
• Produtos que você deseja ocultar da pesquisa. Se você não quiser que determinados produtos sejam exibidos nos resultados da pesquisa, por exemplo, itens esgotados ou itens urgentes que não são mais relevantes, você pode ocultar produtos da pesquisa em seu arquivo robots.txt da Shopify.

Robots.txt na Shopify

Para verificar seu arquivo robots.txt que é gerado automaticamente para você, você pode adicionar o /robots.txt ao domínio de sua loja:

O que esse arquivo geralmente contém? Ele indica um bot de pesquisa específico (o campo User-agent ) e fornece diretivas de rastreamento ( Disallow significa bloquear o acesso). No exemplo acima, o primeiro conjunto de regras é fornecido a todos os bots de pesquisa (o User-agent está definido como *). Por sua vez, a diretiva Disallow proíbe o rastreamento das páginas especificadas. No exemplo, podemos ver que o arquivo proíbe o rastreamento de páginas técnicas, como admin, carrinho, checkout e assim por diante.

Robots.txt também inclui um link para o mapa do site, que também é útil para rastreadores de pesquisa para entender a estrutura do site e as prioridades de indexação.

Até recentemente, Shopify não oferecia nenhuma flexibilidade com esse arquivo. Mas em junho de 2021, os lojistas da Shopify tiveram a possibilidade de editar o robots.txt. Regras predefinidas são suficientes, mas podem não considerar todos os casos. Se você usa um aplicativo para pesquisa interna, ele geralmente altera a URL e as regras padrão não são aplicadas. Ou, se você tiver navegação facetada, a URL muda de acordo com cada filtro escolhido e as regras padrão podem não levar tudo em consideração. Você pode adicionar mais páginas e regras ao seu arquivo, especificar mais agentes de usuário, etc.

Para saber mais sobre as diretivas existentes que você pode aplicar, confira o guia do Google em robots.txt.

Além disso, observe que novas regras aparecem o tempo todo. Por exemplo, no início de 2022, o Google introduziu uma nova tag que controla a indexação de conteúdo incorporado: indexifembedded. Ele pode ser aplicado se você tiver alguns widgets em sua loja que são inseridos por meio de iframe ou tag HTML semelhante e você não deseja que eles sejam indexados.

Como editar seu robots.txt na Shopify?

No código do seu tema, você verá vários modelos (vá para Loja virtual > Temas > clique em Ações no seu tema atual > escolha Editar código > vá para Modelos ). A lista deve conter o arquivo robots.txt.liquid.

Se, por algum motivo, você não tiver o arquivo, poderá criá-lo clicando em Adicionar novo modelo e escolhendo robots.txt.

Por exemplo, vamos bloquear a indexação da pesquisa interna - ficará assim no modelo:

Consulte a página de ajuda da Shopify sobre como editar o robots.txt para obter mais detalhes.

Observe que, mesmo que uma página não seja permitida no robots.txt, ela ainda pode ser indexada se tiver links de fontes externas. Então, por exemplo, se você tem uma página antiga que recebeu uma quantidade razoável de tráfego no passado, mas não é mais relevante para sua loja, é melhor bloqueá-la com a metatag robots ou removê-la completamente.

Sem indexação de conteúdo da Shopify com a metatag robots

Além do robots.txt, a diretiva noindex pode ser inserida na seção <head> do código do seu tema com a ajuda da metatag robots. A tag tem a seguinte sintaxe: <meta name=”robots” content=”noindex”>.

Da mesma forma que você edita ou cria um código robots.txt da Shopify, acesse theme.liquid na seção Layout . Por exemplo, será assim se você adicionar uma regra para não indexar sua página /new-collection:

Dessa forma, você ocultará definitivamente uma página da pesquisa.

Observe que você pode usar noindex com as diretivas nofollow ou follow juntos. Com follow , sua página será bloqueada da indexação, mas permitirá que os bots de pesquisa rastreiem outros links colocados nessa página, enquanto com nofollow , tanto a página em si quanto todos os links nela não estarão acessíveis aos bots de pesquisa.

Sem indexação de conteúdo Shopify com a ajuda de aplicativos

Se tudo isso parece muito complicado para você, existem maneiras de controlar a indexação de sua página ainda mais facilmente, sem ter que escrever uma única linha de código. Existem vários aplicativos de SEO para Shopify que ajudarão você a ocultar produtos da pesquisa em sua loja Shopify ou bloquear outras páginas.

Dê uma olhada nesses dois:

• Sitemap Noindex SEO Tools ($ 3,49 por mês para todos os tipos de páginas)
• NoIndexify - Sitemap Manager (gratuito para páginas de produtos, coleções e blogs; $ 2,99 por mês para outras páginas: pesquisa, paginação, login, etc.)

É assim que a interface do NoIndexify se parece - para cada página, você pode escolher um conjunto de diretivas:

Melhore seu SEO melhorando a indexação de páginas

É isso: esperamos que você entenda melhor como o robots.txt da Shopify funciona e como usá-lo a seu favor. Com a ajuda do robots.txt e da metatag robots, você pode melhorar seu controle sobre a indexação de páginas, evitar problemas de SEO e agregar mais valor às suas páginas mais importantes para que elas brilhem nas pesquisas e atraiam mais visitantes.

Se você estiver procurando por mais dicas de SEO da Shopify, confira nosso guia de SEO.