Was können Sie in Ihrem Shopify-Shop noindexen und wie? Der Leitfaden zu robots.txt und Robots-Meta-Tags

Die robots.txt-Datei ist eine der Grundlagen des technischen SEO, um die Sie sich immer kümmern sollten. Es hilft Ihnen, zu steuern, wie Suchmaschinen Ihre Website crawlen – sodass alles Wichtige in den Suchergebnissen erscheint und alles, was Sie dort nicht sehen möchten, blockiert wird.

‍

Warum ist es so wichtig, das Crawlen und Indizieren Ihrer Seite zu kontrollieren?

• Einsparung des Crawling-Budgets. Die Anzahl der Seiten, die ein Suchbot in einer bestimmten Zeit verarbeiten kann, ist begrenzt. Um sicherzustellen, dass Ihre wichtigsten Seiten gecrawlt und regelmäßig erneut gecrawlt werden, sollten Sie die Seiten ausschließen, die nicht in den Suchergebnissen angezeigt werden müssen.

• Verhindern, dass technische Seiten in der Suche angezeigt werden. Es gibt viele Seiten, die Ihr Geschäft für die Benutzerfreundlichkeit generiert: Seiten mit Anmeldung, Kasse, interner Suche usw. Sie sind entscheidend für UX, müssen aber nicht in der Suche eingestuft werden.

• Vermeidung von Duplicate-Content-Problemen. Apropos technische Seiten, die wir erwähnt haben, sie können zu Duplikaten führen: Beispielsweise kommen unterschiedliche Sortieroptionen zu unterschiedlichen URLs, zeigen aber dieselben Produkte, nur in einer anderen Reihenfolge. Sie möchten nicht, dass diese Seiten in Rankings einbezogen werden, da Suchmaschinen doppelte Inhalte nicht schätzen.

Wie können Sie die Seitenindizierung Ihres Shops steuern?

Um Ihren wichtigen Seiten einen Mehrwert zu verleihen und ihre Indizierung durch Suchbots zu erleichtern, sollten Sie immer eine aktuelle und korrekte Sitemap haben. Kümmern Sie sich außerdem um die interne Verlinkung und bringen Sie externe Quellen dazu, auf Ihre Inhalte zu verlinken, damit Ihre Seiten in den Augen der Suchmaschinen maßgeblicher wirken.

Diese Maßnahmen garantieren ziemlich genau, dass Ihre Seiten in der Suche gerankt werden, obwohl es keinen sicheren Weg gibt, eine 100%ige Indexierung sicherzustellen.

Was Sie zu 100 % garantieren können, ist der Ausschluss bestimmter Seiten, die nicht in der Suche erscheinen sollen. Dazu können Sie die noindex -Direktive in der robots.txt-Datei oder das robots-Meta-Tag verwenden . Klingt auf den ersten Blick sehr technisch, ist aber eigentlich ganz einfach. Besonders für Shopify-Händler, da sich die Plattform automatisch um den größten Teil der ordnungsgemäßen Indexierung kümmert.

Also, was sollten Sie in einem Shopify-Shop noindexen?

Für Online-Shops ist es sinnvoll, die Indizierung der folgenden Arten von Seiten zu blockieren:

• Alles, was mit Benutzerkonten zu tun hat. Diese Seiten sind für jeden Kunden einzigartig und werden in der Suche nicht benötigt.
• Alles rund um die Gästekasse. Selbst wenn Benutzer sich nicht bei ihrem Konto anmelden und als Gäste einkaufen dürfen, sind Seiten mit für sie generierten Checkout-Schritten nicht für die Suche gedacht.
• Facettennavigation und interne Suche. Wie wir bereits erwähnt haben, wird das Anbieten dieser URLs für Suchbots diese nur verwirren, Ihr Crawling-Budget aufbrauchen und Probleme mit doppelten Inhalten verursachen.
• Produkte, die Sie aus der Suche ausblenden möchten. Wenn Sie nicht möchten, dass bestimmte Produkte in den Suchergebnissen angezeigt werden – z. B. nicht vorrätige Artikel oder zeitkritische Artikel, die nicht mehr relevant sind – können Sie Produkte in Ihrer robots.txt-Datei von Shopify aus der Suche ausblenden.

Robots.txt in Shopify

Um Ihre automatisch für Sie generierte robots.txt-Datei zu überprüfen, können Sie die /robots.txt-Datei zur Domain Ihres Shops hinzufügen:

Was enthält diese Datei normalerweise? Es zeigt einen bestimmten Such-Bot an (das User-Agent- Feld) und gibt Crawling-Anweisungen ( Disallow bedeutet Blockieren des Zugriffs). Im obigen Beispiel wird der erste Regelsatz allen Suchbots gegeben (der User-Agent ist auf * gesetzt). Die Disallow- Direktive wiederum verbietet das Crawlen der angegebenen Seiten. Im Beispiel sehen wir, dass die Datei das Crawlen technischer Seiten wie Admin, Warenkorb, Kasse usw. verbietet.

Robots.txt enthält auch einen Link zu Ihrer Sitemap, was auch für Suchcrawler hilfreich ist, um Ihre Websitestruktur und Indexierungsprioritäten zu verstehen.

Bis vor kurzem gab Shopify bei dieser Datei keine Flexibilität. Aber im Juni 2021 erhielten Shopify-Händler die Möglichkeit, robots.txt zu bearbeiten. Vordefinierte Regeln reichen meistens aus, berücksichtigen aber möglicherweise nicht alle Fälle. Wenn Sie eine App für die interne Suche verwenden, ändert sie häufig die URL, und Standardregeln werden nicht angewendet. Oder, wenn Sie Facettennavigation haben, ändert sich die URL je nach ausgewähltem Filter, und die Standardregeln berücksichtigen möglicherweise nicht alles. Sie können Ihrer Datei weitere Seiten und Regeln hinzufügen, weitere Benutzeragenten angeben usw.

Informationen zu bestehenden Richtlinien, die Sie anwenden können, finden Sie im Google-Leitfaden zu robots.txt.

Beachten Sie auch, dass ständig neue Regeln auftauchen. Beispielsweise hat Google Anfang 2022 ein neues Tag eingeführt, das die Indexierung von eingebetteten Inhalten steuert: indexifembedded. Es kann angewendet werden, wenn Sie einige Widgets in Ihrem Geschäft haben, die über Iframe oder ein ähnliches HTML-Tag eingefügt werden und Sie nicht möchten, dass sie indiziert werden.

Wie bearbeite ich meine robots.txt auf Shopify?

Im Code Ihres Designs sehen Sie eine Reihe von Vorlagen (gehen Sie zu Online Store > Designs > klicken Sie auf Aktionen in Ihrem aktuellen Design > wählen Sie Code bearbeiten > gehen Sie zu Vorlagen ). Die Liste sollte die Datei robots.txt.liquid enthalten.

Wenn Sie die Datei aus irgendeinem Grund nicht haben, können Sie sie erstellen, indem Sie auf Neue Vorlage hinzufügen klicken und robots.txt auswählen.

Lassen Sie uns zum Beispiel die interne Suche von der Indizierung blockieren – das sieht in der Vorlage so aus:

Weitere Informationen finden Sie auf der Hilfeseite von Shopify zum Bearbeiten von robots.txt.

Beachten Sie, dass selbst wenn eine Seite in robots.txt nicht zugelassen ist, sie dennoch indexiert werden kann, wenn sie Links von externen Quellen enthält. Wenn Sie beispielsweise eine alte Seite haben, die in der Vergangenheit eine anständige Menge an Traffic erhalten hat, aber für Ihren Shop nicht mehr relevant ist, ist es besser, sie mit dem Robots-Meta-Tag zu blockieren oder vollständig zu entfernen.

Keine Indizierung von Shopify-Inhalten mit dem Robots-Meta-Tag

Neben der robots.txt kann die noindex -Direktive mit Hilfe des robots-Meta-Tags in den <head>-Abschnitt des Codes Ihres Themes eingefügt werden. Das Tag hat folgende Syntax: <meta name=“robots“ content=“noindex“>.

Ähnlich wie Sie einen robots.txt-Code von Shopify bearbeiten oder erstellen, gehen Sie zu theme.liquid im Abschnitt „ Layout “. So sieht es beispielsweise aus, wenn Sie eine Regel zum Noindexing Ihrer /new-collection-Seite hinzufügen:

Auf diese Weise verbergen Sie eine Seite endgültig vor der Suche.

Beachten Sie, dass Sie noindex zusammen mit den nofollow- oder follow -Anweisungen verwenden können. Mit follow wird Ihre Seite für die Indizierung blockiert, aber Such-Bots können andere auf dieser Seite platzierte Links crawlen, während mit nofollow weder die Seite selbst noch alle Links darauf für Such-Bots zugänglich sind.

Keine Indexierung von Shopify-Inhalten mit Hilfe von Apps

Wenn Ihnen das alles zu mühselig erscheint, gibt es Möglichkeiten, Ihre Seitenindizierung noch einfacher zu steuern, ohne eine einzige Codezeile schreiben zu müssen. Es gibt mehrere SEO-Apps für Shopify, mit denen Sie Produkte vor der Suche in Ihrem Shopify-Shop verbergen oder andere Seiten blockieren können.

Schau dir mal diese beiden an:

• Sitemap Noindex SEO Tools (3,49 $ pro Monat für alle Arten von Seiten)
• NoIndexify – Sitemap Manager (kostenlos für Produkt-, Sammlungs- und Blogseiten; 2,99 $ pro Monat für andere Seiten: Suche, Paginierung, Anmeldung usw.)

So sieht die Benutzeroberfläche von NoIndexify aus – für jede Seite können Sie eine Reihe von Anweisungen auswählen:

Verbessern Sie Ihre SEO, indem Sie die Seitenindizierung verbessern

Das war's: Wir hoffen, dass Sie besser verstehen, wie die robots.txt-Datei von Shopify funktioniert und wie Sie sie zu Ihrem Vorteil nutzen können. Mit Hilfe von robots.txt und Robots-Meta-Tags können Sie Ihre Kontrolle über die Seitenindizierung verbessern, SEO-Probleme vermeiden und Ihren wichtigsten Seiten mehr Wert verleihen, damit sie in der Suche glänzen und mehr Besucher anziehen.

Wenn Sie nach weiteren SEO-Tipps für Shopify suchen, lesen Sie unseren SEO-Leitfaden.