Ce să nu indexați în magazinul dvs. Shopify și cum? Ghidul pentru robots.txt și metaeticheta robots

Fișierul robots.txt este unul dintre elementele de bază ale SEO tehnic de care ar trebui să aveți grijă întotdeauna. Vă ajută să controlați modul în care motoarele de căutare accesează cu crawlere site-ul dvs., astfel încât tot ceea ce este important să apară în rezultatele căutării și tot ceea ce nu doriți să fie afișat acolo să fie blocat.

‍

De ce este atât de important să controlezi accesarea cu crawlere și indexarea paginii tale?

• Economisirea bugetului de crawling. Există o limită a câte pagini poate procesa un robot de căutare într-un anumit timp. Pentru a vă asigura că cele mai importante pagini sunt accesate cu crawlere și accesate din nou cu crawlere în mod regulat, ar trebui să excludeți acele pagini care nu trebuie să fie afișate în rezultatele căutării.

• Împiedicarea paginilor tehnice de a fi afișate în căutare. Există o mulțime de pagini pe care magazinul tău le generează pentru confortul utilizatorilor: pagini cu autentificare, finalizare, căutare internă etc. Sunt cruciale pentru UX, dar nu trebuie să fie clasate în căutare.

• Evitarea problemelor de conținut duplicat. Vorbind despre paginile tehnice pe care le-am menționat, acestea pot crea dubluri: de exemplu, diferite opțiuni de sortare vor veni la adrese URL diferite, dar vor afișa aceleași produse, doar într-o ordine diferită. Nu doriți ca acele pagini să se implice în clasamente, deoarece motoarele de căutare nu apreciază conținutul duplicat.

Cum poți controla indexarea paginilor magazinului tău?

Pentru a da valoare paginilor dvs. importante și pentru a facilita indexarea acestora de către roboții de căutare, ar trebui să aveți întotdeauna o hartă a site-ului actualizată și corectă. În plus, ai grijă de legăturile interne și de a obține surse externe care să trimită către conținutul tău, astfel încât paginile tale să pară mai autoritare în ochii motoarelor de căutare.

Aceste măsuri garantează aproape că paginile dvs. vor fi clasate în căutare, deși nu există o modalitate sigură de a asigura o indexare 100%.

Ceea ce poți garanta 100% este excluderea anumitor pagini pe care nu vrei să apară în căutare. Pentru aceasta, puteți utiliza directiva noindex din fișierul robots.txt sau metaeticheta robots . Sună foarte tehnic la prima vedere, dar de fapt este foarte ușor. În special pentru comercianții Shopify, deoarece platforma se ocupă automat de cea mai mare parte a indexării corecte.

Deci, ce ar trebui să nu indexați într-un magazin Shopify?

Pentru magazinele online, este logic să blocați indexarea următoarelor tipuri de pagini:

• Tot ceea ce este asociat cu conturile de utilizator. Aceste pagini sunt unice pentru fiecare client și nu sunt necesare în căutare.
• Tot ceea ce este asociat cu checkout-ul oaspeților. Chiar dacă utilizatorii nu se conectează la contul lor și li se permite să cumpere ca invitați, paginile cu pași de finalizare generați pentru ei nu sunt destinate căutării.
• Navigare fațetă și căutare internă. După cum am menționat deja, oferirea acelor URL-uri pentru a căuta roboți nu va face decât să le încurce, să vă epuizeze bugetul de accesare cu crawlere și să creați probleme de conținut duplicat.
• Produse pe care doriți să le ascundeți de la căutare. Dacă nu doriți ca anumite produse să fie afișate în rezultatele căutării - de exemplu, articole epuizate sau articole sensibile la timp care nu mai sunt relevante - puteți ascunde produsele din căutare în fișierul dvs. Shopify robots.txt.

Robots.txt în Shopify

Pentru a verifica fișierul robots.txt care este generat automat pentru dvs., puteți adăuga /robots.txt la domeniul magazinului dvs.:

Ce conține de obicei acest fișier? Indică un anumit bot de căutare (câmpul User-agent ) și oferă directive de accesare cu crawlere ( Disallow înseamnă blocarea accesării). În exemplul de mai sus, primul set de reguli este dat tuturor roboților de căutare ( User-agent este setat la *). La rândul său, directiva Disallow interzice accesarea cu crawlere a paginilor specificate. În exemplu, putem vedea că fișierul interzice accesarea cu crawlere a paginilor tehnice, cum ar fi admin, coș, checkout și așa mai departe.

Robots.txt include, de asemenea, un link către harta site-ului dvs., care este, de asemenea, utilă pentru a căuta crawlerele pentru a înțelege structura site-ului dvs. și prioritățile de indexare.

Până de curând, Shopify nu a oferit nicio flexibilitate cu acest fișier. Dar în iunie 2021, comercianților Shopify li s-a oferit posibilitatea de a edita robots.txt. Regulile predefinite sunt în mare parte suficiente, dar s-ar putea să nu ia în considerare toate cazurile. Dacă utilizați o aplicație pentru căutarea internă, aceasta schimbă adesea adresa URL și regulile implicite nu sunt aplicate. Sau, dacă ați navigat cu fațete, URL-ul se modifică în funcție de fiecare filtru ales și este posibil ca regulile implicite să nu ia în considerare totul. Puteți adăuga mai multe pagini și reguli în fișierul dvs., puteți specifica mai mulți agenți de utilizator etc.

Pentru a afla despre directivele existente pe care le puteți aplica, consultați ghidul Google pe robots.txt.

De asemenea, rețineți că noi reguli apar tot timpul. De exemplu, la începutul anului 2022, Google a introdus o nouă etichetă care controlează indexarea conținutului încorporat: indexifembedded. Poate fi aplicat dacă aveți niște widget-uri în magazin care sunt inserate prin iframe sau etichetă HTML similară și nu doriți ca acestea să fie indexate.

Cum să vă editați robots.txt pe Shopify?

În codul temei dvs., veți vedea o mulțime de șabloane (accesați Magazinul online > Teme > faceți clic pe Acțiuni pe tema curentă > alegeți Editați codul > accesați Șabloane ). Lista ar trebui să conțină fișierul robots.txt.liquid.

Dacă, dintr-un motiv oarecare, nu aveți fișierul, îl puteți crea făcând clic pe Adăugare șablon nou și alegând robots.txt.

De exemplu, să blocăm căutarea internă de la indexare — va arăta astfel în șablon:

Consultați pagina de ajutor a Shopify despre editarea robots.txt pentru mai multe detalii.

Rețineți că, chiar dacă o pagină este interzisă în robots.txt, aceasta poate fi indexată dacă are linkuri din surse externe. Deci, de exemplu, dacă aveți o pagină veche care a primit o cantitate decentă de trafic în trecut, dar nu mai este relevantă pentru magazinul dvs., este mai bine să o blocați cu metaeticheta robots sau să o eliminați complet.

Nu se indexează conținutul Shopify cu metaeticheta robots

Pe lângă robots.txt, directiva noindex poate fi inserată în secțiunea <head> a codului temei dvs. cu ajutorul metaetichetei robots. Eticheta are următoarea sintaxă: <meta name=”robots” content=”noindex”>.

În mod similar cu modul în care editați sau creați un cod Shopify robots.txt, accesați theme.liquid în secțiunea Aspect . De exemplu, așa va arăta dacă adăugați o regulă pentru noindexarea paginii /new-collection:

În acest fel, veți ascunde o pagină din căutarea de bun.

Rețineți că puteți utiliza noindex cu nofollow sau urmați directive împreună. Cu follow , pagina dvs. va fi blocată de la indexare, dar va permite roboților de căutare să acceseze cu crawlere alte linkuri plasate pe pagina respectivă, în timp ce cu nofollow , atât pagina în sine, cât și toate linkurile de pe ea nu vor fi accesibile roboților de căutare.

Fără indexare a conținutului Shopify cu ajutorul aplicațiilor

Dacă toate acestea vi se par prea mari, există modalități de a vă controla indexarea paginii și mai ușor, fără a fi nevoie să scrieți o singură linie de cod. Există mai multe aplicații SEO pentru Shopify care vă vor ajuta să ascundeți produsele din căutarea în magazinul dvs. Shopify sau să blocați orice alte pagini.

Aruncă o privire la acestea două:

• Sitemap Noindex SEO Tools (3,49 USD pe lună pentru toate tipurile de pagini)
• NoIndexify - Manager Sitemap (gratuit pentru produse, colecții și pagini de blog; 2,99 USD pe lună pentru alte pagini: căutare, paginare, autentificare etc.)

Iată cum arată interfața lui NoIndexify - pentru fiecare pagină, puteți alege un set de directive:

Îmbunătățiți-vă SEO prin îmbunătățirea indexării paginilor

Asta e tot: sperăm că înțelegeți mai bine cum funcționează robots.txt de la Shopify și cum să îl utilizați în avantajul dvs. Cu ajutorul robots.txt și al metaetichetei robots, vă puteți îmbunătăți controlul asupra indexării paginilor, puteți preveni problemele SEO și puteți oferi mai multă valoare paginilor dvs. cele mai importante, astfel încât acestea să strălucească în căutare și să atragă mai mulți vizitatori.

Dacă sunteți în căutarea mai multor sfaturi SEO Shopify, consultați ghidul nostru SEO.