Co należy indeksować w sklepie Shopify i jak? Przewodnik po pliku robots.txt i metatagu robots

Plik robots.txt to jedna z podstaw technicznego SEO, o którą zawsze należy dbać. Pomaga kontrolować sposób, w jaki wyszukiwarki indeksują Twoją witrynę, dzięki czemu wszystko, co ważne, pojawia się w wynikach wyszukiwania, a wszystko, czego nie chcesz tam wyświetlać, jest blokowane.

Dlaczego kontrolowanie przeszukiwania i indeksowania stron jest tak ważne?

• Oszczędzanie budżetu indeksowania. Istnieje limit liczby stron, które bot wyszukiwania może przetworzyć w danym czasie. Aby upewnić się, że najważniejsze strony są indeksowane i regularnie ponownie indeksowane, należy wykluczyć te strony, które nie muszą być wyświetlane w wynikach wyszukiwania.

• Zapobieganie wyświetlaniu stron technicznych w wyszukiwaniu. Istnieje wiele stron, które Twój sklep generuje dla wygody użytkowników: strony z loginem, kasą, wyszukiwaniem wewnętrznym itp. Są one kluczowe dla UX, ale nie muszą być pozycjonowane w wyszukiwaniu.

• Unikanie duplikatów problemów z treścią. Mówiąc o wspomnianych stronach technicznych, mogą one tworzyć duplikaty: na przykład różne opcje sortowania będą dostępne pod różnymi adresami URL, ale pokażą te same produkty, tylko w innej kolejności. Nie chcesz, aby te strony brały udział w rankingach, ponieważ wyszukiwarki nie doceniają duplikatów treści.

Jak możesz kontrolować indeksowanie stron swojego sklepu?

Aby nadać wartość ważnym stronom i ułatwić ich indeksowanie przez boty wyszukiwania, zawsze powinieneś mieć zaktualizowaną i poprawną mapę witryny. Ponadto zadbaj o wewnętrzne linki i pozyskiwanie zewnętrznych źródeł linków do Twoich treści, aby Twoje strony wyglądały bardziej autorytatywnie w oczach wyszukiwarek.

Środki te w dużej mierze gwarantują, że Twoje strony będą pozycjonowane w wynikach wyszukiwania, chociaż nie ma niezawodnego sposobu na zapewnienie 100% indeksowania.

To, co możesz zagwarantować w 100%, to wykluczenie niektórych stron, których nie chcesz wyświetlać w wyszukiwaniu. W tym celu możesz użyć dyrektywy noindex w pliku robots.txt lub metatagu robots . Brzmi bardzo technicznie na pierwszy rzut oka, ale w rzeczywistości jest bardzo łatwe. Zwłaszcza dla sprzedawców Shopify, ponieważ platforma automatycznie zajmuje się większością prawidłowego indeksowania.

Co więc powinieneś indeksować w sklepie Shopify?

W przypadku sklepów internetowych sensowne jest zablokowanie indeksowania następujących typów stron:

• Wszystko związane z kontami użytkowników. Te strony są unikalne dla każdego klienta i nie są potrzebne w wyszukiwaniu.
• Wszystko związane z kasą gościa. Nawet jeśli użytkownicy nie logują się na swoje konto i mogą kupować jako goście, strony z wygenerowanymi dla nich krokami kasy nie są przeznaczone do wyszukiwania.
• Nawigacja fasetowa i wyszukiwanie wewnętrzne. Jak już wspomnieliśmy, oferowanie tych adresów URL robotom wyszukującym tylko je zdezorientuje, wyczerpie budżet na indeksowanie i spowoduje problemy z duplikatami treści.
• Produkty, które chcesz ukryć przed wyszukiwaniem. Jeśli nie chcesz, aby niektóre produkty były wyświetlane w wynikach wyszukiwania — powiedzmy, że produkty niedostępne lub produkty, na których czas nie ma już znaczenia — możesz ukryć produkty przed wyszukiwaniem w pliku robots.txt Shopify.

Robots.txt w Shopify

Aby sprawdzić plik robots.txt, który jest dla Ciebie generowany automatycznie, możesz dodać /robots.txt do domeny swojego sklepu:

Co zwykle zawiera ten plik? Wskazuje konkretnego bota wyszukiwania (pole User-agent ) i podaje dyrektywy indeksowania ( Disallow oznacza blokowanie dostępu). W powyższym przykładzie pierwszy zestaw reguł jest nadawany wszystkim botom wyszukującym ( agent użytkownika jest ustawiony na *). Z kolei dyrektywa Disallow zabrania indeksowania określonych stron. W przykładzie widzimy, że plik zabrania indeksowania stron technicznych, takich jak admin, koszyk, kasa i tak dalej.

Plik robots.txt zawiera również link do mapy witryny, który jest również pomocny w wyszukiwaniu robotów indeksujących w celu zrozumienia struktury witryny i priorytetów indeksowania.

Do niedawna Shopify nie zapewniało żadnej elastyczności w przypadku tego pliku. Jednak w czerwcu 2021 r. sprzedawcy Shopify otrzymali możliwość edytowania pliku robots.txt. Wstępnie zdefiniowane reguły są w większości wystarczające, ale mogą nie uwzględniać wszystkich przypadków. Jeśli używasz aplikacji do wyszukiwania wewnętrznego, często zmienia się adres URL, a domyślne reguły nie są stosowane. Lub, jeśli masz nawigację aspektową, adres URL zmienia się zgodnie z każdym wybranym filtrem, a domyślne reguły mogą nie uwzględniać wszystkiego. Możesz dodać więcej stron i reguł do swojego pliku, określić więcej agentów użytkownika itp.

Aby dowiedzieć się więcej o istniejących dyrektywach, które możesz zastosować, zapoznaj się z przewodnikiem Google dotyczącym pliku robots.txt.

Pamiętaj też, że cały czas pojawiają się nowe zasady. Na przykład na początku 2022 r. Google wprowadził nowy tag, który kontroluje indeksowanie osadzonej treści: indexifembedded. Można go zastosować, jeśli masz w swoim sklepie widżety, które są wstawiane przez iframe lub podobny tag HTML i nie chcesz, aby były indeksowane.

Jak edytować plik robots.txt w Shopify?

W kodzie Twojego motywu zobaczysz kilka szablonów (przejdź do Sklepu internetowego > Motywy > kliknij Działania w bieżącym motywie > wybierz Edytuj kod > przejdź do Szablony ). Lista powinna zawierać plik robots.txt.liquid.

Jeśli z jakiegoś powodu nie masz pliku, możesz go utworzyć, klikając Dodaj nowy szablon i wybierając robots.txt.

Na przykład zablokujmy indeksowanie wyszukiwania wewnętrznego — w szablonie będzie to wyglądać tak:

Więcej informacji można znaleźć na stronie pomocy Shopify dotyczącej edytowania pliku robots.txt.

Pamiętaj, że nawet jeśli strona jest niedozwolona w pliku robots.txt, nadal może zostać zaindeksowana, jeśli zawiera linki ze źródeł zewnętrznych. Na przykład, jeśli masz starą stronę, która w przeszłości cieszyła się przyzwoitym ruchem, ale nie jest już odpowiednia dla Twojego sklepu, lepiej zablokować ją za pomocą metatagu robots lub całkowicie ją usunąć.

Brak indeksowania treści Shopify za pomocą metatagu robots

Oprócz pliku robots.txt dyrektywę noindex można wstawić w sekcji <head> kodu motywu za pomocą metatagu robots. Tag ma następującą składnię: <meta name=”robots” content=”noindex”>.

Podobnie jak w przypadku edycji lub tworzenia kodu Shopify robots.txt, przejdź do theme.liquid w sekcji Układ . Na przykład tak będzie wyglądać, jeśli dodasz regułę nieindeksowania strony /new-collection:

W ten sposób ukryjesz stronę przed wyszukiwaniem na dobre.

Zauważ, że możesz użyć noindex z nofollow lub jednocześnie przestrzegać dyrektyw. Dzięki follow , Twoja strona zostanie zablokowana przed indeksowaniem, ale umożliwi robotom wyszukiwania indeksowanie innych linków umieszczonych na tej stronie, podczas gdy w przypadku nofollow zarówno sama strona, jak i wszystkie znajdujące się na niej linki nie będą dostępne dla robotów wyszukiwania.

Brak indeksowania treści Shopify za pomocą aplikacji

Jeśli to wszystko wydaje Ci się zbyt wielkim problemem, istnieją sposoby na jeszcze łatwiejsze kontrolowanie indeksowania stron, bez konieczności pisania nawet jednej linii kodu. Istnieje kilka aplikacji SEO dla Shopify, które pomogą Ci ukryć produkty przed wyszukiwaniem w Twoim sklepie Shopify lub zablokować inne strony.

Spójrz na te dwa:

• Sitemap Noindex SEO Tools (3,49 USD miesięcznie dla wszystkich typów stron)
• NoIndexify — Menedżer map witryn (bezpłatny w przypadku stron dotyczących produktów, kolekcji i blogów; 2,99 USD miesięcznie w przypadku innych stron: wyszukiwania, paginacji, logowania itp.)

Tak wygląda interfejs NoIndexify — dla każdej strony możesz wybrać zestaw dyrektyw:

Popraw swoje SEO, poprawiając indeksowanie stron

To wszystko: mamy nadzieję, że lepiej rozumiesz, jak działa plik robots.txt Shopify i jak go wykorzystać na swoją korzyść. Za pomocą metatagu robots.txt i robots możesz poprawić kontrolę nad indeksowaniem stron, zapobiegać problemom z SEO i nadać większą wartość najważniejszym stronom, aby błyszczały w wynikach wyszukiwania i przyciągały więcej odwiedzających.

Jeśli szukasz więcej wskazówek Shopify SEO, zapoznaj się z naszym przewodnikiem SEO.