ماذا noindex في متجر Shopify الخاص بك وكيف؟ دليل ملف robots.txt والعلامة الوصفية لبرامج الروبوت

يعد ملف robots.txt أحد أساسيات مُحسنات محركات البحث الفنية التي يجب عليك دائمًا الاهتمام بها. يساعدك في التحكم في كيفية قيام محركات البحث بالزحف إلى موقعك - ​​بحيث يظهر كل شيء مهم في نتائج البحث ويتم حظر كل شيء لا تريد عرضه هناك.

‍

ما سبب أهمية التحكم في الزحف إلى صفحتك وفهرستها؟

• حفظ ميزانية الزحف. هناك حد لعدد الصفحات التي يمكن لروبوت البحث معالجتها في وقت معين. للتأكد من الزحف إلى أهم صفحاتك وإعادة الزحف إليها بانتظام ، يجب استبعاد تلك الصفحات التي لا تحتاج إلى الظهور في نتائج البحث.

• منع الصفحات الفنية من الظهور في البحث. هناك الكثير من الصفحات التي ينشئها متجرك لراحة المستخدمين: الصفحات التي تحتوي على تسجيل الدخول ، والخروج ، والبحث الداخلي ، وما إلى ذلك ، فهي ضرورية لتجربة المستخدم ولكن لا يلزم تصنيفها في البحث.

• تجنب مشاكل المحتوى المكرر. عند الحديث عن الصفحات الفنية التي ذكرناها ، يمكنهم إنشاء نسخ: على سبيل المثال ، ستأتي خيارات الفرز المختلفة في عناوين URL مختلفة ولكنها تعرض نفس المنتجات ، بترتيب مختلف فقط. لا تريد أن تشترك هذه الصفحات في التصنيفات ، لأن محركات البحث لا تقدر المحتوى المكرر.

كيف يمكنك التحكم في فهرسة صفحة متجرك؟

لإعطاء قيمة لصفحاتك المهمة وتسهيل فهرستها بواسطة روبوتات البحث ، يجب أن يكون لديك دائمًا خريطة موقع محدثة وصحيحة. بالإضافة إلى ذلك ، احرص على الارتباط الداخلي والحصول على مصادر خارجية للارتباط بالمحتوى الخاص بك بحيث تبدو صفحاتك أكثر موثوقية في عيون محركات البحث.

تضمن هذه الإجراءات إلى حد كبير تصنيف صفحاتك في البحث ، على الرغم من عدم وجود طريقة مؤكدة لضمان فهرسة بنسبة 100٪.

ما يمكنك ضمانه بنسبة 100٪ هو استبعاد صفحات معينة لا تريدها أن تظهر في البحث. لهذا ، يمكنك استخدام أمر noindex في ملف robots.txt أو العلامة الوصفية لبرامج الروبوت . تبدو تقنية للغاية للوهلة الأولى ، لكنها في الواقع سهلة للغاية. خاصة بالنسبة لتجار Shopify ، حيث تهتم المنصة تلقائيًا بالجزء الأكبر من الفهرسة المناسبة.

لذا ، ما الذي يجب عليك noindex في متجر Shopify؟

بالنسبة إلى المتاجر عبر الإنترنت ، من المنطقي منع فهرسة الأنواع التالية من الصفحات:

• كل شيء مرتبط بحسابات المستخدمين. هذه الصفحات فريدة لكل عميل ولا حاجة إليها في البحث.
• كل شيء مرتبط بخروج الضيف. حتى إذا لم يسجل المستخدمون الدخول إلى حساباتهم ويسمح لهم بالشراء كضيوف ، فإن الصفحات التي تم إنشاؤها من أجل خطوات الخروج ليست مخصصة للبحث.
• الملاحة ذات الأوجه والبحث الداخلي. كما ذكرنا سابقًا ، فإن عرض عناوين URL هذه للبحث في برامج الروبوت سيؤدي فقط إلى إرباكها واستنزاف ميزانية الزحف لديك وخلق مشكلات محتوى مكررة.
• المنتجات التي تريد إخفاءها من البحث. إذا كنت لا تريد عرض منتجات معينة في نتائج البحث - على سبيل المثال ، العناصر غير المتوفرة في المخزون أو العناصر الحساسة للوقت والتي لم تعد ذات صلة - يمكنك إخفاء المنتجات من البحث في ملف robots.txt الخاص بك Shopify.

Robots.txt في Shopify

للتحقق من ملف robots.txt الذي تم إنشاؤه لك تلقائيًا ، يمكنك إضافة /robots.txt إلى مجال متجرك:

ماذا يحتوي هذا الملف عادة؟ يشير إلى برنامج روبوت بحث معين (حقل User-agent ) ويعطي أوامر الزحف ( Disallow يعني الحظر من الوصول). في المثال أعلاه ، يتم إعطاء المجموعة الأولى من القواعد لجميع روبوتات البحث (تم تعيين وكيل المستخدم على *). بدوره ، يمنع التوجيه Disallow الزحف إلى الصفحات المحددة. في المثال ، يمكننا أن نرى أن الملف يحظر الزحف إلى الصفحات الفنية ، مثل admin و cart و checkout وما إلى ذلك.

يتضمن ملف Robots.txt أيضًا رابطًا إلى ملف Sitemap الخاص بك ، وهو مفيد أيضًا لبرامج الزحف للبحث لفهم بنية موقعك وأولويات الفهرسة.

حتى وقت قريب ، Shopify لم يمنح أي مرونة مع هذا الملف. ولكن في يونيو 2021 ، تم منح التجار Shopify إمكانية تعديل ملف robots.txt. غالبًا ما تكون القواعد المحددة مسبقًا كافية ولكنها قد لا تأخذ في الاعتبار جميع الحالات. إذا كنت تستخدم تطبيقًا للبحث الداخلي ، فغالبًا ما يغير عنوان URL ولا يتم تطبيق القواعد الافتراضية. أو ، إذا كان لديك تنقل متعدد الأوجه ، فإن عنوان URL يتغير وفقًا لكل مرشح تم اختياره ، وقد لا تأخذ القواعد الافتراضية كل شيء في الاعتبار. يمكنك إضافة المزيد من الصفحات والقواعد إلى ملفك ، وتحديد المزيد من وكلاء المستخدم ، وما إلى ذلك.

للتعرف على التوجيهات الحالية التي يمكنك تطبيقها ، راجع دليل Google على ملف robots.txt.

لاحظ أيضًا أن القواعد الجديدة تظهر طوال الوقت. على سبيل المثال ، في بداية عام 2022 ، قدمت Google علامة جديدة تتحكم في فهرسة المحتوى المضمن: indexifembedded. يمكن تطبيقه إذا كان لديك بعض عناصر واجهة المستخدم في متجرك والتي تم إدراجها من خلال iframe أو علامة HTML مماثلة ولا تريد فهرستها.

كيفية تحرير ملف robots.txt الخاص بك على Shopify؟

في رمز المظهر الخاص بك ، سترى مجموعة من القوالب (انتقل إلى المتجر عبر الإنترنت > السمات > انقر فوق الإجراءات على المظهر الحالي الخاص بك> اختر تحرير التعليمات البرمجية > انتقل إلى القوالب ). يجب أن تحتوي القائمة على ملف robots.txt.l Liquid.

إذا لم يكن لديك الملف لسبب ما ، فيمكنك إنشاؤه بالنقر فوق إضافة قالب جديد واختيار ملف robots.txt.

على سبيل المثال ، لنمنع البحث الداخلي من الفهرسة - سيبدو مثل هذا في القالب:

راجع صفحة تعليمات Shopify حول تحرير ملف robots.txt للحصول على مزيد من التفاصيل.

لاحظ أنه حتى إذا كانت الصفحة غير مسموح بها في ملف robots.txt ، فلا يزال من الممكن فهرستها إذا كانت تحتوي على روابط من مصادر خارجية. لذلك ، على سبيل المثال ، إذا كانت لديك صفحة قديمة تلقت عددًا لا بأس به من الزيارات في الماضي ولكنها لم تعد ذات صلة بمتجرك ، فمن الأفضل حظرها باستخدام العلامة الوصفية لبرامج الروبوت أو إزالتها تمامًا.

Noindexing Shopify المحتوى مع العلامة الوصفية لبرامج الروبوت

إلى جانب ملف robots.txt ، يمكن إدراج أمر noindex في قسم <head> من شفرة المظهر الخاص بك بمساعدة العلامة الوصفية لبرامج الروبوت. تحتوي العلامة على الصيغة التالية: <meta name = ”robots” content = ”noindex”>.

على غرار كيفية تحرير أو إنشاء Shopify robots.txt كود ، انتقل إلى theme.l Liquid في قسم Layout . على سبيل المثال ، هذا ما سيبدو عليه إذا أضفت قاعدة لمنع الفهرسة الخاصة بك / صفحة المجموعة الجديدة:

بهذه الطريقة ، ستقوم بإخفاء صفحة من البحث عن الخير.

لاحظ أنه يمكنك استخدام noindex مع nofollow أو اتباع التوجيهات معًا. من خلال المتابعة ، سيتم حظر صفحتك من الفهرسة ولكنها ستسمح لروبوتات البحث بالزحف إلى الروابط الأخرى الموضوعة على تلك الصفحة ، بينما باستخدام nofollow ، لن تتمكن روبوتات البحث من الوصول إلى الصفحة نفسها وجميع الروابط الموجودة عليها.

Noindexing Shopify المحتوى بمساعدة التطبيقات

إذا كان كل هذا يبدو وكأنه مشكلة كبيرة بالنسبة لك ، فهناك طرق للتحكم في فهرسة صفحتك بشكل أسهل ، دون الحاجة إلى كتابة سطر واحد من التعليمات البرمجية. هناك العديد من تطبيقات تحسين محركات البحث لـ Shopify والتي ستساعدك على إخفاء المنتجات من البحث في متجر Shopify الخاص بك أو حظر أي صفحات أخرى.

ألق نظرة على هذين:

• Sitemap Noindex SEO Tools (3.49 دولار شهريًا لجميع أنواع الصفحات)
• NoIndexify - مدير ملفات Sitemap (مجانًا لصفحات المنتج والمجموعة والمدونة ؛ 2.99 دولارًا أمريكيًا شهريًا للصفحات الأخرى: البحث ، ترقيم الصفحات ، تسجيل الدخول ، إلخ.)

هذا ما تبدو عليه واجهة NoIndexify — لكل صفحة ، يمكنك اختيار مجموعة من التوجيهات:

قم بتحسين مُحسّنات محرّكات البحث عن طريق تحسين فهرسة الصفحات

هذا كل شيء: نأمل أن يكون لديك فهم أفضل لكيفية عمل ملف robots.txt الخاص بـ Shopify وكيفية استخدامه لصالحك. بمساعدة ملف robots.txt والعلامة الوصفية لبرامج الروبوت ، يمكنك تحسين تحكمك في فهرسة الصفحات ومنع مشكلات تحسين محركات البحث وإعطاء قيمة أكبر لصفحاتك الأكثر أهمية حتى تتألق في البحث وتجذب المزيد من الزوار.

إذا كنت تبحث عن المزيد من نصائح تحسين محركات البحث Shopify ، فراجع دليل تحسين محركات البحث.