في حين أن معظم المتخصصين في تحسين محركات البحث (SEO) يدركون أن ملف robots.txt وعلامة Meta Robots يُستخدمان للتحكم في وصول روبوت محرك البحث إلى موقع ويب ، فإن الكثيرين أيضًا غير مدركين لكيفية استخدامهما بشكل فعال. كلاهما له مزايا وعيوب مميزة ، ومن الأهمية بمكان تحقيق توازن بين الاستخدام والوقت. لمعالجة هذه المشكلة ، حددنا أفضل الممارسات لإعداد ملف robots.txt وعلامات Meta Robots في هذه المقالة.

ملف robots.txt

Robots.txt هو ملف نصي يخبر روبوتات محرك البحث بأجزاء موقع الويب التي يمكنهم الزحف إليها والأجزاء التي لا يمكنهم الزحف إليها. إنه جزء من بروتوكول استبعاد الروبوتات (REP) ، وهو عبارة عن مجموعة من الإرشادات حول كيفية قيام الروبوتات بالزحف إلى المعلومات وفهرستها على الإنترنت. قد يبدو الأمر معقدًا وتقنيًا ، لكن إنشاء ملف robots.txt أمر بسيط. هيا بنا نبدأ!

فيما يلي مثال على ملف robots.txt بسيط:

وكيل المستخدم: *

السماح: /

Disallow: / thank-you

خريطة الموقع: https://www.example.com/sitemap.xml

إن أهم التوجيهات في ملف robots.txt لتوجيه برامج الروبوت هي Allow و Disallow. دعونا نلقي نظرة على ما يشيرون إليه.

بناء الجملة

وكيل المستخدم - تم تحديد اسم وكيل المستخدم الذي تهدف إليه التوجيهات هنا.

يشير الرمز * إلى أن التوجيهات مخصصة لجميع برامج الزحف. تشمل القيم المحتملة الأخرى لهذه المعلمة Googlebot و yandexbot و bingbot ، من بين أمور أخرى.

سماح: يخبر هذا الأمر Googlebot أن محددات مواقع الويب المحددة قابلة للزحف (عناوين URL)

Disallow: يمنع هذا الأمر Googlebot من الزحف إلى عنوان URL الذي تحدده (عناوين URL).

ملف Sitemap: يُستخدم هذا الأمر لتحديد عنوان URL لملف Sitemap لموقعك على الويب.

في هذه الحالة ، User-agent: * تشير إلى أن مجموعة الأوامر مناسبة لجميع أنواع الروبوتات.

Allow: / يخبر برامج الزحف أنه يمكنهم الزحف إلى موقع الويب بأكمله باستثناء الصفحات غير المسموح بها في الملف. أخيرًا ، Disallow: / thank-you تخبر Googlebot بعدم الزحف إلى أي عناوين URL تتضمن / thank-you.

تؤدي إرشادات User-agent و Allow و Disallow الوظيفة الأساسية لملف robots.txt ، وهي السماح ببرامج الزحف وحظرها.

أفضل ممارسات Robots.txt

إليك بعض النصائح المؤيدة لتحسين محركات البحث التي يجب عليك اتباعها عند إعداد ملف robots.txt الخاص بك.

• أولاً وقبل كل شيء ، يرجى القيام بأداء واجبك ومعرفة الأجزاء التي لا تريد فهرستها في موقع الويب الخاص بك. لا تنسخ أو تعيد استخدام ملف robots.txt الخاص بشخص آخر.
• تأكد من أن ملف robots.txt الخاص بك موجود في الدليل الجذر لموقعك على الويب حتى تتمكن برامج زحف محركات البحث من الوصول إليه بسهولة.
• نظرًا لأنه حساس لحالة الأحرف ، لا تتصل بالملف بأي شيء بخلاف "robots.txt".
• في ملف robots.txt ، قم دائمًا بتضمين عنوان URL الخاص بخريطة الموقع لتسهيل عثور روبوتات محرك البحث على صفحات موقعك على الويب.
• يجب عدم استخدام ملف Robots.txt لإخفاء المعلومات الخاصة أو صفحات الأحداث المستقبلية. يمكن لأي شخص الوصول إلى ملف robots.txt الخاص بك عن طريق وضع /robots.txt بعد اسم المجال الخاص بك لأنه ملف عام. نظرًا لأن أي شخص قد يرى الصفحات التي تريد إخفاءها ، فمن الأفضل عدم استخدام الروبوتات.
• قم بإنشاء ملف robots.txt منفصل ومخصص لكل من المجالات الفرعية لنطاقك الجذر.
• قبل بدء البث المباشر ، تحقق جيدًا من أنك لا تحظر أي شيء لا تريده.
• لاكتشاف أي أخطاء والتأكد من تشغيل توجيهاتك ، اختبر ملف robots.txt الخاص بك وتحقق من صحته باستخدام أداة اختبار robots.txt من Google.
• قم بإنشاء ملف robots.txt منفصل ومخصص لكل من المجالات الفرعية لنطاقك الجذر.
• لاكتشاف أي أخطاء والتأكد من تشغيل توجيهاتك ، اختبر ملف robots.txt الخاص بك وتحقق من صحته باستخدام أداة اختبار robots.txt من Google.
• لا تقم بالارتباط بأي من صفحات موقع الويب الخاصة بك التي يحظرها ملف robots.txt. ستؤدي الروابط الداخلية إلى قيام Google بالزحف إلى هذه الصفحات إذا كانت مرتبطة.
• تأكد من تنسيق ملف robots.txt بشكل صحيح.

1. في سطر جديد ، يجب تحديد كل توجيه.
2. عند السماح أو عدم السماح بعناوين URL ، ضع في اعتبارك أنها حساسة لحالة الأحرف.
3. باستثناء * و $ ، لا ينبغي استخدام أحرف خاصة أخرى.
4. لتوفير مزيد من الوضوح ، استخدم الرمز #. تتجاهل برامج الزحف الأسطر التي تحتوي على الحرف #.

• ما الصفحات التي يجب عليك استخدام ملف robots.txt لإخفائها؟

1. صفحات للترقيم
2. الاختلافات في معامِلات استعلام الصفحة
3. صفحات لحسابك أو ملفك الشخصي
4. صفحات للمسؤولين
5. في عربة التسوق
6. شكرا لك صفحات

• منع الصفحات غير المرتبطة من أي مكان والتي لم تتم فهرستها باستخدام ملف robots.txt.

• عندما يتعلق الأمر بملف robots.txt ، غالبًا ما يرتكب مشرفو المواقع أخطاء فادحة. تمت مناقشتها في مقال منفصل. تحقق من ذلك وابتعد عنها - أخطاء ملف robots.txt النموذجية

علامات الروبوتات

يخبر ملف robots.txt الزاحف فقط بأجزاء موقع الويب التي يمكنه الوصول إليها. ومع ذلك ، لن يخبر الزاحف ما إذا كان يمكنه الفهرسة أم لا. للمساعدة في ذلك ، يمكنك استخدام علامات برامج الروبوت لإرشاد برامج الزحف إلى الفهرسة ومجموعة متنوعة من المهام الأخرى. تعد علامات Meta Robots و X-robots شكلين من أشكال علامات الروبوت.

علامة Meta Robots

علامة Meta Robots هي جزء من كود HTML يخبر محركات البحث بكيفية الزحف إلى صفحة وفهرستها. تم العثور عليه في عنوان> قسم صفحة الويب. تبدو علامة Meta Robots على النحو التالي:

<meta name = "robots" content = "noindex ، nofollow">

الاسم والمحتوى هما سمتان لعلامة Meta Robots.

سمة الاسم

القيم المحددة لسمة الاسم هي أسماء الروبوتات ، مثل (Googlebot ، MSNbot ، إلخ). كما هو موضح في المثال أعلاه ، يمكنك ببساطة تحديد القيمة كروبوتات ، مما يشير إلى أن التوجيه سينطبق على جميع أنواع روبوتات الزحف.

سمة المحتوى

في حقل المحتوى ، يمكنك تحديد مجموعة متنوعة من أنواع القيم المختلفة. ترشد سمة المحتوى برامج الزحف إلى كيفية الزحف إلى محتوى الصفحة وفهرسته. إذا لم تكن هناك علامة وصفية لبرامج الروبوت ، فستتعامل برامج الزحف مع الصفحة كفهرس وتتبعها افتراضيًا.

فيما يلي أنواع القيم المختلفة لسمة المحتوى

1. الكل: يخبر هذا التوجيه برامج الزحف أنه يمكنها الزحف إلى أي شيء تريده وفهرسته. يعمل هذا بنفس طريقة عمل الفهرس واتباع التعليمات.
2. الفهرس: يخبر توجيه الفهرس برامج الزحف أنه يمكنها فهرسة الصفحة. يؤخذ هذا في الاعتبار بشكل افتراضي. لا يلزم إضافة هذا إلى صفحة حتى تتم فهرستها.
3. noindex: غير مسموح لبرامج الزحف بفهرسة الصفحة. إذا تمت فهرسة الصفحة بالفعل ، فسيتم توجيه الزاحف لإزالتها من الفهرس بواسطة هذا التوجيه.
4. متابعة: يُطلب من محركات البحث متابعة جميع الروابط الموجودة على الصفحة وتمرير حقوق الارتباط.
5. nofollow: لا يُسمح لمحركات البحث باتباع الروابط الموجودة على موقع الويب أو تمرير أي حقوق ملكية.
6. لا شيء: هذا مشابه لتوجيهات noindex و nofollow.
7. noarchive: لا يتم عرض النسخة المخبأة من الصفحة في صفحة نتائج محرك البحث (SERP).
8. nocache: هذا التوجيه مشابه لـ noarchive ، إلا أنه مدعوم فقط من خلال Internet Explorer و Firefox.
9. nosnippet: لا يتم عرض الوصف الموسع للصفحة (المعروف أيضًا باسم الوصف التعريفي) في نتائج البحث.
10. notranslate - يمنع هذا Google من توفير ترجمة للصفحة في SERP.
11. noimageindex - يمنع هذا Googlebot من الزحف إلى أي صور على موقع الويب.
12. unavailable_after - بعد التاريخ / الوقت المحدد ، لا تعرض هذه الصفحة في نتائج البحث. إنه مشابه لعلامة noindex مع جهاز توقيت.
13. max-snippet: يسمح لك هذا التوجيه بتحديد الحد الأقصى لعدد الأحرف التي يجب على Google إظهارها في SERP للصفحة. سيقتصر عدد الأحرف في النموذج أدناه على 150 حرفًا.
14. على سبيل المثال - <meta name = ”robots” content = ”max-snippet: 150 ″ />
15. max-video-preview - سيتم إنشاء أقصى قدر من الثواني لمعاينة عينة الفيديو. في الحالة الموضحة أدناه ، ستعرض Google معاينة مدتها 10 ثوانٍ —– <meta name = ”robots” content = ”max-video-preview: 10 ″ />
16. max-image-preview - يرشد هذا Google إلى حجم الصورة التي يجب أن تعرضها لصفحة في SERP. هناك ثلاثة خيارات متاحة.

• لا شيء - لن يتم عرض مقتطف للصورة.
• قياسي - سيتم استخدام معاينة الصورة الافتراضية
• كبير - قد يتم عرض أكبر معاينة ممكنة

علامة X Robots

فقط على مستوى الصفحة ، يمكن لعلامة Meta Robots تنظيم الزحف والفهرسة. يتمثل الاختلاف الوحيد بين علامة X-robots وعلامة Meta Robots في أن علامة X-robots محددة في رأس HTTP للصفحة لإدارة الزحف والفهرسة للصفحة بأكملها أو عناصر محددة منها. يتم استخدامه في الغالب للتحكم في الصفحات غير بتنسيق HTML والزحف والفهرسة.

مثال على علامة X-Robots

تستخدم علامة X-robots نفس مجموعة التوجيهات مثل علامة Meta Robots ، كما هو موضح في لقطة الشاشة هذه. ستحتاج إلى الوصول إلى ملف تكوين a.htaccess أو .php أو الخادم لتغيير الرؤوس من أجل استخدام علامة X-robots.

أفضل ممارسات تحسين محركات البحث لعلامات الروبوتات

1) لا ينبغي استخدام Meta Robots و x-robots في نفس الصفحة لأن أحدهما سيصبح زائداً عن الحاجة.
2) يمكنك استخدام علامة Meta Robots مع توجيهات مثل noindex ، اتبع إذا كنت لا تريد فهرسة صفحاتك ولكنك لا تزال تريد نقل ملكية الرابط إلى الصفحات المرتبطة. بدلاً من منع الفهرسة باستخدام ملف robots.txt ، فهذه هي الطريقة المثالية للتحكم في الفهرسة.
3) لفهرسة موقع الويب الخاص بك ، لا تحتاج إلى تضمين فهرس أو اتباع التوجيهات لكل صفحة. يتم أخذها في الاعتبار بشكل افتراضي.
4) إذا تمت فهرسة صفحاتك ، فلا تستخدم ملف robots.txt لإيقافها وبدلاً من ذلك استخدم Meta Robots. نظرًا لأن برامج الزحف تحتاج إلى الزحف إلى الصفحة لفحص علامة Meta Robots ، فإن حظر robots.txt يمنعها من القيام بذلك. بمعنى آخر ، ستصبح علامة Meta Robots الخاصة بك قديمة.
في هذه الظروف ، استخدم العلامة الوصفية لبرامج الروبوت أولاً ثم انتظر حتى يقوم Google بإلغاء فهرسة مواقعك. بعد إلغاء فهرستها ، يمكنك استخدام ملف robots.txt لمنعها وتوفير المال عند الزحف. ومع ذلك ، نظرًا لأنه يمكن استخدامها لنقل ملكية الارتباط إلى صفحاتك الحيوية ، يجب تجنب ذلك. استخدم فقط ملف robots.txt لمنع الصفحات التي تمت فك فهرستها إذا كانت عديمة الفائدة تمامًا.
5) التحكم في الزحف إلى الملفات غير بتنسيق HTML مثل الصور أو ملفات PDF أو الفلاش أو الفيديو باستخدام علامة X-robots.

استنتاج

يتطلب التحكم في الزحف إلى موقعك الإلكتروني وفهرسته استخدام ملفات robots.txt وعلامات robots. هناك عدة خيارات للتحكم في كيفية وصول العناكب إلى موقعك. ومع ذلك ، لن تكون جميعها فعالة في حل مشكلتك. إذا كنت ترغب في إزالة بعض الصفحات من الفهرس ، على سبيل المثال ، فإن مجرد حظرها في ملف robots.txt لن يعمل.

أهم شيء يجب تذكره هنا هو معرفة ما يتطلبه موقع الويب الخاص بك ثم اختيار استراتيجية ذكية للتعامل معه عند حظر المواقع. نأمل أن تساعدك هذه النصيحة في تحديد الخيار الأفضل لك.

ما هو النهج الذي تستخدمه لمنع الصفحات من أن يتم حظرها؟ يرجى مشاركة أفكارك في مربع التعليقات أدناه.

موارد بناء الروابط المفيدة لتحسين محركات البحث:

• قائمة أفضل مواقع ارتباطك الاجتماعي لعام 2021
• قائمة أفضل مواقع تقديم الصور لعام 2021 لتحسين محركات البحث
• قائمة مواقع تقديم المقالات 2021
• قائمة أفضل 100 موقع لتقديم دليل DA عالي المستوى 2021
• أفضل مواقع تقديم البيانات الصحفية لعام 2021
• أفضل قائمة مواقع التعليق على مدونة DoFollow عالية DA لعام 2021
• قائمة مواقع تقديم الفيديو في عام 2021
• قائمة مواقع قائمة الأعمال DA عالية في عام 2021
• قائمة مواقع التقديم المصنفة DA عالية في عام 2021
• قائمة مواقع الويب ذات الأسئلة والأجوبة العالية DA 2021