ما هو Googlebot؟ كل ما تحتاج لمعرفته حول فهرسة جوجل

ما هو Googlebot؟

Googlebot هو اسم زاحف الويب الخاص بـ Google. إنه "يقرأ" صفحات الويب ويفهرسها حتى يمكن تقديمها للباحثين استجابةً لشروط البحث الخاصة بهم.

يحتوي Googlebot على وظيفتين مهمتين:

1. يستكشف باستمرار صفحات الويب بحثًا عن روابط جديدة حتى يتمكن من فهرسة أكبر قدر ممكن من المحتوى ، و
2. يقوم بجمع معلومات جديدة حول الصفحات لتحديث فهرس Google باستمرار.

على الرغم من وجود اسم واحد فقط ، إلا أنه يوجد بالفعل نوعان من Googlebots: أحدهما للجوال (Googlebot Smartphone) والآخر لسطح المكتب (Googlebot Desktop). يتحقق الأول من مدى جودة عرض موقعك على الهواتف الذكية والأجهزة اللوحية ، بينما يركز الأخير على إصدار سطح المكتب لموقعك على الويب.

يهدف تحسين Googlebot إلى تسهيل وصول Google إلى موقع الويب الخاص بك والزحف إليه و "قراءته". على الرغم من أن العديد من أساليب تحسين محركات البحث تؤثر على أداء البحث ، إلا أن هناك عددًا قليلاً من عمليات التنفيذ التي يجب أن تعمل على تحسين "قابلية فهرسة" موقعك ويمكن أن تؤثر بشكل مباشر على ما إذا كانت صفحاتك متاحة لمستخدمي Google أم لا. بالإضافة إلى تكتيكات تحسين محركات البحث على الصفحة وخارج الصفحة ، يجب أن تتضمن إستراتيجية تحسين محركات البحث (SEO) أهدافًا تقنية لتحسين محركات البحث لمساعدتك على زيادة فرصك في الظهور في نتائج محرك البحث.

لماذا التركيز فقط على Googlebot؟ ماذا عن برامج الزحف لمحركات البحث الأخرى؟ حسنًا ، نظرًا لأن Google تمتلك حاليًا 92 ٪ من سوق البحث ، فمن المحتمل أن يستخدمها معظم جمهورك المستهدف. ومع ذلك ، يجب أن تسهل التوصيات التالية على جميع برامج الزحف قراءة صفحاتك.

كيف تعمل فهرسة جوجل؟

عندما يقوم Google بفهرسة موقع ما ، فإنه يضيفه بشكل أساسي إلى قاعدة بياناته المعرفية ويلاحظ ما تدور حوله الصفحات ، ومدى سهولة استخدامها ، والمزيد. ولكن كيف يعرف Googlebot وجود موقع ويب وأنه يجب فهرسته؟

إذا قمت بإنشاء موقع ويب من قبل ، فمن المحتمل أنك لاحظت أنك لم تحصل على أي زيارات عضوية بمجرد نشره. هذا لأنك تحتاج إلى جعل Googlebot على علم بموقعك على الويب حتى يتمكن من الزحف إلى صفحاتك. يمكنك القيام بذلك عن طريق إرسال خريطة موقع XML الخاصة بك إلى Google Search Console (أدوات مشرفي المواقع من Google سابقًا).

يزحف Googlebot إلى موقعك على الويب باستخدام خرائط المواقع وقواعد البيانات المرتبطة بعمليات الزحف السابقة. عندما يعثر على ارتباط جديد على موقع الويب الخاص بك ، فإنه يضيفه إلى قائمة الصفحات التي يجب زيارتها. سيقوم كل من Googlebot Desktop و Googlebot Smartphone بتحديث الفهرس إذا صادفت أي روابط معطلة أو مشكلات أخرى.

هذا هو الفهرس الذي تسحب Google منه عندما تتلقى استعلامًا. ثم يستخدم أدلة سياقية من البحث لتحديد كيفية ترتيب النتائج ذات الصلة.

كم مرة يزحف Google إلى موقعي؟

يزحف محرك بحث Google إلى عناوين URL بمعدلات مختلفة. بينما قد يتم الزحف إلى بعض عناوين URL يوميًا ، قد يتم الزحف إلى عناوين أخرى أسبوعيًا أو شهريًا فقط. ما لم تشر إلى خلاف ذلك في ملف robots.txt الخاص بك أو في علامات meta robots الخاصة بك ، سيحاول Googlebot السفر إلى كل صفحة على موقع الويب الخاص بك وتسجيل المعلومات على طول الطريق حتى يتمكن من فهم المحتوى الخاص بك بشكل أفضل وتحديث فهرسه.

بينما ركزت بشكل أساسي على زاحف Googlebot حتى الآن ، أود أن أشير إلى أن هناك بالفعل العديد من برامج زحف الويب من Google. يمكنك العثور على القائمة الكاملة لبرامج الزحف من Google هنا.

إذا كنت مهتمًا بمعرفة عدد مرات زحف Google إلى موقعك وفهرسته ، فانتقل إلى Google Search Console (GSC). ستجد تقرير إحصائيات الزحف الخاص بك ضمن الإعدادات.

5 خطوات لتحسين موقعك لبرنامج Googlebot

اتبع هذه الخطوات الخمس البسيطة للحفاظ على إمكانية وصول عناكب محركات البحث إلى موقعك حتى يمكن العثور على صفحاتك في البحث.

1. حافظ على بساطة الرمز الخاص بك

جزء كبير من زيادة قابلية الزحف إلى موقع الويب الخاص بك هو إبقاء الأمور بسيطة. لن يقوم Google بالزحف إلى Flash أو Ajax أو الإطارات أو ملفات تعريف الارتباط أو معرّفات الجلسة أو DHTML ، ويستغرق الأمر وقتًا أطول لفهرسة JavaScript لأنه يتعين عليها عرضها.

عند إنشاء موقع الويب الخاص بك ، من الضروري اتباع الإرشادات العامة وإرشادات الجودة الخاصة بـ Google لتجنب مشكلات الزحف وتسهيل فهرسة صفحاتك.

2. تحقق من ملف robots.txt الخاص بك

يخبر ملف robots.txt Googlebot بعناوين URL التي يمكنه الوصول إليها على موقعك. استخدم توجيهات robot.txt لتجنب إثقال موقعك بالطلبات وتوفير المزيد من ميزانية الزحف للصفحات التي تريد فهرستها بواسطة محركات البحث. بدون ملف robots.txt ، قد يقضي Googlebot الكثير من الوقت في فهرسة الوسائط أو ملفات الموارد أو غيرها من الصفحات غير المهمة التي لا تريد تضمينها في نتائج البحث. يعد ملف robots.txt توجيهًا على مستوى البروتوكول. يجب أن يكون لديك واحد فقط على موقع الويب الخاص بك ما لم يكن لديك نطاقات فرعية متعددة. لإدارة Googlebot وبرامج الزحف على أساس صفحة بصفحة ، استخدم علامات meta robot.

3. استخدم الربط الداخلي

الروابط الداخلية هي ارتباطات تشعبية تنقلك من صفحة إلى أخرى على نفس الموقع. قد تكون قابلة للتنقل (قوائم التفكير ، والأشرطة الجانبية ، والرؤوس ، والتذييلات) ، أو يمكن أن تكون سياقية (موضوعة في نص الصفحة). لتسهيل عثور Googlebot على صفحاتك وفهم كيفية ارتباطها ببعضها البعض ، استخدم الارتباط الداخلي للتأكيد على التسلسل الهرمي لموقعك. يجب ربط جميع صفحاتك ببعضها البعض بطريقة ما. على سبيل المثال ، يجب أن ترتبط صفحتك الرئيسية بصفحات الخدمات ودراسات الحالة الخاصة بك ومدونتك. كل من هؤلاء يجب أن يرتبط بعد ذلك بالصفحات ذات الصلة.

تعرف على المزيد حول أفضل ممارسات الربط الداخلي هنا.

تحقق من تقرير الروابط في GSC للتأكد من أن أهم صفحاتك - مثل صفحتك الرئيسية وصفحات خدماتك - تحصل على معظم الروابط. يشير هذا إلى Google إلى أنها أهم الصفحات على موقعك.

4. قم بإنشاء خريطة موقع XML

لتسهيل قيام Googlebot بالزحف إلى موقع الويب الخاص بك ، قم بتوفير خريطة موقع XML التي تنظم جميع صفحاتك لزاحف الويب لفهم التسلسل الهرمي لموقعك بسرعة. (لست متأكدًا من ماهية خريطة موقع XML ، شاهد مثالاً لخريطة الموقع وتعرف على المزيد هنا.)

قم بإرسال خريطة موقع XML الخاصة بك إلى Google عبر GSC أثناء عملية التحقق.

إذا كنت لا تستخدم نظام إدارة المحتوى (CMS) الذي يقوم بتحديث خريطة الموقع الخاصة بك ديناميكيًا ، فتأكد من تحديث خريطة موقع XML يدويًا وإعادة إرسالها عند إجراء تغييرات على التسلسل الهرمي لموقعك. ما عليك سوى النقر على "خرائط المواقع" في الشريط الجانبي الأيمن. سيساعد هذا في ضمان قيام Google بفهرسة الصفحات المناسبة على موقع الويب الخاص بك.

5. طلب ​​فهرسة جوجل

عند نشر صفحة جديدة أو إجراء تحديثات مهمة على المحتوى الحالي ، لا يتعين عليك الانتظار حتى يعثر عليها Google - أخبر Google أن لديك صفحة جديدة أو محدثة لفحصها من خلال طلب الفهرسة.

سجّل الدخول إلى GSC وأدخل عنوان URL الذي تريد فهرسته على يسار رمز العدسة المكبرة أعلى الصفحة واضغط على Enter.

ستلاحظ Google أنها تقوم باسترداد البيانات.

وسيخبرك بعد ذلك ما إذا كانت صفحتك مفهرسة بالفعل.

إذا لم يكن كذلك ، يمكنك طلب الفهرسة. إذا تمت فهرسة صفحتك وقمت بإجراء تغييرات مهمة عليها ، يمكنك أيضًا طلب الفهرسة.

إذا قمت بإضافة صفحات إلى موقعك بشكل متكرر ، مثل منشور مدونة جديد أو صفحة منتج ، فاجعل هذه العملية جزءًا من أفضل ممارساتك حتى تتمكن من ضمان فهرسة جميع صفحاتك دون تأخير.

أربع طرق لتحليل كيفية قيام Googlebot بالزحف إلى موقعك

بمجرد قيامك بتحسين موقعك لتسهيل قراءته على زاحف محرك البحث ، ستحتاج إلى التحقق مرة أخرى من أنه تم الزحف إليه وفهرسته بشكل صحيح.

احصائيات الزحف

توضح إحصائيات الزحف عدد طلبات الزحف الإجمالية التي أرسلها Googlebot إلى الخادم الخاص بك ومتى واجه أي مشكلات وما إذا كان قد واجهها.

يعرض تقرير إحصائيات الزحف في Google Search Console أيضًا ما وجده Googlebot (استجابات الزحف) ، وأنواع الملفات التي واجهها ، وما إذا كان Googlebot يكتشف صفحات جديدة أو يعيد فهرسة الصفحات القديمة ، وأنواع Googlebot التي تم استخدامها للزحف إلى موقعك.

سيؤدي النقر فوق عنصر سطر في تقرير إحصائيات الزحف إلى توفير معلومات إضافية. على سبيل المثال ، إذا كنت تريد معرفة الصفحات التي تعرض خطأ 404 ، فانقر فوق هذا السطر في مربع ردود الزحف ليتم نقلك إلى قائمة عناوين URL التي لم يتمكن Googlebot من العثور عليها ومتى حاول الزحف إلى هذه الصفحات آخر مرة.

بالنقر فوق عناصر السطر "تحديث" أو "اكتشاف" ضمن غرض الزحف ، يمكنك معرفة عناوين URL التي قام Googlebot بفهرستها مؤخرًا. إذا رأيت أن أحدث صفحاتك لم تتم فهرستها ، فيمكنك إرسالها بسهولة باستخدام شريط البحث أعلى التقرير.

أخطاء الزحف

تحدث أخطاء الزحف عندما يتعذر على محركات البحث الوصول إلى إحدى صفحاتك. يمكنك تحديد نوعين من أخطاء زحف Googlebot في تقرير الزحف الخاص بك والتي يمكن أن تؤثر سلبًا على مُحسنات محركات البحث لديك:

1. أخطاء الموقع: عندما يكون لديك خطأ بالموقع ، فقد لا يتمكن Googlebot من الزحف إلى موقعك. قد تكون أخطاء الموقع ناتجة عن ملفات robot.txt مفقودة أو يتعذر الوصول إليها أو فشل تحليل DNS أو مشكلات اتصال الخادم.
2. أخطاء عنوان URL: نظرًا لوجود خطأ في عنوان URL ، يتعذر على Googlebot الزحف إلى صفحة معينة. يمكن أن يكون لديك العديد من أخطاء URL مرة واحدة.

يقوم Moz بعمل رائع في مشاركة كيفية إصلاح أخطاء الزحف.

عناوين المواقع المحظورة

إذا كانت هناك أقسام من موقعك لا تريد أن يصل إليها برنامج الزاحف من Google ، فيمكنك تحديد تلك الأدلة في ملف robots.txt لتوفير معلومات حول كيفية قيام الروبوتات بفهرسة المحتوى الخاص بك.

تحقق من GSC لمعرفة عدد عناوين URL المحظورة التي يتعرف عليها Google للتأكد من أن ملف robots.txt الخاص بك يعمل. إذا كان عدد عناوين URL المحظورة أقل مما ينبغي ، فستحتاج إلى تعديل ملف robots.txt الخاص بك. وعلى العكس من ذلك ، إذا كان الرقم أعلى مما ينبغي ، فقد تكون هناك صفحات تم منعها عن غير قصد من الزحف والتي تريد أن تظهر في نتائج البحث.

معلمات URL

تتيح لك معلمات URL ، المعروفة أيضًا باسم سلاسل الاستعلام ، إضافة معلومات إضافية إلى نهاية عناوين URL الديناميكية. إذا قمت بزيارة محتوى مقسم إلى صفحات ، مثل نتائج البحث عن منتج على أحد مواقع التجارة الإلكترونية ، فمن المحتمل أنك رأيت "؟ الصفحة = 2" أو شيء مشابه في نهاية عنوان URL للصفحة. هذه معلمة URL. يمكن أيضًا استخدام هذه المعلمات من أجل:

• مرشحات المحتوى
• الترجمات
• عمليات البحث في الموقع
• تتبع

إذا كنت ترغب في استخدام المعلمات في عناوين URL الخاصة بك ، ففكر فيما إذا كنت تريد الوصول إليها وفهرستها لأنها يمكن أن تؤدي إلى مشكلات مهمة مثل المحتوى المكرر وميزانية الزحف الضائعة ومشكلات التتبع.

يمكنك اتباع هذه الخطوات لمنع الزحف إلى المحتوى ذي المعلمات.

تعرف على المزيد حول أدوات Google لتحسين محركات البحث

تقدم Google مجموعة متنوعة من الأدوات لمساعدتك في قياس أداء موقعك. استفد من هذه الأشياء لمراقبة وتحسين إستراتيجية تحسين محركات البحث الخاصة بك.

سيرشدك دليلنا إلى أدوات Google عبر كل أداة من أدوات تحسين محركات البحث المجانية من Google ويقسم المفاهيم التقنية إلى فصول قابلة للتنفيذ وسهلة الفهم مليئة بالموارد الإضافية.

دليل لأدوات جوجل لتحسين محركات البحث

قم بتنزيل هذا الدليل لمعرفة كيفية تحقيق أقصى استفادة من الأدوات المجانية القوية التي توفرها Google لتحسين عمليات تحسين محركات البحث وأدائك.