ميزانية زحف جوجل: دليل الناشر

يدرك الناشرون الذين يستثمرون في الظهور في أعلى نتائج بحث جوجل أهمية تحسين محركات البحث (SEO). ومع ذلك، هناك جانب مهم، وربما يتم تجاهله، في تحسين محركات البحث بالنسبة للناشرين الكبار، وهو ميزانية الزحف إلى جوجل.

تساعد ميزانيات الزحف الخاصة بجوجل في تحديد مدى ظهور المقالات في نتائج البحث.

يُعدّ فهم ميزانيات الزحف خطوةً حاسمةً لضمان تحقيق أهداف تحسين محركات البحث (SEO) وعرض المحتوى. كما أن التأكد من سلامة البنية التقنية للموقع يُرجّح أن يعكس واجهة المستخدم هذه الحالة.

في هذه المقالة نشرح ما هي ميزانية الزحف، وما الذي يؤثر على الميزانية، وتحسين ميزانية الزحف، وكيفية التحقق من ميزانيات الزحف وتتبعها، ولماذا تعتبر هذه الميزانيات مهمة للغاية لسلامة أي موقع إلكتروني.

ما هي ميزانية الزحف؟

تشير ميزانية الزحف إلى الموارد التي تخصصها جوجل للعثور على صفحات الويب الجديدة والحالية وفهرستها.

يقوم برنامج الزحف الآلي من جوجل - Googlebot - بفهرسة المواقع لتحديث وتوسيع قاعدة بيانات صفحات الويب الخاصة بعملاق البحث. ويستخدم هذا البرنامج الروابط الداخلية والخارجية، وخرائط مواقع XML، وخلاصات RSS وAtom، بالإضافة إلى ملفات robots.txt للمساعدة في فهرسة المواقع بأسرع وقت ممكن.

تكتسب بعض الصفحات مزيدًا من السلطة بمرور الوقت، بينما قد يتم تجاهل صفحات أخرى تمامًا بسبب عدد من الأسباب التي تتراوح بين القيود المتعلقة بالمحتوى والقيود التقنية.

إن معرفة كيفية زيادة ميزانية الزحف إلى أقصى حد أمر لا يقدر بثمن لأي ناشر أو موقع ويب تنظيمي يتطلع إلى النجاح في صفحات نتائج محركات البحث (SERPs).

قيود برنامج جوجل بوت

قدّمت الشركة لأصحاب النطاقات لزيادة ميزانية الزحف الخاصة بهم إلى ^أقصى

إن فهم كيفية قيام البرامج الآلية بنشاطها أمر أساسي.

إذا وصل برنامج زحف إلى موقع ما وقرر أن تحليله وتصنيفه سيكون أمرًا إشكاليًا، فسوف يبطئ أو ينتقل إلى موقع آخر تمامًا اعتمادًا على مدى ونوع المشكلات التي يواجهها.

عندما يحدث هذا، فهذه إشارة واضحة إلى أن الموقع يفتقر إلى تحسين ميزانية الزحف.

إن معرفة أن برنامج Googlebot مورد محدود يُعد سببًا كافيًا لأي صاحب موقع للقلق بشأن ميزانية الزحف. ومع ذلك، لا تواجه جميع المواقع هذه المشكلة بنفس الدرجة.

من ينبغي أن يهتم ولماذا؟

على الرغم من أن كل مالك موقع يريد أن ينجح موقعه الإلكتروني، إلا أن المواقع المتوسطة والكبيرة التي تقوم بتحديث محتواها بشكل متكرر هي فقط التي تحتاج حقًا إلى القلق بشأن ميزانيات الزحف.

تُعرّف جوجل المواقع المتوسطة بأنها تلك التي تحتوي على أكثر من 10,000 صفحة فريدة ويتم تحديثها يوميًا. أما المواقع الكبيرة، فتحتوي على أكثر من مليون صفحة فريدة ويتم تحديثها مرة واحدة على الأقل أسبوعيًا.

جوجل إلى العلاقة بين نشاط الزحف والمواقع الإلكترونية الأكبر حجمًا، قائلةً: "يُعدّ تحديد أولويات ما يجب الزحف إليه، ومتى، ومقدار الموارد التي يمكن للخادم الذي يستضيف الموقع الإلكتروني تخصيصها للزحف، أكثر أهمية بالنسبة للمواقع الإلكترونية الأكبر حجمًا، أو تلك التي تُنشئ صفحات تلقائيًا بناءً على معلمات عنوان URL، على سبيل المثال." ²

لا داعي للقلق المفرط بشأن ميزانية الزحف للمواقع ذات عدد الصفحات المحدود. مع ذلك، ونظرًا لاحتمالية توسع بعض الناشرين بسرعة، فإن اكتساب فهم أساسي لإحصائيات الزحف وعملياته سيُمكّن جميع مالكي المواقع من جني ثمار زيادة حركة المرور على مواقعهم لاحقًا.

ما الذي يؤثر على ميزانية زحف جوجل؟

يتم تحديد مدى زحف جوجل إلى موقع ويب من خلال حدود سعة الزحف وطلب الزحف.

من أجل منع نشاط الزحف من إغراق خادم الاستضافة، يتم حساب حد السعة عن طريق تحديد الحد الأقصى لعدد الاتصالات المتزامنة والمتوازية التي يمكن للروبوت استخدامها للزحف إلى الموقع بالإضافة إلى التأخير الزمني بين عمليات إرجاع البيانات.

حد سعة الزحف

هذا المقياس، الذي يُشار إليه أيضاً باسم حد معدل الزحف، متغير ويرتبط بالتغيرات في ثلاثة عوامل:

• صحة الزحف : إذا استجاب الموقع بدون خطأ أو تأخير، وكانت سرعة الموقع جيدة، فيمكن رفع الحد والعكس صحيح.
• معدل زحف Google Search Console: يمكن استخدام Google Search Console (GSC) لتقليل نشاط الزحف ، وهي ميزة مفيدة أثناء عمليات الصيانة أو التحديثات المطولة للموقع. ³ تبقى أي تغييرات سارية لمدة 90 يومًا . ⁴

إذا كان حد معدل الزحف مُدرجًا على أنه "محسوب عند المستوى الأمثل"، فلا يُمكن رفعه، ولا يُمكن خفضه إلا بطلب خاص. في حال تعرض موقع ما للزحف المفرط، مما يؤدي إلى مشاكل في توفر الموقع أو تحميل الصفحات، استخدم ملف robots.txt لحظر الزحف والفهرسة. مع ذلك، قد يستغرق تفعيل هذا الخيار 24 ساعة.

على الرغم من أن العديد من المواقع لا تفرض عقوبات على حدود الزحف، إلا أنها لا تزال أداة مفيدة.

طلب الزحف

يُعدّ طلب الزحف مؤشراً على مدى اهتمام جوجل بفهرسة موقع ما. ويتأثر هذا الطلب أيضاً بثلاثة عوامل:

• المخزون المُدرَك : بدون توجيه من مالك الموقع - وهو ما سنتناوله لاحقًا - سيحاول جوجل فهرسة كل عنوان URL، بما في ذلك الروابط المكررة والروابط المعطلة والصفحات الأقل أهمية. وهنا تكمن أهمية تضييق نطاق معايير بحث جوجل بوت لزيادة ميزانية الفهرسة.
• الشعبية : إذا كان الموقع يتمتع بشعبية كبيرة، فسيتم فهرسة عناوين URL الخاصة به بشكل متكرر.
• الحداثة : يهدف نظام Googlebot عمومًا إلى إعادة فهرسة الصفحات لرصد أي تغييرات. ويمكن تسريع هذه العملية باستخدام خدمة Google Search Console وطلب إعادة الفهرسة، مع العلم أنه لا يوجد ضمان بتنفيذ الطلب فورًا.

إن نشاط الزحف هو في جوهره نتاج إدارة سليمة للموقع الإلكتروني.

مخاوف مراكز خدمات الرعاية الطبية

يقول Vahe Arabian ، مؤسس موقع State of Digital Publishing (SODP) عناصر نظام إدارة المحتوى (CMS) - مثل الإضافات - يمكن أن تؤثر على ميزانيات الزحف. ⁵

وقال: "العديد من الإضافات تعتمد بشكل كبير على قواعد البيانات وتتسبب في زيادة أحمال الموارد مما يؤدي إلى إبطاء الصفحة أو إنشاء صفحات غير ضرورية والتأثير على إمكانية الزحف إليها."

يمكن أن يؤدي نموذج الإيرادات القائم على الإعلانات لموقع الويب إلى مشاكل مماثلة إذا كانت العديد من ميزات الموقع تستهلك موارد كثيرة.

كيفية التحقق من ميزانيات الزحف وتتبعها

هناك طريقتان رئيسيتان لتتبع ميزانيات الزحف: وحدة تحكم بحث جوجل (GSC) و/أو سجلات الخادم. ⁶

وحدة تحكم بحث جوجل

قبل التحقق من معدلات زحف الموقع على Google Search Console (GSC)، يجب التحقق من ملكية النطاق.

تحتوي وحدة التحكم على ثلاث أدوات للتحقق من صفحات الموقع الإلكتروني والتأكد من عناوين URL التي تعمل والتي لم تتم فهرستها.

• تقرير تغطية المؤشر⁷
• أداة فحص عناوين URL⁸
• تقرير إحصائيات الزحف⁹

تقوم وحدة التحكم بالتحقق من عدم دقة النطاق وستقدم اقتراحات حول كيفية حل أخطاء الزحف المختلفة.

يصنف مركز خدمات جوجل أخطاء الحالة إلى عدد من الفئات في تقرير تغطية المؤشر الخاص به، بما في ذلك:

• خطأ في الخادم [5xx]
• خطأ في إعادة التوجيه
• تم حظر عنوان URL المُرسَل بواسطة ملف robots.txt
• تم وضع علامة "noindex" على عنوان URL المُرسَل
• يبدو أن عنوان URL المُرسل هو خطأ 404 غير مُحدد
• عنوان URL المُرسَل يُرجع طلبًا غير مصرح به (401)
• لم يتم العثور على عنوان URL المُرسَل (404)
• عنوان URL المُرسَل أعاد الخطأ 403: 
• تم حظر عنوان URL المُرسل بسبب مشكلة أخرى من نوع 4xx

يشير التقرير إلى عدد الصفحات التي تأثرت بكل خطأ إلى جانب حالة التحقق.

توفر أداة فحص عنوان URL معلومات الفهرسة على أي صفحة محددة، بينما يمكن استخدام تقرير إحصائيات الزحف لمعرفة عدد مرات زحف جوجل إلى موقع ما، واستجابة خادم الموقع وأي مشكلات متعلقة بتوفر الموقع.

هناك نهج ثابت لتحديد كل خطأ وتصحيحه، ويتراوح ذلك من إدراك أن خادم الموقع ربما كان معطلاً أو غير متاح في وقت الزحف إلى استخدام إعادة توجيه 301 لإعادة التوجيه إلى صفحة أخرى، أو إزالة الصفحات من خريطة الموقع.

إذا تغير محتوى الصفحة بشكل كبير، فيمكن استخدام زر "طلب الفهرسة" في أداة فحص عنوان URL لبدء عملية زحف الصفحة.

على الرغم من أنه قد لا يكون من الضروري "إصلاح" كل خطأ في الصفحة على حدة، إلا أن تقليل المشاكل التي تبطئ برامج الزحف هو بالتأكيد أفضل ممارسة.

استخدم سجلات الخادم

كبديل لـ Google Search Console (GSC)، يمكن فحص حالة زحف الموقع عبر سجلات الخادم التي لا تسجل كل زيارة للموقع فحسب، بل تسجل أيضًا كل زيارة لـ Googlebot.

بالنسبة لمن لا يعرفون ذلك، تقوم الخوادم تلقائيًا بإنشاء وتخزين سجل عند طلب Googlebot أو أي مستخدم عرض صفحة ما. ثم يتم تجميع هذه السجلات في ملف سجل.

بمجرد الوصول إلى ملف السجل، يصبح من الضروري تحليله. مع ذلك، ونظرًا لحجم سجلات البيانات الهائل، لا ينبغي الاستهانة بهذه المهمة. فبحسب حجم الموقع، قد يحتوي ملف السجل بسهولة على مئات الملايين أو حتى مليارات من السجلات.

إذا تم اتخاذ قرار بتحليل ملف السجل، فيجب تصدير البيانات إما إلى جدول بيانات أو إلى برنامج خاص، مما يسهل عملية التحليل بشكل أكبر.

سيوضح تحليل هذه السجلات نوع الأخطاء التي واجهها الروبوت، والصفحات التي تم الوصول إليها أكثر من غيرها، وعدد مرات الزحف إلى الموقع.

9 طرق لتحسين ميزانية الزحف

تتضمن عملية التحسين فحص وتتبع إحصائيات صحة الموقع، كما هو مذكور أعلاه، ثم معالجة مناطق المشاكل بشكل مباشر.

فيما يلي عرضنا لمجموعة أدوات تحسين ميزانية الزحف الخاصة بنا، والتي نستخدمها لمعالجة مشكلات قابلية الزحف عند ظهورها.

1. دمج المحتوى المكرر

قد تظهر مشاكل في الزحف عندما تكون صفحة واحدة متاحة من عدة عناوين URL مختلفة أو تحتوي على محتوى مكرر في أماكن أخرى من الموقع. سيعتبر برنامج الزحف هذه الأمثلة نسخًا مكررة، وسيختار إحداها ببساطة كنسخة أصلية.

ستُعتبر عناوين المواقع المتبقية أقل أهمية، وسيتم فهرستها بشكل أقل تكرارًا أو حتى لن يتم فهرستها على الإطلاق. ^١٠ وهذا أمر جيد إذا اختارت جوجل الصفحة الأساسية المطلوبة، ولكنه يُمثل مشكلة خطيرة إذا لم تفعل ذلك.

ومع ذلك، قد تكون هناك أسباب وجيهة لوجود صفحات مكررة، مثل الرغبة في دعم أنواع متعددة من الأجهزة، أو تمكين تجميع المحتوى، أو استخدام عناوين URL ديناميكية لمعلمات البحث أو معرفات الجلسة.

توصيات برنامج تطوير البرمجيات المستدامة :

• قم بتقليص محتوى الموقع الإلكتروني حيثما أمكن ذلك
  • استخدم عمليات إعادة التوجيه 301 لتوحيد عناوين URL ودمج المحتوى
  • حذف المحتوى ذي الأداء الضعيف 
• سيؤدي استخدام عمليات إعادة التوجيه 301 بعد إعادة هيكلة موقع الويب إلى إرسال المستخدمين والروبوتات وبرامج الزحف الأخرى إلى حيث يحتاجون إلى الذهاب.
• استخدم خاصية noindex للصفحات الرقيقة، والترقيم (للأرشيفات القديمة)، وللاستخدام في إعادة تدوير المحتوى.
• في الحالات التي يؤدي فيها المحتوى المكرر إلى زيادة الزحف، قم بضبط إعداد معدل الزحف في Google Search Console (GSC).

2. استخدم ملف Robots.txt 

يساعد هذا الملف في منع برامج الروبوت من تصفح الموقع بأكمله. ويتيح استخدام هذا الملف استبعاد صفحات أو أقسام محددة من الصفحات.

يمنح هذا الخيار الناشر التحكم في ما يتم فهرسته، مما يحافظ على خصوصية بعض المحتويات مع تحسين كيفية إنفاق ميزانية الزحف.

توصيات برنامج تطوير البرمجيات المستدامة :

• قم بترتيب تفضيل المعلمات من أجل إعطاء الأولوية للمعلمات التي يجب حظرها من الزحف.
• حدد الروبوتات والتوجيهات والمعلمات التي تتسبب في عمليات زحف إضافية باستخدام ملفات السجل.
• قم بحظر المسارات الشائعة التي تحتوي عليها أنظمة إدارة المحتوى عادةً مثل 404، والمسؤول، وصفحات تسجيل الدخول، وما إلى ذلك.
• تجنب استخدام توجيه تأخير الزحف لتقليل حركة مرور برامج الروبوت لتحسين أداء الخادم. هذا يؤثر فقط على فهرسة المحتوى الجديد.

3. تقسيم خرائط مواقع XML لضمان تحميل المحتوى بشكل أسرع

يصل برنامج الزحف إلى الموقع الإلكتروني ومعه تحديد عام لعدد الصفحات التي سيقوم بزحفها. وتُوجّه خريطة الموقع بصيغة XML البرنامجَ لقراءة عناوين URL مُحددة، مما يضمن الاستخدام الأمثل لهذا العدد من الصفحات.

لاحظ أن أداء الصفحة في ترتيب نتائج البحث يعتمد على عدة عوامل، منها جودة المحتوى والروابط الداخلية والخارجية. لذا، يُنصح بإدراج الصفحات المتميزة فقط في الخريطة. ويمكن تخصيص خريطة موقع XML مستقلة للصور.

توصيات برنامج تطوير البرمجيات المستدامة :

• قم بالرجوع إلى خريطة الموقع XML من ملف robots.txt.
• أنشئ عدة خرائط مواقع لموقع كبير جدًا. لا تُضِف أكثر من 50,000 عنوان URL إلى خريطة موقع XML واحدة.
• حافظ على نظافة المحتوى واحرص على تضمين الصفحات القابلة للفهرسة فقط.
• حافظ على تحديث خريطة الموقع XML.
• حافظ على حجم الملف أقل من 50 ميجابايت.

4. دراسة استراتيجية الربط الداخلي

تتبع جوجل شبكة الروابط داخل الموقع، وتعتبر أي صفحات تحتوي على روابط متعددة ذات قيمة عالية وتستحق إنفاق ميزانية الزحف عليها.

ومع ذلك، تجدر الإشارة إلى أنه في حين أن العدد المحدود من الروابط الداخلية يمكن أن يؤثر سلبًا على ميزانية الزحف، فإن نشر الروابط في الموقع بأكمله يمكن أن يؤثر سلبًا أيضًا.

الصفحات التي لا تحتوي على روابط داخلية لا تحصل على أي قيمة روابط من بقية الموقع، مما يشجع جوجل على اعتبارها ذات قيمة أقل.

في الوقت نفسه، غالبًا ما تتشارك الصفحات ذات القيمة العالية التي تحتوي على الكثير من الروابط الداخلية قيمة روابطها بالتساوي مع الصفحات الأخرى بغض النظر عن قيمتها الاستراتيجية. لذا، تجنب الربط بالصفحات التي لا تقدم قيمة تُذكر للقراء.

تتطلب استراتيجية الربط الداخلي لمسة بارعة لضمان حصول الصفحات ذات القيمة العالية على روابط كافية، في حين أن الصفحات ذات القيمة المنخفضة لا تلتهم قيمة الروابط.

5. قم بترقية الاستضافة إذا كانت حركة المرور المتزامنة تشكل عائقًا

إذا كان موقع الويب يعمل على منصة استضافة مشتركة، فسيتم تقاسم ميزانية الزحف مع مواقع الويب الأخرى العاملة على نفس المنصة. قد تجد الشركات الكبيرة أن الاستضافة المستقلة بديلاً قيماً.

اعتبارات أخرى عند ترقية استضافتك أو حتى قبل الترقية لحل مشكلة ازدحام حركة مرور الروبوتات التي يمكن أن تؤثر على أحمال الخادم:

• قم بمعالجة الصور باستخدام شبكة توصيل محتوى منفصلة مُحسَّنة أيضًا لاستضافة تنسيقات الصور من الجيل التالي مثل WebP
• ضع في اعتبارك استضافة وحدة المعالجة المركزية ومساحة القرص بناءً على وظائف موقعك الإلكتروني ومتطلباته
• قم بمراقبة النشاط باستخدام حلول مثل New Relic لرصد الاستخدام المفرط للمكونات الإضافية والروبوتات

6. موازنة استخدام جافا سكريبت

عندما يصل برنامج Googlebot إلى صفحة ويب، يقوم بعرض جميع عناصرها، بما في ذلك جافا سكريبت. ورغم أن عملية الزحف إلى HTML بسيطة نسبياً، إلا أن Googlebot يحتاج إلى معالجة جافا سكريبت عدة مرات ليتمكن من عرضها وفهم محتواها.

قد يؤدي ذلك إلى استنزاف سريع لميزانية زحف جوجل لموقع الويب. الحل هو تطبيق عرض جافا سكريبت على جانب الخادم.

من خلال تجنب إرسال ملفات جافا سكريبت إلى العميل لعرضها ، لا تستهلك برامج الزحف مواردها ويمكنها العمل بكفاءة أكبر. ¹¹

توصيات برنامج تطوير البرمجيات المستدامة :

• استخدم التحميل الكسول على مستوى المتصفح بدلاً من الاعتماد على جافا سكريبت
• تحديد العناصر السوداء 
• استخدم خاصية الوسم من جانب الخادم للتحليلات، وخاصية الوسم من طرف ثالث، سواءً كانت مُستضافة ذاتيًا أو باستخدام حلول مثل https://stape.io/ . ¹² 

7. تحديث مؤشرات الأداء الرئيسية للويب (CWV) لتحسين تجربة المستخدم على الصفحة

تستخدم أداة "مؤشرات الأداء الأساسية للويب" (CWV) في Google Search Console (GSC) ما تسميه شركة البحث العملاقة " بيانات الاستخدام الواقعية " لعرض أداء الصفحة. ¹³

يصنف تقرير CWV أداء عناوين URL ضمن ثلاث فئات:

• النوع المتري (LCP، FID وCLS)
• حالة 
• مجموعات عناوين URL

متري

يستند تقرير CWV إلى أكبر مقياس للمحتوى (LCP)، ^و14 لتأخير الإدخال الأول (FID)، ^و15 مقياس ^لتغيير التخطيط التراكمي (CLS) .

يشير LCP إلى مقدار الوقت الذي يستغرقه عرض أكبر عنصر محتوى مرئي في المنطقة المرئية لصفحة الويب.

يتعلق FID بالوقت الذي تستغرقه الصفحة للاستجابة لتفاعل المستخدم.

CLS هو مقياس لمدى تغير تخطيط الصفحة أثناء جلسة المستخدم، حيث تشير الدرجات الأعلى إلى تجربة مستخدم أسوأ.

 حالة

بعد تقييم الصفحة، يتم تخصيص أحد ثلاثة مستويات حالة لكل مقياس:

• جيد
• يحتاج إلى تحسين
• فقير

مجموعات عناوين URL

يمكن للتقرير أيضًا أن ينسب المشكلات إلى مجموعة من عناوين URL المتشابهة، بافتراض أن مشكلات الأداء التي تؤثر على الصفحات المتشابهة يمكن أن تُعزى إلى مشكلة مشتركة.

CWV وقابلية الزحف

كما ذُكر سابقاً، كلما زاد الوقت الذي يقضيه برنامج Googlebot على صفحة ما، زاد استهلاكه لميزانية الزحف. لذا، يمكن للناشرين استخدام تقارير CWV لتحسين كفاءة الصفحة وتقليل وقت الزحف.

SODP ، مع التركيز على ووردبريس:

8. استخدم برنامج زحف تابع لجهة خارجية

تتيح برامج الزحف التابعة لجهات خارجية مثل Semrush أو Sitechecker.pro أو Screaming Frog لمطوري الويب تدقيق جميع عناوين URL على الموقع وتحديد المشكلات المحتملة.

يمكن استخدام الزواحف لتحديد:

• روابط معطلة
• محتوى مكرر
• عناوين الصفحات مفقودة

تقدم هذه البرامج تقريرًا إحصائيًا عن عمليات الزحف للمساعدة في تسليط الضوء على المشكلات التي قد لا ترصدها أدوات جوجل نفسها.

سيؤدي تحسين البيانات المنظمة والحد من مشاكل النظافة إلى تبسيط مهمة Googlebot في الزحف إلى الموقع وفهرسته.

توصيات برنامج تطوير البرمجيات المستدامة :

• استخدم استعلامات SQL لإجراء تحديثات مجمعة للأخطاء بدلاً من إصلاح كل مشكلة يدويًا.
• قم بمحاكاة Googlebot، من خلال إعدادات زحف البحث، لمنع حظرك من قبل مزودي خدمات الاستضافة ولتحديد جميع المشكلات التقنية وإصلاحها بشكل صحيح.
• قم بتصحيح أخطاء الصفحات المفقودة أثناء عملية الزحف باستخدام هذا الدليل الرائع من Screaming Frog . ¹⁷

9. معلمات عنوان URL

تُستخدم معلمات عنوان URL - الجزء من عنوان الويب الذي يلي علامة الاستفهام "؟" - في الصفحة لأسباب متنوعة، بما في ذلك التصفية والترقيم والبحث. 

مع أن هذا قد يُحسّن تجربة المستخدم، إلا أنه قد يُسبب مشاكل في الزحف عندما يُعيد كل من عنوان URL الأساسي وعنوان URL المُضاف إليه مُعاملات نفس المحتوى. مثال على ذلك هو أن "http://mysite.com" و"http://mysite.com?id=3" يُعيدان نفس الصفحة تمامًا.

تتيح المعلمات للموقع الإلكتروني امتلاك عدد غير محدود تقريبًا من الروابط، مثل إمكانية اختيار المستخدم للأيام والشهور والسنوات في التقويم. إذا سُمح لبرنامج الزحف بالوصول إلى هذه الصفحات، فسيتم استهلاك ميزانية الزحف بلا داعٍ.

توصيات برنامج تطوير البرمجيات المستدامة :

• استخدم قواعد ملف robots.txt. على سبيل المثال، حدد ترتيب المعلمات في توجيه السماح.
• استخدم hreflang لتحديد اختلافات لغة المحتوى.

مجموعة من الخرافات والحقائق حول برنامج جوجل بوت

هناك العديد من المفاهيم الخاطئة فيما يتعلق بقوة ونطاق برنامج جوجل بوت.

إليكم خمسة منها قمنا باستكشافها:

1. يقوم برنامج Googlebot بفهرسة موقع إلكتروني بشكل متقطع 

يقوم برنامج Googlebot بفهرسة المواقع الإلكترونية بشكل متكرر، وفي بعض الحالات بشكل يومي. ومع ذلك، يتحدد هذا التكرار بناءً على جودة الموقع، وحداثته، وأهميته، وشعبيته.

كما ذكر أعلاه، يمكن استخدام Google Search Console (GSC) لطلب عملية زحف.

2. يتخذ برنامج Googlebot قرارات بشأن ترتيب المواقع

على الرغم من أن هذا كان صحيحاً في السابق، إلا أن جوجل تعتبره الآن جزءاً منفصلاً من عملية الزحف والفهرسة والترتيب، وفقاً لمارتن سبلت ، محلل اتجاهات مشرفي المواقع في جوجل. ¹⁸

ومع ذلك، من المهم أيضًا أن نتذكر أن محتوى الموقع، وخريطة الموقع، وعدد الصفحات، والروابط، وعناوين URL، وما إلى ذلك، كلها عوامل تحدد ترتيبه.

باختصار، يمكن أن تؤدي خيارات تحسين محركات البحث الذكية التي يتخذها الناشرون إلى وضع قوي ضمن نتائج البحث.

3. برنامج جوجل بوت يخترق الأقسام الخاصة من الموقع

لا يمتلك الروبوت مفهوم "المحتوى الخاص" ومهمته ببساطة هي فهرسة المواقع ما لم يوجهه مالك الموقع بخلاف ذلك.

يمكن لبعض صفحات الويب أن تظل غير مفهرسة طالما تم اتخاذ الخطوات اللازمة داخل نظام إدارة المحتوى (GSC) لتقييد الوصول إليها.

4. قد يؤدي نشاط برنامج Googlebot إلى إجهاد قابلية تشغيل الموقع

إن عملية Googlebot لها قيودها بسبب محدودية موارد جوجل ولأن جوجل لا تريد تعطيل أي موقع.

قال سبلت: "نتقدم ببطء قليلاً، ثم نزيد السرعة تدريجياً. وعندما نبدأ برؤية الأخطاء، نخفض السرعة قليلاً."¹⁵

يمكن لـ GSC تأخير عمليات الزحف، ونظرًا لأن بعض المواقع قد تحتوي على بضع مئات الآلاف من الصفحات، فإن Googlebot يقسم عملية الزحف على عدة زيارات.

5. جوجل بوت هو الروبوت الوحيد الذي يستحق القلق بشأنه

رغم أن جوجل بوت هو برنامج الزحف الرائد عالميًا، إلا أن ليس كل برامج الزحف تابعة لشركة جوجل. فمحركات بحث أخرى تزحف على الويب، كما أن هناك برامج زحف أخرى تركز على التحليلات والبيانات وسلامة العلامة التجارية.

في الوقت نفسه، يقوم المتسللون بتصميم برامج أكثر تطوراً باستمرار للانخراط في عمليات الاحتيال الإعلاني ، وسرقة المحتوى، ونشر الرسائل المزعجة، وغير ذلك. ¹⁹

الخاتمة

من المهم أن نتذكر أنه يمكن إدارة كل من تحسين ميزانية الزحف وتجارب المستخدم الناجحة دون المساس بالجانب الآخر 

ينبغي أن يكون فحص صحة ميزانية الزحف للموقع عنصرًا أساسيًا في برامج الصيانة لجميع مالكي المواقع الإلكترونية، ويعتمد تكرار هذه الفحوصات على حجم وطبيعة الموقع الإلكتروني نفسه.

أن الصيانة الفنية - مثل إصلاح الروابط المعطلة والصفحات غير العاملة والمحتوى المكرر وعناوين URL سيئة الصياغة وخرائط المواقع القديمة المليئة بالأخطاء - أمر ضروري أيضًا.