استراتيجيات نمو الناشرين خلال موسم الانتخابات | ندوة عبر الإنترنت
استراتيجيات نمو الناشرين خلال موسم الانتخابات | ندوة عبر الإنترنت
بعد الانتهاء من هذه الوحدة، يجب أن تفهم ما هي ميزانية الزحف، وكيف يتم تخصيصها لموقع الويب وكيفية تحسينها.
مدة الفيديو
23:27
أجب عن الاختبار
قم بإجراء اختبار الوحدة الحالي
مواد
قوالب جاهزة للاستخدام
موارد
التقارير والموارد
2.6.1 ما هي ميزانية الزحف؟
ميزانية الزحف هي عدد الصفحات الموجودة على موقعك الإلكتروني التي سيقوم برنامج زحف الويب بزحفها خلال فترة زمنية محددة.
في كل مرة تضغط فيها على زر النشر، يحتاج جوجل إلى فهرسة المحتوى حتى يبدأ بالظهور في نتائج البحث. ونظرًا لحجم المحتوى الهائل على الإنترنت، تُصبح عملية الفهرسة موردًا قيّمًا يتطلب تخطيطًا دقيقًا واستخدامًا فعالًا.
ببساطة، يصعب على جوجل فهرسة كل صفحة على الإنترنت يومياً. لذا، تزحف جوجل إلى كل موقع إلكتروني وفقاً للميزانية المخصصة لها.
يتم تخصيص ميزانية الزحف للمواقع الإلكترونية بناءً على عاملين - حد الزحف وطلب الزحف.
هذا يعني قدرة الموقع الإلكتروني و/أو استعداده للزحف إليه.
لا يُصمَّم كل موقع إلكتروني ليتم فهرسته يوميًا. تتضمن عملية الفهرسة إرسال برنامج Googlebot طلبات إلى خادم موقعك الإلكتروني، وإذا تم ذلك بشكل متكرر جدًا، فقد يُرهق قدرة الخادم.
كذلك، لا يرغب كل ناشر في أن يتم فهرسة موقعه باستمرار.
يُعدّ طلب الزحف مقياسًا لمدى تكرار زحف صفحة معينة. فالصفحات الشائعة أو التي يتم تحديثها باستمرار تحتاج إلى الزحف إليها وإعادة زحفها بشكل متكرر.
إذا لم تتمكن جوجل من الزحف إلى محتواك وفهرسته، فلن يظهر هذا المحتوى ببساطة في نتائج البحث.
مع ذلك، لا تُشكّل ميزانيات الزحف مصدر قلق إلا للناشرين المتوسطين والكبار الذين لديهم أكثر من 10,000 صفحة على مواقعهم الإلكترونية. أما الناشرون الصغار، فلا داعي للقلق بشأن ميزانيات الزحف.
مع ذلك، ينبغي على الناشرين الذين يمتلكون 10,000 صفحة أو أكثر على مواقعهم الإلكترونية تجنب زحف برنامج Googlebot إلى الصفحات غير المهمة. فاستنزاف ميزانية الزحف على محتوى غير ذي صلة أو أقل أهمية يعني أن الصفحات ذات القيمة الأعلى قد لا يتم الزحف إليها.
علاوة على ذلك، ينبغي على ناشري الأخبار توخي الحذر بشأن هدر ميزانيات الزحف، إذ يُعدّ الزحف أحد الطرق الثلاث التي تستخدمها أخبار جوجل لاكتشاف المحتوى الجديد في الوقت المناسب. أما الطريقتان الأخريان فهما استخدام خرائط المواقع ومركز ناشري جوجل، وقد تناولناهما بمزيد من التفصيل في وحدتي " خريطة موقع أخبار جوجل" و "مركز ناشري جوجل".
يتطلب تحسين وتيرة وسرعة زحف برنامج Googlebot إلى موقعك الإلكتروني مراقبة مجموعة من المتغيرات. نبدأ بسرد أهم العوامل المؤثرة في تحسين ميزانية الزحف وتكراره.
أكثر التكتيكات فائدة لمراقبة كيفية زحف المحتوى الخاص بك هي تحليل ملفات السجل وتقرير إحصائيات الزحف الخاص بـ Google Search Console (GSC).
ملف السجل هو مستند نصي يسجل كل نشاط على خادم موقعك الإلكتروني. ويشمل ذلك جميع البيانات المتعلقة بطلبات الزحف، وطلبات الصفحات، وطلبات الصور، وطلبات ملفات جافا سكريبت، وأي موارد أخرى لازمة لتشغيل موقعك الإلكتروني.
لأغراض تحسين محركات البحث التقني، يساعد تحليل ملفات السجل في تحديد الكثير من المعلومات المفيدة حول زحف عناوين المواقع الإلكترونية، بما في ذلك على سبيل المثال لا الحصر:
كيفية القيام بذلك
يتطلب تحليل ملفات السجلات معرفة تقنية بأساسيات عمل الموقع الإلكتروني. لذا، ننصح باستخدام برامج تحليل ملفات السجلات. تتوفر العديد من أدوات تحليل السجلات المجانية والمدفوعة، مثل Graylog و Loggly و Elastic Stack وScreaming Frog Log Analyzer و Nagios ، على سبيل المثال لا الحصر.
إذا كنت مطورًا أو مسؤول نظام ذو خبرة، فيمكنك أيضًا إجراء تحليل يدوي لملف السجل.
للقيام بذلك، اتبع الخطوات التالية:
بعد تنزيل ملف السجل، يمكنك تغيير امتداده إلى .csv وفتحه باستخدام مايكروسوفت إكسل أو جداول بيانات جوجل. مع ذلك، وكما ذكرنا، تتطلب هذه الطريقة مستوىً معيناً من الخبرة لفهم محتوى ملف السجل.
يمكنك أيضًا الوصول إلى ملف السجل باستخدام برنامج FTP عن طريق إدخال مسار ملف السجل. عادةً ما يكون مسار ملف السجل كالتالي:
اسم الخادم (على سبيل المثال، Apache) /var/log/access.log
مع ذلك، يُعد استخدام أداة تحليل السجلات أكثر ملاءمة. فبعد تحميل ملف السجل إلى الأداة، يمكنك فرز البيانات باستخدام عدة فلاتر. على سبيل المثال، ستتمكن من معرفة عناوين URL التي زارها برنامج Googlebot بشكل متكرر.
ستتمكن أيضًا من معرفة ما إذا كان Googlebot قد وصل إلى عناوين URL غير أساسية أو منخفضة القيمة مثل عناوين URL للتنقل متعدد الأوجه، وعناوين URL المكررة، وما إلى ذلك. يعد تحديد هذه العناوين أمرًا مهمًا لأنها تهدر ميزانية الزحف الخاصة بك.
انظر إلى لقطة الشاشة أدناه، المأخوذة من أداة تحليل ملفات سجل تحسين محركات البحث (SEO) الخاصة بـ Screaming Frog، لترى ما نعنيه.
تُزوّد خدمة Google Search Console أصحاب المواقع الإلكترونية ببيانات ورؤى شاملة حول كيفية زحف جوجل إلى محتواهم. ويشمل ذلك تقارير مفصلة حول:
توفر خدمة Google Search Console أيضًا رسومًا بيانية ومخططات سهلة الفهم لتزويد أصحاب المواقع الإلكترونية بمعلومات إضافية. تُظهر لقطة الشاشة أدناه نموذجًا لتقرير إحصائيات الزحف على Google Search Console.
يُعلمك نظام GSC أيضًا بوجود أي مشاكل في عملية الزحف. فهو يتحقق من عدة أخطاء ويُخصص لكل منها رمزًا. تشمل الأخطاء الأكثر شيوعًا التي يتحقق منها نظام GSC ما يلي:
يُظهر تقرير GSC أيضًا عدد الصفحات التي تأثرت بكل خطأ إلى جانب حالة التحقق.
كيفية القيام بذلك
إليك كيفية الوصول إلى تقرير إحصائيات الزحف الخاص بـ GSC لموقعك الإلكتروني أو صفحة الويب الخاصة بك:
وتشمل هذه:
نعلم الآن أن ميزانية الزحف مورد قيّم يجب استخدامه على النحو الأمثل لتحقيق أفضل النتائج. إليك بعض التقنيات لتحقيق ذلك:
قد يتم فهرسة المحتوى المكرر بشكل منفصل، مما يؤدي إلى هدر موارد الفهرسة. لتجنب ذلك، قم إما بدمج الصفحات المكررة على موقعك الإلكتروني في صفحة واحدة، أو احذف الصفحات المكررة.
ملف Robots.txt هو ملفٌ يؤدي عدة وظائف، منها إخبار برنامج Googlebot بعدم فهرسة صفحات أو أقسام معينة من الصفحات. تُعدّ هذه استراتيجية مهمة يمكن استخدامها لمنع Googlebot من فهرسة المحتوى ذي القيمة المنخفضة أو المحتوى الذي لا يحتاج إلى فهرسة.
فيما يلي بعض أفضل الممارسات عند استخدام ملف robots.txt لتحسين ميزانية الزحف:
كيفية القيام بذلك
يتطلب إنشاء ملف robots.txt وتنفيذه لتقييد وصول Googlebot بعض المعرفة البرمجية. إليك الخطوات اللازمة:
يحتوي ملف robots.txt النموذجي على العناصر التالية:
فيما يلي مثال على شكل ملف robots.txt بسيط.
هذا الرمز يعني أنه لا يُسمح لوكيل المستخدم - Googlebot في هذه الحالة - بالزحف إلى أي عنوان URL يبدأ بـ " http://www.example.com/nogooglebot/ ".
نقترح طلب المساعدة من الخبراء إذا لم تشعر بالراحة في إنشاء ملفات robots.txt وتحميلها بنفسك.
يصل برنامج الزحف إلى الموقع الإلكتروني ومعه تحديد عام لعدد الصفحات التي سيقوم بزحفها. وتُوجّه خريطة الموقع بصيغة XML البرنامجَ لقراءة عناوين URL مُحددة، مما يضمن الاستخدام الأمثل لهذا العدد من الصفحات.
لاحظ أن أداء الصفحة في ترتيب نتائج البحث يعتمد على عدة عوامل، منها جودة المحتوى والروابط الداخلية والخارجية. لذا، يُنصح بإدراج الصفحات المتميزة فقط في الخريطة. ويمكن تخصيص خريطة موقع XML مستقلة للصور.
اتبع هذه التوصيات لضمان تطبيق مثالي لخريطة موقع XML:
للحصول على نظرة أكثر تفصيلاً حول خرائط المواقع، يُرجى الرجوع إلى الوحدة المخصصة لهذا الموضوع .
تؤدي الروابط الداخلية ثلاث وظائف مهمة:
لذا، من المهم تطبيق استراتيجية ربط داخلي فعّالة لضمان كفاءة عملية الزحف. لمزيد من المعلومات حول الربط الداخلي، يُرجى مراجعة وحدة الدورة التدريبية المفصلة هنا.
إذا كان موقع الويب يعمل على منصة استضافة مشتركة، فسيتم تقاسم ميزانية الزحف مع مواقع الويب الأخرى العاملة على نفس المنصة. وقد يجد الناشرون الكبار في الاستضافة المستقلة بديلاً قيماً.
قبل ترقية استضافتك لحل مشكلة التحميل الزائد لحركة مرور الروبوتات، هناك بعض العوامل التي يجدر مراعاتها والتي قد تؤثر على أحمال الخادم بخلاف ذلك.
للمزيد حول مزايا شبكات توصيل المحتوى (CDNs)، اطلع على وحدة تجربة الصفحة .
عندما يصل برنامج Googlebot إلى صفحة ويب، يقوم بعرض جميع عناصرها، بما في ذلك جافا سكريبت. ورغم أن عملية الزحف إلى HTML بسيطة نسبياً، إلا أن Googlebot يحتاج إلى معالجة جافا سكريبت عدة مرات ليتمكن من عرضها وفهم محتواها.
قد يؤدي ذلك إلى استنزاف سريع لميزانية زحف جوجل لموقع الويب. الحل هو تطبيق عرض جافا سكريبت على جانب الخادم.
كيفية القيام بذلك
يتطلب التعامل مع جافا سكريبت في شفرة المصدر لموقعك الإلكتروني خبرة برمجية، وننصح باستشارة مطور ويب إذا كنت تخطط لإجراء أي تغييرات من هذا القبيل. مع ذلك، إليك بعض الإرشادات حول ما يجب مراعاته عند محاولة تحسين استخدام جافا سكريبت.
تُعد قيم CWV مقياسًا لأداء الصفحة يؤثر بشكل مباشر على كيفية أداء صفحتك في تصنيفات البحث.
يصنف تقرير CWV الصادر عن GSC أداء عناوين URL ضمن ثلاث فئات:
قد تؤثر أخطاء الزحف أيضًا على ميزانية الزحف المخصصة لك. على سبيل المثال، قد تستنزف الصفحات بطيئة التحميل جزءًا كبيرًا من ميزانية الزحف، نظرًا لأن لدى جوجل وقتًا محدودًا لمهام الزحف. إذا تم تحميل صفحاتك بسرعة، فسيتمكن جوجل من الزحف إلى عدد أكبر منها خلال الوقت المحدود المتاح. وبالمثل، قد يؤدي كثرة تقارير حالة الخطأ إلى إبطاء عملية الزحف وإهدار ميزانية الزحف.
للحصول على دراسة أكثر شمولاً لـ CWVs، راجع وحدتنا حول تجربة الصفحة .
برامج الزحف التابعة لجهات خارجية مثل Semrush أو Sitechecker.pro أو Screaming Frog لمطوري الويب تدقيق جميع عناوين URL الخاصة بالموقع وتحديد المشكلات المحتملة.
يمكن استخدام برامج الزحف التابعة لجهات خارجية لتحديد ما يلي:
تقدم هذه البرامج تقريرًا إحصائيًا عن عمليات الزحف للمساعدة في تسليط الضوء على المشكلات التي قد لا ترصدها أدوات جوجل نفسها.
سيؤدي تحسين البيانات المنظمة والحد من مشاكل النظافة إلى تبسيط مهمة Googlebot في الزحف إلى الموقع وفهرسته.
نوصي باتباع أفضل الممارسات التالية عند استخدام برامج الزحف التابعة لجهات خارجية:
تُستخدم معلمات عنوان URL - الجزء من عنوان الويب الذي يلي علامة الاستفهام "؟" - في الصفحة لأسباب متنوعة، بما في ذلك التصفية والترقيم والبحث.
مع أن هذا قد يُحسّن تجربة المستخدم، إلا أنه قد يُسبب مشاكل في الزحف عندما يُعيد كل من عنوان URL الأساسي وعنوان URL المُضاف إليه مُعاملات نفس المحتوى. مثال على ذلك هو أن "http://mysite.com" و"http://mysite.com?id=3" يُعيدان نفس الصفحة تمامًا.
تتيح المعلمات للموقع الإلكتروني امتلاك عدد غير محدود تقريبًا من الروابط، مثل إمكانية اختيار المستخدم للأيام والشهور والسنوات في التقويم. إذا سُمح لبرنامج الزحف بالوصول إلى هذه الصفحات، فسيتم استهلاك ميزانية الزحف بلا داعٍ.
قد يكون هذا الأمر مصدر قلق بشكل خاص إذا كان موقعك الإلكتروني يستخدم التنقل متعدد الأوجه أو معرفات الجلسة التي يمكن أن تؤدي إلى إنشاء صفحات مكررة متعددة، والتي إذا تم الزحف إليها، فقد تؤدي إلى إهدار ميزانية الزحف.
قد ينتج عن ذلك أيضًا عناوين URL مكررة إذا كان لديك نسخ محلية من صفحة الويب الخاصة بك بلغات مختلفة، ولم تتم ترجمة المحتوى الموجود على هذه الصفحات.
نوصي بما يلي لمعالجة هذه المشكلة:
إليك كيفية القيام بذلك ببساطة<hreflang> يبدو الأمر كما يلي في شفرة المصدر الخاصة بك:
https://examplesite.com/news/hreflang-tags”/ >
هذا يخبر برنامج الزحف بأن عنوان URL المحدد هو نسخة إسبانية (مكسيكية) من عنوان URL الرئيسي، ولا ينبغي التعامل معه على أنه نسخة مكررة.
لقد ناقشنا أساسيات إدارة ميزانية الزحف. والإرشادات المذكورة في هذا القسم، وإن لم تكن ضرورية لإدارة سليمة لميزانية الزحف، إلا أنها تُسهم بشكل كبير في استكمال التقنيات التي نوقشت سابقاً.
تحدث حالة طوارئ في عملية الزحف عندما يُغرق برنامج Googlebot موقعك الإلكتروني بطلبات زحف أكثر مما يستطيع معالجته. من المهم تحديد المشكلة بأسرع وقت ممكن، ويمكن القيام بذلك من خلال مراقبة سجلات الخادم وإحصائيات الزحف في Google Search Console عن كثب.
إذا لم تتم إدارة الزيادة المفاجئة في عمليات الزحف في الوقت المناسب، فقد يؤدي ذلك إلى تباطؤ الخادم. سيؤدي تباطؤ الخادم إلى زيادة متوسط زمن استجابة برامج الزحف، ونتيجةً لذلك، ستُقلل محركات البحث تلقائيًا من معدل الزحف. يُعد هذا الأمر إشكاليًا لأن انخفاض معدلات الزحف سيؤدي إلى انخفاض مستوى ظهور المقالات الجديدة، حيث لن يتم الزحف إليها فورًا.
إذا لاحظت أن عمليات الزحف المفرطة تُرهق خوادمك، فإليك بعض الأشياء التي يمكنك القيام بها:
تستخدم جوجل خوارزميات متطورة للتحكم في معدل الزحف. لذا، من الأفضل عدم التلاعب بمعدل الزحف. مع ذلك، في حالات الطوارئ، يمكنك تسجيل الدخول إلى حسابك في Google Search Console والانتقال إلى إعدادات معدل الزحف لموقعك.
إذا رأيت معدل الزحف مُحسَبًا على أنه "مثالي"، فلن تتمكن من تغييره يدويًا. يجب تقديم طلب خاص إلى جوجل لتغيير معدل الزحف.
إذا لم يكن الأمر كذلك، يمكنك ببساطة تغيير معدل الزحف بنفسك إلى القيمة التي تريدها. وستبقى هذه القيمة سارية لمدة 90 يومًا.
إذا كنت لا ترغب في التلاعب بمعدلات الزحف في مركز مشرفي المواقع من جوجل، يمكنك أيضًا حظر وصول برنامج Googlebot إلى الصفحة باستخدام ملف robots.txt. وقد تم شرح طريقة القيام بذلك سابقًا.
قد يستغرق الأمر من جوجل ما يصل إلى ثلاثة أيام لفهرسة معظم المواقع. والاستثناءات الوحيدة هي المواقع الإخبارية أو المواقع الأخرى التي تنشر محتوىً ذا صلة بالوقت، والتي قد تتم فهرستها يوميًا.
للتأكد من مدى تكرار فهرسة صفحات موقعك، راقب سجل موقعك. إذا كنت لا تزال تشعر بأن محتواك لا يُفهرس بالقدر الكافي، فاتبع الخطوات التالية:
https://www.google.com/ping?sitemap=FULL_URL_OF_SITEMAP
يرجى الملاحظة: يجب اعتبار هذه الخطوة آخر إجراء يُنصح باتخاذه، إذ تنطوي على قدر من المخاطرة. في حال رصد برنامج Googlebot أخطاء 503 و429، فسيبدأ بالزحف ببطء وقد يتوقف عن الزحف، مما يؤدي إلى انخفاض مؤقت في عدد الصفحات المفهرسة.
يشير رمز الخطأ 503 إلى أن الخادم متوقف مؤقتًا، بينما يشير رمز الخطأ 429 إلى أن المستخدم أرسل عددًا كبيرًا جدًا من الطلبات خلال فترة زمنية محددة. تُعلم هذه الرموز برنامج Googlebot بأن المشكلة مؤقتة، وأنه سيعود لفحص الصفحة لاحقًا.
على الرغم من أنها خطوة تبدو بسيطة، إلا أنها مهمة لأنه إذا لم يكن لدى Googlebot معرفة بطبيعة المشكلة التي تواجهها صفحة الويب، فإنه يفترض أن المشكلة طويلة الأمد وقد يصنف الصفحة على أنها غير مستجيبة، مما قد يؤثر على تحسين محركات البحث.
يتم إنشاء رموز الخطأ 503 من خلال ملف PHP، يُدرج ضمن كود HTML المصدر لصفحتك مع رسالة الخطأ. ستحتاج أيضًا إلى كتابة بضعة أسطر إضافية من كود HTML لتحديد وقت استجابة الموقع.
هذا هو شكل رمز إعادة التوجيه 503:
يتطلب إجراء عمليات إعادة التوجيه 503 أو 429 مهارات متقدمة في برمجة HTML، ونقترح استشارة مطور الويب الخاص بك قبل محاولة القيام بذلك.
أصبح لدينا الآن فهم جيد لماهية ميزانية الزحف وكيفية تحسينها. ومع ذلك، فإن معرفة ما يجب تجنبه فيما يتعلق بميزانيات الزحف لا يقل أهمية.
فيما يلي بعض الأخطاء الشائعة التي يجب تجنبها لضمان تحقيق أقصى استفادة من ميزانية الزحف لموقعك الإلكتروني:
يتم تحديد معدل زحف جوجل إلى موقعك الإلكتروني بواسطة خوارزمياته، التي تأخذ في الاعتبار العديد من الإشارات للوصول إلى معدل زحف مثالي.
زيادة معدل الزحف لا تؤدي بالضرورة إلى تحسين ترتيب الموقع في نتائج البحث. فتردد الزحف، أو حتى عملية الزحف نفسها، لا تُعدّ عاملاً مؤثراً في ترتيب الموقع بحد ذاتها.
لا يُفضّل جوجل بالضرورة المحتوى الأحدث على المحتوى الأقدم. يُرتب جوجل الصفحات بناءً على مدى صلة وجودة المحتوى بغض النظر عن كونه قديمًا أو جديدًا. لذا، ليس من الضروري فهرسة هذه الصفحات باستمرار.
لا يُساعد توجيه تأخير الزحف في التحكم في برنامج Googlebot. إذا كنت ترغب في إبطاء وتيرة الزحف استجابةً للزحف المفرط الذي يُرهق موقعك الإلكتروني، فراجع التعليمات الواردة في القسم أعلاه.
تؤثر سرعة تحميل موقعك الإلكتروني على ميزانية الزحف الخاصة بك. فسرعة تحميل الصفحة تعني أن جوجل يستطيع الوصول إلى المزيد من المعلومات عبر نفس عدد الاتصالات.
للحصول على نصائح حول تحسين سرعة التحميل، اطلع على وحدتنا الخاصة بتجربة الصفحة .
قد تؤثر روابط "nofollow" على ميزانية الزحف، إذ قد يتم الزحف إليها. في المقابل، لا تؤثر الروابط المحظورة في ملف robots.txt على ميزانية الزحف.
أيضًا، قد يتم الزحف إلى عناوين URL البديلة ومحتوى جافا سكريبت، مما يؤدي إلى استهلاك ميزانية الزحف الخاصة بك، لذلك من المهم تقييد الوصول إليها إما عن طريق إزالتها أو باستخدام robots.txt.
تُعدّ ميزانية الزحف مورداً قيماً، ومن الضروري تحسينها. قد تؤثر مشاكل الزحف والفهرسة على أداء محتواك، خاصةً إذا كان موقعك الإلكتروني يحتوي على عدد كبير من الصفحات.
تتمثل العمليتان الأساسيتان في تحسين ميزانية الزحف في الحفاظ على تحديث خريطة الموقع الخاصة بك ومراقبة مشكلات الفهرسة بانتظام من تقرير إحصائيات الزحف وملفات السجل في GSC.
من المهم تعلم كيفية تطبيق أفضل ممارسات إدارة الزحف أثناء طرح ميزات جديدة للموقع الإلكتروني وأيضًا عند حدوث أخطاء فردية.
