تكتيكات نمو الناشر لموسم الانتخابات | ندوة عبر الإنترنت
تكتيكات نمو الناشر لموسم الانتخابات | ندوة عبر الإنترنت
بعد الاطلاع على هذه الوحدة، يجب أن تفهم المقصود بميزانية الزحف وكيفية تخصيصها لموقع ويب وكيفية تحسينها.
مدة الفيديو
23:27
الإجابة على الاختبار
خذ مسابقة الوحدة النمطية الحالية
مواد
قوالب جاهزة للاستخدام
موارد
التقارير والموارد
2.6.1 ما هي ميزانية الزحف؟
ميزانية الزحف هي عدد الصفحات على موقع الويب الخاص بك التي سيزحف إليها زاحف الويب خلال إطار زمني محدد.
في كل مرة تضغط فيها على زر النشر، يحتاج Google إلى الزحف إلى المحتوى وفهرسته حتى يبدأ في الظهور في نتائج البحث. نظرًا لحجم وحجم المحتوى على الإنترنت، يصبح الزحف موردًا قيمًا يحتاج إلى ميزانية وترشيد الاستخدام الأكثر كفاءة.
لتبسيط الأمر، يصعب على Google الزحف إلى كل صفحة على الإنترنت وفهرستها كل يوم. لذلك، يقوم Google بالزحف إلى كل موقع ويب وفقًا للميزانية المخصصة له.
يتم تعيين ميزانية الزحف لمواقع الويب بناءً على عاملين — حد الزحف وطلب الزحف.
هذه هي قدرة موقع الويب و/أو استعداده للزحف إليه.
لم يتم تصميم كل موقع ويب ليتم الزحف إليه كل يوم. يتضمن الزحف قيام Googlebot بإرسال طلبات إلى خادم موقع الويب الخاص بك، والتي قد تؤدي إلى الضغط على سعة الخادم إذا تم إجراؤها بشكل متكرر.
وأيضًا، ليس كل ناشر يرغب في الزحف إلى موقعه بشكل مستمر.
يعد طلب الزحف مقياسًا لعدد المرات التي تريد فيها (إعادة) الزحف إلى صفحة معينة. تحتاج الصفحات الشائعة أو الصفحات التي يتم تحديثها بشكل متكرر إلى الزحف إليها وإعادة الزحف إليها بشكل متكرر.
إذا لم يتمكن Google من الزحف إلى المحتوى الخاص بك وفهرسته، فلن يظهر هذا المحتوى في نتائج البحث.
ومع ذلك، فإن ميزانيات الزحف لا تمثل عمومًا سوى مصدر قلق للناشرين المتوسطين إلى الكبار الذين لديهم أكثر من 10000 صفحة على موقعهم على الويب. لا ينبغي للناشرين الصغار أن يقلقوا كثيرًا بشأن ميزانيات الزحف.
ومع ذلك ، سيرغب الناشرون الذين لديهم 10000 صفحة أو أكثر على موقعهم على الويب ، في تجنب صفحات الزحف من GoogleBOT التي لم تكن مهمة. إن استنفاد ميزانية الزحف الخاصة بك على محتوى غير ذي صلة أو أقل أهمية يعني أن صفحات القيمة الأعلى قد لا يتم زحفها.
علاوة على ذلك ، سيرغب ناشرو الأخبار في توخي الحذر من ميزانيات الزحف المهدرة بالنظر إلى أن الزحف هو إحدى الطرق الثلاث التي تكتشف فيها Google News محتوى جديدًا في الوقت المناسب. والاثنان الآخران هو استخدام Sitemaps و Google Publisher Center ، والتي استكشفناها بشكل أكبر في وحدات Sitemap Google News و Google Publisher Center
إن تحسين التردد والسرعة التي يزحف بها GoogleBot على موقع الويب الخاص بك ، يتضمن مراقبة مجموعة من المتغيرات. نبدأ بإدراج أهم العوامل التي ينطوي عليها تحسين ميزانية الزحف والتردد.
إن أكثر التكتيكات المفيدة لمراقبة كيفية زحف المحتوى الخاص بك يتم تحليل ملفات السجل وتقرير إحصائيات Crawl (GSC) من Google Search.
ملف السجل هو مستند نصي يسجل كل نشاط على خادم موقع الويب الخاص بك. يتضمن ذلك جميع البيانات حول طلبات الزحف وطلبات الصفحات وطلبات الصور وطلبات ملفات JavaScript وأي مورد آخر مطلوب لتشغيل موقع الويب الخاص بك.
لأغراض مُحسّنات محرّكات البحث التقنية ، يساعد تحليل ملف السجل في تحديد الكثير من المعلومات المفيدة حول زحف عنوان URL ، بما في ذلك على سبيل المثال لا الحصر:
كيف تفعل هذا
تحليل ملف السجل هو مهمة تتطلب درجة من الألفة التقنية مع الواجهة الخلفية لموقع الويب. لهذا السبب ، نوصي باستخدام برنامج محلل ملفات السجل. هناك العديد من أدوات تحليل السجل المجانية والمدفوعة المتوفرة مثل Graylog و Loggly و Scare و Screaming Frog Log Analyzer و Nagios على سبيل المثال لا الحصر.
إذا كنت مطورًا متمرسًا أو مسؤولًا للنظام ، فيمكنك إجراء تحليل ملف السجل يدويًا أيضًا.
للقيام بذلك ، اتبع هذه الخطوات:
بمجرد تنزيل ملف السجل ، يمكنك تغيير الامتداد إلى .CSV وفتحه باستخدام Microsoft Excel أو Google Sheets. كما قلنا ، هذا النهج يتطلب مستوى معين من الخبرة لفهم ملف السجل.
يمكنك أيضًا الوصول إلى ملف السجل باستخدام عميل FTP عن طريق إدخال مسار ملف السجل. يبدو مسار ملف السجل النموذجي شيئًا من هذا القبيل:
اسم الخادم (على سبيل المثال ، Apache) /var/log/access.log
ومع ذلك ، من المريح استخدام أداة تحليل السجل بدلاً من ذلك. بمجرد تحميل ملف السجل إلى الأداة ، يمكنك فرز البيانات باستخدام عدة مرشحات. على سبيل المثال ، ستتمكن من معرفة عناوين URL التي تم الوصول إليها بشكل متكرر بواسطة GoogleBot.
ستتمكن أيضًا من معرفة ما إذا كانت Googlebot قد تصل إلى عناوين URL غير الضرورية أو منخفضة القيمة مثل عناوين URL للملاحة المُحسّنة ، وعنوان URL المكررة ، وما إلى ذلك. تحديد هذه الأهمية لأنها تضيع ميزانية الزحف الخاصة بك.
انظر إلى لقطة الشاشة أدناه ، المأخوذة من محلل ملفات كبار المسئولين الاقتصاديين في Screaming Frog ، لمعرفة ما نعنيه.
توفر GSC لمالكي المواقع بيانات بيانات ورؤى شاملة حول كيفية زحف Google محتواها. ويشمل ذلك تقارير مفصلة عن:
تتيح GSC أيضًا توفير الرسوم البيانية والرسوم البيانية سهلة الفهم لتزويد مالكي المواقع بمزيد من المعلومات. لقطة الشاشة أدناه هي ما يبدو عليه تقرير الإحصائيات النموذجي على GSC.
يتيح لك GSC أيضًا معرفة ما إذا كانت هناك أي مشاكل مع الزحف. يتحقق من عدة أخطاء ويعين كل رمز. الأخطاء الأكثر شيوعا التي يتحقق GSC لتشمل:
يوضح تقرير GSC أيضًا عدد الصفحات التي تأثرت بكل خطأ إلى جانب حالة التحقق من الصحة.
كيف تفعل هذا
إليك كيفية الوصول إلى تقرير إحصائيات GSC Crawl لموقع الويب الخاص بك أو صفحة الويب الخاصة بك:
وتشمل هذه:
نعلم الآن أن ميزانية الزحف هي مورد قيّم يجب تحسين استخدامه للحصول على أفضل النتائج. فيما يلي بعض التقنيات للقيام بذلك:
قد ينتهي المحتوى المكرر بالزحف بشكل منفصل ، مما يؤدي إلى هدر ميزانية الزحف. لتجنب حدوث ذلك ، إما دمج الصفحات المكررة على موقع الويب الخاص بك إلى صفحة واحدة ، أو حذف صفحات مكررة.
Robots.txt هو ملف يخدم عددًا من الأغراض ، أحدها لإخبار Googlebot بعدم زحف صفحات أو أقسام معينة من الصفحات. هذه استراتيجية مهمة يمكن استخدامها لمنع GoogleBot من زحف المحتوى المنخفض القيمة أو المحتوى الذي لا يحتاج إلى الزحف.
فيما يلي بعض أفضل الممارسات عند استخدام Robots.txt لتحسين ميزانية الزحف:
كيف تفعل هذا
يتطلب إنشاء ملف Robots.txt وتنفيذه لتقييد الوصول إلى GoogleBot بعض المعرفة بالترميز. فيما يلي الخطوات المعنية:
سيكون لملف Robots.txt نموذجي العناصر التالية:
أدناه هو ما يبدو ملف Robots.txt بسيط.
يعني هذا الرمز أن وكيل المستخدم - GoogleBot في هذه الحالة - لا يُسمح له بالزحف إلى أي عنوان URL يبدأ بـ " http://www.example.com/nogooglebot/ ".
نقترح البحث عن مساعدة خبراء إذا كنت لا تشعر بالراحة في إنشاء ملفات Robots.txt وتحميلها بنفسك.
يصل روبوت الزحف إلى الموقع مع تخصيص عام لعدد الصفحات التي سيزحف إليها. تقوم خريطة موقع XML بتوجيه الروبوت بشكل فعال لقراءة عناوين URL المحددة، مما يضمن الاستخدام الفعال لتلك الميزانية.
لاحظ أن أداء تصنيف الصفحة يعتمد على عدة عوامل بما في ذلك جودة المحتوى والروابط الداخلية/الخارجية. فكر في تضمين صفحات المستوى الأعلى فقط في الخريطة. يمكن تخصيص الصور لخريطة موقع XML الخاصة بها.
اتبع هذه التوصيات لضمان تطبيق XML Sitemap الأمثل:
لإلقاء نظرة أكثر تفصيلاً على خرائط Sitemap ، راجع الوحدة المخصصة لدينا حول هذا الموضوع .
تؤدي الروابط الداخلية ثلاث وظائف مهمة:
وبالتالي بالنسبة للزحف الفعال ، من المهم تنفيذ استراتيجية ربط داخلية فعالة. لمعرفة المزيد عن الارتباط الداخلي ، راجع وحدة الدورة التدريبية التفصيلية الخاصة بنا هنا.
إذا تم تشغيل موقع ويب على منصة استضافة مشتركة ، فسيتم مشاركة ميزانية Crawl مع مواقع الويب الأخرى التي تعمل على النظام الأساسي المذكور. قد يجد الناشر الكبير أن الاستضافة المستقلة بديلة قيمة.
قبل ترقية الاستضافة الخاصة بك لحل الحمل الزائد لحركة الروبوت ، هناك بعض العوامل التي تستحق النظر في ذلك قد يؤثر على أحمال الخادم خلاف ذلك.
لمعرفة المزيد حول مزايا CDNs ، تحقق من وحدة تجربة الصفحة .
عندما يصل Googlebot إلى صفحة ويب، فإنه يعرض جميع الأصول الموجودة على الصفحة المذكورة، بما في ذلك جافا سكريبت. على الرغم من أن الزحف إلى HTML يعد أمرًا بسيطًا إلى حد ما، إلا أنه يجب على Googlebot معالجة Javascript عدة مرات حتى يتمكن من عرضه وفهم محتواه.
يمكن أن يؤدي هذا إلى استنزاف ميزانية الزحف الخاصة بموقع Google بسرعة. الحل هو تنفيذ عرض جافا سكريبت على جانب الخادم.
كيف تفعل هذا
يتطلب معالجة JavaScript في الكود المصدر لموقع الويب الخاص بك خبرة الترميز ونوصي استشارة مطور ويب إذا كنت تخطط لإجراء أي تغييرات من هذا القبيل. ومع ذلك ، إليك بعض الإرشادات حول ما يجب البحث عنه عند محاولة تحسين استخدام JavaScript.
CWVs هي مقياس لأداء الصفحة يؤثر بشكل مباشر على أداء صفحتك في تصنيفات البحث.
أداء عنوان URL لمجموعات URL لـ CWV's CWV بموجب ثلاث فئات:
يمكن أن تؤثر CWVs أيضًا على ميزانية الزحف الخاصة بك. على سبيل المثال ، يمكن أن تتناول صفحات التحميل البطيئة في ميزانية الزحف الخاصة بك لأن Google لديها وقت محدود من الوقت لمهام الزحف. إذا كانت صفحاتك يتم تحميلها بسرعة ، فيمكن أن تزحف Google منها في غضون الوقت المحدود. وبالمثل ، يمكن أن يؤدي الكثير من تقارير حالة الخطأ إلى إبطاء الزحف وتضيع ميزانية الزحف الخاصة بك.
لإجراء فحص أكثر شمولاً لـ CWVs ، انظر الوحدات النمطية الخاصة بنا على الصفحة .
زاحف الطرف الثالث مثل Semrush أو SiteChecker.Pro أو Screaming Frog لمطوري الويب مراجعة جميع عناوين URL للموقع وتحديد المشكلات المحتملة.
يمكن استخدام زحف الطرف الثالث لتحديد:
تقدم هذه البرامج تقريرًا بإحصائيات الزحف للمساعدة في تسليط الضوء على المشكلات التي قد لا توفرها أدوات Google الخاصة.
سيؤدي تحسين البيانات المنظمة وتقليل مشكلات النظافة إلى تبسيط مهمة Googlebot في الزحف إلى الموقع وفهرسته.
نوصي بأفضل الممارسات التالية عند استخدام زحف الطرف الثالث:
معلمات URL - قسم عنوان الويب الذي يتبع العلامة "؟" - يتم استخدامها على الصفحة لعدة أسباب، بما في ذلك التصفية وترقيم الصفحات والبحث.
على الرغم من أن هذا يمكن أن يعزز تجربة المستخدم، إلا أنه قد يتسبب أيضًا في حدوث مشكلات في الزحف عندما يعرض كل من عنوان URL الأساسي وعنوان URL الذي يحتوي على معلمات نفس المحتوى. مثال على ذلك هو "http://mysite.com" و"http://mysite.com?id=3" الذي يعرض نفس الصفحة بالضبط.
تسمح المعلمات للموقع بالحصول على عدد غير محدود تقريبًا من الروابط - كما هو الحال عندما يمكن للمستخدم تحديد الأيام والأشهر والسنوات في التقويم. إذا سمح للروبوت بالزحف إلى هذه الصفحات، فسيتم استخدام ميزانية الزحف دون داع.
يمكن أن يكون هذا مشكلة خاصة للقلق إذا كان موقع الويب الخاص بك يستخدم معرفات التنقل أو الجلسة التي يمكن أن تفرد صفحات مكررة متعددة والتي ، إذا كانت زحفها ، يمكن أن تؤدي إلى هدر من ميزانية الزحف.
يمكن أن تؤدي عناوين URL المكررة أيضًا إذا كان لديك إصدارات محلية من صفحة الويب الخاصة بك بلغات مختلفة ، ولم تتم ترجمة المحتوى على هذه الصفحات.
نوصي بما يلي لمعالجة هذا:
إليك كيف بسيطة<hreflang> يبدو في رمز المصدر الخاص بك:
https://examplesite.com/news/hreflang-tags
هذا يخبر الزاحف أن عنوان URL المحدد هو البديل الإسباني (المكسيكي) لعنوان URL الرئيسي ، ويجب عدم معاملته على أنه مكرر.
لقد ناقشنا أساسيات إدارة ميزانية الزحف. إن المؤشرات المدرجة في هذا القسم ، على الرغم من أنها ليست حاسمة لإدارة الميزانية الصحيحة ، تقطع شوطًا طويلاً نحو استكمال التقنيات التي تمت مناقشتها مسبقًا.
تحدث حالة الطوارئ الزاحفة عندما تطغى Googlebot على موقع الويب الخاص بك مع طلبات الزحف أكثر مما يمكن أن تتعامل معه. من المهم تحديد المشكلة في أسرع وقت ممكن ، والتي يمكن القيام بها عن طريق مراقبة سجلات الخادم عن كثب والزحف الإحصائيات في وحدة التحكم في Google Search.
إذا لم تتم إدارة زيادة مفاجئة في الزحف في الوقت المناسب ، فقد يتسبب ذلك في إبطاء الخادم. سيؤدي تباطؤ الخادم إلى زيادة متوسط وقت الاستجابة للزحفات ، ونتيجة لوقت الاستجابة العالي هذا ، ستقلل محركات البحث تلقائيًا من معدل الزحف. هذا يمثل مشكلة لأن انخفاض معدلات الزحف سيؤدي إلى خسارة في الرؤية ، مع عدم الزحف مقالات جديدة على الفور.
إذا لاحظت أن الزحف يفرض ضريبة على خوادمك ، فهناك بعض الأشياء التي يمكنك القيام بها:
لدى Google خوارزميات متطورة تتحكم في معدل الزحف. من الناحية المثالية ، لا ينبغي للمرء العبث بمعدل الزحف. ومع ذلك ، في حالة الطوارئ ، يمكنك تسجيل الدخول إلى حساب GSC الخاص بك والانتقال إلى إعدادات معدل الزحف للممتلكات الخاصة بك.
إذا رأيت معدل الزحف هناك على أنه مثالي ، فلن تتمكن من تغييره يدويًا. يجب تقديم طلب خاص إلى Google لتغيير معدل الزحف.
إذا لم يكن هذا هو الحال ، فيمكنك ببساطة تغيير معدل الزحف بنفسك إلى القيمة المطلوبة. ستبقى هذه القيمة صالحة لمدة 90 يومًا.
إذا كنت لا ترغب في العبث بمعدلات الزحف في GSC ، فيمكنك أيضًا حظر الوصول إلى الصفحة بواسطة GoogleBot باستخدام Robots.txt. تم شرح الإجراء للقيام بذلك مسبقًا.
قد يستغرق الأمر Google ما يصل إلى ثلاثة أيام للزحف إلى معظم المواقع. الاستثناءات الوحيدة هي مواقع الأخبار أو المواقع الأخرى التي تنشر محتوى حساس للوقت قد يزحف يوميًا.
للتحقق من عدد مرات زحف صفحاتك ، راقب سجل موقعك. إذا كنت لا تزال تشعر بأن المحتوى الخاص بك لا يزحف بشكل متكرر كما ينبغي ، اتبع هذه الخطوات:
https://www.google.com/ping؟sitemap=full_url_of_sitemap
يرجى ملاحظة: يجب النظر إلى هذه الخطوة على أنها الإجراء الأخير الذي يجب على أي شخص اتخاذه لأنه يحمل درجة معينة من المخاطر. إذا رأى Googlebot 503 و 429 خطأ ، فسيبدأ في الزحف أبطأ وقد يوقف الزحف ، مما يؤدي إلى انخفاض مؤقت في عدد الصفحات المفهرسة.
يعني رمز الخطأ 503 أن الخادم قد انخفض مؤقتًا ، بينما يعني 429 أن المستخدم قد أرسل الكثير من الطلبات في فترة زمنية محددة. هذه الرموز تخبر GoogleBot أن المشكلة مؤقتة ، ويجب أن تعود إلى زحف الصفحة في وقت لاحق.
على الرغم من أن الخطوة البسيطة على ما يبدو ، إلا أنها إذا كانت GoogleBot لا تعرف طبيعة المشكلة التي تواجهها صفحة ويب ، إلا أنها تفترض أن المشكلة ذات طبيعة طويلة الأجل وقد تضع علامة على الصفحة لأسفل على أنها غير مستجيبة ، والتي يمكن أن تؤثر على تحسين محركات البحث (SEO).
يتم إنشاء رموز خطأ 503 من خلال ملف PHP ، والذي يتم إدخاله في رمز مصدر HTML الحالي في صفحتك مع رسالة خطأ. ستحتاج أيضًا إلى كتابة بعض الخطوط الإضافية من رمز HTML الذي يذكر متى من المتوقع أن يعود الموقع.
هذا هو ما يشبه رمز إعادة التوجيه 503:
يتطلب القيام بـ 503 أو 429 إعادة توجيه مهارات ترميز HTML المتقدمة ونقترح التشاور مع مطور الويب الخاص بك قبل محاولة ذلك.
لدينا الآن فهم جيد لميزانية الزحف وكيفية تحسينها. ومع ذلك ، فإن معرفة ما لا يجب فعله عندما يتعلق الأمر بالزحف للميزانيات أمر بنفس القدر من الأهمية.
فيما يلي بعض المزالق الشائعة التي يجب تجنبها لضمان حصولك على أقصى استفادة من ميزانية الزحف لموقع الويب الخاص بك:
يتم تحديد التردد الذي يزحف به Google على موقع الويب الخاص بك بواسطة خوارزمياتها ، والتي تأخذ في الاعتبار عدة إشارات للوصول إلى تردد الزحف الأمثل.
زيادة معدل الزحف لا يؤدي بالضرورة إلى مواقف أفضل في نتائج البحث. التردد الزحف أو حتى الزحف نفسه ليس عامل ترتيب في حد ذاته.
لا تفضل Google بالضرورة محتوى أعذب على المحتوى الأقدم. تصنف Google صفحات بناءً على أهمية وجودة المحتوى بغض النظر عما إذا كان قديمًا أو جديدًا. لذلك ، ليس من الضروري الاستمرار في الزحف.
لا يساعد توجيه Drawlay Delay على التحكم في GoogleBot. إذا كنت ترغب في إبطاء تردد الزحف استجابةً للزحف المفرط الذي هو ساحق موقع الويب الخاص بك ، راجع التعليمات الواردة في القسم أعلاه.
يمكن أن تؤثر سرعة تحميل موقع الويب الخاص بك على ميزانية الزحف الخاصة بك. تعني صفحة التحميل السريع أن Google يمكنها الوصول إلى مزيد من المعلومات عبر نفس عدد الاتصالات.
للحصول على نصائح حول تحسين سرعة التحميل ، تحقق من الوحدات النمطية الخاصة بنا في تجربة الصفحة .
قد لا تزال روابط nofollow تؤثر على ميزانية الزحف الخاصة بك لأن هذه قد لا تزال قد تتجول. من ناحية أخرى ، فإن الروابط التي لم يتم السماح لها بالروابط التي لم يتم إسماعها على ميزانية الزحف.
وأيضًا ، قد ينتهي الأمر إلى زحف عناوين URL البديلة ومحتوى JavaScript ، وتستهلك ميزانية الزحف الخاصة بك ، لذلك من المهم تقييد الوصول إليها إما عن طريق إزالتها أو باستخدام Robots.txt.
تعتبر ميزانية الزحف موردًا قيمًا ومن الأهمية بمكان أن تحسنها. يمكن أن تؤثر مشكلات الزحف والفهرسة على أداء المحتوى الخاص بك ، خاصة إذا كان موقع الويب الخاص بك يحتوي على عدد كبير من الصفحات.
تتمثل العمليتان الأساسيتان المتورطتان في تحسين ميزانية الزحف في الحفاظ على تحديث خريطة Sitemap الخاصة بك ومراقبة مشكلات الفهرسة بانتظام من تقرير الإحصائيات GSC Crawl وملفات السجل.
من المهم أن تتعلم كيفية تطبيق أفضل ممارسات إدارة الزحف أثناء طرح ميزات موقع الويب الجديد وأيضًا عند حدوث أخطاء لمرة واحدة.
