ميزانية الزحف في Google: دليل الناشر

إن الناشرين الذين استثمروا في الظهور في أعلى نتائج بحث Google يدركون بالفعل أهمية تحسين محركات البحث (SEO). ومع ذلك، فإن أحد الجوانب المهمة والتي من المحتمل أن يتم التغاضي عنها في تحسين محركات البحث بالنسبة للناشرين الكبار، هو ميزانية الزحف الخاصة بـ Google.

تساعد ميزانيات الزحف الخاصة بـ Google في تحديد مدى ظهور المقالات في نتائج البحث.

يعد فهم ميزانيات الزحف خطوة حاسمة نحو ضمان تحقيق أهداف تحسين محركات البحث (SEO) وعرض هذا المحتوى. التحقق من أن الواجهة الخلفية الفنية للموقع سليمة يعني أن الواجهة الأمامية من المرجح أن تعكس هذه الحالة.

نشرح في هذه المقالة ماهية ميزانية الزحف، وما الذي يؤثر على الميزانية، وتحسين ميزانية الزحف، وكيفية التحقق من ميزانيات الزحف وتتبعها، وسبب أهمية هذه الميزانيات لرفاهية أي موقع على الإنترنت.

ما هي ميزانية الزحف؟

تشير ميزانية الزحف إلى الموارد التي يخصصها Google للعثور على صفحات الويب الجديدة والحالية وفهرستها.

يقوم برنامج الزحف الخاص بشركة Google — Googlebot — بالزحف إلى المواقع لتحديث وتوسيع قاعدة بيانات صفحات الويب الخاصة بعملاق البحث. ويستخدم الروابط الداخلية والخارجية، وخرائط مواقع XML، وخلاصات RSS وAtom، بالإضافة إلى ملفات robots.txt للمساعدة في الزحف إلى المواقع وفهرستها في أسرع وقت ممكن.

تكتسب صفحات معينة مزيدًا من السلطة بمرور الوقت، بينما قد يتم تجاهل صفحات أخرى تمامًا لعدد من الأسباب التي تتراوح بين القيود المتعلقة بالمحتوى والقيود الفنية.

إن معرفة كيفية تعظيم ميزانية الزحف أمر لا يقدر بثمن لأي ناشر أو موقع ويب مؤسسي يبحث عن النجاح في صفحات نتائج محرك البحث (SERPs).

قيود Googlebot

إن Googlebot ليس موردًا لا نهاية له، ولا تستطيع Google تحمل تكلفة البحث عبر عدد لا نهائي من خوادم الويب. قدمت الشركة لأصحاب النطاقات لتعظيم ميزانية الزحف الخاصة بهم. ¹

يعد فهم كيفية قيام الروبوتات بنشاطها أمرًا أساسيًا.

إذا وصل برنامج الزحف إلى موقع ما وقرر أن تحليله وتصنيفه سيكون مشكلة، فسوف يتباطأ أو ينتقل إلى موقع آخر تمامًا اعتمادًا على مدى ونوع المشكلات التي يواجهها.

عندما يحدث هذا، فهذه إشارة واضحة إلى أن الموقع يفتقر إلى تحسين ميزانية الزحف.

إن معرفة أن Googlebot مورد محدود يجب أن يكون سببًا كافيًا لأي مالك موقع للقلق بشأن ميزانية الزحف. ومع ذلك، لا تواجه جميع المواقع هذه المشكلة بنفس الدرجة.

من يجب أن يهتم ولماذا؟

على الرغم من أن كل مالك موقع يريد أن ينجح موقع الويب الخاص به، إلا أن المواقع المتوسطة والكبيرة التي تقوم بتحديث محتواها بشكل متكرر هي فقط التي تحتاج إلى القلق بشأن ميزانيات الزحف.

تُعرّف Google المواقع المتوسطة بأنها تلك التي تحتوي على أكثر من 10000 صفحة فريدة يتم تحديثها يوميًا. وفي الوقت نفسه، تحتوي المواقع الكبيرة على أكثر من مليون صفحة فريدة ويتم تحديثها مرة واحدة على الأقل في الأسبوع.

Google العلاقة بين نشاط الزحف ومواقع الويب الأكبر حجمًا، قائلة: "إن تحديد أولويات ما يجب الزحف إليه ومتى ومقدار الموارد التي يمكن للخادم الذي يستضيف موقع الويب تخصيصها للزحف هو أكثر أهمية بالنسبة لمواقع الويب الأكبر حجمًا، أو تلك التي تنشئ صفحات تلقائيًا بناءً على معلمات URL، على سبيل المثال." ²

لا يلزم أن تهتم المواقع ذات أرقام الصفحات المحدودة بشكل مفرط بميزانية الزحف. ومع ذلك، نظرًا لأن بعض الناشرين قد يتوسعون بسرعة، فإن الحصول على فهم أساسي لإحصائيات وعمليات الزحف سيضع جميع مالكي المواقع في وضع أفضل لجني ثمار زيادة عدد الزيارات إلى الموقع في المستقبل.

ما الذي يؤثر على ميزانية الزحف في Google؟

يتم تحديد مدى زحف Google إلى موقع الويب من خلال حدود سعة الزحف وطلب الزحف.

من أجل منع نشاط الزحف من إرباك الخادم المضيف، يتم حساب حد السعة عن طريق تحديد الحد الأقصى لعدد الاتصالات المتزامنة والمتوازية التي يمكن للروبوت استخدامها للزحف إلى الموقع بالإضافة إلى التأخير الزمني بين عمليات إرجاع البيانات.

الحد الأقصى لسعة الزحف

يعد هذا المقياس، والذي يشار إليه أيضًا باسم حد معدل الزحف، مائعًا ويرتبط بالتغيرات في ثلاثة عوامل:

• صحة الزحف : إذا استجاب الموقع دون خطأ أو تأخير، وكانت سرعة الموقع جيدة، فمن الممكن أن يرتفع الحد والعكس صحيح.
• معدل زحف GSC : يمكن استخدام Google Search Console (GSC) لتقليل نشاط الزحف ، وهي وظيفة يمكن أن تكون مفيدة أثناء صيانة الموقع الموسعة أو تحديثاته. ³ تظل أي تغييرات نشطة لمدة 90 يومًا . ⁴

إذا تم إدراج حد معدل الزحف على أنه "محسوب على النحو الأمثل"، فإن رفعه ليس خيارًا ولا يمكن أن يحدث خفضه إلا من خلال طلب خاص. إذا تم الزحف إلى موقع ما بشكل زائد، مما أدى إلى توفر الموقع و/أو مشاكل في تحميل الصفحة، فاستخدم ملف robots.txt لمنع الزحف والفهرسة. ومع ذلك، قد يستغرق هذا الخيار 24 ساعة ليدخل حيز التنفيذ.

على الرغم من أن العديد من المواقع لا تفرض قيودًا على الزحف، إلا أنها لا تزال أداة مفيدة.

الطلب الزحف

يعد طلب الزحف تعبيرًا عن مدى اهتمام Google بفهرسة الموقع. وهو أيضاً يتأثر بثلاثة عوامل:

• المخزون المتصور : بدون توجيه من مالك الموقع - والذي سنغطيه لاحقًا - سيحاول Google الزحف إلى كل عنوان URL، بما في ذلك التكرارات والروابط غير العاملة والصفحات الأقل أهمية. هذا هو المكان الذي يمكن أن يؤدي فيه تضييق معلمات بحث Googlebot إلى تعزيز ميزانية الزحف.
• الشعبية : إذا كان الموقع شائعًا للغاية، فسيتم الزحف إلى عناوين URL الخاصة به بشكل أكثر تكرارًا.
• الثبات : بشكل عام، يهدف نظام Googlebot إلى إعادة الزحف إلى الصفحات لالتقاط أي تغييرات. يمكن المساعدة في هذه العملية باستخدام GSC وطلب إعادة الزحف، على الرغم من عدم وجود ضمان بأنه سيتم التصرف بناءً على الطلب على الفور.

يعد نشاط الزحف، في جوهره، نتاجًا للإدارة السليمة لموقع الويب.

مخاوف نظام إدارة المحتوى (CMS).

يقول Vahe Arabian ، مؤسس حالة النشر الرقمي (SODP) عناصر نظام إدارة المحتوى (CMS) - مثل المكونات الإضافية - يمكن أن تؤثر على ميزانيات الزحف. ⁵

وقال: "العديد من المكونات الإضافية تعتمد على قواعد بيانات كثيفة وتتسبب في زيادة تحميل الموارد مما يؤدي إلى إبطاء الصفحة أو إنشاء صفحات غير ضرورية ويؤثر على إمكانية الزحف إليها."

يمكن أن يؤدي نموذج الإيرادات المعتمد على الإعلانات لموقع الويب إلى حدوث مشكلات مماثلة إذا كانت ميزات الموقع المتعددة كثيفة الموارد.

كيفية التحقق من ميزانيات الزحف وتتبعها

هناك طريقتان رئيسيتان لتتبع ميزانيات الزحف: Google Search Console (GSC) و/أو سجلات الخادم. ⁶

وحدة تحكم بحث جوجل

قبل التحقق من معدلات الزحف إلى الموقع على Google Search Console (GSC)، يجب التحقق من ملكية النطاق.

تحتوي وحدة التحكم على ثلاث أدوات للتحقق من صفحات موقع الويب والتأكد من عناوين URL التي تعمل والتي لم تتم فهرستها.

• تقرير تغطية الفهرس⁷
• أداة فحص عنوان URL⁸
• تقرير إحصائيات الزحف⁹

تتحقق وحدة التحكم من عدم دقة النطاق وستقدم اقتراحات حول كيفية حل أخطاء الزحف المختلفة.

تقوم GSC بتجميع أخطاء الحالة في عدد من الفئات في تقرير تغطية الفهرس، بما في ذلك:

• خطأ في الخادم [5xx]
• خطأ في إعادة التوجيه
• تم حظر عنوان URL المقدم بواسطة ملف robots.txt
• تم وضع علامة "noindex" على عنوان URL المُرسل
• يبدو أن عنوان URL المقدم هو soft 404
• يعرض عنوان URL المقدم طلبًا غير مصرح به (401)
• لم يتم العثور على عنوان URL المرسل (404)
• تم عرض عنوان URL المقدم 403: 
• تم حظر عنوان URL المقدم بسبب مشكلة 4xx أخرى

يشير التقرير إلى عدد الصفحات التي تأثرت بكل خطأ إلى جانب حالة التحقق من الصحة.

توفر أداة فحص عنوان URL معلومات الفهرسة على أي صفحة محددة، بينما يمكن استخدام تقرير إحصائيات الزحف لمعرفة عدد مرات زحف Google إلى موقع ما، واستجابة خادم الموقع وأي مشكلات مرتبطة بالتوفر.

هناك نهج ثابت لتحديد كل خطأ وتصحيحه، بدءًا من التعرف على أن خادم الموقع ربما كان معطلاً أو غير متاح في وقت الزحف إلى استخدام إعادة التوجيه 301 لإعادة التوجيه إلى صفحة أخرى، أو إزالة الصفحات من خريطة الموقع .

إذا تغير محتوى الصفحة بشكل ملحوظ، فيمكن استخدام زر "طلب الفهرسة" الخاص بأداة فحص عنوان URL لبدء الزحف إلى الصفحة.

على الرغم من أنه قد لا يكون من الضروري "إصلاح" كل خطأ فردي في الصفحة، إلا أن تقليل المشكلات التي تؤدي إلى إبطاء برامج الزحف يعد بالتأكيد أفضل ممارسة.

استخدم سجلات الخادم

كبديل لـ Google Search Console (GSC)، يمكن فحص صحة الزحف إلى الموقع من خلال سجلات الخادم التي لا تسجل كل زيارة للموقع فحسب، بل تسجل أيضًا كل زيارة لـ Googlebot.

بالنسبة لأولئك الذين لا يعرفون ذلك بالفعل، تقوم الخوادم تلقائيًا بإنشاء إدخال سجل وتخزينه عندما يطلب Googlebot أو أي إنسان عرض صفحة. يتم بعد ذلك جمع إدخالات السجل هذه في ملف سجل.

بمجرد الوصول إلى ملف السجل، يجب تحليله. ومع ذلك، نظرًا للنطاق الهائل لإدخالات السجل، لا ينبغي القيام بهذا المسعى باستخفاف. اعتمادًا على حجم الموقع، يمكن أن يحتوي ملف السجل بسهولة على مئات الملايين أو حتى مليارات الإدخالات.

إذا تم اتخاذ القرار بتحليل ملف السجل، فيجب تصدير البيانات إما إلى جدول بيانات أو إلى برنامج خاص، مما يسهل عملية التحليل بشكل أكبر.

سيُظهر تحليل هذه السجلات نوع الأخطاء التي واجهها الروبوت، والصفحات التي تم الوصول إليها أكثر من غيرها وعدد مرات الزحف إلى الموقع.

9 طرق لتحسين ميزانية الزحف

يتضمن التحسين فحص وتتبع إحصائيات صحة الموقع، كما هو مذكور أعلاه، ثم معالجة مناطق المشاكل مباشرة.

لقد قمنا أدناه بوضع مجموعة أدوات تحسين ميزانية الزحف، والتي نستخدمها لمعالجة مشكلات إمكانية الزحف عند ظهورها.

1. توحيد المحتوى المكرر

يمكن أن تظهر مشكلات الزحف عندما يمكن الوصول إلى صفحة واحدة إما من خلال عدد من عناوين URL المختلفة أو تحتوي على محتوى تم نسخه في مكان آخر على الموقع. سيعرض الروبوت هذه الأمثلة على أنها نسخ مكررة ويختار ببساطة واحدًا كإصدار أساسي.

سيتم اعتبار عناوين URL المتبقية أقل أهمية وسيتم الزحف إليها بشكل أقل أو حتى لا يتم الزحف إليها على الإطلاق. ¹⁰ يعد هذا أمرًا جيدًا إذا اختار Google الصفحة الأساسية المطلوبة، ولكنه يمثل مشكلة خطيرة إذا لم يفعل ذلك.

ومع ذلك، قد تكون هناك أسباب وجيهة لوجود صفحات مكررة، مثل الرغبة في دعم أنواع أجهزة متعددة، أو تمكين مشاركة المحتوى أو استخدام عناوين URL الديناميكية لمعلمات البحث أو معرفات الجلسة.

توصيات SODP :

• تقليم محتوى موقع الويب حيثما أمكن ذلك
  • استخدم 301s لدمج عناوين URL ودمج المحتوى
  • حذف المحتوى المنخفض الأداء 
• سيؤدي استخدام 301 بعد إعادة هيكلة موقع الويب إلى إرسال المستخدمين والروبوتات وبرامج الزحف الأخرى إلى المكان الذي يحتاجون إليه.
• استخدم noindex للصفحات الرفيعة وترقيم الصفحات (للأرشيفات القديمة) ولتفكيك المحتوى.
• في الحالات التي يؤدي فيها المحتوى المكرر إلى الزحف الزائد، اضبط إعداد معدل الزحف في Google Search Console (GSC).

2. استخدم ملف Robots.txt 

يساعد هذا الملف على منع الروبوتات من البحث عبر الموقع بأكمله. يسمح استخدام الملف باستبعاد الصفحات الفردية أو أقسام الصفحة.

يمنح هذا الخيار الناشر التحكم في ما تتم فهرسته، مع الحفاظ على خصوصية محتوى معين مع تحسين كيفية إنفاق ميزانية الزحف أيضًا.

توصيات SODP :

• قم بترتيب تفضيلات المعلمات من أجل تحديد أولويات المعلمات التي يجب حظرها من الزحف.
• حدد الروبوتات والتوجيهات والمعلمات التي تسبب زحفًا إضافيًا باستخدام ملفات السجل.
• حظر المسارات الشائعة التي عادةً ما تحتوي عليها أنظمة إدارة المحتوى (CMS)، مثل 404 والمشرف وصفحات تسجيل الدخول وما إلى ذلك.
• تجنب استخدام توجيه تأخير الزحف لتقليل حركة مرور الروبوتات لتحسين أداء الخادم. يؤثر هذا فقط على فهرسة المحتوى الجديد.

3. قم بتقسيم ملفات Sitemap بتنسيق XML لضمان التقاط المحتوى بشكل أسرع

يصل روبوت الزحف إلى الموقع مع تخصيص عام لعدد الصفحات التي سيزحف إليها. تقوم خريطة موقع XML بتوجيه الروبوت بشكل فعال لقراءة عناوين URL المحددة، مما يضمن الاستخدام الفعال لتلك الميزانية.

لاحظ أن أداء تصنيف الصفحة يعتمد على عدة عوامل بما في ذلك جودة المحتوى والروابط الداخلية/الخارجية. فكر في تضمين صفحات المستوى الأعلى فقط في الخريطة. يمكن تخصيص الصور لخريطة موقع XML الخاصة بها.

توصيات SODP :

• قم بالرجوع إلى خريطة موقع XML من ملف robots.txt.
• إنشاء خرائط مواقع متعددة لموقع كبير جدًا. لا تضف أكثر من 50000 عنوان URL إلى خريطة موقع XML واحدة.
• حافظ على نظافته وقم بتضمين الصفحات القابلة للفهرسة فقط.
• حافظ على تحديث خريطة موقع XML.
• حافظ على حجم الملف أقل من 50 ميجابايت.

4. فحص استراتيجية الربط الداخلي

يتابع Google شبكة الروابط داخل الموقع وأي صفحات تحتوي على روابط متعددة يُنظر إليها على أنها ذات قيمة عالية وتستحق إنفاق ميزانية الزحف عليها.

ومع ذلك، تجدر الإشارة إلى أنه على الرغم من أن عددًا محدودًا من الروابط الداخلية يمكن أن يعمل ضد ميزانية الزحف، إلا أنه يمكن أيضًا ملء الموقع بأكمله بالروابط.

لا تتلقى الصفحات التي لا تحتوي على روابط داخلية أي حقوق ارتباط من بقية الموقع، مما يشجع Google على التعامل معها على أنها ذات قيمة أقل.

وفي الوقت نفسه، فإن الصفحات ذات القيمة العالية التي تحتوي على الكثير من الروابط الداخلية تنتهي في نهاية المطاف بمشاركة حقوق الارتباط الخاصة بها بالتساوي بين الصفحات الأخرى بغض النظر عن قيمتها الإستراتيجية. وعلى هذا النحو، تجنب الارتباط بالصفحات التي لا تقدم سوى قيمة قليلة للقراء.

تتطلب استراتيجية الارتباط الداخلي لمسة ماهرة لضمان حصول الصفحات ذات القيمة العالية على روابط كافية، في حين أن الصفحات ذات القيمة المنخفضة لا تؤدي إلى تفكيك حقوق الارتباط.

5. قم بترقية الاستضافة إذا كانت حركة المرور المتزامنة تمثل عنق الزجاجة

إذا كان موقع الويب يعمل على منصة استضافة مشتركة، فستتم مشاركة ميزانية الزحف مع مواقع الويب الأخرى التي تعمل على النظام الأساسي المذكور. قد تجد شركة كبيرة أن الاستضافة المستقلة هي بديل قيم.

اعتبارات أخرى عند ترقية الاستضافة أو حتى قبل الترقية لحل مشكلة التحميل الزائد لحركة مرور الروبوت والتي يمكن أن تؤثر على أحمال الخادم:

• معالجة الصور باستخدام CDN منفصل تم تحسينه أيضًا لاستضافة تنسيقات الصور العامة التالية مثل webp
• فكر في استضافة وحدة المعالجة المركزية ومساحة القرص بناءً على وظيفة موقع الويب الخاص بك ومتطلباته
• راقب النشاط باستخدام حلول مثل New Relic لمراقبة الاستخدام الزائد للمكونات الإضافية والروبوتات

6. موازنة استخدام جافا سكريبت

عندما يصل Googlebot إلى صفحة ويب، فإنه يعرض جميع الأصول الموجودة على الصفحة المذكورة، بما في ذلك جافا سكريبت. على الرغم من أن الزحف إلى HTML يعد أمرًا بسيطًا إلى حد ما، إلا أنه يجب على Googlebot معالجة Javascript عدة مرات حتى يتمكن من عرضه وفهم محتواه.

يمكن أن يؤدي هذا إلى استنزاف ميزانية الزحف الخاصة بموقع Google بسرعة. الحل هو تنفيذ عرض جافا سكريبت على جانب الخادم.

من خلال تجنب إرسال أصول Javascript إلى العميل لعرضها ، لا تستهلك روبوتات الزحف مواردها ويمكنها العمل بكفاءة أكبر. ¹¹

توصيات SODP :

• استخدم التحميل البطيء على مستوى المتصفح بدلاً من الاعتماد على JS
• تحديد ما إذا كانت العناصر 
• استخدم العلامات من جانب الخادم للتحليلات ووضع العلامات من جهات خارجية، إما مستضافة ذاتيًا أو باستخدام حلول مثل https://stape.io/ . ¹² 

7. قم بتحديث مؤشرات الويب الأساسية (CWV) لتحسين تجربة الصفحة

تستخدم مؤشرات الويب الأساسية (CWV) الخاصة بـ Google Search Console (GSC) ما يسميه عملاق البحث " بيانات الاستخدام في العالم الحقيقي " لعرض أداء الصفحة. ¹³

يقوم تقرير CWV بتجميع أداء عنوان URL ضمن ثلاث فئات:

• نوع المقياس (LCP، FID وCLS)
• حالة 
• مجموعات عناوين URL

قياس

يعتمد تقرير CWV على أكبر مقياس للطلاء المحتوى (LCP)، وتأخير الإدخال الأول (FID) ^{14 15)} ، وإزاحة التخطيط التراكمي (CLS) ( ¹⁶ .

يرتبط LCP بمقدار الوقت المستغرق لعرض أكبر عنصر محتوى مرئيًا في المنطقة المرئية لصفحة الويب.

يتعلق FID بالوقت الذي تستغرقه الصفحة للرد على تفاعل المستخدم.

CLS هو مقياس لمدى تغير تخطيط الصفحة أثناء جلسة المستخدم، حيث تمثل الدرجات الأعلى تجربة مستخدم أسوأ.

 حالة

بعد تقييم الصفحة، يتم تعيين كل مقياس واحدًا من ثلاث تصنيفات للحالة:

• جيد
• يحتاج الى تحسين
• فقير

مجموعات عناوين URL

يمكن للتقرير أيضًا تعيين مشكلات لمجموعة من عناوين URL المتشابهة، على افتراض أن مشكلات الأداء التي تؤثر على الصفحات المماثلة يمكن أن تعزى إلى مشكلة مشتركة.

CWV وإمكانية الزحف

كما ذكرنا من قبل، كلما أمضى Googlebot وقتًا أطول في الصفحة، زاد تبديد ميزانية الزحف الخاصة به. وعلى هذا النحو، يمكن للناشرين استخدام تقارير CWV لتحسين كفاءة الصفحة وتقليل وقت الزحف.

SODP ، مع التركيز على WordPress:

8. استخدم زاحفًا تابعًا لجهة خارجية

يسمح زاحف الطرف الثالث مثل Semrush أو Sitechecker.pro أو Screaming Frog لمطوري الويب بتدقيق جميع عناوين URL الموجودة على الموقع وتحديد المشكلات المحتملة.

يمكن استخدام برامج الزحف لتحديد:

المحتوى من شركائنا

مراجعة Stay22 لعام 2025

يحقق أصحاب أكبر قوائم الويب الفوز بينما تتخلف المواقع التقليدية عن الركب

المواقع التي تشهد تكلفة أعلى لكل ألف ظهور باستخدام معرفات الإعلانات وحلول بيانات الطرف الأول

• كسر الروابط
• محتوى مكرر
• عناوين الصفحات مفقودة

تقدم هذه البرامج تقريرًا بإحصائيات الزحف للمساعدة في تسليط الضوء على المشكلات التي قد لا توفرها أدوات Google الخاصة.

سيؤدي تحسين البيانات المنظمة وتقليل مشكلات النظافة إلى تبسيط مهمة Googlebot في الزحف إلى الموقع وفهرسته.

توصيات SODP :

• استخدم استعلامات SQL لإجراء تحديثات مجمعة للأخطاء بدلاً من إصلاح كل مشكلة يدويًا.
• قم بمحاكاة Googlebot، عبر إعدادات زحف البحث، لمنع حظرك من موفري الاستضافة ولتحديد جميع المشكلات الفنية وإصلاحها بشكل صحيح.
• قم بتصحيح أخطاء الصفحات المفقودة أثناء الزحف باستخدام هذا الدليل الرائع من Screaming Frog . ¹⁷

9. معلمات URL

معلمات URL - قسم عنوان الويب الذي يتبع العلامة "؟" - يتم استخدامها على الصفحة لعدة أسباب، بما في ذلك التصفية وترقيم الصفحات والبحث.  

على الرغم من أن هذا يمكن أن يعزز تجربة المستخدم، إلا أنه قد يتسبب أيضًا في حدوث مشكلات في الزحف عندما يعرض كل من عنوان URL الأساسي وعنوان URL الذي يحتوي على معلمات نفس المحتوى. مثال على ذلك هو "http://mysite.com" و"http://mysite.com?id=3" الذي يعرض نفس الصفحة بالضبط.

تسمح المعلمات للموقع بالحصول على عدد غير محدود تقريبًا من الروابط - كما هو الحال عندما يمكن للمستخدم تحديد الأيام والأشهر والسنوات في التقويم. إذا سمح للروبوت بالزحف إلى هذه الصفحات، فسيتم استخدام ميزانية الزحف دون داع.

توصيات SODP :

• استخدم قواعد ملف robots.txt. على سبيل المثال، حدد أوامر المعلمات في توجيه السماح.
• استخدم hreflang لتحديد الاختلافات اللغوية للمحتوى.

ملخص لأساطير وحقائق Googlebot

هناك العديد من المفاهيم الخاطئة فيما يتعلق بقوة Googlebot ونطاقه.

فيما يلي خمسة اكتشفناها:

1. يقوم Googlebot بالزحف إلى الموقع بشكل متقطع 

يقوم Googlebot في الواقع بالزحف إلى المواقع بشكل متكرر إلى حد ما، وفي بعض المواقف، حتى يوميًا. ومع ذلك، يتم تحديد التكرار من خلال جودة الموقع وحداثته وأهميته وشعبيته.

كما هو مذكور أعلاه، يمكن استخدام Google Search Console (GSC) لطلب الزحف.

2. يتخذ Googlebot قرارات بشأن تصنيف الموقع

على الرغم من أن هذا كان صحيحًا، إلا أن Google تعتبره الآن جزءًا منفصلاً من عملية الزحف والفهرسة والتصنيف، وفقًا لمارتن سبليت ، محلل اتجاهات WebMaster في Google. ¹⁸

ومع ذلك، من المهم أيضًا أن تتذكر أن محتوى الموقع وخريطة الموقع وعدد الصفحات والروابط وعناوين URL وما إلى ذلك كلها عوامل في تحديد تصنيفه.

في جوهر الأمر، يمكن أن تؤدي خيارات تحسين محركات البحث الذكية من قبل الناشرين إلى تحديد موضع قوي داخل SERPs.

3. يقوم Googlebot بغزو الأقسام الخاصة بالموقع

ليس لدى الروبوت مفهوم "المحتوى الخاص" ويتم تكليفه ببساطة بفهرسة المواقع ما لم يوجهه مالك الموقع للقيام بخلاف ذلك.

يمكن أن تظل بعض صفحات الويب غير مفهرسة طالما تم اتخاذ الخطوات اللازمة داخل GSC لتقييد الوصول.

4. يمكن لنشاط Googlebot أن يشكل ضغطًا على قابلية تشغيل الموقع

إن عملية Googlebot لها حدودها بسبب القيود المفروضة على موارد Google ولأن Google لا يريد تعطيل الموقع.

قال سبليت: "نحن نزحف قليلاً، ثم نكثفه بشكل أساسي. وعندما نبدأ في رؤية الأخطاء، نقوم بتقليصها قليلاً. ¹⁵

يمكن لـ GSC تأخير عمليات الزحف ونظرًا لأن بعض المواقع قد تحتوي على بضع مئات الآلاف من الصفحات، يقوم Googlebot بتقسيم عملية الزحف على مدار عدة زيارات.

5. Googlebot هو الروبوت الوحيد الذي يستحق القلق بشأنه

على الرغم من أن Googlebot هو برنامج الزاحف الرائد على مستوى العالم، إلا أنه لا تنتمي جميع برامج الروبوت إلى Google. تزحف محركات البحث الأخرى إلى الويب، في حين تنشط أيضًا الروبوتات التي تركز على التحليلات بالإضافة إلى البيانات وسلامة العلامات التجارية.

وفي الوقت نفسه، تعمل الجهات الفاعلة السيئة على تصميم برامج أكثر تعقيدًا للانخراط في الاحتيال الإعلاني ، وسرقة المحتوى، ونشر البريد العشوائي وغير ذلك الكثير. ¹⁹

افكار اخيرة

من المهم أن تتذكر أنه يمكن إدارة تحسين ميزانية الزحف وتجارب المستخدم الناجحة دون المساس بالآخر 

يجب أن يكون التحقق من صحة ميزانية الزحف الخاصة بالموقع عنصرًا في جميع برامج الصيانة الخاصة بمالكي مواقع الويب، ويعتمد تكرار هذه الفحوصات على حجم وطبيعة موقع الويب نفسه.

تعد التدبير المنزلي الفني - مثل إصلاح الروابط المعطلة، والصفحات غير العاملة ، والمحتوى المكرر، وعناوين URL ذات الصياغة السيئة، وخرائط المواقع القديمة المليئة بالأخطاء - أمرًا ضروريًا أيضًا.