ما هو Google الزاحف؟ كيف يبحث Googlebot عن الصفحات

A Google الزاحف هو برنامج يطلب صفحات الويب والموارد الأخرى حتى يتمكن Google من اكتشاف المحتوى وفهمه. Googlebot هو الزاحف الرئيسي المرتبط بـGoogle Search. الزيارة من Googlebot تعني Google جلب شيء ما؛ هذا لا يعني أن الصفحة تمت فهرستها أو سيتم تصنيفها لاستعلام معين.

التسلسل المفيد هو اكتشاف → الزحف → العملية → الفهرس → الخدمة. بالنسبة لمالك الموقع، تتطلب كل خطوة أدلة مختلفة. ابدأ بعنوان URL الدقيق، وتحقق مما إذا كان من الممكن جلبه، واستخدم خاصية Search Console الخاصة بك للتحقق من Google التقارير المتعلقة به.

ما الذي يفعله Googlebot عند زيارته

يرسل الزاحف طلب HTTP، تمامًا مثل المتصفح الذي يطلب الصفحة. يقوم الخادم بإرجاع رمز الحالة والرؤوس والمحتوى عندما يكون ذلك متاحًا. يمكن لـ Google أيضًا جلب الموارد اللازمة لعرض الصفحة، مثل JavaScript وأوراق الأنماط. يسجل سجل الخادم الطلبات؛ ولا يكشف عن كل قرار لاحق يتخذه Google بشأن المحتوى.

يصف

GoogleGooglebot الهاتف الذكي وGooglebot Desktop. تحدد رؤوس وكيل المستخدم الخاصة بهم النوع الفرعي للزاحف، لكن كلاهما يستخدم نفس الرمز المميز Googlebot في robots.txt. لا تفترض أن الصفحة تعمل مع زاحف الجوال الخاص بـ Google لمجرد أنها تبدو مكتملة في متصفح سطح المكتب لديك. افحص محتوى الهاتف المحمول وشروط الوصول أيضًا.

تابع الصفحة من الاكتشاف إلى نتيجة البحث

Google المجموعات البحث في الزحف والفهرسة والعرض. يساعدك فصل الاكتشاف والمعالجة ضمن هذا الشرح على استكشاف الأخطاء وإصلاحها. المراحل أدناه هي نموذج تعليمي، وليست وعدًا بأن كل عنوان URL يتم اكتشافه يتقدم من خلالها. يشرح Google دليل كيفية عمل البحث سبب عدم ضمان الزحف والفهرسة والظهور في النتائج.

المراحل المختلفة تحتاج إلى أدلة مختلفة

المرحلة	ماذا يعني ذلك بالنسبة لك تتعرف الصفحة
Discover	Google على وجود عنوان URL، على سبيل المثال من خلال رابط أو خريطة الموقع.
Crawl	Google تطلب عنوان URL وتتلقى استجابة في حالة الوصول تنجح.
Process	Google تحلل المحتوى وقد تجعل الصفحة مفهومة it.
Index	Google يأخذ في الاعتبار محتوى فهرسه القابل للبحث، بما في ذلك النسخ المكررة معالجة.
Serve	Google تحديد النتائج لبحث معين. لا تضمن الفهرسة إمكانية رؤية استعلامك المستهدف.

لنفترض أن متصفحك يعرض دليلاً جديدًا بشكل صحيح. يؤدي ذلك إلى إنشاء زيارة واحدة ناجحة وفقًا لشروط متصفحك. ولا يثبت الاكتشاف بواسطة Google، أو الوصول من شبكة Google، أو إدراجه في فهرسه. احتفظ بهذه الأسئلة منفصلة عند الإبلاغ عن مشكلة إلى المطور الخاص بك.

مساعدةGoogle اكتشاف عنوان URL الذي تريد فهرسته بالفعل

منح الصفحات المهمة روابط داخلية مفيدة من الصفحات ذات الصلة والتي يمكن الوصول إليها. من الصعب اكتشاف دليل مخفي عن التنقل ولم يتم ربطه مطلقًا بالمحتوى ذي الصلة مقارنة بدليل متصل بموضوع محدد. استخدم نص الرابط الوصفي حتى يفهم القراء الوجهة أيضًا.

توفر خريطة الموقع مسار اكتشاف آخر. Googleتوثيق خريطة الموقع يوضح فائدتها للمواقع الكبيرة والمواقع الجديدة والمحتوى الذي يصعب اكتشافه من خلال الروابط. لا يزال التضمين في خريطة الموقع لا يضمن الزحف أو الفهرسة.

عندما تنشر دليلاً، تأكد من ظهور عنوان URL المفضل له في خريطة الموقع الصحيحة ومن إمكانية جلب خريطة الموقع. يعد SearchVector Sitemap Analyzer نقطة بداية لمراجعة خريطة الموقع. تعامل مع نتائجها كدل��ل لخريطة الموقع، ثم تحقق من الصفحة الفردية بشكل منفصل. لا يمكن لإدخال خريطة الموقع إصلاح صفحة محظورة.

اختر عنصر التحكم الصحيح: robots.txt أو noindex أو canonical

عناصر التحكم هذه تجيب على أسئلة مختلفة. يعد الخلط بينها سببًا شائعًا لأن تغيير النشر المتعمد يؤدي إلى ظهور نتيجة بحث غير متوقعة.

• robots.txt تتحكم في الزحف. تخبر قاعدة عدم السماح الزاحف المتوافق بعدم طلب محتوى مطابق. لا يزال من الممكن أن يظهر عنوان URL المحظور في البحث إذا علم Google به في مكان آخر.
• noindex يتحكم في الفهرسة. لكي Google لرؤية توجيه noindex في صفحة أو رأس HTTP، يجب السماح بالزحف. يمكن أن يؤدي حظر عنوان URL أثناء إضافة علامة noindex إلى منع Google من قراءة التعليمات.
• يحدد الإصدار الأساسي الإصدار المفضل. إنها إشارة للصفحات المكررة أو المشابهة، وليست تحكمًا في الوصول وليست أمرًا مضمونًا.

يوثق

Google متطلبات الزحف في إرشادات noindex والتمييز بين الإشارات والاختيار في دليل التحديد الأساسي. المحتوى الذي يجب أن يكون خاصًا يحتاج إلى حماية مناسبة للوصول. ملف Robots.txt قابل للقراءة بشكل عام ولا يمثل حدًا أمنيًا.

قبل تغيير قاعدة الروبوتات، اختبر عنوان URL الدقيق والزاحف المقصود. ويمكن لـ SearchVector Robots.txt Tester أن يدعم تلك المراجعة. قم بتسجيل القاعدة التي تبحث عنها بدلاً من تفسير النتيجة "المسموح بها" الشاملة كدليل على قابلية الفهرسة.

اقرأ الرد قبل إعادة كتابة المقال

يمكن أن تفشل الصفحة في مرحلة الوصول حتى عندما تكون كتابتها ممتازة. تحقق من عمليات إعادة التوجيه والوجهة النهائية، وليس الاستجابة الأولى فقط. حالة HTTP الناجحة تعني نجاح الطلب على هذا المستوى؛ ولا يشهد على فائدة الصفحة أو أهلية الفهرسة.

تميز إرشادات حالة

GoogleHTTP الاستجابات الناجحة وعمليات إعادة التوجيه وأخطاء العميل وأخطاء الخادم. يمكن أن تؤثر حالات فشل الخادم المستمرة على عملية الزحف. يمكن أن تؤدي رسالة الخطأ التي يتم إرجاعها بحالة ناجحة أيضًا إلى إنشاء نتيجة مضللة، وغا��بًا ما توصف بأنها soft 404 عندما يتعرف Google على صفحة تشبه الخطأ.

للحصول على تمريرة أولى مركزة، استخدم SearchVector Web Page Crawler لمراجعة إشارات إمكانية الزحف، ثم قارنها مع خادمك وأدلة Google. إن زاحف الجهة الخارجية ليس Googlebot. يمكن أن تفسر الاختلافات في الشبكة ووكيل المستخدم والعرض سبب اختلاف عمليتي التحقق.

مثال عملي: لا يزال الدليل محظ��رًا بعد الإطلاق

يعد هذا تمرينًا تشخيصيًا خياليًا، وليس سجل تتبع ارتباطات العميل. تخيل أنك تطلق /guides/packing-list، وتربطها من مركز الأدلة الخاص بك وتضيفها إلى خريطة الموقع. يتلقى متصفحك العادي المقالة المقصودة، لكن قاعدة الروبوتات لا تزال لا تسمح بالدليل /guides/. تحتوي الصفحة أيضًا على توجيه noindex المتبقي من الإعداد.

1. اكتب الحالة المقصودة. يجب أن يكون هذا الدليل عامًا ومؤهلاً للفهرسة. قد لا تزال الأدلة الأخرى غير المكتملة بحاجة إلى الحماية.
2. تحقق من المسار الدقيق. تأكد من أن قاعدة الروبوتات ذات الصلة تتطابق مع عنوان URL هذا. تحقق من رؤوس استجابة الصفحة وHTML بحثًا عن noindex بشكل مستقل.
3. قم بإجراء تصحيح محدد. اضبط القاعدة للمحتوى العام المقصود وقم بإزالة توجيه noindex غير المرغوب فيه. لا تعرض كل صفحة غير مكتملة على نطاق واسع لإصلاح دليل واحد.
4. ｟T19���إعادة الاختبار بعد النشر. تأكد من أن عنوان URL النهائي يعرض الدليل الفعلي، ويمكن للزاحف المقصود الوصول إليه، وأن كلاً من الرؤوس وHTML تعكس الفهرسة الجديدة تعليمات.
5. المتابعة باستخدام Google الأدلة. في خاصية Search Console، افحص عنوان URL وقم بإجراء اختبار مباشر. إذا كانت الصفحة مؤهلة، يمكنك طلب الفهرسة. سجل التغييرات وتحقق مرة أخرى دون الوعد بموعد نهائي.

التشخيص عبارة عن عائقين مستقلين، وليس "Google يحتاج إلى المزيد من الكلمات الرئيسية." تؤدي إزالة كتلة الروبوتات فقط إلى ترك علامة noindex في مكانها. تؤدي إزالة noindex فقط إلى ترك Google غير قادر على جلب الصفحة. حتى بعد كلا الإصلاحين، لا يضمن الاختبار الناجح أن Google سوف يقوم بفهرسته.

التحقق من أن الطلب جاء فعلاً من Google

يمكن لأي شخص إرسال طلب يدعي أنه Googlebot في رأس وكيل المستخدم الخاص به. إذا كانت حركة المرور المشبوهة تؤدي إلى زيادة التحميل على موقعك، فتحقق من أصلها قبل إنشاء قواعد جدار الحماية الخاصة بالزاحف.

اتبع Googleتعليمات التحقق من الطلبT35｠. لإجراء فحص يدوي، احصل على عنوان IP المصدر من سجل جدير بالثقة، وقم بإجراء بحث عكسي عن DNS، وتحقق من اسم المضيف الناتج مقابل المجال الموثق لفئة الزاحف هذه، ثم قم بحلها للأمام. يجب أن تتطابق النتيجة الأمامية مع عنوان IP الأصلي. الاسم الذي يحتوي فقط على "google" غير كافٍ.

للتحقق التلقائي، قم بمطابقة العناوين مع النطاقات المنشورة لـ Google لفئة الزاحف أو أداة الجلب ذات الصلة. لا تعامل كل حركة المرور التي تستضيفها Google على أنها Googlebot. إذا كان موقعك خلف وكيل، فاسأل مالك البنية التحتية لديك عن حقل السجل الذي يمثل عنوان العميل الذي تم ��لتحقق منه قبل التصرف عليه.

استخدم Search Console لتحديد الإجراء التالي

تميز وثائق فحص عنوان URL الخاصة بـ

GoogleT43｠ المعلومات المفهرسة لـ Google عن الاختبار المباشر. يعكس التقرير المفهرس النسخة التي يعرفها Google؛ يتحقق الاختبار المباشر من إمكانية الوصول إلى الصفحة الحالية وقابليتها للفهرسة. لا يضمن الاختبار المباشر الناجح ولا طلب الفهرسة التضمين.

استخدم حسابًا يتمتع بإمكانية الوصول إلى الممتلكات الخاصة بك. قارن عنوان URL الذي تم فحصه ومعلومات الزحف الأخيرة وحالة الفهرسة والمعلومات الأساسية حيثما كان ذلك متاحًا. يمكن أن يتواجد تصحيح الخادم الجديد مع المعلومات المفهرسة القديمة. لاحظ التواريخ قبل إتمام عملية التصحيح الفاشلة.

انتهي بإجراء واحد قائم على الأدلة: تحسين الاكتشاف إذا كان عنوان URL مرتبطًا بشكل سيئ، أو إصلاح الوصول في حالة فشل الطلبات، أو إزالة قيود الفهرسة غير المقصودة، أو التحقق من المحتوى والتكرار إذا قام Google بالزحف إلى الصفحة ولكنه استبعدها. احتفظ بسجل قصير لعنوان URL والملاحظة والتغيير والمتابعة. وهذا يحول عبارة "Google لم يجدنا" إلى مشكلة يمكنك التحقيق فيها بالفعل.