منشئ قواعد الزحف
Robots.txt المولّد
قواعد الوكلاء
استهدف جميع برامج الزحف أو برنامجًا واحدًا فقط.
المسارات المحظورة
أبقِ المجلدات الخاصة خارج الفهرس.
سطر خريطة الموقع
وجّه برامج الزحف مباشرة إلى خريطة موقعك.
فحص ما قبل النشر
اختبر القواعد قبل الرفع.
اكتب قواعد الزحف مرة واحدة. واختبرها قبل الرفع.
وكلاء محدّدون بوضوح. مسارات آمنة. دون حظر غير مقصود.
Let's build your robots.txt
robots.txt
9 lines · upload to your site root
# robots.txt for example.com # Generated with SearchVector — test before uploading to your site root. User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /search Sitemap: https://example.com/sitemap.xml
3 rules
Disallow lines
Subject: example.com
Result
Draft crawl rules, then test important pages before uploading robots.txt.
Written for every crawler.
Rules
3 rules
Written for every crawler.
Sitemap line
Included
https://example.com/sitemap.xml
Safety check
Looks safe
No rule bars the site root.
One wrong line hides a whole site.
Draft, test, and monitor crawl rules with confidence.
Clear agents. Safe paths. No accidental blocks.
أنشئ مسودة robots.txt تتضمّن قواعد وكلاء المستخدم، ومسارات منع الزحف، وموقع خريطة الموقع، وقائمة تحقّق من السلامة قبل النشر.
مسار عمل يستفيد من تحليل المنافسين
مولّد robots.txtمصمّم من أجل اتخاذ إجراء
أنشئ قواعد الزحف ووضّح ما ينبغي اختباره قبل الرفع.
تستخدم الصفحة أنماط صفحات المنافسين كمدخلات للتخطيط الداخلي، ثم تعرض مسار عمل محايدًا في SearchVector مع خطوات تالية عملية.
الوكلاء المناسبون
قواعد تستهدف بدقة
حظر أكثر أمانًا
دون حظر غير مقصود للموقع بأكمله
اكتشاف أسرع
تحديد خريطة الموقع من البداية
أخطاء أقل
فحص قبل الرفع
القواعد
فائدة فورية قبل التمرير
سطر خريطة الموقع
لوحة نتائج واضحة
فحص السلامة
الانتقال إلى SearchVector
مصمّم للتحكّم في الزحف
قواعد مخصّصة لكل وكيل
مسارات آمنة لمنع الزحف
فحوصات ما قبل النشر
موجز يستند إلى الأدلة
ما يجب على مسار العمل هذا إثباته
أنشئ قواعد الزحف ووضّح ما ينبغي اختباره قبل الرفع.
القواعد
استخدم هذه الإشارة لتحديد ما يستحق تحققًا أعمق في SearchVector قبل العمل على بيئة الإنتاج.
سطر خريطة الموقع
استخدم هذه الإشارة لتحديد ما يستحق تحققًا أعمق في SearchVector قبل العمل على بيئة الإنتاج.
فحص السلامة
استخدم هذه الإشارة لتحديد ما يستحق تحققًا أعمق في SearchVector قبل العمل على بيئة الإنتاج.
ما ينبغي أن تغطيه الصفحة
ينبغي أن تنشئ الصفحة قواعد الزحف وتوضّح ما يجب اختباره قبل الرفع.
ابدأ
كيفية استخدام مولّد robots.txt
انقل القرارات المهمة إلى مسارات عمل SearchVector المباشرة قبل إجراء تغييرات على بيئة الإنتاج.
01
أدخل مدخلات واقعية
ابدأ بتحديد URL أو الكلمة المفتاحية أو الصفحة أو مقياس الأعمال الذي يريد المستخدم فحصه بدقة.
02
اقرأ لوحة النتائج
استخدم النتيجة الظاهرة قبل التمرير لتحديد أقوى إشارة والفجوة الأعلى خطورة.
03
تحقّق في SearchVector
انقل القرارات المهمة إلى مسارات عمل SearchVector المباشرة قبل إجراء تغييرات على بيئة الإنتاج.
مولّد robots.txt الأسئلة الشائعة
أسئلة عملية قبل استخدام مولّد robots.txt.