क्रॉल नियम बनाने वाला टूल
Robots.txt जनरेटर
एजेंट के नियम
सभी क्रॉलर को टारगेट करें या सिर्फ़ एक को।
ब्लॉक किए गए पाथ
निजी फ़ोल्डर को इंडेक्स से बाहर रखें।
साइटमैप लाइन
क्रॉलर को सीधे अपने साइटमैप की ओर भेजें।
पब्लिश करने से पहले जाँच
अपलोड करने से पहले नियम टेस्ट करें।
क्रॉल नियम एक बार लिखें। अपलोड करने से पहले उन्हें टेस्ट करें।
स्पष्ट एजेंट। सुरक्षित पाथ। गलती से कोई ब्लॉक नहीं।
Let's build your robots.txt
robots.txt
9 lines · upload to your site root
# robots.txt for example.com # Generated with SearchVector — test before uploading to your site root. User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /search Sitemap: https://example.com/sitemap.xml
3 rules
Disallow lines
Subject: example.com
Result
Draft crawl rules, then test important pages before uploading robots.txt.
Written for every crawler.
Rules
3 rules
Written for every crawler.
Sitemap line
Included
https://example.com/sitemap.xml
Safety check
Looks safe
No rule bars the site root.
One wrong line hides a whole site.
Draft, test, and monitor crawl rules with confidence.
Clear agents. Safe paths. No accidental blocks.
यूज़र-एजेंट नियमों, disallow पाथ, साइटमैप की लोकेशन और पब्लिश करने से पहले की सुरक्षा चेकलिस्ट के साथ robots.txt का ड्राफ़्ट बनाएँ।
प्रतिस्पर्धियों से मिली जानकारी पर आधारित वर्कफ़्लो
Robots.txt जनरेटरइसके लिए तैयार: कार्रवाई
क्रॉल नियम बनाएँ और स्पष्ट करें कि अपलोड करने से पहले किन चीज़ों को टेस्ट करना चाहिए।
यह पेज अंदरूनी योजना के लिए प्रतिस्पर्धियों के पेज पैटर्न का इस्तेमाल करता है, फिर व्यावहारिक अगले कदमों के साथ एक निष्पक्ष SearchVector वर्कफ़्लो प्रस्तुत करता है।
सही एजेंट
सही टारगेट करने वाले नियम
ज़्यादा सुरक्षित ब्लॉकिंग
गलती से पूरी साइट पर रोक नहीं
जल्दी खोज
शुरू में ही साइटमैप की जानकारी
कम गलतियाँ
अपलोड करने से पहले जाँच
नियम
पेज के शुरुआती हिस्से में उपयोगी टूल
साइटमैप लाइन
स्पष्ट आउटपुट पैनल
सुरक्षा जाँच
SearchVector में आगे का काम
क्रॉल को नियंत्रित करने के लिए बना
हर एजेंट के लिए अलग नियम
सुरक्षित disallow पाथ
पब्लिश करने से पहले की जाँच
साक्ष्य पर आधारित ब्रीफ़
इस वर्कफ़्लो को क्या साबित करना चाहिए
क्रॉल नियम बनाएँ और स्पष्ट करें कि अपलोड करने से पहले किन चीज़ों को टेस्ट करना चाहिए।
नियम
इस संकेत से तय करें कि प्रोडक्शन पर काम करने से पहले किन चीज़ों की SearchVector में गहराई से जाँच होनी चाहिए।
साइटमैप लाइन
इस संकेत से तय करें कि प्रोडक्शन पर काम करने से पहले किन चीज़ों की SearchVector में गहराई से जाँच होनी चाहिए।
सुरक्षा जाँच
इस संकेत से तय करें कि प्रोडक्शन पर काम करने से पहले किन चीज़ों की SearchVector में गहराई से जाँच होनी चाहिए।
पेज में क्या शामिल होना चाहिए
पेज को क्रॉल नियम बनाने चाहिए और स्पष्ट करना चाहिए कि अपलोड करने से पहले किन चीज़ों को टेस्ट करना ज़रूरी है।
शुरू करें
इस्तेमाल करने का तरीका Robots.txt जनरेटर
प्रोडक्शन में बदलाव करने से पहले अहम फ़ैसलों को लाइव SearchVector वर्कफ़्लो में ले जाएँ।
01
यथार्थवादी इनपुट दर्ज करें
उसी सटीक URL, कीवर्ड, पेज या बिज़नेस मेट्रिक से शुरू करें जिसे यूज़र जाँचना चाहता है।
02
आउटपुट पैनल पढ़ें
पेज के शुरुआती हिस्से में दिखने वाले नतीजे से सबसे मज़बूत संकेत और सबसे जोखिम भरी कमी पहचानें।
03
SearchVector में जाँचें
प्रोडक्शन में बदलाव करने से पहले अहम फ़ैसलों को लाइव SearchVector वर्कफ़्लो में ले जाएँ।
Robots.txt जनरेटर अक्सर पूछे जाने वाले सवाल
Robots.txt जनरेटर इस्तेमाल करने से पहले के काम के सवाल।