SearchVector का मुफ्त टूल
Robots.txt Tester
robots.txt file fetch और test करने के लिए website URL डालें
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
अपनी robots.txt file validate और test करें। Syntax errors check करें, directives analyze करें, और verify करें कि crawlers के लिए कौन से URLs blocked या allowed हैं।
अपनी Robots.txt
आपकी robots.txt file control करती है कि search engines आपकी website को कैसे crawl करें। हमारा टूल syntax validate करने, errors पहचानने और यह सुनिश्चित करने में मदद करता है कि आपके directives intended तरीके से काम करें।
किसी भी URL से robots.txt fetch करें या validation के लिए अपना content paste करें। User-agents, allow/disallow rules और sitemaps का detailed analysis पाएं।
What the tester covers
Syntax Validation
Included
अपनी robots.txt में syntax errors और invalid directives check करें।
Directive Analysis
Included
सभी user-agents, allow/disallow rules और crawl delays देखें।
Sitemap Detection
Included
अपनी robots.txt में referenced सभी sitemaps पहचानें।
हमेशा मुफ्त
Included
Signup की जरूरत नहीं। सभी के लिए हमारे मुफ्त SEO toolkit का हिस्सा।
How it works
From a file to a crawl verdict
अपनी robots.txt seconds में test करें
01
URL डालें
उसकी robots.txt file fetch करने के लिए कोई भी website URL डालें।
02
File Analyze करें
हमारा टूल robots.txt में सभी directives parse और validate करता है।
03
Results देखें
Errors, warnings, user-agents, rules और sitemaps देखें।
शक्तिशाली फीचर्स
व्यापक robots.txt testing
Syntax Validation
Invalid syntax और formatting errors पहचानें।
User-Agent Analysis
सभी user-agents और उनके specific rules देखें।
Disallow Rules
हर user-agent के लिए सभी blocked paths देखें।
Allow Rules
Explicitly allowed paths और overrides देखें।
Sitemap Detection
robots.txt में referenced सभी sitemaps खोजें।
Error Detection
Potential issues और mistakes के बारे में warnings पाएं।
Robots.txt Questions
robots.txt testing से जुड़े आम सवाल