Free SearchVector 工具
机器人.txt 测试员
输入网站URL来获取并测试其robots.txt文件
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
验证并测试您的 robots.txt 文件。检查语法错误、分析指令并验证哪些 URL 被爬虫阻止或允许。
验证您的 机器人.txt
您的 robots.txt 文件控制搜索引擎如何抓取您的网站。我们的工具可帮助您验证语法、识别错误并确保您的指令按预期工作。
从任何 URL 中获取 robots.txt 或粘贴您自己的内容进行验证。获取用户代理、允许/禁止规则和站点地图的详细分析。
What the tester covers
语法验证
Included
检查 robots.txt 中的语法错误和无效指令。
指令分析
Included
查看所有用户代理、允许/禁止规则和爬网延迟。
站点地图检测
Included
识别 robots.txt 中引用的所有站点地图。
永远的Free
Included
无需注册。是我们为所有人提供的免费 SEO 工具包的一部分。
How it works
From a file to a crawl verdict
在几秒钟内测试您的 robots.txt
01
输入URL
输入任意网站 URL 以获取其 robots.txt 文件。
02
分析文件
我们的工具解析并验证 robots.txt 中的所有指令。
03
查看结果
查看错误、警告、用户代理、规则和站点地图。
强大的 特征
全面的 robots.txt 测试
语法验证
识别无效的语法和格式错误。
用户代理分析
查看所有用户代理及其具体规则。
禁止规则
查看每个用户代理的所有被阻止的路径。
允许规则
请参阅明确允许的路径和覆盖。
站点地图检测
查找 robots.txt 中引用的所有站点地图。
错误检测
获取有关潜在问题和错误的警告。
Robots.txt Questions
有关 robots.txt 测试的常见问题