Free SearchVector 工具
机器人.txt 测试员
输入网站URL来获取并测试其robots.txt文件
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
验证并测试您的 robots.txt 文件。检查语法错误、分析指令并验证哪些 URL 被爬虫阻止或允许。
验证您的 机器人.txt
您的 robots.txt 文件控制搜索引擎如何抓取您的网站。我们的工具可帮助您验证语法、识别错误并确保您的指令按预期工作。
从任何 URL 中获取 robots.txt 或粘贴您自己的内容进行验证。获取用户代理、允许/禁止规则和站点地图的详细分析。
What the tester covers
04 items
语法验证
01
检查 robots.txt 中的语法错误和无效指令。
指令分析
02
查看所有用户代理、允许/禁止规则和爬网延迟。
站点地图检测
03
识别 robots.txt 中引用的所有站点地图。
永远的Free
04
无需注册。是我们为所有人提供的免费 SEO 工具包的一部分。
From a file to a crawl verdict
在几秒钟内测试您的 robots.txt
输入URL
输入任意网站 URL 以获取其 robots.txt 文件。
分析文件
我们的工具解析并验证 robots.txt 中的所有指令。
查看结果
查看错误、警告、用户代理、规则和站点地图。
强大的 特征
全面的 robots.txt 测试
01
语法验证
识别无效的语法和格式错误。
02
用户代理分析
查看所有用户代理及其具体规则。
03
禁止规则
查看每个用户代理的所有被阻止的路径。
04
允许规则
请参阅明确允许的路径和覆盖。
05
站点地图检测
查找 robots.txt 中引用的所有站点地图。
06
错误检测
获取有关潜在问题和错误的警告。
Robots.txt questions
有关 robots.txt 测试的常见问题
这个robots.txt测试仪是免费的吗？
是的！ Robots.txt Tester 完全免费，无需注册。它是 SearchVector 免费 SEO 工具包的一部分。
您可以检测到哪些错误？
我们检测 robots.txt 文件中的语法错误、缺少冒号、无效指令、没有用户代理的规则以及其他常见错误。
我可以在部署之前进行测试吗？
是的！您可以直接粘贴 robots.txt 内容以在部署到服务器之前对其进行验证。
SearchVector 还提供哪些其他工具？
SearchVector 提供 Keyword Research、排名跟踪、GSC 分析、核心网络生命监控、站点地图分析等。
为什么 robots.txt 很重要？
Robots.txt 控制搜索引擎抓取您网站的方式。错误可能会意外阻止重要页面被索引或允许敏感区域被爬网。
Still have questions? Contact support
Ready to go further?
准备好提高您的搜索排名了吗？
Robots.txt只是SEO技术的一部分。 SearchVector 的仪表板为您提供全面的站点审核、排名跟踪等。