抓取规则构建器
Robots.txt 生成器
用户代理规则
针对所有抓取工具，或仅针对其中一个。
屏蔽路径
让私密文件夹不被收录。
站点地图声明行
将抓取工具直接引向你的站点地图。
发布前检查
上传前先测试规则。
一次写好抓取规则，上传前先测试。
明确用户代理，确保路径安全，避免意外屏蔽。
Let's build your robots.txt
robots.txt
9 lines · upload to your site root
# robots.txt for example.com # Generated with SearchVector — test before uploading to your site root. User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /search Sitemap: https://example.com/sitemap.xml
3 rules
Disallow lines
Subject: example.com
Result
Draft crawl rules, then test important pages before uploading robots.txt.
Written for every crawler.
Rules
3 rules
Written for every crawler.
Sitemap line
Included
https://example.com/sitemap.xml
Safety check
Looks safe
No rule bars the site root.
One wrong line hides a whole site.
Draft, test, and monitor crawl rules with confidence.
Clear agents. Safe paths. No accidental blocks.
创建一份 robots.txt 草稿，包含用户代理规则、禁止抓取的路径、站点地图位置和发布前安全检查清单。
参考竞争对手的工作流
Robots.txt 生成器专为行动打造
生成抓取规则，并明确上传前需要测试的内容。
页面将竞争对手的页面模式作为内部规划参考，然后呈现中立的 SearchVector 工作流和可执行的后续行动。
正确的用户代理
准确针对目标的规则
更安全的屏蔽
避免意外禁止全站抓取
更快发现内容
预先声明站点地图
减少错误
上传前完成检查
规则
首屏实用工具
站点地图声明行
清晰的输出面板
安全检查
衔接 SearchVector
专为抓取控制打造
针对特定用户代理的规则
安全的禁止抓取路径
发布前检查
基于证据的简报
此工作流 需要证明什么
生成抓取规则，并明确上传前需要测试的内容。
规则
利用这一信号，决定哪些事项值得在正式实施前通过 SearchVector 进行更深入的验证。
站点地图声明行
利用这一信号，决定哪些事项值得在正式实施前通过 SearchVector 进行更深入的验证。
安全检查
利用这一信号，决定哪些事项值得在正式实施前通过 SearchVector 进行更深入的验证。
页面应涵盖的内容
此页面应生成抓取规则，并明确上传前必须测试的内容。
开始使用
如何使用 Robots.txt 生成器
在更改生产环境之前，将重要决策纳入 SearchVector 的实时工作流。
01
输入真实数据
从用户想要检查的具体 URL、关键词、页面或业务指标开始。
02
查看输出面板
利用首屏结果识别最强的信号和风险最高的缺口。
03
在 SearchVector 中验证
在更改生产环境之前，将重要决策纳入 SearchVector 的实时工作流。
Robots.txt 生成器 常见问题
使用 Robots.txt 生成器前的实用问答。