Creador de reglas de rastreo
Robots.txt Generador
Reglas de agentes
Aplica las reglas a todos los rastreadores o solo a uno.
Rutas bloqueadas
Mantén las carpetas privadas fuera del índice.
Línea del mapa del sitio
Dirige los rastreadores directamente a tu mapa del sitio.
Comprobación previa a la publicación
Prueba las reglas antes de subir el archivo.
Escribe las reglas de rastreo una vez. Pruébalas antes de subir el archivo.
Agentes bien definidos. Rutas seguras. Sin bloqueos accidentales.
Let's build your robots.txt
robots.txt
9 lines · upload to your site root
# robots.txt for example.com # Generated with SearchVector — test before uploading to your site root. User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /search Sitemap: https://example.com/sitemap.xml
3 rules
Disallow lines
Subject: example.com
Result
Draft crawl rules, then test important pages before uploading robots.txt.
Written for every crawler.
Rules
3 rules
Written for every crawler.
Sitemap line
Included
https://example.com/sitemap.xml
Safety check
Looks safe
No rule bars the site root.
One wrong line hides a whole site.
Draft, test, and monitor crawl rules with confidence.
Clear agents. Safe paths. No accidental blocks.
Crea un borrador de robots.txt con reglas de user-agent, rutas no permitidas, ubicación del mapa del sitio y una lista de comprobación de seguridad previa a la publicación.
Flujo de trabajo basado en el análisis de la competencia
Generador de robots.txtdiseñado para Actuar
Genera reglas de rastreo y deja claro qué debe probarse antes de subir el archivo.
La página utiliza patrones de páginas de la competencia como información interna para la planificación y después presenta un flujo de trabajo neutral de SearchVector con próximos pasos prácticos.
Agentes adecuados
Reglas dirigidas correctamente
Bloqueos más seguros
Sin bloqueo accidental de todo el sitio
Descubrimiento más rápido
Mapa del sitio declarado desde el principio
Menos errores
Comprobado antes de subirlo
Reglas
Utilidad visible sin desplazarte
Línea del mapa del sitio
Panel de resultados claro
Comprobación de seguridad
Transferencia a SearchVector
Diseñado para controlar el rastreo
Reglas específicas por agente
Rutas no permitidas seguras
Comprobaciones previas a la publicación
Resumen basado en evidencias
Lo que este flujo de trabajo debe demostrar
Genera reglas de rastreo y deja claro qué debe probarse antes de subir el archivo.
Reglas
Usa esta señal para decidir qué merece una validación más exhaustiva en SearchVector antes de trabajar en producción.
Línea del mapa del sitio
Usa esta señal para decidir qué merece una validación más exhaustiva en SearchVector antes de trabajar en producción.
Comprobación de seguridad
Usa esta señal para decidir qué merece una validación más exhaustiva en SearchVector antes de trabajar en producción.
Qué debe cubrir la página
La página debe generar reglas de rastreo y dejar claro qué hay que probar antes de subir el archivo.
Comenzar
Cómo usar la Generador de robots.txt
Lleva las decisiones importantes a los flujos de trabajo en vivo de SearchVector antes de realizar cambios en producción.
01
Introduce datos realistas
Empieza con la URL, la palabra clave, la página o la métrica de negocio exacta que el usuario quiere comprobar.
02
Lee el panel de resultados
Usa el resultado visible sin desplazarte para identificar la señal más sólida y la brecha de mayor riesgo.
03
Validar en SearchVector
Lleva las decisiones importantes a los flujos de trabajo en vivo de SearchVector antes de realizar cambios en producción.
Generador de robots.txt Preguntas frecuentes
Preguntas prácticas antes de usar el generador de robots.txt.