A Google es un software que solicita páginas web y otros recursos para que Google pueda descubrir y comprender el contenido. Googlebot es el principal rastreador asociado con Google Search. Una visita de Googlebot significa que Google ha traído algo; no significa que la página haya sido indexada o se clasifique para una consulta en particular.
La secuencia útil es descubrir → rastrear → procesar → indexar → servir. Para el propietario de un sitio, cada paso requiere pruebas diferentes. Comience con la URL exacta, verifique si se puede recuperar y use su propia propiedad de Search Console para investigar qué informa Google al respecto.
Qué hace el robot Google cuando visita
Un rastreador envía una solicitud HTTP, muy parecido a un navegador que solicita una página. El servidor devuelve un código de estado, encabezados y, cuando esté disponible, contenido. Google también puede recuperar los recursos necesarios para representar la página, como JavaScript y hojas de estilo. Un registro del servidor registra las solicitudes; no revela todas las decisiones posteriores que Google toma sobre el contenido.
Google describe Googlebot Smartphone y Googlebot Desktop. Sus encabezados de agente de usuario identifican el subtipo de rastreador, pero ambos usan el mismo token Googlebot en robots.txt. No asuma que una página funciona para el rastreador móvil de Google sólo porque parece completa en su navegador de escritorio. Inspeccione también el contenido móvil y las condiciones de acceso.
Sigue la página desde el descubrimiento hasta un resultado de búsqueda
Google grupos Búsqueda de rastreo, indexación y publicación. Separar el descubrimiento y el procesamiento dentro de esa explicación le ayudará a solucionar problemas. Las etapas siguientes son un modelo de enseñanza, no una promesa de que cada URL descubierta avance a través de ellas. La guía sobre cómo funciona la búsqueda explica por qué el rastreo, la indexación y la aparición en los resultados no están garantizados.
| Etapa | Qué significa para tu page |
|---|---|
| Discover | Google aprende que existe una URL, por ejemplo a través de un enlace o sitemap. |
| Crawl | Google solicita la URL y recibe una respuesta si accede tiene éxito. |
| Process | Google analiza el contenido y puede representar la página para comprenderla. it. |
| Index | Google considera el contenido de su índice de búsqueda, incluidos los duplicados. manejo. |
| Serve | Google selecciona resultados para una búsqueda particular. Estar indexado no garantiza la visibilidad de su consulta de destino. |
Supongamos que su navegador muestra una nueva guía correctamente. Eso establece una visita exitosa según las condiciones de su navegador. No establece descubrimiento por parte de Google, acceso desde la red de Google ni inclusión en su índice. Mantenga esas preguntas separadas cuando informe un problema a su desarrollador.
Ayuda Google descubra la URL que realmente desea indexar
Proporcione a las páginas importantes enlaces internos útiles desde páginas relevantes y accesibles. Una guía oculta a la navegación y nunca vinculada a contenido relacionado es más difícil de descubrir que una conectada a un tema establecido. Utilice texto de enlace descriptivo para que los lectores también comprendan el destino.
Un mapa del sitio proporciona otra ruta de descubrimiento. Googledocumentación de mapas de sitios explica su utilidad para sitios grandes, sitios nuevos y contenido que es difícil de descubrir a través de enlaces. La inclusión en un mapa del sitio aún no garantiza el rastreo o la indexación.
Cuando publique una guía, verifique que su URL preferida aparezca en el mapa del sitio correcto y que se pueda recuperar el mapa del sitio. El Sitemap Analyzer de SearchVector es un punto de partida para revisar un mapa del sitio. Trate su resultado como evidencia de un mapa del sitio y luego verifique la página individual por separado. Una entrada del mapa del sitio no puede reparar una página bloqueada.
Elija el control correcto: robots.txt, noindex o canonical
Estos controles responden a diferentes preguntas. Mezclarlos es una razón común por la que un cambio de publicación deliberado produce un resultado de búsqueda inesperado.
- robots.txt controla el rastreo. Una regla de no permitir le indica a un rastreador compatible que no solicite contenido coincidente. Una URL bloqueada aún puede aparecer en la búsqueda si Google la descubre en otro lugar.
- noindex controla la indexación. Para que Google vea una directiva noindex en una página o encabezado HTTP, se debe permitir el rastreo. Bloquear la URL mientras se agrega noindex puede impedir que Google lea las instrucciones.
- Un canónico identifica una versión preferida. Es una señal de páginas duplicadas o similares, no un control de acceso ni un comando garantizado.
Google documenta el requisito de rastreo en su guía sin índice y la distinción entre señales y selección en su guía de canonicalización. El contenido que debe ser privado necesita una protección de acceso adecuada. Robots.txt es legible públicamente y no es un límite de seguridad.
Antes de cambiar una regla de robots, pruebe la URL precisa y el rastreador previsto. El Robots.txt Tester de SearchVector puede respaldar esa revisión. Registre la regla que está investigando en lugar de interpretar un resultado general “permitido” como prueba de indexabilidad.
Lea la respuesta antes de reescribir el artículo
Una página puede fallar en la etapa de acceso incluso cuando su redacción es excelente. Comprueba las redirecciones y el destino final, no sólo la primera respuesta. Un estado HTTP exitoso significa que la solicitud se realizó correctamente en ese nivel; no certifica la utilidad de la página ni su elegibilidad para indexación.
La guía de estado HTTP deGoogle distingue respuestas exitosas, redireccionamientos, errores del cliente y errores del servidor. Las fallas persistentes del servidor pueden afectar el rastreo. Un mensaje de error devuelto con un estado exitoso también puede generar un resultado engañoso, a menudo descrito como un 404 suave cuando Google reconoce una página similar a un error.
Para un primer paso enfocado, utilice el Web Page Crawler de SearchVector para revisar las señales de rastreabilidad, luego compárelas con su servidor y la evidencia de Google. Un rastreador de terceros no es Googlebot. Las diferencias en la red, el agente de usuario y la representación pueden explicar por qué dos comprobaciones no están de acuerdo.
Ejemplo resuelto: una guía aún bloqueada después del lanzamiento
Este es un ejercicio de diagnóstico ficticio, no un registro de rastreo de clientes. Imagine que inicia /guides/packing-list, lo vincula desde su centro de guías y lo agrega a un mapa del sitio. Su navegador normal recibe el artículo deseado, pero una regla de robots aún no permite el directorio /guides/. La página también contiene una directiva noindex sobrante de la preparación.
- Anote el estado previsto. Esta guía debe ser pública y elegible para indexación. Es posible que otras guías sin terminar aún necesiten protección.
- Compruebe la ruta exacta. Confirme que la regla de robots relevante coincida con esta URL. Verifique los encabezados de respuesta de la página y el HTML para ver si no hay índice de forma independiente.
- Haga una corrección de alcance. Ajuste la regla para el contenido público previsto y elimine la directiva noindex no deseada. No exponga ampliamente todas las páginas sin terminar para corregir una guía.
- Vuelva a realizar la prueba después de la implementación. Confirme que la URL final devuelva la guía real, que el rastreador previsto pueda acceder a ella y que tanto los encabezados como el HTML reflejen la nueva instrucción de indexación.
- Seguimiento con evidencia Google. En su propiedad de Search Console, inspeccione la URL y ejecute una prueba en vivo. Si la página es elegible, puede solicitar la indexación. Registre los cambios y vuelva a consultarlos sin prometer una fecha límite.
El diagnóstico son dos obstáculos independientes, no “Google necesita más palabras clave”. Quitar solo el bloque de robots no deja ningún ��ndice en su lugar. Al eliminar solo noindex, Google no puede recuperar la página. Incluso después de ambas correcciones, una prueba exitosa no garantiza que Google lo indexe.
Verificar que una solicitud realmente vino de Google
Cualquiera puede enviar una solicitud afirmando ser Googlebot en su encabezado de agente de usuario. Si tráfico sospechoso está sobrecargando su sitio, verifique su origen antes de crear reglas de firewall específicas para el rastreador.
Siga las instrucciones de verificación de solicitud de Google. Para una verificación manual, tome la IP de origen de un registro confiable, realice una búsqueda DNS inversa, verifique el nombre de host resultante con el dominio documentado para esa categoría de rastreador y luego resuélvalo. El resultado reenviado debe coincidir con la IP original. Un nombre que simplemente contenga “google” es insuficiente.
Para la verificación automatizada, compare las direcciones con los rangos publicados de Google para la categoría de rastreador o buscador relevante. No trate todo el tráfico alojado en Google como Googlebot. Si su sitio se encuentra detrás de un proxy, pregunte al propietario de su infraestructura qué campo de registro representa la dirección del cliente verificada antes de actuar en consecuencia.
Utiliza Search Console para decidir la siguiente acción
La documentación de inspección de URL T41｠GoogleT42 distingue la información indexada de Google de una prueba en vivo. El informe indexado refleja la versión que Google conoce; Una prueba en vivo verifica la posible accesibilidad e indexabilidad de la página actual. Ni una prueba en vivo exitosa ni una solicitud de indexación garantizan la inclusión.Utilice una cuenta con acceso a su propia propiedad. Compare la URL inspeccionada, la información del último rastreo, el estado de indexación y la información canónica cuando esté disponible. Una nueva corrección del servidor puede coexistir con información indexada más antigua. Tenga en cuenta las fechas antes de concluir que la corrección falló.
Termine con una acción basada en evidencia: mejorar el descubrimiento si la URL está mal vinculada, reparar el acceso si las solicitudes fallan, eliminar una restricción de indexación no deseada o investigar el contenido y la duplicación si Google ha rastreado la página pero la ha excluido. Mantenga un breve registro de la URL, observación, cambio y seguimiento. Eso convierte "Google no nos ha encontrado" en un problema que realmente puedes investigar.
