A Google crawler é um software que solicita páginas da web e outros recursos para que Google possa descobrir e compreender o conteúdo. Googlebot é o principal rastreador associado à Google Pesquisa. Uma visita do Googlebot significa que Google buscou algo; isso não significa que a página foi indexada ou será classificada para uma consulta específica.
A sequência útil é descobrir → rastrear → processar → indexar → servir. Para o proprietário de um site, cada etapa exige evidências diferentes. Comece com o URL exato, verifique se ele pode ser obtido e use sua própria propriedade do Search Console para investigar o que Google relata sobre ele.
O que Googlebot faz quando visita
Um rastreador envia uma solicitação HTTP, assim como um navegador solicita uma página. O servidor retorna um código de status, cabeçalhos e, quando disponível, conteúdo. Google também pode buscar recursos necessários para renderizar a página, como JavaScript e folhas de estilo. Um log do servidor registra solicitações; não revela todas as decisões posteriores que Google toma sobre o conteúdo.
Google descreve Googlebot Smartphone e Googlebot Desktop. Seus cabeçalhos de agente de usuário identificam o subtipo do rastreador, mas ambos usam o mesmo token de bot Google em robots.txt. Não presuma que uma página funciona para o rastreador móvel do Google só porque parece completa no navegador do seu desktop. Inspecione também o conteúdo móvel e as condições de acesso.
Siga a página desde a descoberta até um resultado de pesquisa
Google grupos Pesquise rastreamento, indexação e veiculação. Separar a descoberta e o processamento nessa explicação ajuda a solucionar problemas. As etapas abaixo são um modelo de ensino, não uma promessa de que cada URL descoberta progrida através delas. O guia Google sobre como funciona a Pesquisa explica por que o rastreamento, a indexação e a aparência nos resultados não são garantidos.
| Estágio | O que isso significa para o seu page |
|---|---|
| Discover | Google aprende que um URL existe, por exemplo, através de um link ou sitemap. |
| Crawl | Google solicita a URL e recebe uma resposta se acessar consegue. |
| Processo | Google analisa o conteúdo e pode renderizar a página para entender it. |
| Index | Google considera o conteúdo para seu índice pesquisável, incluindo duplicatas manuseio. |
| Servir | Google seleciona resultados para uma pesquisa específica. Ser indexado não garante visibilidade para sua consulta de destino. |
Suponha que seu navegador exiba um novo guia corretamente. Isso estabelece uma visita bem-sucedida nas condições do seu navegador. Não estabelece descoberta por Google, acesso da rede Google ou inclusão em seu índice. Mantenha essas perguntas separadas ao relatar um problema ao seu desenvolvedor.
Ajuda Google descubra o URL que você realmente deseja indexar
Forneça às páginas importantes links internos úteis de páginas relevantes e acessíveis. Um guia oculto da navegação e nunca vinculado a conteúdo relacionado é mais difícil de descobrir do que aquele conectado a um tópico estabelecido. Use um texto descritivo do link para que os leitores também entendam o destino.
Um mapa do site fornece outro caminho de descoberta. Googledocumentação do mapa do site explica sua utilidade para sites grandes, novos sites e conteúdos difíceis de descobrir por meio de links. A inclusão em um mapa do site ainda não garante rastreamento ou indexação.
Ao publicar um guia, verifique se seu URL preferido aparece no mapa do site correto e se o mapa do site pode ser obtido. O SearchVector Sitemap Analyzer é um ponto de partida para revisar um mapa do site. Trate sua saída como evidência de mapa do site e verifique a página individual separadamente. Uma entrada no mapa do site não pode reparar uma página bloqueada.
Escolha o controle correto: robots.txt, noindex ou canônico
Esses controles respondem a diferentes perguntas. Misturá-los é um motivo comum pelo qual uma mudança deliberada na publicação produz um resultado de pesquisa inesperado.
- robots.txt controla o rastreamento. Uma regra de proibição diz a um rastreador compatível para não solicitar conteúdo correspondente. Um URL bloqueado ainda pode aparecer na pesquisa se Google descobrir sobre isso em outro lugar.
- noindex controla a indexação. Para que Google veja uma diretiva noindex em uma página ou cabeçalho HTTP, o rastreamento deve ser permitido. Bloquear o URL ao adicionar noindex pode impedir que Google leia a instrução.
- Um canônico identifica uma versão preferida. É um sinal para páginas duplicadas ou semelhantes, não um controle de acesso e não um comando garantido.
Google documenta o requisito de rastreamento em sua noindex guide e a distinção entre sinais e seleção em seu guia de canonização. O conteúdo que deve ser privado precisa de proteção de acesso adequada. Robots.txt pode ser lido publicamente e não é um limite de segurança.
Antes de alterar uma regra de robôs, teste o URL preciso e o rastreador pretendido. O SearchVector Robots.txt Tester pode apoiar essa revisão. Registre a regra que você está investigando em vez de interpretar um resultado geral “permitido” como prova de indexabilidade.
Leia a resposta antes de reescrever o artigo
Uma página pode falhar na fase de acesso mesmo quando sua escrita é excelente. Verifique os redirecionamentos e o destino final, não apenas a primeira resposta. Um status HTTP bem-sucedido significa que a solicitação foi bem-sucedida nesse nível; ele não certifica a utilidade da página ou a elegibilidade para indexação.
A orientação de status HTTPGoogle HTTP distingue respostas bem-sucedidas, redirecionamentos, erros de cliente e erros de servidor. Falhas persistentes no servidor podem afetar o rastreamento. Uma mensagem de erro retornada com status de sucesso também pode criar um resultado enganoso, geralmente descrito como um soft 404 quando Google reconhece uma página semelhante a um erro.
Para uma primeira passagem focada, use o SearchVector Web Page Crawler para revisar os sinais de rastreabilidade e, em seguida, compare-os com seu servidor e Google evidências. Um rastreador de terceiros não é um bot Google. Diferenças na rede, agente do usuário e renderização podem explicar por que duas verificações discordam.
Exemplo resolvido: um guia ainda bloqueado após o lançamento
Este é um exercício de diagnóstico fictício, não um registro de rastreamento do cliente. Imagine que você inicia /guides/packing-list, cria um link para ele no hub de guias e o adiciona a um mapa do site. Seu navegador comum recebe o artigo pretendido, mas uma regra de robôs ainda não permite o diretório /guides/. A página também contém uma diretiva noindex que sobrou da preparação.
- Anote o estado pretendido. Este guia deve ser público e elegível para indexação. Outros guias inacabados ainda podem precisar de proteção.
- Verifique o caminho exato. Confirme se a regra de robôs relevante corresponde a este URL. Verifique os cabeçalhos de resposta da página e o HTML para noindex de forma independente.
- Faça uma correção de escopo. Ajuste a regra para o conteúdo público pretendido e remova a diretiva noindex indesejada. Não exponha amplamente todas as páginas inacabadas para corrigir um guia.
- Teste novamente após a implantação. Confirme se o URL final retorna o guia real, o rastreador pretendido pode acessá-lo e ambos os cabeçalhos e HTML refletem a nova instrução de indexação.
- Acompanhamento com Google evidência. Na propriedade do Search Console, inspecione o URL e execute um teste ao vivo. Se a página for elegível, você poderá solicitar a indexação. Registre as alterações e verifique novamente sem prometer prazo.
O diagnóstico consiste em dois obstáculos independentes, não “Google precisa de mais palavras-chave”. Remover apenas o bloco robots não deixa nenhum índice no lugar. Remover apenas noindex deixa Google incapaz de buscar a página. Mesmo depois de ambas as correções, um teste bem-sucedido não garante que Google irá indexá-lo.
Verifique se uma solicitação realmente veio de Google
Qualquer pessoa pode enviar uma solicitação alegando ser Googlebot no cabeçalho do agente do usuário. Se o tráfego suspeito estiver sobrecarregando seu site, verifique sua origem antes de criar regras de firewall específicas do rastreador.
Siga as instruções de verificação de solicitação Google de . Para uma verificação manual, pegue o IP de origem de um log confiável, execute uma pesquisa reversa de DNS, verifique o nome do host resultante em relação ao domínio documentado para essa categoria de rastreador e, em seguida, resolva-o adiante. O resultado de encaminhamento deve corresponder ao IP original. Um nome contendo apenas “google” é insuficiente.
Para verificação automatizada, compare os endereços com os intervalos publicados de Google para o rastreador ou categoria de busca relevante. Não trate todo o tráfego hospedado em Google como Googlebot. Se o seu site estiver atrás de um proxy, pergunte ao proprietário da infraestrutura qual campo de log representa o endereço do cliente verificado antes de agir sobre ele.
Use o Search Console para decidir a próxima ação
Google's Documentação de inspeção de URL distingue as informações indexadas de Google de um teste ao vivo. O relatório indexado reflete a versão que Google conhece; um teste ao vivo verifica a acessibilidade e indexabilidade potencial da página atual. Nem um teste ao vivo bem-sucedido nem uma solicitação de indexação garantem a inclusão.
Use uma conta com acesso à sua própria propriedade. Compare o URL inspecionado, as informações do último rastreamento, o status da indexação e as informações canônicas, quando disponíveis. Uma nova correção de servidor pode coexistir com informações indexadas mais antigas. Observe as datas antes de concluir que a correção falhou.
Termine com uma ação baseada em evidências: melhore a descoberta se o URL estiver mal vinculado, repare o acesso se as solicitações falharem, remova uma restrição de indexação não intencional ou investigue o conteúdo e a duplicação se Google rastreou a página, mas a excluiu. Mantenha um breve registro da URL, observação, alteração e acompanhamento. Isso transforma “Google não nos encontrou” em um problema que você pode realmente investigar.
