Un Google crawler è un software che richiede pagine Web e altre risorse in modo che Google possa scoprire e comprendere i contenuti. Googlebot è il crawler principale associato a Google Search. Una visita da Googlebot significa che Google ha recuperato qualcosa; ciò non significa che la pagina è stata indicizzata o verrà classificata per una query particolare.
La sequenza utile è scopri → scansiona → elabora → indicizza → serve. Per il proprietario di un sito, ogni passaggio richiede prove diverse. Inizia con l'URL esatto, controlla se può essere recuperato e utilizza la tua proprietà Search Console per indagare su cosa Google riporta al riguardo.
Cosa fa Googlebot quando visita
Un crawler invia una richiesta HTTP, proprio come un browser che richiede una pagina. Il server restituisce un codice di stato, intestazioni e, quando disponibile, contenuto. Google può anche recuperare le risorse necessarie per eseguire il rendering della pagina, come JavaScript e fogli di stile. Un registro del server registra le richieste; non rivela ogni decisione successiva presa da Google in merito al contenuto.
Google descrive Googlebot Smartphone e Googlebot Desktop. Le intestazioni dello user-agent identificano il sottotipo del crawler, ma entrambi utilizzano lo stesso token bot Google in robots.txt. Non dare per scontato che una pagina funzioni per il crawler mobile di Google solo perché appare completa nel browser desktop. Ispeziona anche i contenuti mobili e le condizioni di accesso.
Segui la pagina dalla scoperta al risultato di ricerca
GruppiGoogle Ricerca in scansione, indicizzazione e pubblicazione. Separare l'individuazione e l'elaborazione all'interno di tale spiegazione aiuta a risolvere i problemi. Le fasi seguenti sono un modello di insegnamento, non una promessa che ogni URL scoperto progredisca attraverso di esse. La guida di Google su come funziona la ricerca spiega perché la scansione, l'indicizzazione e la visualizzazione nei risultati non sono garantite.
| Stadio | Cosa significa per il tuo page |
|---|---|
| Discover | Google apprende che esiste un URL, ad esempio attraverso un collegamento o sitemap. |
| Scansione | Google richiede l'URL e riceve una risposta in caso di accesso riesce. |
| Processo | Google analizza il contenuto e può visualizzare la pagina per comprenderla it. |
| Indice | Google considera il contenuto per il suo indice ricercabile, inclusi i duplicati gestione. |
| Serve | Google seleziona i risultati per una ricerca particolare. L'indicizzazione non garantisce la visibilità della query di destinazione. |
Supponiamo che il tuo browser visualizzi correttamente una nuova guida. Ciò stabilisce una visita riuscita nelle condizioni del tuo browser. Non stabilisce la scoperta da parte di Google, l'accesso dalla rete di Google o l'inclusione nel suo indice. Mantieni separate queste domande quando segnali un problema allo sviluppatore.
Aiuto Google scopri l'URL che desideri effettivamente indicizzare
Fornisci alle pagine importanti collegamenti interni utili da pagine pertinenti e accessibili. Una guida nascosta alla navigazione e mai collegata a contenuti correlati è più difficile da scoprire rispetto a una collegata a un argomento consolidato. Utilizza un testo di collegamento descrittivo in modo che anche i lettori comprendano la destinazione.
Una mappa del sito fornisce un altro percorso di scoperta. Googledocumentazione della mappa del sito spiega la sua utilità per siti di grandi dimensioni, nuovi siti e contenuti difficili da scoprire tramite collegamenti. L'inclusione in una mappa del sito non garantisce ancora la scansione o l'indicizzazione.
Quando pubblichi una guida, controlla che il suo URL preferito appaia nella mappa del sito corretta e che la mappa del sito possa essere recuperata. SearchVector Sitemap Analyser è un punto di partenza per la revisione di una mappa del sito. Tratta il suo output come prova della mappa del sito, quindi controlla la singola pagina separatamente. Una voce della mappa del sito non può riparare una pagina bloccata.
Scegli il controllo giusto: robots.txt, noindex o canonical
Questi controlli rispondono a domande diverse. Mescolarli è un motivo comune per cui una modifica deliberata della pubblicazione produce un risultato di ricerca inaspettato.
- robots.txt controlla la scansione. Una regola non consentita indica a un crawler conforme di non richiedere contenuto corrispondente. Un URL bloccato può ancora apparire nella ricerca se Google ne viene a conoscenza altrove.
- noindex controlla l'indicizzazione. Affinché Google possa vedere una direttiva noindex in una pagina o in un'intestazione HTTP, la scansione deve essere consentita. Il blocco dell'URL durante l'aggiunta di noindex può impedire a Google di leggere l'istruzione.
- Un canonical identifica una versione preferita. È un segnale per pagine duplicate o simili, non un controllo di accesso e non un comando garantito.
Google documenta i requisiti di scansione nella sua guida noindex e la distinzione tra segnali e selezione nella sua guida alla canonicalizzazione. I contenuti che devono essere privati necessitano di un'adeguata protezione dell'accesso. Robots.txt è leggibile pubblicamente e non rappresenta un limite di sicurezza.
Prima di modificare una regola robots, testare l'URL preciso e il crawler previsto. SearchVectorRobots.txt Tester può supportare tale revisione. Registra la regola che stai esaminando anziché interpretare un risultato complessivo "consentito" come prova di indicizzabilità.
Leggi la risposta prima di riscrivere l'articolo
Una pagina può fallire in fase di accesso anche quando la sua scrittura è eccellente. Controlla i reindirizzamenti e la destinazione finale, non solo la prima risposta. Uno stato HTTP riuscito significa che la richiesta è riuscita a quel livello; non certifica l'utilità della pagina o l'idoneità all'indicizzazione.
La guida allo stato HTTP di T39｠GoogleHTTP distingue le risposte riuscite, i reindirizzamenti, gli errori del client e gli errori del server. Gli errori persistenti del server possono influire sulla scansione. Un messaggio di errore restituito con uno stato di successo può anche creare un risultato fuorviante, spesso descritto come un soft 404 quando Google riconosce una pagina simile a un errore.Per un primo passaggio mirato, utilizza il Web Page Crawler di SearchVector per esaminare i segnali di crawlability, quindi confrontali con il tuo server e le prove Google. Un crawler di terze parti non è un bot. Le differenze nella rete, nel programma utente e nel rendering possono spiegare perché due controlli non sono d'accordo.
Esempio funzionante: una guida ancora bloccata dopo il lancio
Si tratta di un esercizio diagnostico fittizio, non di un registro di scansione del cliente. Immagina di lanciare /guides/packing-list, collegarlo dal tuo hub delle guide e aggiungerlo a una mappa del sito. Il tuo normale browser riceve l'articolo desiderato, ma una regola del robot non consente comunque la directory /guides/. La pagina contiene anche una direttiva noindex rimasta dalla preparazione.
- Annotare lo stato previsto. Questa guida dovrebbe essere pubblica e idonea all'indicizzazione. Altre guide non completate potrebbero ancora aver bisogno di protezione.
- Controlla il percorso esatto. Conferma che la regola robot pertinente corrisponde a questo URL. Controlla le intestazioni di risposta della pagina e l'HTML per noindex in modo indipendente.
- Apporta una correzione mirata. Modifica la regola per il contenuto pubblico previsto e rimuovi la direttiva noindex indesiderata. Non esporre in modo ampio tutte le pagine incomplete per correggere una guida.
- Testare nuovamente dopo la distribuzione. Confermare che l'URL finale restituisca la guida effettiva, che il crawler previsto possa accedervi e che sia le intestazioni che l'HTML riflettano le nuove istruzioni di indicizzazione.
- Follow up con Google prova. Nella proprietà di Search Console, controlla l'URL ed esegui un test in tempo reale. Se la pagina è idonea, puoi richiedere l'indicizzazione. Registra le modifiche e ricontrolla senza promettere una scadenza.
La diagnosi riguarda due ostacoli indipendenti, non “Google necessita di più parole chiave”. La rimozione solo del blocco robots lascia noindex al suo posto. La rimozione solo del noindex lascia Google impossibile recuperare la pagina. Anche dopo entrambe le correzioni, un test riuscito non garantisce che Google lo indicizzerà.
Verificare che la richiesta provenga realmente da Google
Chiunque può inviare una richiesta dichiarando di essere Googlebot nell'intestazione dello user-agent. Se il traffico sospetto sovraccarica il tuo sito, verificane l'origine prima di creare regole firewall specifiche per il crawler.
Seguire le istruzioni di verifica della richiesta di Google. Per un controllo manuale, prendi l'IP di origine da un registro affidabile, esegui una ricerca DNS inversa, verifica il nome host risultante rispetto al dominio documentato per quella categoria di crawler, quindi risolvilo in avanti. Il risultato inoltrato deve corrispondere all'IP originale. Un nome contenente semplicemente "google" non è sufficiente.
Per la verifica automatizzata, abbina gli indirizzi agli intervalli pubblicati di Google per la categoria di crawler o fetcher pertinente. Non trattare tutto il traffico ospitato su Google come Googlebot. Se il tuo sito si trova dietro un proxy, chiedi al proprietario dell'infrastruttura quale campo di registro rappresenta l'indirizzo del cliente verificato prima di agire su di esso.
Utilizza Search Console per decidere l'azione successiva
La documentazione sull'ispezione URL di T41｠Google distingue le informazioni indicizzate di Google da un test in tempo reale. Il rapporto indicizzato riflette la versione di cui è a conoscenza Google; un test in tempo reale verifica la potenziale accessibilità e indicizzabilità della pagina corrente. Né un test live riuscito né una richiesta di indicizzazione garantiscono l'inclusione.Utilizza un account con accesso alla tua proprietà. Confronta l'URL controllato, le informazioni sull'ultima scansione, lo stato di indicizzazione e le informazioni canoniche, ove disponibili. Una nuova correzione del server può coesistere con informazioni indicizzate più vecchie. Prendere nota delle date prima di concludere che la correzione non è riuscita.
Concludi con un'azione basata sull'evidenza: migliora l'individuazione se l'URL ha collegamenti scadenti, ripara l'accesso se le richieste falliscono, rimuovi una restrizione di indicizzazione involontaria o esamina contenuti e duplicazioni se Google ha scansionato la pagina ma l'ha esclusa. Tieni una breve registrazione dell'URL, dell'osservazione, della modifica e del follow-up. Ciò trasforma "Google non ci ha trovato" in un problema su cui puoi effettivamente indagare.
