Een Google crawler is software die webpagina’s en andere bronnen opvraagt, zodat Google inhoud kan ontdekken en begrijpen. Googlebot is de belangrijkste crawler die is gekoppeld aan Google Search. Een bezoek van Googlebot betekent dat Google iets heeft opgehaald; het betekent niet dat de pagina is geïndexeerd of zal scoren voor een bepaalde zoekopdracht.
De bruikbare volgorde is ontdekken → crawlen → verwerken → indexeren → serveren. Voor een site-eigenaar vereist elke stap ander bewijsmateriaal. Begin met de exacte URL, controleer of deze opgehaald kan worden en gebruik je eigen Search Console-property om te onderzoeken wat Google daarover rapporteert.
Wat Googlebot doet wanneer hij
bezoektEen crawler verzendt een HTTP-verzoek, net zoals een browser een pagina opvraagt. De server retourneert een statuscode, headers en, indien beschikbaar, inhoud. Google kan ook bronnen ophalen die nodig zijn om de pagina weer te geven, zoals JavaScript en stylesheets. Een serverlogboek registreert verzoeken; het onthult niet elke latere beslissing die Google over de inhoud neemt.
Google beschrijft Googlebot Smartphone en Googlebot Desktop. Hun user-agent headers identificeren het crawler-subtype, maar beide gebruiken hetzelfde Googlebot-token in robots.txt. Ga er niet vanuit dat een pagina werkt voor de mobiele crawler van Google alleen maar omdat deze er compleet uitziet in uw desktopbrowser. Controleer ook de mobiele inhoud en toegangsvoorwaarden.
Volg de pagina van ontdekking tot een zoekresultaat
Google groepen Zoeken in crawlen, indexeren en serveren. Door detectie en verwerking binnen die uitleg te scheiden, kunt u problemen oplossen. De onderstaande fasen zijn een leermodel en geen belofte dat elke ontdekte URL er doorheen gaat. In de T17-gids van Google over hoe zoeken werkt wordt uitgelegd waarom crawlen, indexeren en weergave in resultaten niet gegarandeerd zijn.
| Stage | Wat het betekent voor uw page |
|---|---|
| Discover | Google leert dat een URL bestaat, bijvoorbeeld via een link of sitemap. |
| Crawl | Google vraagt de URL op en ontvangt een reactie bij toegang slaagt. |
| Proces | Google analyseert de inhoud en kan de pagina begrijpelijk maken it. |
| Index | Google beschouwt de inhoud voor de doorzoekbare index, inclusief dubbele handling. |
| Serve | Google selecteert resultaten voor een bepaalde zoekopdracht. Geïndexeerd worden garandeert niet dat uw doelzoekopdracht zichtbaar is. |
Stel dat uw browser een nieuwe gids correct weergeeft. Dat zorgt voor één succesvol bezoek onder de omstandigheden van uw browser. Het zorgt niet voor ontdekking door Google, toegang vanaf het netwerk van Google, of opname in de index. Houd deze vragen gescheiden als u een probleem aan uw ontwikkelaar rapporteert.
Help Google ontdek de URL die u daadwerkelijk wilt indexeren
Geef belangrijke pagina's nuttige interne links vanaf relevante, toegankelijke pagina's. Een gids die verborgen is voor navigatie en nooit gekoppeld is aan gerelateerde inhoud, is moeilijker te ontdekken dan een gids die verband houdt met een gevestigd onderwerp. Gebruik beschrijvende linktekst zodat lezers de bestemming ook begrijpen.
Een sitemap biedt een ander ontdekkingspad. Google'ssitemapdocumentatie legt het nut ervan uit voor grote sites, nieuwe sites en inhoud die moeilijk te ontdekken is via links. Opname in een sitemap garandeert nog steeds geen crawling of indexering.
Wanneer u een gids publiceert, controleer dan of de voorkeurs-URL in de juiste sitemap verschijnt en of de sitemap kan worden opgehaald. De Sitemap Analyzer van SearchVector is een startpunt voor het beoordelen van een sitemap. Beschouw de uitvoer ervan als sitemapbewijs en controleer vervolgens de afzonderlijke pagina afzonderlijk. Een sitemapinvoer kan een geblokkeerde pagina niet repareren.
Kies het juiste besturingselement: robots.txt, noindex of canonical
Deze bedieningselementen beantwoorden verschillende vragen. Het door elkaar halen is een veelvoorkomende reden dat een opzettelijke wijziging in de publicatie een onverwacht zoekresultaat oplevert.
- robots.txt regelt het crawlen. Een disallow-regel vertelt een crawler die aan de regels voldoet, geen overeenkomende inhoud aan te vragen. Een geblokkeerde URL kan nog steeds in de zoekresultaten verschijnen als Google er elders over leert.
- noindex beheert de indexering. Om Google een noindex-instructie in een pagina of HTTP-header te zien, moet crawlen zijn toegestaan. Het blokkeren van de URL terwijl noindex wordt toegevoegd, kan voorkomen dat Google de instructie leest.
- Een canonical identificeert een voorkeursversie. Het is een signaal voor dubbele of vergelijkbare pagina's, geen toegangscontrole en geen gegarandeerd commando.
Google documenteert de crawlvereiste in zijn noindex-richtlijnen en het onderscheid tussen signalen en selectie in zijn canonicalisatiegids. Inhoud die privé moet zijn, heeft een goede toegangsbeveiliging nodig. Robots.txt is publiekelijk leesbaar en vormt geen beveiligingsgrens.
Voordat u een robots-regel wijzigt, test u de exacte URL en de beoogde crawler. De Robots.txt Tester van SearchVector kan deze beoordeling ondersteunen. Noteer de regel die u onderzoekt, in plaats van een algeheel “toegestaan” resultaat te interpreteren als bewijs van indexeerbaarheid.
Lees het antwoord voordat u het artikel herschrijft
Een pagina kan mislukken in de toegangsfase, zelfs als de schrijfwijze uitstekend is. Controleer omleidingen en de eindbestemming, niet alleen de eerste reactie. Een succesvolle HTTP-status betekent dat het verzoek op dat niveau is geslaagd; het garandeert niet het nut van de pagina of de geschiktheid voor indexering.
De HTTP-statusbegeleidingT39｠Google maakt onderscheid tussen succesvolle reacties, omleidingen, clientfouten en serverfouten. Aanhoudende serverstoringen kunnen het crawlen beïnvloeden. Een foutbericht dat wordt geretourneerd met de status Succesvol kan ook een misleidend resultaat opleveren, vaak omschreven als een zachte 404 wanneer Google een foutachtige pagina herkent.Voor een gerichte eerste doorgang gebruikt u SearchVector’s Web Page Crawler om de crawlbaarheidssignalen te bekijken en deze vervolgens te vergelijken met uw server en Google bewijsmateriaal. Een crawler van derden is geen bot. Verschillen in netwerk, user-agent en weergave kunnen verklaren waarom twee controles het niet eens zijn.
Uitgewerkt voorbeeld: een gids blijft geblokkeerd na de lancering
Dit is een fictieve diagnostische oefening, geen crawllogboek van klanten. Stel je voor dat je /guides/packing-list start, ernaar linkt vanuit je gidsenhub en deze toevoegt aan een sitemap. Uw gewone browser ontvangt het bedoelde artikel, maar een robots-regel staat nog steeds de directory /guides/ niet toe. De pagina bevat ook een noindex-instructie die overblijft na de voorbereiding.
- Schrijf de beoogde status op. Deze handleiding moet openbaar zijn en in aanmerking komen voor indexering. Andere onvoltooide handleidingen hebben mogelijk nog steeds bescherming nodig.
- Controleer het exacte pad. Controleer of de relevante robotsregel overeenkomt met deze URL. Controleer de responsheaders en HTML van de pagina onafhankelijk op noindex.
- Maak een gerichte correctie. Pas de regel aan voor de beoogde openbare inhoud en verwijder de ongewenste noindex-richtlijn. Geef niet elke onvoltooide pagina breed weer om één guide te corrigeren.
- Hertest na implementatie. Bevestig dat de uiteindelijke URL de daadwerkelijke guide retourneert, dat de beoogde crawler er toegang toe heeft, en dat zowel headers als HTML de nieuwe indexering weerspiegelen instructie.
- Volg het bewijsmateriaal op. Inspecteer de URL in uw Search Console-property en voer een live test uit. Als de pagina in aanmerking komt, kunt u indexering aanvragen. Registreer de wijzigingen en kom later terug zonder een deadline te beloven.
De diagnose bestaat uit twee onafhankelijke obstakels, niet “Google heeft meer trefwoorden nodig.” Als u alleen het robotsblok verwijdert, blijft noindex op zijn plaats. Als u alleen noindex verwijdert, kan de pagina niet worden opgehaald. Zelfs na beide oplossingen garandeert een succesvolle test niet dat Google deze zal indexeren.
Controleer of een verzoek echt afkomstig is van Google
Iedereen kan een verzoek sturen waarin wordt beweerd dat het een Googlebot is in de user-agent header. Als verdacht verkeer uw site overbelast, controleer dan de oorsprong ervan voordat u crawlerspecifieke firewallregels maakt.
Volg de verzoekverificatie-instructies van Google. Voor een handmatige controle haalt u het bron-IP-adres uit een betrouwbaar logboek, voert u een omgekeerde DNS-zoekopdracht uit, verifieert u de resulterende hostnaam met het gedocumenteerde domein voor die crawlercategorie en lost u deze vervolgens op. Het voorwaartse resultaat moet overeenkomen met het oorspronkelijke IP-adres. Een naam die alleen ‘google’ bevat, is onvoldoende.
Voor automatische verificatie vergelijkt u de adressen met de gepubliceerde bereiken van Google voor de relevante crawler- of ophaalcategorie. Behandel niet al het door 8｠ gehoste verkeer als Googlebot. Als uw site achter een proxy zit, vraag dan aan uw infrastructuureigenaar welk logveld het geverifieerde klantadres vertegenwoordigt voordat u ernaar handelt.
Gebruik Search Console om de volgende actie te beslissen
De URL-inspectiedocumentatie vanGoogle maakt onderscheid tussen de geïndexeerde informatie van Google van een live test. Het geïndexeerde rapport weerspiegelt de versie die Google kent; een live test controleert de potentiële toegankelijkheid en indexeerbaarheid van de huidige pagina. Noch een succesvolle live test, noch een indexeringsverzoek garandeert opname.
Gebruik een account met toegang tot uw eigen eigendommen. Vergelijk de geïnspecteerde URL, informatie over de laatste crawl, indexeringsstatus en canonieke informatie, indien beschikbaar. Een nieuwe servercorrectie kan naast oudere geïndexeerde informatie bestaan. Noteer de data voordat u concludeert dat de correctie is mislukt.
Sluit af met één op bewijs gebaseerde actie: verbeter de detectie als de URL slecht is gekoppeld, herstel de toegang als verzoeken mislukken, verwijder een onbedoelde indexeringsbeperking, of onderzoek inhoud en duplicatie als Google de pagina heeft gecrawld maar deze heeft uitgesloten. Houd een korte registratie bij van de URL, observatie, wijziging en opvolging. Dat maakt “Google heeft ons niet gevonden” tot een probleem dat je daadwerkelijk kunt onderzoeken.
