Ein Google Crawler ist eine Software, die Webseiten und andere Ressourcen anfordert, damit Google Inhalte entdecken und verstehen kann. Googlebot ist der Hauptcrawler, der mit Google Search verbunden ist. Ein Besuch von Googlebot bedeutet, dass Google etwas geholt hat; Dies bedeutet nicht, dass die Seite indiziert wurde oder für eine bestimmte Suchanfrage einen Rang erhält.
Die nützliche Reihenfolge ist Erkennen → Crawlen → Verarbeiten → Indexieren → Servieren. Für einen Websitebesitzer erfordert jeder Schritt unterschiedliche Beweise. Beginnen Sie mit der genauen URL, prüfen Sie, ob diese abgerufen werden kann, und nutzen Sie Ihre eigene Search Console-Property, um zu untersuchen, was Google darüber berichtet.
Was GoogleBot macht, wenn er
besuchtEin Crawler sendet eine HTTP-Anfrage, ähnlich wie ein Browser, der eine Seite anfordert. Der Server gibt einen Statuscode, Header und, sofern verfügbar, Inhalte zurück. Google kann auch Ressourcen abrufen, die zum Rendern der Seite erforderlich sind, z. B. JavaScript und Stylesheets. Ein Serverprotokoll zeichnet Anfragen auf; es offenbart nicht jede spätere Entscheidung, die Google über den Inhalt trifft.
Google beschreibt Googlebot Smartphone und Googlebot Desktop. Ihre User-Agent-Header identifizieren den Crawler-Subtyp, aber beide verwenden dasselbe GoogleBot-Token in robots.txt. Gehen Sie nicht davon aus, dass eine Seite für den mobilen Crawler von Google funktioniert, nur weil sie in Ihrem Desktop-Browser vollständig aussieht. Überprüfen Sie auch die mobilen Inhalte und Zugriffsbedingungen.
Folgen Sie der Seite von der Entdeckung bis zu einem Suchergebnis
Google Gruppen Suche nach Crawling, Indexierung und Bereitstellung. Die Trennung von Erkennung und Verarbeitung innerhalb dieser Erklärung hilft Ihnen bei der Fehlerbehebung. Bei den folgenden Schritten handelt es sich um ein Lehrmodell und nicht um ein Versprechen, dass jede entdeckte URL sie durchläuft. Googles Leitfaden zur Funktionsweise der Suche erklärt, warum das Crawlen, die Indizierung und das Erscheinen in Ergebnissen nicht garantiert werden.
| Stufe | Was es für Sie bedeutet page |
|---|---|
| Discover | Google erfährt, dass eine URL existiert, zum Beispiel durch einen Link oder Sitemap. |
| Crawl | Google fordert die URL an und erhält bei Zugriff eine Antwort Erfolgreich. |
| Prozess | Google analysiert den Inhalt und stellt die Seite möglicherweise verständlich dar it. |
| Index | Google berücksichtigt den Inhalt für seinen durchsuchbaren Index, einschließlich Duplikate Handhabung. |
| Serve | Google wählt Ergebnisse für eine bestimmte Suche aus. Die Indizierung garantiert nicht die Sichtbarkeit Ihrer Zielabfrage. |
Angenommen, Ihr Browser zeigt eine neue Anleitung korrekt an. Dies stellt unter den Bedingungen Ihres Browsers einen erfolgreichen Besuch dar. Es stellt keine Entdeckung durch Google, keinen Zugriff aus dem Netzwerk von Google oder die Aufnahme in seinen Index her. Halten Sie diese Fragen getrennt, wenn Sie Ihrem Entwickler ein Problem melden.
Hilfe Google Entdecken Sie die URL, die Sie tatsächlich indizieren möchten
Geben Sie wichtigen Seiten nützliche interne Links von relevanten, zugänglichen Seiten. Ein Leitfaden, der in der Navigation verborgen ist und nie mit verwandten Inhalten verlinkt ist, ist schwerer zu finden als einer, der mit einem etablierten Thema verknüpft ist. Verwenden Sie beschreibenden Linktext, damit die Leser auch das Ziel verstehen.
Eine Sitemap bietet einen weiteren Entdeckungspfad. GoogleSitemap-Dokumentation erklärt seinen Nutzen für große Websites, neue Websites und Inhalte, die über Links schwer zu entdecken sind. Die Aufnahme in eine Sitemap garantiert noch nicht das Crawlen oder Indexieren.
Wenn Sie einen Leitfaden veröffentlichen, überprüfen Sie, ob seine bevorzugte URL in der richtigen Sitemap erscheint und ob die Sitemap abgerufen werden kann. SearchVectors Sitemap Analyzer ist ein Ausgangspunkt für die Überprüfung einer Sitemap. Behandeln Sie die Ausgabe als Sitemap-Beweis und prüfen Sie dann die einzelne Seite separat. Ein Sitemap-Eintrag kann eine blockierte Seite nicht reparieren.
Wählen Sie das richtige Steuerelement: robots.txt, noindex oder canonical
Diese Steuerelemente beantworten verschiedene Fragen. Ihre Verwechslung ist ein häufiger Grund dafür, dass eine absichtliche Veröffentlichungsänderung zu einem unerwarteten Suchergebnis führt.
- robots.txt steuert das Crawlen. Eine Verbotsregel weist einen konformen Crawler an, keine passenden Inhalte anzufordern. Eine blockierte URL kann immer noch in der Suche erscheinen, wenn Google an anderer Stelle davon erfährt.
- noindex steuert die Indizierung. Damit Google eine Noindex-Anweisung in einer Seite oder einem HTTP-Header sehen kann, muss das Crawlen erlaubt sein. Das Blockieren der URL beim Hinzufügen von noindex kann verhindern, dass Google die Anweisung liest.
- Ein Canonical identifiziert eine bevorzugte Version. Es ist ein Signal für doppelte oder ähnliche Seiten, keine Zugriffskontrolle und kein garantierter Befehl.
Google dokumentiert die Crawl-Anforderung in seinem Noindex-Leitfaden und die Unterscheidung zwischen Signalen und Auswahl in seinem Kanonisierungsleitfaden. Inhalte, die privat sein müssen, benötigen einen angemessenen Zugriffsschutz. Robots.txt ist öffentlich lesbar und stellt keine Sicherheitsgrenze dar.
Bevor Sie eine Robots-Regel ändern, testen Sie die genaue URL und den vorgesehenen Crawler. SearchVectors Robots.txt Tester kann diese Überprüfung unterstützen. Notieren Sie die Regel, die Sie untersuchen, anstatt ein insgesamt „erlaubtes“ Ergebnis als Beweis für die Indexierbarkeit zu interpretieren.
Lesen Sie die Antwort, bevor Sie den Artikel neu schreiben
Eine Seite kann in der Zugriffsphase scheitern, selbst wenn sie hervorragend geschrieben ist. Überprüfen Sie Weiterleitungen und das endgültige Ziel, nicht nur die erste Antwort. Ein erfolgreicher HTTP-Status bedeutet, dass die Anfrage auf dieser Ebene erfolgreich war; Es bescheinigt nicht die Nützlichkeit oder Indexierungsfähigkeit der Seite.
Die HTTP-Statusanleitung vonGoogle unterscheidet zwischen erfolgreichen Antworten, Weiterleitungen, Clientfehlern und Serverfehlern. Anhaltende Serverausfälle können das Crawlen beeinträchtigen. Eine mit dem Status „Erfolgreich“ zurückgegebene Fehlermeldung kann auch zu einem irreführenden Ergebnis führen, das oft als Soft 404 bezeichnet wird, wenn Google eine fehlerähnliche Seite erkennt.
Für einen gezielten ersten Durchgang verwenden Sie den Web Page Crawler von SearchVector, um Crawlbarkeitssignale zu überprüfen, und vergleichen Sie sie dann mit Ihrem Server und Google Beweisen. Ein Crawler eines Drittanbieters ist kein Bot. Unterschiede im Netzwerk, Benutzeragenten und Rendering können erklären, warum zwei Prüfungen nicht übereinstimmen.
Arbeitsbeispiel: Eine Anleitung ist nach dem Start immer noch blockiert
(T49)Dies ist eine fiktive Diagnoseübung, kein Kunden-Crawling-Protokoll. Stellen Sie sich vor, Sie starten/guides/packing-list, verlinken es in Ihrem Guides-Hub und fügen es einer Sitemap hinzu. Ihr normaler Browser empfängt den beabsichtigten Artikel, aber eine Robots-Regel verbietet das Verzeichnis „/guides/“. Die Seite enthält auch eine Noindex-Direktive, die von der Vorbereitung übrig geblieben ist.
- Notieren Sie den beabsichtigten Zustand. Dieser Leitfaden sollte öffentlich und für die Indexierung geeignet sein. Andere unvollendete Anleitungen müssen möglicherweise noch geschützt werden.
- Überprüfen Sie den genauen Pfad. Bestätigen Sie, dass die relevante Robots-Regel mit dieser URL übereinstimmt. Überprüfen Sie die Antwortheader und den HTML-Code der Seite unabhängig voneinander auf Noindex.
- Nehmen Sie eine bereichsbezogene Korrektur vor. Passen Sie die Regel für den beabsichtigten öffentlichen Inhalt an und entfernen Sie die unerwünschte Noindex-Direktive. Legen Sie nicht jede unvollendete Seite offen, um eine Anleitung zu reparieren.
- Erneuter Test nach der Bereitstellung. Bestätigen Sie, dass die endgültige URL die tatsächliche Anleitung zurückgibt, der vorgesehene Crawler darauf zugreifen kann und sowohl Header als auch HTML die neue Indexierungsanweisung widerspiegeln.
- Folgen Sie nach mit Google Beweisen. Überprüfen Sie in Ihrer Search Console-Property die URL und führen Sie einen Live-Test durch. Wenn die Seite geeignet ist, können Sie eine Indexierung beantragen. Notieren Sie die Änderungen und schauen Sie noch einmal vorbei, ohne eine Frist zu setzen.
Die Diagnose besteht aus zwei unabhängigen Hindernissen, nicht aus „Google braucht mehr Schlüsselwörter.“ Wenn Sie nur den robots-Block entfernen, bleibt noindex bestehen. Wenn nur „noindex“ entfernt wird, kann die Seite nicht mehr abgerufen werden. Auch nach beiden Korrekturen garantiert ein erfolgreicher Test nicht, dass Google es indiziert.
Überprüfen Sie, ob eine Anfrage tatsächlich vom Google
stammt.Jeder kann eine Anfrage senden und im User-Agent-Header behaupten, Googlebot zu sein. Wenn verdächtiger Datenverkehr Ihre Website überlastet, überprüfen Sie dessen Herkunft, bevor Sie Crawler-spezifische Firewall-Regeln erstellen.
Folgen Sie den Anforderungs- und Verifizierungsanweisungen von ｟6. Nehmen Sie für eine manuelle Überprüfung die Quell-IP aus einem vertrauenswürdigen Protokoll, führen Sie eine umgekehrte DNS-Suche durch, überprüfen Sie den resultierenden Hostnamen anhand der dokumentierten Domäne für diese Crawler-Kategorie und lösen Sie ihn dann vorwärts auf. Das Weiterleitungsergebnis muss mit der ursprünglichen IP übereinstimmen. Ein Name, der lediglich „google“ enthält, reicht nicht aus.
Für die automatische Überprüfung gleichen Sie Adressen mit den veröffentlichten Bereichen von Google für die entsprechende Crawler- oder Fetcher-Kategorie ab. Behandeln Sie nicht den gesamten von Googlegehosteten Datenverkehr als GoogleBot. Wenn sich Ihre Site hinter einem Proxy befindet, fragen Sie Ihren Infrastrukturbesitzer, welches Protokollfeld die verifizierte Client-Adresse darstellt, bevor Sie darauf reagieren.
Verwenden Sie die Search Console, um über die nächste Aktion zu entscheiden
Google URL-Inspektionsdokumentation unterscheidet die indizierten Informationen von Google von einem Live-Test. Der indizierte Bericht spiegelt die Version Google wider; Ein Live-Test prüft die potenzielle Barrierefreiheit und Indexierbarkeit der aktuellen Seite. Weder ein erfolgreicher Live-Test noch eine Indizierungsanfrage garantieren die Aufnahme.
Verwenden Sie ein Konto mit Zugriff auf Ihr eigenes Eigentum. Vergleichen Sie die überprüfte URL, die letzten Crawl-Informationen, den Indexierungsstatus und kanonische Informationen, sofern verfügbar. Eine neue Serverkorrektur kann mit älteren indizierten Informationen koexistieren. Notieren Sie sich die Daten, bevor Sie die fehlgeschlagene Korrektur abschließen.
(T47)Schließen Sie mit einer evidenzbasierten Aktion ab: Verbessern Sie die Erkennung, wenn die URL schlecht verlinkt ist, reparieren Sie den Zugriff, wenn Anfragen fehlschlagen, entfernen Sie eine unbeabsichtigte Indexierungsbeschränkung oder untersuchen Sie Inhalte und Duplikate, wenn Google die Seite gecrawlt, aber ausgeschlossen hat. Notieren Sie kurz die URL, Beobachtungen, Änderungen und Nachverfolgungen. Dadurch wird „Google hat uns nicht gefunden“ zu einem Problem, das Sie tatsächlich untersuchen können.
