A Google クローラーは、Google がコンテンツを発見して理解できるように、Web ページやその他のリソースを要求するソフトウェアです。 Googleボットは、Google検索に関連付けられたメイン クローラーです。 Googleボットからの訪問は、Googleが何かを取得したことを意味します。これは、ページがインデックス付けされたことを意味するものではなく、特定のクエリに対してランク付けされるものでもありません。
有用なシーケンスは、検出→クロール→プロセス→インデックス→提供です。サイト所有者にとって、各ステップでは異なる証拠が必要になります。正確な URL から始めて、それが取得できるかどうかを確認し、独自の Search Console プロパティを使用して、その URL についてGoogle が報告する内容を調査します。
Googleボットが訪問したときに行うこと
クローラは、ブラウザがページをリクエストするのと同じように、HTTP リクエストを送信します。サーバーはステータス コード、ヘッダー、および利用可能な場合はコンテンツを返します。 Google は、JavaScript やスタイルシートなど、ページのレンダリングに必要なリソースを取得することもできます。サーバーログにはリクエストが記録されます。 Google がコンテンツに関してその後行うすべての決定を明らかにするものではありません。
Googleでは、GoogleボットスマートフォンとGoogleボットデスクトップについて説明します。それらのユーザー エージェント ヘッダーはクローラーのサブタイプを識別しますが、両方とも robots.txt で同じ Googleボット トークンを使用します。デスクトップ ブラウザで完全に見えるからといって、そのページが Google のモバイル クローラーで機能すると考えないでください。モバイルコンテンツとアクセス状況も検査してください。
発見から検索結果までページをたどる
Google グループ クロール、インデックス作成、およびサービスを検索します。その説明内で検出と処理を分離すると、トラブルシューティングに役立ちます。以下の段階は教育モデルであり、検出されたすべての URL が段階を経て進むことを保証するものではありません。検索の仕組みに関するGoogleのガイドでは、クロール、インデックス作成、および結果への表示が保証されない理由について説明しています。
| ステージ | それがあなたにとって何を意味するかページ |
|---|---|
| Discover | Googleは、���とえばリンクやsitemap. |
| Crawl | GoogleはURLをリクエストし、アクセスするとレスポンスを受け取ります成功します。 |
| プロセス | Googleはコンテンツを分析し、理解するためにページをレンダリングする場合がありますit. |
| Index | Googleは、重複を含む検索可能なインデックスのコンテンツを考慮します。処理 |
| Serve | Googleは、特定の検索の結果を選択します。インデックスが作成されても、ターゲット クエリの可視性が保証されるわけではありません。 |
ブラウザに新しいガイドが正しく表示されたとします。これにより、ブラウザの条件下で 1 回の訪問が成功したことになります。 Googleによる発見、Googleのネットワークからのアクセス、またはインデックスへの組み込みを確立するものではありません。開発者に問題を報告するときは、これらの質問を分けてください。
実際にインデックスを付けたい URL を見つけるのに役立ちますGoogle
重要なページには、関連性の高いアクセス可能なページから役立つ内部リンクを提供します。ナビゲーションから隠され、関連コンテンツからリンクされていないガイドは、確立されたトピックに関連するガイドよりも発見するのが困難です。読者がリンク先を理解できるように、説明的なリンク テキストを使用します。
サイトマップは別の検出パスを提供します。 Googleさんサイトマップ ドキュメントでは、大規模なサイト、新しいサイト、リンクからは見つけにくいコンテンツに対するその有用性について説明しています。サイトマップに含めても、クロールやインデックス作成は保証されません。
ガイドを公開するときは、その優先 URL が正しいサイトマップに表示され、サイトマップが取得できることを確認してください。 SearchVector の Sitemap Analyzer は、サイトマップをレビューするための出発点です。その出力をサイトマップの証��として扱い、個々のページを個別に確認してください。サイトマップ エントリでは、ブロックされたページを修復できません。
適切なコントロールを選択してください: robots.txt、noindex または canonical
これらのコントロールはさまざまな質問に答えます。意図的な公開変更によって予期しない検索結果が生成される一般的な理由は、これらを混同することです。
- robots.txtはクロールを制御します。 禁止ルールは、準拠したクローラーに一致するコンテンツを要求しないよう指示します。ブロックされた URL は、Google が他の場所でそれを知った場合でも検索に表示される可能性があります。
- noindex はインデックス作成を制御します。 Google がページまたは HTTP ヘッダー内の noindex ディレクティブを参照するには、クロールが許可されている必要があります。 noindex の追加中に URL をブロックすると、Google が命令を読み取れなくなる可能性があります。
- 正規版は優先バージョンを識別します。 これは重複または類似のページの信号であり、アクセス制御や保証されたコマンドではありません。
Googleは、noindexガイダンスでクロール要件を文書化し、正規化ガイドでシグナルと選択の区別を文書化しています。プライベートである必要があるコンテンツには、適切なアクセス保護が必要です。 Robots.txt は公的に読み取り可能であり、セキュリティ境界ではありません。
ロボットルールを変更する前に、正確な URL と対象のクローラをテストしてください。 SearchVectorのRobots.txt Testerはそのレビューをサポートします。全体的な「許可された」結果をインデックス可能性の証拠として解釈するのではなく、調査しているルールを記録します。
記事を書き直す前に回答を読んでください
ページの書き込みが良好であっても、アクセス段階で失敗する場合があります。最初の応答だけでなく、リダイレクトと最終的な宛先も確認してください。成功した HTTP ステータスは、リクエストがそのレベルで成功したことを意味します。ページの有用性やインデックスの適格性を保証するものではありません。
GoogleのHTTPステータスガイダンスは、成功した応答、リダイレクト、クライアントエラー、サーバーエラーを区別します。永続的なサーバー障害はクロールに影響を与える可能性があります。成功ステータスとともに返されたエラー メッセージも、誤解を招く結果を引き起こす可能性があります。多くの場合、Google がエラーのようなペー���を認識した場合、ソフト 404 と表現されます。
集中的な最初のパスの場合、SearchVectorのWebページ クローラーを使用してクローラビリティ シグナルを確認し、サーバーおよびGoogleの証拠と比較します。サードパーティのクローラーは「12」ボットではありません。 2 つのチェックが一致しない理由は、ネットワーク、ユーザー エージェント、レンダリングの違いによって説明できる可能性があります。
うまくいった例: 発射後もガイドが��ロックされたまま
これは架空の診断演習であり、顧客のクロール ログではありません。 /guides/packing-list を起動し、ガイド ハブからリンクしてサイトマップに追加すると想像してください。通常のブラウザでは目的の記事が表示されますが、ロボット ルールにより、/guides/ ディレクトリは引き続き許可されません。このページには、準備中に残った noindex ディレクティブも含まれています。
- 意図する状態を書き留めます。 このガイドは公開され、インデックス付けの対象となる必要があります。他の未完成のガイドはまだ保護が必要な場合があります。
- 正確なパスを確認してください。 関連するロボット ルールがこの URL と一致することを確認してください。ページの応答ヘッダーと HTML の noindex を個別に確認します。
- 範囲を限定した修正を行います。 対象のパブリック コンテンツに合わせてルールを調整し、不要な noindex ディレクティブを削除します。 1 つのガイドを修正するためにすべての未完成のページを広く公開しないでください。
- 展開後に再テストします。 最終 URL が実際のガイドを返し、目的のクローラがそれにアクセスでき、ヘッダーと HTML の両方に新しいインデックスが反映されていることを確認します。指示。
- Google証拠でフォローアップします。 Search Console プロパティで URL を検査し、ライブ テストを実行します。ページが対象となる場合は、インデックス作成をリクエストできます。変更を記録し、期限を約束せずにもう一度確認してください。
診断は 2 つの独立した障害であり、「Googleさらにキーワードが必要」ではありません。ロボット ブロックのみを削除すると、noindex はそのまま残ります。 noindex だけを削除すると、Google はページをフェッチできなくなります。両方の修正を行った後でも、テストが成功しても、Google によってインデックスが作成されるとは限りません。
リクエストが本当にGoogle
から来たものであることを確認するユーザーエージェントヘッダーでGoogleボットであると主張するリクエストは誰でも送信できます。不審なトラフィックがサイトに過負荷を与えている場合は、クローラー固有のファイアウォール ルールを作成する前に、その送信元を確認してください。
Googleのリクエスト検証手順に従ってください。手動チェックの場合は、信頼できるログからソース IP を取得し、DNS 逆引きルックアップを実行し、結果のホスト名をそのクローラ カテゴリの文書化されたドメインと照合して検証し、順方向に解決します。転送結果は元の IP と一致する必要があります。 「google」を含むだけの名前では不十分です。
自動検証の場合、関連するクローラーまたはフェッチャー カテゴリのGoogleの公開範囲とアドレスを照合します。すべての「8」ホストのトラフィックを「9」ボットとして扱わないでください。サイトがプロキシの背後にある場合は、対処する前に、どのログ フィールドが検証済みのクライアント アドレスを表しているかをインフラストラクチャ所有者に問い合わせてください。
Search Consoleを使用して次のアクションを決定
GoogleのURL検査ドキュメントは、Googleのインデックス付き情報をライブテストから区別します。インデックス付きレポートには、Google が知っているバージョンが反映されます。ライブ テストでは、現在のページの潜在的なアクセシビリティとインデックス可能性をチェックします。ライブ テストの成功もインデックス作成リクエストも、含まれることを保証するものではありません。
自分のプロパティにアクセスできるアカウントを使用してください。検査された URL、最後のクロール情報、インデックス作成ステータス、および正規情報 (入手可能な場合) を比較します。新しいサーバー修正は、古いインデックス付き情報と共存できます。修正が失敗したと結論付ける前の日付に注意してください。
証拠に基づくアクションを 1 つ実行して終了します。つまり、URL のリンクが不十分な場合は検出を改善し、リクエストが失敗した場合はアクセスを修復し、意図しないインデックス作成制限を削除するか、Google がページをクロールしたが除外した場合はコンテンツと重複を調査します。 URL、観察、変更、フォローアップを簡単に記録してください。これにより、「Google が私たちを見つけられなかった」という問題が、実際に調査できる問題に変わります。
