クロールルール作成ツール
Robots.txt 生成ツール
エージェントのルール
すべてのクローラー、または特定のクローラーを対象に。
ブロックするパス
非公開フォルダーをインデックスの対象外に。
サイトマップの記述行
クローラーをサイトマップへ直接案内。
公開前の確認
アップロード前にルールをテスト。
クロールルールを一度作成し、アップロード前にテストしましょう。
明確なエージェント指定。安全なパス。意図しないブロックを防止。
Let's build your robots.txt
robots.txt
9 lines · upload to your site root
# robots.txt for example.com # Generated with SearchVector — test before uploading to your site root. User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /search Sitemap: https://example.com/sitemap.xml
3 rules
Disallow lines
Subject: example.com
Result
Draft crawl rules, then test important pages before uploading robots.txt.
Written for every crawler.
Rules
3 rules
Written for every crawler.
Sitemap line
Included
https://example.com/sitemap.xml
Safety check
Looks safe
No rule bars the site root.
One wrong line hides a whole site.
Draft, test, and monitor crawl rules with confidence.
Clear agents. Safe paths. No accidental blocks.
ユーザーエージェントのルール、クロール禁止パス、サイトマップの場所、公開前の安全確認チェックリストを含むrobots.txtの下書きを作成できます。
競合の知見を取り入れたワークフロー
Robots.txt Generator次の目的に向けた設計：行動
クロールルールを生成し、アップロード前にテストすべきことを明確にしましょう。
このページは競合ページのパターンを内部の計画材料として活用し、具体的な次の行動を示す中立的なSearchVectorワークフローを提示します。
適切なエージェント
対象を正しく指定するルール
より安全なブロック
サイト全体の意図しないブロックを防止
発見を迅速に
サイトマップをあらかじめ指定
ミスを減らす
アップロード前に確認
ルール
ファーストビューで使える機能
サイトマップの記述行
わかりやすい出力パネル
安全確認
SearchVectorへの引き継ぎ
クロール制御に最適
エージェント別のルール
安全なクロール禁止パス
公開前の確認
根拠に基づく概要
このワークフローが 実証すべきこと
クロールルールを生成し、アップロード前にテストすべきことを明確にしましょう。
ルール
この指標を使って、本番作業の前にSearchVectorで詳しく検証すべき項目を判断します。
サイトマップの記述行
この指標を使って、本番作業の前にSearchVectorで詳しく検証すべき項目を判断します。
安全確認
この指標を使って、本番作業の前にSearchVectorで詳しく検証すべき項目を判断します。
ページで扱うべき内容
このページでは、クロールルールを生成し、アップロード前にテストが必要な項目を明確にする必要があります。
始める
使い方 Robots.txt Generator
本番環境を変更する前に、重要な判断をSearchVectorのライブワークフローに移しましょう。
01
現実的な値を入力
ユーザーが確認したい正確なURL、キーワード、ページ、またはビジネス指標から始めます。
02
出力パネルを確認
ファーストビューの結果から、最も強い兆候と最もリスクの高い不足点を特定します。
03
SearchVectorで検証
本番環境を変更する前に、重要な判断をSearchVectorのライブワークフローに移しましょう。
Robots.txt Generator よくある質問
Robots.txt Generatorを使う前に知っておきたいこと。