SearchVectorの無料ツール
Webサイトの クロール可否を確認
Try:
Fetch
Pull the site’s robots.txt.
Parse
Read every crawl directive.
Rules
Match rules per user-agent.
Index
Confirm indexability.
Sitemap
Detect the sitemap.
Report
Show the full verdict.
example.com/robots.txt
Crawlable
Response Time
0.42s
Crawl Health
92
Healthy
Indexable Pages
248
+12%
Crawl Access
PATH
ACCESS
Googlebot
/
Allowed
Bingbot
/
Allowed
*
/admin
Blocked
AhrefsBot
/
Blocked
example.com/robots.txt
Crawlable
Response Time
0.42s
Crawl Health
92
Healthy
Indexable Pages
248
+12%
Crawl Access
PATH
ACCESS
Googlebot
/
Allowed
Bingbot
/
Allowed
*
/admin
Blocked
AhrefsBot
/
Blocked
example.com/robots.txt
Crawlable
Response Time
0.42s
Crawl Health
92
Healthy
Indexable Pages
248
+12%
Crawl Access
PATH
ACCESS
Googlebot
/
Allowed
Bingbot
/
Allowed
*
/admin
Blocked
AhrefsBot
/
Blocked
Fetch
Pull the site’s robots.txt.
Parse
Read every crawl directive.
Rules
Match rules per user-agent.
Index
Confirm indexability.
Sitemap
Detect the sitemap.
Report
Show the full verdict.
robots.txtを分析し、検索エンジンがWebページをクロール・インデックスできるか確認します。SearchVectorの無料SEOツールキットの一部です。
検索エンジンに コンテンツを見つけてもらう
検索エンジンがページをクロールできなければ、検索結果には表示されません。このクローラーツールはrobots.txtファイルを分析し、インデックスに関わる潜在的な問題を特定します。
この無料ツールは、クロール可否をすぐに確認できます。継続監視と詳細レポートを備えた包括的なテクニカルSEO監査には、SearchVectorのダッシュボードをご利用ください。
What you get
Robots.txt分析
Included
robots.txtファイルを解析し、異なるuser agents向けのクロールディレクティブを把握します。
インデックス可否チェック
Included
GoogleやBingなど主要検索エンジンにページがインデックス可能か確認します。
即時結果
Included
待ち時間なく、サイトのクロール可否についてすぐにフィードバックを得られます。
ずっと無料
Included
登録不要。誰でも使える無料SEOツールキットの一部です。
How it works
3ステップで クロール可否を確認
サイトのクロール可否を数秒で分析
01
URLを入力
WebサイトURLを貼り付けます。robots.txtファイルを自動で取得して分析します。
02
分析を取得
ツールがrobots.txtを解析し、GoogleとBing向けのクロール・インデックスルールを確認します。
03
結果を確認
詳細なクロール可否ステータスと、確認用のrobots.txt全文を確認できます。
便利な 機能
Webサイトのクロール可否確認に必要な機能
Robots.txtパーサー
robots.txtファイルを自動取得・解析し、クロールディレクティブを把握します。
複数検索エンジン対応
GoogleとBingの両方についてクロール可否を確認できます。
即時分析
長いクロールを待たずにすぐ結果を取得できます。
インデックス状態
ページが検索結果にインデックス可能か検証します。
robots.txt全文表示
手動確認用にrobots.txtの全文を表示します。
無料・無制限
登録不要で無制限にURLを確認できます。
よくある Questions
Webサイトのクロール可否について知っておきたいこと