SearchVectorの無料ツール
Robots.txt Tester
WebサイトURLを入力してrobots.txtファイルを取得・テスト
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
robots.txtファイルを検証・テストできます。構文エラー、ディレクティブ、クローラーに対してブロックまたは許可されるURLを確認できます。
robots.txtを 検証
robots.txtファイルは、検索エンジンがWebサイトをどのようにクロールするかを制御します。このツールは構文を検証し、エラーを特定し、ディレクティブが意図どおり機能しているか確認するのに役立ちます。
任意のURLからrobots.txtを取得するか、独自の内容を貼り付けて検証できます。user-agent、allow/disallowルール、sitemapsの詳細分析を取得できます。
What the tester covers
04 items
構文検証
01
robots.txt内の構文エラーや無効なディレクティブを確認します。
ディレクティブ分析
02
すべてのuser-agent、allow/disallowルール、crawl delayを確認できます。
Sitemap検出
03
robots.txtで参照されているすべてのsitemapsを特定します。
ずっと無料
04
登録不要。誰でも使える無料SEOツールキットの一部です。
From a file to a crawl verdict
robots.txtを数秒でテスト
URLを入力
任意のWebサイトURLを入力してrobots.txtファイルを取得します。
ファイルを分析
ツールがrobots.txt内のすべてのディレクティブを解析・検証します。
結果を確認
エラー、警告、user-agent、ルール、sitemapsを確認できます。
便利な 機能
包括的なrobots.txtテスト
01
構文検証
無効な構文やフォーマットエラーを特定します。
02
User-Agent分析
すべてのuser-agentと個別ルールを確認できます。
03
Disallowルール
各user-agentでブロックされるすべてのパスを表示します。
04
Allowルール
明示的に許可されたパスと上書きルールを確認できます。
05
Sitemap検出
robots.txtで参照されているすべてのsitemapsを見つけます。
06
エラー検出
潜在的な問題やミスに関する警告を取得できます。
Robots.txt questions
robots.txtテストに関するよくある質問
このrobots.txt testerは無料ですか？
はい。Robots.txt Testerは登録不要で完全無料です。SearchVectorの無料SEOツールキットの一部です。
どのようなエラーを検出できますか？
構文エラー、コロン漏れ、無効なディレクティブ、user-agentのないルール、robots.txtファイルでよくあるその他のミスを検出します。
公開前にテストできますか？
はい。robots.txtの内容を直接貼り付けて、サーバーに公開する前に検証できます。
SearchVectorには他にどのようなツールがありますか？
SearchVectorはKeyword Research、Rank Tracking、GSC Analytics、Core Web Vitals監視、Sitemap Analysisなどを提供しています。
なぜrobots.txtは重要ですか？
robots.txtは検索エンジンがサイトをどのようにクロールするかを制御します。エラーがあると重要なページが誤ってインデックス対象外になったり、機密エリアがクロールされる可能性があります。
Still have questions? Contact support
Ready to go further?
検索順位を伸ばす準備はできていますか？
robots.txtはテクニカルSEOの一部にすぎません。SearchVectorのダッシュボードでは、包括的なサイト監査、順位追跡などを利用できます。