SearchVectorの無料ツール
Robots.txt Tester
WebサイトURLを入力してrobots.txtファイルを取得・テスト
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
robots.txtファイルを検証・テストできます。構文エラー、ディレクティブ、クローラーに対してブロックまたは許可されるURLを確認できます。
robots.txtを 検証
robots.txtファイルは、検索エンジンがWebサイトをどのようにクロールするかを制御します。このツールは構文を検証し、エラーを特定し、ディレクティブが意図どおり機能しているか確認するのに役立ちます。
任意のURLからrobots.txtを取得するか、独自の内容を貼り付けて検証できます。user-agent、allow/disallowルール、sitemapsの詳細分析を取得できます。
What the tester covers
構文検証
Included
robots.txt内の構文エラーや無効なディレクティブを確認します。
ディレクティブ分析
Included
すべてのuser-agent、allow/disallowルール、crawl delayを確認できます。
Sitemap検出
Included
robots.txtで参照されているすべてのsitemapsを特定します。
ずっと無料
Included
登録不要。誰でも使える無料SEOツールキットの一部です。
How it works
From a file to a crawl verdict
robots.txtを数秒でテスト
01
URLを入力
任意のWebサイトURLを入力してrobots.txtファイルを取得します。
02
ファイルを分析
ツールがrobots.txt内のすべてのディレクティブを解析・検証します。
03
結果を確認
エラー、警告、user-agent、ルール、sitemapsを確認できます。
便利な 機能
包括的なrobots.txtテスト
構文検証
無効な構文やフォーマットエラーを特定します。
User-Agent分析
すべてのuser-agentと個別ルールを確認できます。
Disallowルール
各user-agentでブロックされるすべてのパスを表示します。
Allowルール
明示的に許可されたパスと上書きルールを確認できます。
Sitemap検出
robots.txtで参照されているすべてのsitemapsを見つけます。
エラー検出
潜在的な問題やミスに関する警告を取得できます。
Robots.txt Questions
robots.txtテストに関するよくある質問