Kostenloses Tool von SearchVector
Robots.txt Tester
Geben Sie eine Website-URL ein, um die robots.txt-Datei abzurufen und zu testen
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
Validieren und testen Sie Ihre robots.txt-Datei. Überprüfen Sie Syntaxfehler, analysieren Sie Anweisungen und überprüfen Sie, welche URLs für Crawler blockiert oder zugelassen sind.
Bestätigen Sie Ihre Robots.txt
Ihre robots.txt-Datei steuert, wie Suchmaschinen Ihre Website crawlen. Unser Tool hilft Ihnen, die Syntax zu validieren, Fehler zu identifizieren und sicherzustellen, dass Ihre Anweisungen wie vorgesehen funktionieren.
Rufen Sie robots.txt von einer beliebigen URL ab oder fügen Sie Ihren eigenen Inhalt zur Validierung ein. Erhalten Sie eine detaillierte Analyse von Benutzeragenten, Zulassungs-/Nichtzulassungsregeln und Sitemaps.
What the tester covers
Syntaxvalidierung
Included
Überprüfen Sie Ihren robots.txt auf Syntaxfehler und ungültige Anweisungen.
Richtlinienanalyse
Included
Sehen Sie sich alle Benutzeragenten, Zulassungs-/Nichtzulassungsregeln und Crawling-Verzögerungen an.
Sitemap-Erkennung
Included
Identifizieren Sie alle Sitemaps, auf die in Ihrem robots.txt verwiesen wird.
Für immer kostenlos
Included
Keine Anmeldung erforderlich. Teil unseres kostenlosen SEO-Toolkits für jedermann.
How it works
From a file to a crawl verdict
Testen Sie Ihren robots.txt in Sekundenschnelle
01
Geben Sie die URL ein
Geben Sie eine beliebige Website-URL ein, um die robots.txt-Datei abzurufen.
02
Datei analysieren
Unser Tool analysiert und validiert alle Anweisungen im robots.txt.
03
Ergebnisse anzeigen
Sehen Sie sich Fehler, Warnungen, Benutzeragenten, Regeln und Sitemaps an.
Kraftvoll Funktionen
Umfassende robots.txt-Tests
Syntaxvalidierung
Identifizieren Sie ungültige Syntax- und Formatierungsfehler.
User-Agent-Analyse
Sehen Sie sich alle Benutzeragenten und ihre spezifischen Regeln an.
Regeln nicht zulassen
Sehen Sie sich alle blockierten Pfade für jeden Benutzeragenten an.
Regeln zulassen
Siehe explizit zulässige Pfade und Überschreibungen.
Sitemap-Erkennung
Hier finden Sie alle Sitemaps, auf die in robots.txt verwiesen wird.
Fehlererkennung
Erhalten Sie Warnungen vor potenziellen Problemen und Fehlern.
Robots.txt Questions
Häufige Fragen zum robots.txt-Test