Gratis tool van SearchVector
Robots.txt Tester
Voer een website-URL in om het robots.txt-bestand op te halen en te testen
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
robots.txt
No syntax errors
searchvector.io/robots.txt
1
User-agent:
*
2
Disallow:
/dashboard/
3
Disallow:
/auth/
4
Allow:
/tools/
5
Sitemap:
/sitemap_index.xml
URL test
/tools/keyword-research
allowed
/dashboard/settings
blocked
Directives
2 disallow · 1 allow · 1 sitemap
Domain
Enter a site to test.
Fetch
Read the robots.txt.
Syntax
Validate every line.
Agents
Group rules per crawler.
Sitemap
Confirm it is declared.
Verdict
See what is blocked.
Valideer en test uw robots.txt-bestand. Controleer syntaxisfouten, analyseer richtlijnen en verifieer welke URL's zijn geblokkeerd of toegestaan voor crawlers.
Valideer uw Robots.txt
Uw robots.txt-bestand bepaalt hoe zoekmachines uw website crawlen. Onze tool helpt u de syntaxis te valideren, fouten te identificeren en ervoor te zorgen dat uw richtlijnen werken zoals bedoeld.
Haal robots.txt op vanaf elke URL of plak uw eigen inhoud ter validatie. Krijg een gedetailleerde analyse van user-agents, regels voor toestaan/niet toestaan en sitemaps.
What the tester covers
Syntaxisvalidatie
Included
Controleer op syntaxisfouten en ongeldige richtlijnen in uw robots.txt.
Directieve analyse
Included
Bekijk alle user-agents, regels voor toestaan/niet toestaan en crawlvertragingen.
Sitemapdetectie
Included
Identificeer alle sitemaps waarnaar wordt verwezen in uw robots.txt.
Voor altijd gratis
Included
Geen aanmelding vereist. Onderdeel van onze gratis SEO-toolkit voor iedereen.
How it works
From a file to a crawl verdict
Test uw robots.txt binnen enkele seconden
01
Voer URL in
Voer een website-URL in om het robots.txt-bestand op te halen.
02
Analyseer bestand
Onze tool parseert en valideert alle richtlijnen in de robots.txt.
03
Resultaten bekijken
Bekijk fouten, waarschuwingen, user-agents, regels en sitemaps.
Krachtig Kenmerken
Uitgebreide robots.txt-tests
Syntaxisvalidatie
Identificeer ongeldige syntaxis- en opmaakfouten.
User-Agent-analyse
Bekijk alle user-agents en hun specifieke regels.
Regels niet toestaan
Bekijk alle geblokkeerde paden voor elke user-agent.
Regels toestaan
Bekijk expliciet toegestane paden en overschrijvingen.
Sitemapdetectie
Vind alle sitemaps waarnaar wordt verwezen in robots.txt.
Foutdetectie
Ontvang waarschuwingen over mogelijke problemen en fouten.
Robots.txt Questions
Veelgestelde vragen over robots.txt-testen