robots.txt-Tester
Crawling gegen beliebige robots.txt-Dateien simulieren und Regeln offline auswerten.
Crawler-Eingabesimulator
Bewertungsergebnis
Blockiert
Übereinstimmende Regel: /admin/
Zielzeile: Zeile 2
Crawling gegen beliebige robots.txt-Dateien simulieren und Regeln offline auswerten.