Тестер robots.txt
Проверка доступности URL для обхода по правилам произвольного robots.txt офлайн.
Симулятор поискового робота
Результат проверки
Заблокировано
Совпавшее правило: /admin/
Номер строки: Строка 2
Проверка доступности URL для обхода по правилам произвольного robots.txt офлайн.