跳转到主要内容
kitlocal.dev

Robots.txt 测试器

本地运行

100% 在你的浏览器中处理。输入和输出绝不会离开你的设备。

在本地模拟爬虫,按标准规则解析 robots.txt 并判断 URL 是否允许抓取。

爬虫输入模拟器

评估结果

禁止访问
匹配规则: /admin/
目标行: 行 2