跳转到主要内容
kitlocal.dev

robots.txt 生成器

本地运行

100% 在你的浏览器中处理。输入和输出绝不会离开你的设备。

生成包含 allow/disallow 规则和 Sitemap 引用的 robots.txt。

使用 * 匹配所有爬虫,或指定特定爬虫如 Googlebot。
禁止抓取路径
允许抓取路径
未添加显式允许覆盖项。
使用 * 匹配所有爬虫,或指定特定爬虫如 Googlebot。
禁止抓取路径
未添加禁止路由。
允许抓取路径
嵌入的 Sitemap
生成的 robots.txt