robots.txt 生成器
生成包含 allow/disallow 规则和 Sitemap 引用的 robots.txt。
使用 * 匹配所有爬虫,或指定特定爬虫如 Googlebot。
禁止抓取路径
允许抓取路径
未添加显式允许覆盖项。
使用 * 匹配所有爬虫,或指定特定爬虫如 Googlebot。
禁止抓取路径
未添加禁止路由。
允许抓取路径
嵌入的 Sitemap
生成的 robots.txt
生成包含 allow/disallow 规则和 Sitemap 引用的 robots.txt。