robots.txt 產生器
產生含允許/禁止規則與 sitemap 參照的 robots.txt。
使用 * 比對所有爬蟲,或指定特定漫遊器(如 Googlebot)。
禁止路徑 (Disallow)
允許路徑 (Allow)
尚未新增明確的允許覆寫路徑。
使用 * 比對所有爬蟲,或指定特定漫遊器(如 Googlebot)。
禁止路徑 (Disallow)
尚未新增禁止抓取的路由。
允許路徑 (Allow)
嵌入的 Sitemap
產生的 robots.txt
產生含允許/禁止規則與 sitemap 參照的 robots.txt。