Tạo robots.txt
Tạo tệp robots.txt với quy tắc allow/disallow và đường dẫn sitemap
Dùng * để áp dụng cho mọi bot, hoặc chỉ định cụ thể như Googlebot.
Đường dẫn chặn (Disallow)
Đường dẫn cho phép (Allow)
Chưa thêm quy tắc cho phép ghi đè nào.
Dùng * để áp dụng cho mọi bot, hoặc chỉ định cụ thể như Googlebot.
Đường dẫn chặn (Disallow)
Chưa thêm đường dẫn bị chặn nào.
Đường dẫn cho phép (Allow)
Sitemap nhúng kèm
Nội dung robots.txt đã tạo