robots.txt-Generator
robots.txt-Dateien mit Allow-/Disallow-Regeln und Sitemap-Verweisen erzeugen.
Verwende *, um alle Crawler anzusprechen, oder gib bestimmte Bots wie Googlebot an.
Disallow-Pfade (gesperrt)
Allow-Pfade (erlaubt)
Keine expliziten Allow-Überschreibungen hinzugefügt.
Verwende *, um alle Crawler anzusprechen, oder gib bestimmte Bots wie Googlebot an.
Disallow-Pfade (gesperrt)
Keine blockierten Routen hinzugefügt.
Allow-Pfade (erlaubt)
Eingebettete Sitemaps
Generierte robots.txt