robots.txt জেনারেটর
allow/disallow রুল ও sitemap রেফারেন্সসহ robots.txt ফাইল তৈরি করুন।
সব ক্রলার ম্যাচ করতে * ব্যবহার করুন, অথবা Googlebot-এর মতো নির্দিষ্ট বট উল্লেখ করুন।
Disallow পাথ
Allow পাথ
কোনো স্পষ্ট allow ওভাররাইড যোগ করা হয়নি।
সব ক্রলার ম্যাচ করতে * ব্যবহার করুন, অথবা Googlebot-এর মতো নির্দিষ্ট বট উল্লেখ করুন।
Disallow পাথ
কোনো ব্লক করা রুট যোগ করা হয়নি।
Allow পাথ
এমবেডেড সাইটম্যাপ
তৈরি করা robots.txt