Robots.txt چیست و چه کاربردی دارد؟

ربات‌ها برنامه‌های خودکاری هستند که با طراحی وبسایت و طراحی اپلیکیشن‌ و سئو در تعامل هستند. آن‌ها بدون دخالت انسان کارهای مشخصی را با سرعتی به مراتب بیشتر از انسان انجام‌دهند. یکی از این ربات‌ها، ربات خزنده وب است. این ربات وظیفه جستجو در سایت‌ها را برعهده دارد. فایل Robots.txt با فعالیت‌های خزنده وب را مدیریت می‌کند و از اعمال کار اضافی به هاست جلوگیری کرده و به خزنده وب می‌گوید که چه صفحاتی را نمایش دهد و چه صفحاتی را نمایش ندهد. در ادامه این مقاله درباره این فایل بیشتر خواهید خواند.