گلاویژ·۹ ماه پیشفایل robots.txt چیست و چه کاربردی دارد؟فایل robots.txt یک فایل متنی ساده است که در ریشه (root) وبسایت شما قرار میگیرد و به موتورهای جستجو و سایر رباتهای وب دستور میدهد که چگو…