پیش از هرچیز باید با تعریف Robots.txt آشنا شویم. فایل Robots.txt، یک فایل متنی بوده که برای هدایت کردن ربات ها در موتور های جستجو Search engines، و برای نحوه خزیدن این ربات ها و ایندکس index صفحات وب سایت شما مورد استفاده قرار می گیرد. به عبارتی فایل Robots.txt، ربات های جستجو را برای خزیدن، در صفحات وب سایت شما راهنمایی کرده و دانستن این مطلب توسط مدیر وب سایت کاری بسیار مهم بوده و در سئو تکنیکال، برای بهینه سازی ایندکس صفحات وب سایت به کار می رود. همچنین برای جلوگیری نمودن از ایندکس شدن صفحات، می توانید از تگ noindex استفاده نمایید. اما برای آن که قصد جلوگیری از ایندکس گروهی از صفحات را دارید، می بایست از Robots.txt استفاده کنید. چنانچه یک فایل Robots.txt به درستی تنظیم نشده باشد، این امر سبب اشتباه در ایندکس شدن صفحات وب سایت شما می شود. در نتیجه لازم است، هر بار که یک SEO را شروع می کنید، نیاز است، فایل Robots.txt را با ابزار و ربات های گوگل بررسی نمایید.
فایل های Robots.txt، انعطاف پذیری زیادی داشته و متخصصان سئو را به وسیله فایل های Robots.txt می توانند، از ایندکس شدن چندین صفحه به صورت همزمان جلوگیری کنند. استفاده از Robots.txt از ایندکس شدن جلوگیری کرده و برای استفاده از آن می توانید یک فایل متنی آماده کرده و از سه دستور اصلی که شامل؛ User-agent، Allow و Disallow می باشد.
User-agent
در ابتدا و قبل از نوشتن هر نوع دستوری می بایست، از عبارت User-agent استفاده کرد. این عبارت نشان دهنده آن است که؛ شما قصد قرار دادن چه ربات خزنده ای را در وب سایت خود دارید. پس از نوشتن این عبارت و گذاشتن دو نقطه در مقابل آن، می بایست نام رباتی که قصد دستور دادن به آن را دارید بنویسید. به عنوان مثال چنانچه قصد دارید به ربات گوگل دستور دهید می بایست، ابتدا عبارت User-agent را نوشته و دو نقطه در مقابل آن قرار دهیم و سپس عبارت google boot را بنویسید.
بعد از آن که به ربات دستورات لازم را دادید، باید به در این دستورات به ربات ها بگویید؛ که کدام یک از صفحات وب سایت شما اجازه ایندکس شدن داشته و کدام یک این اجازه را ندارد. برای اعلام اجازه به خزیدن ربات های مد نظر، از دستورAllow و برای اعلام عدم مجوز خزیدن ربات از دستور Disallow استفاده می شود. پس از وارد کردن یکی از این دو عبارت، و قرار دادن دو نقطه در مقابل هریک از آن ها این عمل انجام می شود. برای این دستور، نیازی نیست آن را در آدرس URL وارد نمایید.
منبع فیکس سایت آکادمی
fixsite.net
