فایل Robots.txt چیست و چه کاربردی دارد؟

فایل Robots.txt یکی از مهم‌ترین ابزارهای کنترل دسترسی در وب‌سایت‌ها است که به موتورهای جستجو می‌گوید کدام بخش‌های سایت را بخزند و کدام بخش‌ها را نادیده بگیرند. در این مقاله با ساختار، کاربرد و نحوه تنظیم صحیح این فایل آشنا می‌شوید.

فایل Robots.txt چیست؟

Robots.txt یک فایل متنی است که در ریشه‌ی سایت (مانند: www.example.com/robots.txt) قرار می‌گیرد و وظیفه‌ آن ارائه‌ دستورالعمل به خزنده‌های موتور جستجو (مثل گوگل و بینگ) است. این فایل نقش حیاتی در

بهینه‌سازی بودجه خزش (Crawl Budget) و جلوگیری از دسترسی به صفحات غیرضروری دارد.

چرا استفاده از فایل Robots.txt ضروری است؟

1. بهینه‌سازی بودجه خزش: سایت‌های بزرگ با صفحات زیاد ممکن است به کمک این فایل، خزش خزنده‌ها را مدیریت کنند.
2. جلوگیری از ایندکس شدن صفحات حساس: با استفاده از این فایل، می‌توانید صفحاتی مانند صفحه ورود، سبد خرید یا پنل ادمین را از ایندکس‌شدن توسط گوگل منع کنید.
3. افزایش سرعت خزش مؤثر: موتورهای جستجو زمان مشخصی برای خزش اختصاص می‌دهند و این فایل به شما کمک می‌کند آن زمان را به صفحات مهم سایت اختصاص دهید.
4. مدیریت دسترسی به محتوای تکراری: جلوگیری از دسترسی به صفحات دارای محتوای مشابه (مثل آرشیو و برچسب‌ها) از مشکلات سئویی جلوگیری می‌کند.

ساختار و دستورات فایل Robots.txt

در فایل Robots.txt می‌توان از چند دستور استفاده کرد. در ادامه به مهم‌ترین آنها اشاره می‌کنیم:

1. User-agent

این دستور تعیین می‌کند که دستورات مربوط به کدام خزنده (مانند Googlebot یا Bingbot) اعمال شوند.

plaintextCopy codeUser-agent: Googlebot

2. Disallow

این دستور به خزنده‌ها می‌گوید که نباید به بخش خاصی از سایت دسترسی داشته باشند.

plaintextCopy codeDisallow: /admin/
Disallow: /cart/

3. Allow

این دستور برای اجازه دادن به خزش بخشی از سایت استفاده می‌شود، حتی اگر سطح بالاتر آن بلاک شده باشد.

plaintextCopy codeAllow: /blog/public-page/

4. Sitemap

این دستور به خزنده‌ها محل نقشه سایت (Sitemap) را معرفی می‌کند.

plaintextCopy codeSitemap: https://example.com/sitemap.xml

مثال یک فایل Robots.txt ساده

plaintextCopy codeUser-agent: *
Disallow: /wp-admin/
Disallow: /checkout/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

در این مثال:

• به تمام خزنده‌ها (*) اجازه داده شده که سایت را بخزند، اما بخش‌های مدیریتی و پرداخت مسدود شده‌اند.
• فایل admin-ajax.php برای عملکرد سایت در دسترس خزنده‌ها قرار گرفته است.

نحوه ساخت و افزودن فایل Robots.txt

1. ایجاد فایل: در نرم‌افزارهای متنی (مانند Notepad) یک فایل با نام robots.txt بسازید.
2. آپلود فایل: آن را در دایرکتوری ریشه‌ی سایت (public_html/) آپلود کنید.
3. بررسی فایل: برای اطمینان از درستی فایل، در مرورگر آدرس سایت + /robots.txt را وارد کنید.
4. افزودن از طریق Rank Math (پلاگین مورد استفاده شما):وارد پیشخوان وردپرس شوید.
   از منوی Rank Math، گزینه General Settings را انتخاب کنید.
   در بخش Robots.txt، تنظیمات دلخواه خود را اعمال کرده و ذخیره کنید.
   

نکات مهم برای تنظیم Robots.txt

• از مسدود کردن CSS و JS که برای رندر شدن صفحات ضروری هستند، خودداری کنید.
• از استفاده نادرست از Disallow پرهیز کنید، زیرا ممکن است خزنده‌ها را از صفحات مهم دور نگه دارید.
• مطمئن شوید که نقشه سایت (Sitemap) به درستی در فایل درج شده است.

بررسی و خطایابی فایل Robots.txt

گوگل ابزار Google Search Console را برای تست و عیب‌یابی فایل Robots.txt ارائه کرده است. می‌توانید وارد حساب GSC شوید و با استفاده از بخش URL Inspection بررسی کنید که فایل شما به درستی تنظیم شده باشد.

نتیجه‌گیری

فایل Robots.txt یکی از ابزارهای ساده اما بسیار کاربردی در سئو است که به کمک آن می‌توانید خزش موتورهای جستجو را مدیریت کرده و بودجه خزش را بهینه کنید. با تنظیم صحیح این فایل، هم دسترسی به صفحات غیرضروری را محدود و هم به بهبود رتبه سایت در موتورهای جستجو کمک می‌کنید.

منبع:سئو دانش