برای خواندن این محتوا به صورت پیشرفته روی لینک بالا کلیک کنید
یک فایل robots.txt به خزنده های موتورهای جستجو می گوید که خزنده به کدام URL ها می تواند در سایت شما دسترسی داشته باشد. این عمدتا برای جلوگیری از بارگذاری بیش از حد سایت شما با درخواست ها استفاده می شود. این مکانیسمی برای دور نگه داشتن یک صفحه وب از گوگل نیست. برای دور نگه داشتن یک صفحه وب از Google، نمایه سازی را با noindex مسدود کنید یا صفحه را با رمز عبور محافظت کنید.
فایل robots.txt برای چه مواردی استفاده می شود؟
فایل robots.txt عمدتاً برای مدیریت ترافیک خزنده به سایت شما و معمولاً بسته به نوع فایل برای نگه داشتن فایل از Google استفاده می شود:
اثر robots.txt بر روی انواع فایل های مختلف
اگر فکر می‌کنید سرور شما تحت تأثیر درخواست‌های خزنده Google قرار می‌گیرد یا برای جلوگیری از خزیدن، می‌توانید از فایل robots.txt برای صفحات وب (HTML، PDF یا سایر قالب‌های غیر رسانه‌ای که Google می‌تواند آنها را بخواند) برای مدیریت ترافیک خزنده استفاده کنید. صفحات بی اهمیت یا مشابه در سایت شما.
هشدار: از فایل robots.txt به عنوان وسیله ای برای مخفی کردن صفحات وب خود از نتایج جستجوی گوگل استفاده نکنید.
اگر صفحات دیگر با متن توصیفی به صفحه شما اشاره می کنند، گوگل همچنان می تواند URL را بدون بازدید از صفحه فهرست کند. اگر می خواهید صفحه خود را از نتایج جستجو مسدود کنید، از روش دیگری مانند محافظت با رمز عبور یا noindex استفاده کنید.
اگر صفحه وب شما با فایل robots.txt مسدود شده باشد، URL آن همچنان می تواند در نتایج جستجو ظاهر شود، اما نتیجه جستجو توضیحی نخواهد داشت. فایل‌های تصویری، فایل‌های ویدیویی، فایل‌های PDF و سایر فایل‌های غیر HTML مستثنی خواهند شد. اگر این نتیجه جستجو را برای صفحه خود می بینید و می خواهید آن را برطرف کنید، ورودی robots.txt را که صفحه را مسدود می کند حذف کنید. اگر می خواهید صفحه را به طور کامل از جستجو پنهان کنید، از روش دیگری استفاده کنید.
از فایل robots.txt برای مدیریت ترافیک خزیدن و همچنین جلوگیری از نمایش فایل های تصویری، ویدیویی و صوتی در نتایج جستجوی گوگل استفاده کنید. این مانع از پیوند سایر صفحات یا کاربران به تصویر، ویدیو یا فایل صوتی شما نمی شود.
درباره نحوه حذف یا محدود کردن نمایش فایل‌های ویدیویی خود در Google بیشتر بخوانید.
فایل منبع می‌توانید از فایل robots.txt برای مسدود کردن فایل‌های منبعی مانند فایل‌های تصویر، اسکریپت یا سبک بی‌اهمیت استفاده کنید، اگر فکر می‌کنید که صفحاتی که بدون این منابع بارگذاری می‌شوند به طور قابل‌توجهی تحت تأثیر از دست دادن قرار نخواهند گرفت. با این حال، اگر عدم وجود این منابع، درک صفحه را برای خزنده گوگل سخت‌تر می‌کند، آنها را مسدود نکنید، در غیر این صورت گوگل کار خوبی برای تجزیه و تحلیل صفحاتی که به آن منابع وابسته هستند انجام نمی‌دهد.
محدودیت های یک فایل robots.txt را درک کنید
قبل از ایجاد یا ویرایش فایل robots.txt، باید محدودیت‌های این روش مسدود کردن URL را بدانید. بسته به اهداف و موقعیت خود، ممکن است بخواهید مکانیسم های دیگری را در نظر بگیرید تا مطمئن شوید URL های شما در وب قابل یافتن نیستند.
دستورات robots.txt ممکن است توسط همه موتورهای جستجو پشتیبانی نشود.
دستورالعمل‌های موجود در فایل‌های robots.txt نمی‌توانند رفتار خزنده را در سایت شما اعمال کنند. این به خزنده بستگی دارد که از آنها اطاعت کند. در حالی که Googlebot و سایر خزنده‌های وب معتبر از دستورالعمل‌های فایل robots.txt پیروی می‌کنند، خزنده‌های دیگر ممکن است این کار را نکنند. بنابراین، اگر می‌خواهید اطلاعات را از خزنده‌های وب ایمن نگه دارید، بهتر است از روش‌های مسدودسازی دیگر مانند محافظت از فایل‌های خصوصی با رمز عبور روی سرور خود استفاده کنید.
خزنده های مختلف نحو را متفاوت تفسیر می کنند.
اگرچه خزنده‌های وب معتبر دستورالعمل‌های موجود در فایل robots.txt را دنبال می‌کنند، اما هر خزنده ممکن است دستورالعمل‌ها را متفاوت تفسیر کند. شما باید نحو مناسب برای آدرس دادن به خزنده های وب مختلف را بدانید زیرا برخی ممکن است دستورالعمل های خاصی را درک نکنند.
صفحه‌ای که در robots.txt غیرمجاز است، در صورت پیوند به سایت‌های دیگر همچنان می‌تواند ایندکس شود.
اگرچه Google محتوای مسدود شده توسط یک فایل robots.txt را نمی‌خزد یا فهرست‌بندی نمی‌کند، اما ممکن است URL غیرمجاز را در صورتی که از مکان‌های دیگر در وب پیوند داده شده باشد، پیدا کرده و فهرست‌بندی کنیم. در نتیجه، آدرس URL و احتمالاً سایر اطلاعات عمومی در دسترس مانند متن لنگر در پیوندهای صفحه همچنان می توانند در نتایج جستجوی Google ظاهر شوند. برای جلوگیری از نمایش صحیح URL خود در نتایج جستجوی Google، از فایل های سرور خود با رمز عبور محافظت کنید، از متا تگ noindex یا سربرگ پاسخ استفاده کنید یا صفحه را به طور کامل حذف کنید.
احتیاط: ترکیب چندین دستورالعمل خزیدن و نمایه سازی ممکن است باعث شود برخی دستورالعمل ها با دستورالعمل های دیگر مقابله کنند. بیاموزید که چگونه خزیدن را با دستورالعمل های نمایه سازی و ارائه خدمات ترکیب کنید.
یک فایل robots.txt ایجاد کنید
