همیشه بخش‌هایی از سایت وجود دارد که ممکن است یا محتوای مناسبی نداشته باشد و یا کاربردی برای کاربران نداشته باشد.اینجاست که دلمان میخواهد این صفحات از دید موتورهای جستجوی گوگل مخفی بماند. حال این سؤال مطرح می‌شود که آیا میتوان این کار را بدون اینکه از سایت حذف شود، انجام داد؟ برای پاسخ به این سؤال نام robots.txt به میان می‌آید که در ادامه میتوانید با آن آشنا شده و به سؤال خود پاسخ دهید.
robots.txt فایلی است که به ربات های موتور جستجو می گوید که کرالر به کدام URL در سایت شما می تواند دسترسی پیدا کند. استفاده از robots.txt عمدتا برای جلوگیری از بارگذاری بیش از حد درخواست ها در سایت استفاده می شود. به طور کلی با استفاده از دستورهایی که در حوزه بهینه سازی سایت‌ها برای موتورهای جستجو موجود است، میتوان از ورود ربات های گوگل به صفحاتی از سایت که میخواهیم جلوگیری کرد.
تا اینجا متوجه شدیم robots.txt چیست، اما اینکه دقیقاً برای چه مواردی کاربرد دارد، مساله ای است که در ادامه به آن پرداخته ایم.
نکته قابل توجه در استفاده از این فایل زمانی است که سایت ما دارای بازدید زیادی است و نمیخواهیم منابع سرور صرف بازدیدهای سریع و پشت سر هم ربات ها شود.در اینجا با نوشتن یک دستور ساده از بازدیدهای بسیار زیاد ربات ها از صفحات جلوگیری میکنیم و پهنای باند سرور و یا هاست صرف ربات ها نمی شود.
جلوگیری از ورود ربات ها به سایت به این دلیل حایز اهمیت است که هاست و یا سرور سایت شما برای بارگذاری صفحات برای ربات مشغول نشوند.
پیش از همه چیز بیایید به بررسی معنای Crawl Budget بپردازیم. تعداد صفحاتی را که کرالرهای گوگل در یک روز به آنها می‌پردازد Crawl Budget می گویند.این بودجه به تعداد صفحاتسایت و عدم بروز خطای آنها و تعداد بک‌لینک‌های سایت بستگی دارد.
اگر در فایل robots.txt از ربات ها بخواهیم که صفحات ایندکس نشوند این اتفاق می افتد. اما ممکن است در صفحات جستجو هم نمایش داده شود. پیش از این با استفاده از دستور noindex صفحات را می شداز دید گوگل و نتایج جستجو دور نگه داشت. در سال‌های اخیر گوگل اعلام کرد بهتر است از روش دیگر برای نشان ندادنصفحات وبسایت از نتایج جستجو استفاده کرد. زیرا ممکن است با استفاده از لینک هایی که به آن صفحه داده شده است ، صفحه ایندکس شود.
برای این کار استفاده از تگ noindex در head صفحه پیشنهاد می شود.البته در سایت‌های وردپرسی میتوان از یک افزونه استفاده کرد.
در این مقاله، با موارد کاربرد فایل robot.txt آشنا شدیم. اما اینکه چه دستوراتی برای کار با این فایل وجود دارد و چطور باید از این دستورها استفاده کرد، موضوعی است که در مقاله بعدی به آن می پردازیم.
