یکی ازفایل های مهم برای هر سایتی فایل Robots.txt است و تغییر این فایل یعنی بستن یا اجازه دادن به ربات های گوگل برای بررسی صفحات سایتتان.
یا استفاده از فایل Robots.txt می توانیددسترسی ربات های کراولر گوگل را به صفحاتی که نیاز به بررسی ندارند ببندید به این ترتیب در کرال باجت سایتتان صرفه جویی کنید به عنوان مثال میتوانید ورود ربات ها به صفحات ادمین را ببندید.
برای پیدا کردن فایل Robots.txt کافی است از پنل هاستتان وارد پوشه file manager شوید معمولا این فایل در روت اصلیقرار دارد اگر این فایل را پیدا نکردید با سرچ در هاستتان می توانید فایل را پیدا کنید و ویرایش کنید.
برای مشاهده فایل Robots.txt کافیست بعد از آدرس هر سایتی Robots.txtرا تایپ کنیم به عنوان مثال برای ویرگول به صورت زیراست:
https://virgool.io/robots.txt
برای ویرایش فایل Robots.txt اگر از رنک مث برای سئو سایتتان استفاده می کنید میتوانید این فایل را ویرایش کنید
اگر این امکان برای شما غیر فعال بود از هاستتان می توانید این فایل را ویرایش کنید
مهمترین کدهایی که در فایل روبوت باید بگذارید نقشه سایت و کدهای زیر هست:
User-agent: *
Disallow: /wp-admin/
Sitemap: https://www.sitename.ir/sitemap_index.xml
این یکی از نکات مهم در آموزش سئو وردپرس هست در آموزش بعدی به معرفی نقشه سایت و نحوه ساخت آن می پردازیم
