امروز یک نکته بسیار مهم و ریز بهتون میگم که استفاده فایل ربات باید در نظر بگیرید:
نباید هیچ URL بلاک شده در فایل robots.txt را در XML نقشه سایت خود قرار دهید. این اتفاق به‌ویژه اگر از چند ابزار برای ساخت فایل robots.txt و XML نقشه سایت استفاده می‌کنید ممکن است رخ دهد. در چنین مواردی شاید مجبور شوید خودتان همه آن‌ها را به‌دقت بررسی کنید و ببینید آیا هیچ‌کدام از URL های Block شده در نقشه سایت هم هستند یا خیر. اگر سایت خود را در اکانت Google Webmaster Tools ثبت و تأیید کرده و نقشه سایتتان را هم در آن وارد کرده باشید، می‌توانید این مسئله را در اکانت خود بررسی کنید.
اگر سایت وردپرسی دارید این مورد بوسیله افزونه یوست بسیار شایع است.
