همانطور که می‌دانید؛ شما در هنگام طراحی سایت، فایل robots.txt را باید به صورت دستی در مسیر اصلی سایت یعنی www.yourdomain.com/robots.txt بسازید. اگر تا به حال خطای Submitted URL blocked by robots.txt (URL ارسال شده توسط robots.txt مسدود شده است) را در گوگل سرچ کنسول خود و Rank Math’s analytics از گزارش وضعیت ایندکس بودن را دیده‌اید، می‌دانید که می‌تواند بسیار خسته کننده باشد. قبل از همه، شما تمام دستورها را دنبال کرده‌اید و مطمئن شده‌اید که وب سایت شما برای موتورهای جستجو مانند گوگل یا بینگ بهینه شده است. پس چرا این اتفاق می‌افتد؟ با ما همراه باشد تا به معرفی و رفع خطای Blocked by robots.txt بپردازیم.
این خطا یکی از مهمترین خطاهای سایت در هنگام بهینه سازی و سئوی سایت است. پس حتما آن را جدی بگیرید.
خطای Submitted URL blocked by robots.txt (URL ارسال شده توسط robots.txt مسدود شده است) به این معنی است که فایل robots.txt وب سایت شما مانع از خزیدن Googlebot در صفحه می‌شود. به عبارت دیگر، گوگل تلاش می‌کند به صفحه دسترسی پیدا کند اما توسط فایل robots.txt مانع از آن می‌شود. این ممکن است به دلایل مختلفی اتفاق بیفتد، اما رایج‌ترین دلیل این است که فایل robots.txt به درستی پیکربندی نشده است. به عنوان مثال، ممکن است به طور تصادفی Googlebot را از دسترسی به صفحه مسدود کرده باشید، یا ممکن است دستور غیر مجاز را در فایل robots.txt خود قرار داده باشید که مانع از خزیدن Googlebot در صفحه می‌شود.
خوشبختانه، پیدا کردن خطای Submitted URL blocked by robots.txt (URL ارسال شده توسط robots.txt مسدود شده است) بسیار آسان است. برای یافتن این خطا می‌توانید از گوگل سرچ کنسول یا گزارش وضعیت فهرست در Rank Math’s Analytics استفاده کنید.
برای بررسی اینکه آیا این خطا را در گوگل سرچ کنسول خود دارید یا خیر، کافیست به تب Coverage بروید و در قسمت Error مطابق شکل زیر به دنبال خطا بگردید:
?
سپس مطابق شکل زیر بر روی خطای Submitted URL Blocked by robots.txt کلیک کنید:
?
اگر روی خطا کلیک کنید، لیستی از صفحاتی که توسط فایل robots.txt شما مسدود شده‌اند را مشاهده خواهید کرد:
?
همچنین می‌توانید از گزارش وضعیت ایندکس شدن در Rank Math’s Analytics برای شناسایی صفحات دارای مشکل استفاده کنید. برای انجام این کار، به Rank Math > Analytics در داشبورد وردپرس بروید. در مرحله بعد، روی تب Index Status کلیک کنید. در این برگه، real data/status صفحات خود و همچنین حضور آن‌ها در گوگل را دریافت خواهید کرد.
?
علاوه بر این، می‌توانید وضعیت فهرست پست‌ها را با استفاده از منوی کشویی فیلتر کنید. وقتی وضعیت خاصی را فیلتر می‌کنید، مثلا «Submitted URL blocked by robot.txt» را فیلتر نمایید، می‌توانید همه پست‌هایی را که وضعیت یکسانی دارند، ببینید.
?
پس از دریافت لیست صفحاتی که این وضعیت را برمی‌گردانند، می‌توانید شروع به عیب‌یابی و رفع مشکل کنید.
برای رفع این مشکل، باید مطمئن شوید که فایل robots.txt وب سایت شما به درستی پیکربندی شده است. می‌توانید از ابزار تست فایل robots.txt گوگل برای بررسی فایل خود استفاده کنید و مطمئن شوید که هیچ دستورالعملی وجود ندارد که مانع از دسترسی Googlebot به سایت شما شود. اگر متوجه شدید که دستورالعمل‌هایی در فایل robots.txt شما وجود دارد که مانع از دسترسی Googlebot به سایت شما می‌شود، باید آن‌ها را حذف کنید یا یک مورد مجازتر جایگزین کنید. در ادامه می‌گوییم که چگونه می‌توانید فایل robots.txt خود را آزمایش کنید و مطمئن شوید که هیچ دستورالعملی وجود ندارد که مانع از دسترسی Googlebot به سایت شما شود.
?
توجه : اگر این گزینه برای شما در دسترس نیست، مطمئن شوید که از حالت پیشرفته در Rank Math استفاده می‌کنید.
در ویرایشگر کدی که در وسط صفحه شما موجود است (کدی را که از robots.txt کپی کرده‌اید) جای‌گذاری کنید. تست کنید و سپس روی دکمه Save Changes کلیک کنید تا تغییرات منعکس شود.
توجه : لطفاً هنگام ایجاد هرگونه تغییری در وب سایت خود از طریق robots.txt مراقب باشید. چنانچه این تغییرات می‌تواند ترافیک جستجوی شما را بهبود بخشد، می‌تواند آسیب بزرگتری را وارد کند.پس مراقب باشید.
برای توضیحات بیشتر، اسکرین شات زیر را ببینید:
?
پس از انجام این تغییرات، گوگل می‌تواند به وب‌سایت شما دسترسی پیدا کند و خطای Submitted URL blocked by robots.txt برطرف می‌شود.
برای جلوگیری از تکرار خطای Submitted URL blocked by robots.txt در آینده، توصیه می‌کنیم فایل robots.txt وب‌سایت خود را به‌طور منظم مرور کنید. این کمک می‌کند تا اطمینان حاصل شود که همه دستورالعمل‌ها دقیق هستند و هیچ صفحه‌ای به طور تصادفی توسط Googlebot خزیده نمی‌شود. ما همچنین استفاده از ابزاری مانند Google’s Webmaster Tools را برای کمک به مدیریت فایل robots.txt وب سایت خود توصیه می‌کنیم. Webmaster Tools به شما این امکان را می‌دهد که به راحتی فایل robots.txt خود را ویرایش و به‌روز کنید، همچنین صفحاتی را برای فهرست‌بندی، مشاهده خطاهای خزیدن و موارد دیگر ارسال کنید.
شما می‌توانید با مراجعه کردن به صفحه مقالات آموزشی ماکان، سایر مقالات ما را مطالعه کنید.
صفحه ما را در اینستاگرام دنبال کنید تا با مطالب روز در حوزه دیجیتال آشنا شوید.
