Robots.txt یک فیلتر ورودی برای سایت شما به حساب میاد که کنترل کامل اون دست شما هستش. کنترل کردن این فایل نه تنها نقش مدیریت ربات ها را دارد بلکه یکی از مباحث مهم سئوی تکنیکال و شروع کار به حساب میاد.
فایل Robots.txt به صورت خودکار وجود ندارد مگر آنکه افزونه های سئو مانند Yoast و Rank math نصب کرده باشید. در صورتی که این فایل را نداشتید کافیه یک فایل Not دقیقا با اسم robots.txt ایجاد کنید و دستورات خود را در آن وارد کنید و داخل ریشه اصلی سایت یعنی Public html بارگذاری کنید.
اگر یکی از افزونه های کمکی سئویی که نام بردم را داشتید کافیه طبق تصویر زیر عمل کنید و دستورات را در قسمت تعریف شده وارد کنید و نیازی به آپلود فایل نیست. (دقت کنید در صورت تعریف دستور ها نیازی به آپلود نیست و این کار باعث اختلال در سئوی سایت خواهد شد)
در محتوایی جداگانه نحوه نوشتن درست دستورات را میگم چرا که بسیار بخش پر اهمیتی هستش.
ممنون میشم جهت حمایت و انتشار تکنیک های رایگان از پست های بنده و لینکدینم حمایت کنید:
https://www.linkedin.com/in/mahdi-zare-9147842a6/