جلوگیری از Crawl یا خزش روبات گوگل (جلوگیری ایندکس شدن)

به منظور جلوگیری از محتوای نامطلوب در ایندکس‌های جستجو، مدیران شبکه می‌توانند به عنکبوت‌ها (به انگلیسی: Spider) دستور بدهند که فایل‌ها یا دایرکتوری‌های خاصی را درون فایل استاندارد robots.txt در دایرکتوری اصلی دامنه، مورد بررسی و خزش (به انگلیسی: Crawl) قرار ندهند. بعلاوه، یک صفحه می‌تواند صراحتاً از پایگاه‌داده‌ها مورد جستجو خارج شود که این عمل از طریق استفاده از متاتگ‌های مخصوص به ربات‌ها صورت می‌گیرد.

فایل robots.txt نمونه به صورت زیر می‌باشد:

همانگونه که در فایل زیر مشخص می‌باشد، در این فایل ادمین سایت به کرالرها و یا ربات‌های خزنده موتورهای جستجوگر اعلام میکند که همه ربات ها زیر مجموعه های faghatseo.com/folder و غیره را بررسی نکنند.

در وردپرس قسمت ادمین سایت معمولا با اسلاگ wp-admin شروع میشود، معمولا در فایل robots.txt اعلام میشود که زیر مجوعه‌های این قسمت از سایت را کرال و یا خزش ننمایند.

نمونه‌های دیگر:

• administrator
• wp-admin
• wp-login
• components
• plugins

جهت مشاهده فایل robots.txt همین سایت، سایت فقط سئو میتونین کلیک کنین و ببینین.

نمونه‌ای از متا تگ‌های سایت nytimes.com

ممنون از اینکه این پست رو خوندین !

حتما و لطفا اگر براتون مفید بود ❤️ کنید و اگر مشکلی داشت کامنت بذارید و یا توی توئیتر یا لینکدین و جاهای دیگه با بنده در ارتباط باشین. ? ?