عاشق تکنولوژی، علاقمند به سئو و دیجیتال مارکتینگ، مهندس و کارشناس نفت! اینجا پستهایی میذارم که برا خودمم سوال بوده و کم کم پیداش کردم.
جلوگیری از Crawl یا خزش روبات گوگل (جلوگیری ایندکس شدن)
به منظور جلوگیری از محتوای نامطلوب در ایندکس‌های جستجو، مدیران شبکه می‌توانند به عنکبوت‌ها (به انگلیسی: Spider) دستور بدهند که فایل‌ها یا دایرکتوری‌های خاصی را درون فایل استاندارد robots.txt در دایرکتوری اصلی دامنه، مورد بررسی و خزش (به انگلیسی: Crawl) قرار ندهند. بعلاوه، یک صفحه می‌تواند صراحتاً از پایگاه‌داده‌ها مورد جستجو خارج شود که این عمل از طریق استفاده از متاتگ‌های مخصوص به ربات‌ها صورت می‌گیرد.
فایل robots.txt نمونه به صورت زیر می‌باشد:
همانگونه که در فایل زیر مشخص می‌باشد، در این فایل ادمین سایت به کرالرها و یا ربات‌های خزنده موتورهای جستجوگر اعلام میکند که همه ربات ها زیر مجموعه های faghatseo.com/folder و غیره را بررسی نکنند.
در وردپرس قسمت ادمین سایت معمولا با اسلاگ wp-admin شروع میشود، معمولا در فایل robots.txt اعلام میشود که زیر مجوعه‌های این قسمت از سایت را کرال و یا خزش ننمایند.
نمونه‌های دیگر:
- administrator
- wp-admin
- wp-login
- components
- plugins
جهت مشاهده فایل robots.txt همین سایت، سایت فقط سئو میتونین کلیک کنین و ببینین.
نمونه‌ای از متا تگ‌های سایت nytimes.com
مطلبی دیگر از این انتشارات
نقش و تاثیر لینک سازی برای سئو و بهینه سازی طراحی وب سایت
مطلبی دیگر از این انتشارات
انواع محتوا و تاثیر آنها در سئو سایت
مطلبی دیگر از این انتشارات
سئو سایت: کامنت با طعم بک لینک