جان مولر گوگل به سؤالی در مورد استفاده از robots.txt برای مسدود کردن پرونده های ویژه ، از جمله .css و .htacess پاسخ می دهد.
این موضوع در جدیدترین نسخه از سری ویدیوهای Ask Google Webmasters در YouTube به تفصیل مورد بحث قرار گرفت.
در اینجا سؤالی که ارائه شده است:
"با توجه به robots.txt ، باید:" مجاز نیستم: /*.css$ "،" مجاز نیستم: /php.ini "، یا حتی" نپذیرم: /.htaccess "؟"
در پاسخ ، مولر می گوید Google نمی تواند صاحبان سایت را از عدم اجازه این پرونده ها متوقف کند. اگرچه مطمئناً توصیه نمی شود.
"نه نمی توانم شما را از عدم اجازه آن پرونده ها محروم کنم. اما این مانند ایده بد به نظر می رسد. شما به چند مورد خاص اشاره می کنید ، بنابراین اجازه دهید نگاهی بیندازیم. "
در بعضی موارد مسدود کردن پرونده های ویژه به سادگی قابل استفاده نیست ، اگرچه در موارد دیگر می تواند به شدت بر توانایی گوگل سایت برای خزیدن سایت تأثیر بگذارد.
در اینجا توضیح داده شده است که هنگام مسدود شدن هر نوع پرونده ویژه چه اتفاقی خواهد افتاد.
خزیدن CSS کاملاً مهم است زیرا به Googlebot اجازه می دهد صفحات را به درستی ارائه دهد.
ممکن است صاحبان سایت احساس کنند که لازم است پرونده های CSS را مسدود کنید تا پرونده ها به تنهایی ایندکس نشوند ، اما مولر می گوید که معمولاً چنین اتفاقی نمی افتد.
Google بدون توجه به پرونده نیاز دارد ، بنابراین حتی اگر یک پرونده CSS پایان یابد و نمایه سازی شود ، به همان اندازه مسدود کردن آن ضرری نخواهد داشت.
". * .css" همه پرونده های CSS را مسدود می کند. ما باید بتوانیم به پرونده های CSS دسترسی پیدا کنیم تا
بتوانیم صفحات شما را به درستی ارائه دهیم.
این امر بسیار حیاتی است به طوری که می توانیم به عنوان مثال یک صفحه دوستانه برای موبایل تشخیص دهیم.
پرونده های CSS عموماً ایندکس نمی شوند ، اما ما باید آنها را ویرایش کنیم. "
استفاده از robots.txt برای مسدود کردن php.ini ضروری نیست زیرا این پرونده ای نیست که به هر حال به راحتی قابل دسترسی باشد.
این پرونده باید قفل شود که از دسترسی Googlebot حتی به آن جلوگیری می کند. و این کاملا خوب است
همانطور که مولر توضیح می دهد ، مسدود کردن PHP اضافی نیست.
"شما همچنین به PHP.ini اشاره کردید - این یک پرونده پیکربندی برای PHP است. به طور کلی ، این پرونده باید قفل شده یا در یک مکان خاص باشد تا کسی نتواند به آن دسترسی پیدا کند.
و اگر کسی نتواند به آن دسترسی پیدا کند ، شامل Googlebot نیز می شود. بنابراین ، دیگر نیازی به جلوگیری از خزیدن آن نیست. "
مانند PHP ، .htaccess یک پرونده قفل شده است. این بدان معناست که حتی از Googlebot به خارج نمی توان دسترسی داشت.
نیازی به مجاز نیست زیرا در وهله اول نمی توان خزید.
"در آخر ، شما به .htaccess اشاره کردید. این یک فایل کنترل ویژه است که به طور پیش فرض به آن دسترسی ندارد. مانند سایر پرونده های قفل شده ، دیگر نیازی به صراحت آنرا از خزیدن نمی دارید زیرا به هیچ وجه قابل دسترسی نیست. "
مولر فیلم را با چند کلمه کوتاه درمورد اینکه چگونه صاحبان سایت باید در ایجاد پرونده robots.txt پیش بروند ، خاموش کرد.
صاحبان سایت تمایل دارند که فایل robots.txt سایت دیگری را کپی کرده و از آن به عنوان مورد استفاده خود استفاده کنند.
مولر در مورد آن توصیه می کند. درعوض ، به طور انتقادی فکر کنید که کدام قسمت از سایت شما نمی خواهید خزنده شوید و فقط آن موارد را نادیده می گیرید.
"توصیه من این است که فقط از پرونده robots.txt شخص دیگری استفاده نکنید و فرض کنید که کار خواهد کرد. درعوض ، به این فکر کنید که در کدام قسمت از سایت خود واقعاً نمی خواهید خزنده شوید و فقط خزیدن آن را مجاز نمی دانید. "
مسدود کردن برخی منابع خارجی خوب است
نویسنده : امیر حسین شمس
منبع:seoblog.com
