برای درک بهتر معنا و کاربرد فایل robots. txt باید ابتدا با سئو آشنا شوید. در واقع «سئو یا SEO» تمامی اقداماتی است که ما روی سایت‌مان انجام می‌دهیم تا صفحات آن در نتایج جستجوی گوگل دیده شود. مثلاً الان بعد از جستجوی کلمه خرید موبایل شیائومی، سایت دیجی کالا را در لینک اول گوگل مشاهده می‌کنید. چرا؟
به این دلیل است که این سایت به شدت به سئوی خودش اهمیت داده و در ادامه گوگل متوجه اعتبار بالایش شده. به این ترتیب این صفحه از سایت را در نتیجه جستجوی کلمه مورد نظر بیشتر از دیگر سایت‌ها به مخاطبان نشان می‌دهد. حالا راحت می‌توانیم بفهمیم که فایل robots.txt چیست و چه کاربردی دارد؟!
جهت سفارش سئوی سایت خود، به سایت بلوویرا مراجعه کنید.
فایل robots.txt یک فایل متنی در سایت ماست که در آن تعدادی دستور برای فرمان دادن به ربات‌ها و خزنده‌های وب وجود دارد! اجازه بدهید کمی ساده‌تر توضیح بدهم.
ابتدایی‌ترین قدمی که گوگل برای رتبه‌بندی صفحات سایت ما در نتایج جستجو برمی‌دارد، crawl یا خزش صفحات است. یعنی چه؟ در واقع در این قدم گوگل به کمک ربات‌هایش که با اسم Googlebot می‌شناسیم‌شان، به سایت ما سر زده و یکی‌یکی صفحات و محتوا‌های‌مان را بررسی می‌کند. بعد از آنهم این صفحات را ذخیره (ایندکس) کرده و با توجه به فاکتورهای سئو، یک رتبه به هر کدام در کلمات مرتبطش در نتایج جستجو می‌دهد. مثلا صفحه «آموزش بوم مدل کسب و کار» در بلوویرا را به رتبه چهار نتایج جستجو می‌برد.
حالا وظیفه ما به عنوان وبمستر سایت یا سئوکار این است که هر اقدامی را انجام دهیم تا ربات‌های گوگل راحت‌تر سایت ما را بررسی کنند و به سراغ هر صفحه بی‌ارزشی نروند.
یکی از این اقدامات، بهینه کردن فایل robots.txt است. در واقع robots.txt به زبان ساده، یک فایل متنی است که در آن تعدادی متن انگلیسی شبیه به کد‌های برنامه‌نویسی نوشته شده. با توجه به اینکه ربات‌ها زبان ما آدمیزاد‌ها سرشان نمی‌شود، ما به کمک این کد‌ها می‌توانیم دستورات لازم را به ربات‌ها بدهیم. مثلاً به آن‌ها بگوییم که فلان صفحه از سایت ما را بررسی نکند یا اصلاً برای مدتی به سایت ما سر نزنند چرا که سایت در حال تعمیرات است.
می‌شود گفت بله! کد‌هایی که در این فایل وجود دارند هدف‌شان دستور دادن به ربات‌های گوگل و دیگر موتورهای جستجو است. دستوراتی مثل همان که فلان صفحه را بررسی نکند یا مثلاً عکس‌های کل سایت یا بخشی از صفحات را در نتایج جستجو به کاربران نمایش ندهد.
اما یک نکته مهم وجود دارد. اینکه در صورت وجود یک کد اشتباه در فایل، ممکن است به طور کلی سئوی سایت ما از بین برود. چرا؟! همانطور که بالاتر هم گفتم ابتدایی‌ترین قدم گوگل برای نمایش صفحات سایت در نتایج جستجو، بررسی صفحات‌مان است. حالا وقتی که به اشتباه یا به عمد با یک کد در robots.txt کاری کنیم این ربات‌ها صفحات سایت را بررسی نکنند، عملاً جلوی سئو شدن سایت‌مان را گرفته‌ایم!
مطالب مرتبط: خلاصه کتاب کفش باز
در این مقاله من می‌خواهم تمام چیزی که باید به عنوان یک وبمستر از robots بدانید را به شما توضیح بدهم. اما قبل از رفتن به سراغ بحث‌های تخصصی به عنوان کسی که حداقل 7 سال سابقه تولید محتوا و سئو سایت را دارد، باید این نکته مهم را به توضیح بدهم:
کار کردن با robots txt کار خیلی آسانی نیست و حتی هستند بعضی سئوکارهایی که کار با آن را بلد نیستند. به همین دلیل به هیچ عنوان به عنوان یک کاربر بدون تجربه و تخصص به سراغش نروید.
نکته مهم‌تر اینجاست که اگر وب سایت‌تان را با سیستم‌های مدیریت محتوای محبوبی ساخته‌اید؛ مثلاً سیستم وردپرس ، در این شرایط فایل شما به طور کامل بهینه شده و نیاز به هیچ تغییری ندارد. بنابراین سعی کنید به طور مستقیم به سراغ آن نروید. مخصوصا که بسیاری از دستورات درون این فایل را می‌توانید با کمک تگ‌های نوایندکس و ایندکس که در سیستم مدیریت محتوای‌تان به راحتی در دسترس است، اعمال کنید.
اما اگر سیستم مدیریت محتوایی دارید که خیلی قابل اعتماد نیست یا حداقل سایت‌تان را کسی برای‌تان طراحی کرده که آشنایی با سئو نداشته، شاید در آینده مجبور شوید برای چند تغییر جزئی به سراغ این فایل بروید.
خب، دیگر تا آنجایی که لازم بود توضیحات مبتدی دادم و بهتر است از اینجا به بعد به سراغ بخش تخصصی مقاله بروم. در ادامه به شما توضیح می‌دهم که از فایل robots.txt می‌توانید چه استفاده‌هایی در سایت داشته باشید؟
مخصوصاً اگر به طور تخصصی وارد دنیای سئو شوید، می‌فهمید که خیلی مواقع در سایت مجبورید صفحاتی را از دید ربات‌ها پنهان کنید! مثلاً یک صفحه که برای کاربران طراحی کرده‌اید اما محتوایش کم‌تر از ۱۰۰ کلمه است یا یک صفحه که محتوایی تکراری نسبت به یکی از صفحات سایت خودتان یا صفحات سایت دیگران دارد.
در واقع در این شرایط اگر ربات گوگل صفحات مورد نظر را ببیند، به دلیل محتوای نامناسب‌شان ممکن است قدرت سئوی کلی سایت شما را پایین بیاورد. بنابراین بهترین انتخاب این است که آن‌ها را از دید‌شان قایم کرده و به ربات‌ها دستور بدهیم که صفحه مورد نظر را بررسی نکنند.
در هر حال یکی از کاربرد‌های robots.txt این است که به کمکش می‌توانید به ربات‌ها بگویید صفحه یا صفحات موردنظرتان را بررسی نکنند. البته دقت کنید که اغلب سیستم‌های مدیریت محتوا از جمله «وردپرس» که مجموعه طراحی سایت و سئو بلوویرا با این سیستم مدیریت محتوای محبوب طراحی سایت انجام می دهد، به شما اجازه می‌دهند به راحتی و به کمک یک دکمه در خود صفحه مورد نظر، تگ نوایندکس را به صفحه اضافه کرده و از دست بردن در فایل robots.txt بی‌نیاز شوید.
بالاتر توضیح دادم که ربات‌های گوگل برای نشان دادن صفحات سایت شما در نتایج جستجو باید آن‌ها را کراول کنند. اما با توجه به اینکه گوگل با بیشتر از میلیون‌ها وب سایت روبرو است و قطعاً محدودیت‌هایی در خزش صفحات دارد؛ این موتور جستجو چیزی به اسم بودجه خزش را معرفی کرده. در واقع هر وب سایت با توجه به اعتبار، تعداد صفحات و... یک بودجه خزش دارد و بر اساس آن، گوگل به تعداد دفعات محدودی آن را بررسی می‌کند.
حالا اگر صفحات بی‌ارزش زیادی در سایت وجود دارد که نمی‌خواهید در گوگل دیده شوند، می‌توانید به کمک robots.txt آن‌ها را مسدود کرده و کاری کنید که بودجه خزش صرفاً برای صفحات مهم‌تان صرف شود. البته باز هم همین کار را می‌توانید بدون نیاز به robots.txt و به کمک تگ نوایندکس در صفحات مورد نظر انجام دهید.
نه همه سایت‌ها، ولی خب بعضی از وبمستران به دلایلی دوست ندارند که محتوا‌های چند رسانه‌ای‌شان در نتایج جستجو نمایش داده شود. مثلاً نمی‌خواهند تصاویری که در صفحات استفاده می‌کنند در بخش تصاویر گوگل دیده شود یا نمی‌خواهند ویدیو‌های‌شان به بخش ویدیو‌های گوگل برود.
در این شرایط با نوشتن چند کد در robots.txt می‌توان به هدف مورد نظر رسیده و از دسترسی ربات‌ها به منابع و محتوای چندرسانه‌ای جلوگیری کرد. البته با توجه به اینکه چنین کاری باعث کاهش قدرت سئوی سایت و همینطور کاهش ترافیک آن می‌شود اگر دلیل خاصی برای انجامش ندارید، به سراغش نروید.
مطالب مرتبط: بک لینک چیست؟
راستش را بخواهید وجود نداشتن فایل در سایت شما احتمالاً مشکل خاصی ایجاد نمی‌کند! در واقع همین حالا هم هستند وب سایت‌هایی که این فایل را ندارند و اتفاقاً گوگل به راحتی صفحات آن‌ها را بررسی می‌کند. اما خب باز هم بهتر است فایل مورد نظر را در سایت داشته باشیم.
در هر حال اگر برای‌تان بحث خزش و دیده شدن سایت اهمیت دارد، بدانید که بیشتر از فایل robots.txt باید به «نقشه سایت» اهمیت بدهید. نقشه سایت یک فایل متنی است که لینک صفحات مختلف سایت را در اختیار ربات‌های گوگل قرار می‌دهد تا راحت‌تر آن‌ها را پیدا و ایندکس کنند.
یکی از نکات مهمی که باید در مورد robots و به طور کلی هر دستوری که با ربات‌های گوگل سروکار دارد بدانید این است که دستورات همیشه هم توسط ربات‌ها به طور کامل اجرا نمی‌شوند! یعنی چه؟
اول از همه اینکه ممکن است ربات‌های موتورهای جستجوهای مختلف و حتی چند ربات از یک موتور جستجو، نسبت به یک دستور شما رفتار متفاوتی داشته باشند. یعنی ممکن است ربات موتور جستجوی یاهو به یک دستور که درون فایل نوشته‌‌اید بی‌توجه باشد اما ربات‌های گوگل به آن توجه کرده و اجرایش کنند.
در درجه دوم ممکن است گاهی ربات‌ها پای‌شان را فراتر گذاشته و به دلخواه هر صفحه از سایت شما را بررسی کنند! با اینکه این اتفاق کم‌تر رخ می‌دهد اما در هر حال اگر برای‌تان خیلی‌خیلی مهم است که یک صفحه از سایت به هیچ عنوان در گوگل دیده نشود، می‌توانید علاوه بر استفاده از دستورات فایل robots.txt از تگ نوایندکس هم در آن استفاده کنید. حتی در حالت بهتر می‌توانید روی آن رمز بگذارید تا به هیچ عنوان ربات‌ها به آن دسترسی پیدا نکنند.
خب به انتهای مقاله رسیدیم. در این مقاله فهمیدیم که فایل robots txt چیست و چه کاربردی دارد. در آخر اگر سوال یا نظری دارید در بخش نظرات منتظر شما هستم.
