یکی از چیزهایی که توی سئو خیلی دیر آدم متوجه اهمیتش میشه اینه که:
همهی صفحات سایت “نباید” ایندکس بشن.
گاهی حتی لازم داری یک صفحه دیده بشه ولی اسنیپتش نمایش داده نشه، یا مثلاً فایل PDF رو از نتایج حذف کنی، یا بخشی از متن (مثل قیمت، کد تخفیف، یا توضیح حساس) توی اسنیپت گوگل نمایش داده نشه.
گوگل برای این کارها ابزارهای دقیق و رسمی گذاشته؛ فقط باید بدونی کِی از کدوم استفاده کنی.
<head> باشه!بخش زیادی از کنترلهای ایندکس و نمایش نتایج، توی متادیتا انجام میشه و جای متادیتا هم مشخصه: داخل <head>.
نکتهی مهم اینجاست:
اگر داخل <head> چیزی بذاری که اونجا «مجاز نیست» (مثل img یا iframe) ممکنه گوگل برداشت کنه که head تموم شده و تگهای بعدی رو نخونه. یعنی ممکنه robots یا description یا هر متای مهم دیگهای نادیده گرفته بشه.
پس قانون ساده:
توی <head> فقط عناصر استاندارد بذار (مثل title, meta, link, script, style و…)
و متاتگهای حیاتی رو هم بالا قرار بده که ریسک کمتر شه.
robots (کنترل در سطح “صفحه”)این روش وقتی خوبه که بخوای برای یک صفحه HTML تصمیم بگیری.
مثلاً اگر نمیخوای یک صفحه در نتایج نمایش داده بشه:
<meta name="robots" content="noindex">
یا اگر میخوای صفحه ایندکس نشه و لینکهاش هم دنبال نشن:
<meta name="robots" content="noindex, nofollow">
همچنین میتونی دستورات رو فقط برای گوگل هدفگذاری کنی:
<meta name="googlebot" content="noindex">
X-Robots-Tag (کنترل با هدر HTTP، عالی برای PDF و فایلها)اینجا خیلیها اشتباه میکنن:
متاتگ robots فقط برای HTML جواب میده، ولی PDF، تصویر، ویدیو چی؟
اینجاست که X-Robots-Tag میاد وسط.
این دستور توی هدر پاسخ سرور ارسال میشه و میتونه همون قوانین robots رو روی فایلهای غیر HTML اعمال کنه.
مثلاً جلوگیری از ایندکس شدن PDF:
X-Robots-Tag: noindex
این روش مخصوصاً برای مواقعیه که میخوای “سراسری” عمل کنی (مثلاً همه PDFها ایندکس نشن).
data-nosnippet (پنهان کردن بخشهایی از متن از اسنیپت گوگل)این یکی خیلی کاربردیه؛ مخصوصاً برای سایتهای فروشگاهی یا محتوایی که بخشهایی حساس یا غیرقابل نمایش دارند.
مثلاً:
<div data-nosnippet> کد تخفیف: VIP50 </div>
گوگل میتونه صفحه رو ایندکس کنه، ولی این قسمت رو داخل اسنیپت نشون نمیده.
⚠️ نکته مهم:
بهتره این ویژگی رو با جاوااسکریپت اضافه/حذف نکنی؛ چون تضمینی نیست گوگل همیشه همون رندر نهایی JS رو ببینه.
گاهی نمیخوای صفحه رو حذف کنی، فقط میخوای کنترل کنی گوگل چقدر ازش نشون بده:
nosnippet → هیچ اسنیپتی نمایش نده
max-snippet:50 → حداکثر ۵۰ کاراکتر نمایش بده
max-image-preview:large → پیشنمایش تصویر بزرگ
max-video-preview:10 → حداکثر ۱۰ ثانیه پیشنمایش ویدیو
نمونه:
<meta name="robots" content="max-snippet:80, max-image-preview:large">
اینجا یکی از رایجترین اشتباهات سئو اتفاق میافته:
robots.txt میگه: نخز! (crawl نکن)
noindex میگه: ایندکس نکن
اما نکته مهم:
✅ برای اینکه noindex اثر کنه، گوگل باید صفحه رو بخزه تا اون تگ رو ببینه.
پس اگر یک صفحه رو تو robots.txt بلاک کنی، گوگل ممکنه تگ noindex رو اصلاً نبینه و حتی بعضی وقتها اون URL رو بدون اسنیپت داخل نتایج نشون بده (بهخصوص اگر لینک خارجی داشته باشه).
قاعده ساده:
میخوای ایندکس نشه؟ noindex بده و اجازه خزش بده
میخوای اصلاً خزیده نشه؟ robots.txt (ولی انتظار داشته باش URL ممکنه گاهی دیده بشه)
اگر لینک پولی یا تبلیغاتی داری، بهتره به گوگل سیگنال بدی:
rel="sponsored" برای تبلیغات و رپورتاژ
rel="ugc" برای لینکهای تولیدشده توسط کاربر (کامنتها/فروم)
rel="nofollow" وقتی نمیخوای اعتبار منتقل بشه یا ارتباط بسازی
مثلاً در کامنتها:
<a href="..." rel="ugc nofollow">...</a>
اگر شک داری گوگل دقیقاً چی دیده:
آیا meta robots رو خونده؟
آیا هدر X-Robots-Tag رو دریافت کرده؟
آیا نسخه رندر شده رو درست فهمیده؟
بهترین کار اینه که توی سرچ کنسول، URL Inspection رو باز کنی و دقیقاً خروجی گوگلبات رو ببینی.
سئو فقط “رتبه گرفتن” نیست؛
بخشی از سئو اینه که تصمیم بگیری چی دیده بشه و چی دیده نشه.
اگر درست از این ابزارها استفاده کنی:
صفحات بیارزش رو از نتایج حذف میکنی
کیفیت ایندکس رو بالا میبری
اسنیپتها رو حرفهایتر مدیریت میکنی
و جلوی خیلی از مشکلات عجیب سرچ کنسول رو میگیری
اگر دوست داشتی، میتونم برای همین مقاله یک چکلیست اجرایی ۱۰ مرحلهای هم آماده کنم که موقع پروژهها سریع اجراش کنی.
