در دنیای سئو، ضربالمثل معروفی وجود دارد: "محتوا پادشاه است"؛ اما اگر این پادشاه در قلعهای مخفی باشد که هیچکس راه رسیدن به آن را نداند، حکمرانی نخواهد کرد. برای وبسایتهای بزرگ (بیش از ۱۰,۰۰۰ صفحه) و سایتهای خبری با بهروزرسانی سریع، چالش اصلی تولید محتوا نیست، بلکه مدیریت منابع محدود موتور جستجو برای یافتن آن محتواست. اینجاست که مفهوم "بودجه خزش" حیاتی میشود.
بودجه خزش به تعداد URLهایی اشاره دارد که Googlebot میتواند و میخواهد در یک بازه زمانی مشخص در وبسایت شما خزش (Crawl) کند. از نظر فنی، بودجه خزش حاصلضرب دو عامل اصلی است:
حد نرخ خزش (Crawl Rate Limit): این فاکتور فنی است. گوگلبات بررسی میکند که سرور شما چقدر توانایی پاسخگویی دارد تا بدون کند کردن سرعت سایت برای کاربران واقعی، صفحات را خزش کند.
تقاضای خزش (Crawl Demand): این فاکتور محتوایی است. گوگل بر اساس محبوبیت (Popularity) و تازگی (Freshness) محتوا تصمیم میگیرد که آیا سایت شما ارزش صرف منابع بیشتر را دارد یا خیر.
فرمول ساده:
توان فنی سرور + ارزش محتوایی سایت = بودجه خزش اختصاص یافته
در سایتهای بزرگ، بودجه خزش اغلب روی بخشهایی از سایت که ارزش سئویی ندارند (Low-Value URLs) هدر میرود. شناسایی این بخشها اولین گام در بهینهسازی است:
فروشگاههای اینترنتی بزرگترین قربانی این مورد هستند. ترکیب فیلترهای رنگ، سایز، قیمت و برند میتواند میلیونها URL یکتا تولید کند که محتوای تکراری دارند. اگر این آدرسها باز باشند، گوگلبات در هزارتوهای بیپایان گم میشود.
نسخههای HTTP و HTTPS، نسخههای www و بدون www، یا پارامترهای ردیابی (مثل ?utm=...) اگر به درستی با تگ canonical مدیریت نشوند، بودجه خزش را میبلعند.
صفحاتی که محتوایی ندارند اما سرور کد وضعیت 200 (OK) برمیگرداند. گوگل این صفحات را خزش میکند به امید یافتن محتوا، در حالی که منبعی وجود ندارد.
هر پرش در یک ریدایرکت، یک واحد از بودجه خزش را مصرف میکند. یک زنجیره طولانی (مثلاً ۳ ریدایرکت پشت سر هم) باعث میشود ربات قبل از رسیدن به مقصد نهایی، دست از کار بکشد.
برای هدایت گوگلبات به سمت صفحات پرارزش (Money Pages)، باید اقدامات زیر را انجام دهید:
این یک بحث ظریف علمی است:
دستور Disallow در Robots.txt: به گوگل میگوید "اینجا نیا". این بهترین روش برای صرفهجویی فوری در بودجه خزش است (مثلاً برای فیلترها یا پنل ادمین).
تگ Noindex: به گوگل میگوید "بیا، ببین، ولی ایندکس نکن". این روش بودجه خزش را مصرف میکند، اما در طولانیمدت گوگل دفعات سر زدن به این صفحات را کاهش میدهد.
راهکار: برای صرفهجویی در منابع سرور و بودجه، Disallow ارجحیت دارد، مگر اینکه بخواهید صفحه حتماً از ایندکس حذف شود که در آن صورت Noindex لازم است.
گوگل صفحاتی را که در عمق کمتری قرار دارند (لینکهای نزدیک به صفحه اصلی)، مهمتر تلقی میکند.
قانون ۳ کلیک: هر صفحه مهم باید نهایتاً با ۳ کلیک از صفحه اصلی قابل دسترسی باشد.
از لینکسازی داخلی برای انتقال اعتبار به صفحات عمیق استفاده کنید (مثلاً بخش "محصولات مرتبط" یا "مقالات پیشنهادی").
اگرچه گوگل این ابزار را در نسخه جدید کمرنگ کرده است، اما همچنان درک نحوه برخورد با پارامترها حیاتی است. مطمئن شوید که پارامترهای مرتبسازی (Sort) یا نمایش (Display) که محتوای جدیدی ندارند، توسط گوگل نادیده گرفته میشوند.
این علمیترین بخش ماجراست. با دسترسی به فایلهای Log سرور و استفاده از ابزارهایی مثل Screaming Frog Log Analyzer، دقیقاً ببینید گوگلبات:
بیشتر چه صفحاتی را خزش میکند؟
آیا روی صفحات ۴۰۴ وقت میگذارد؟
کدام صفحات مهم را نادیده گرفته است؟
بهینهسازی بودجه خزش به معنای مسدود کردن همه چیز نیست؛ بلکه به معنای اولویتبندی است. هدف نهایی این است که هر بار Googlebot به سایت شما میآید، با دست پر و با ایندکس کردن محتوای جدید و ارزشمند بازگردد، نه اینکه در میان صفحات آرشیو قدیمی و فیلترهای بیارزش سرگردان شود.
