بودجه خزش یکی از آن مسائل سئو است که برخی از افراد درباره آن نمی دانند یا بسیاری نمی دانند که آیا نگران آن باشند یا نه. در واقع از آنجایی که بودجه کرال در ابتدای سایت خیلی مهم به نظر نمی رسد، بسیاری از افراد به آن توجه نمی کنند، اما به تدریج با رشد سایت توجه به آن اهمیت پیدا می کند. بنابراین، همیشه سوالات زیادی در مورد اینکه کدام سایت ها باید نگران بودجه خزش باشند و راه های بهبود آن چیست وجود دارد. در واقع طراحی سایت حرفه ای باید بر اساس سئو و قوانین آن راه اندازی شود و مسائل تکنیکال سئو در آن دخیل باشد.
تعریف دقیق بودجه خزش تعداد صفحاتی از سایت شما است که گوگل در یک بازه زمانی مشخص می خزند و ایندکس می کند. در توضیح این تعریف لازم است بدانید که گوگل هر چقدر هم که بزرگ و قوی شود، منابع آن برای خزیدن در صفحات سایت ها همچنان محدود است. هر روز نه تنها هزاران صفحه به صفحات موجود در وب اضافه می شود، بلکه هزاران سایت جدید نیز متولد می شوند که هر کدام هر روز چندین صفحه به وب اضافه می کنند.
در این شرایط، گوگل سعی میکند تا حد امکان صفحات را فهرست کند، اما واقعاً نمیتواند همه آنها را مدیریت کند. به همین دلیل، سایت ها را اولویت بندی می کند و به هر کدام یک بودجه خزش اختصاص می دهد. در واقع، با این بودجه خزش، مشخص می شود که روزانه چند صفحه از یک سایت توسط ربات های گوگل خزیده می شود.
اساس فعالیت های سئو سایت بر یک چیز استوار است و آن نمایه سازی صفحات در گوگل است. اگر صفحات سایت شما به هر دلیلی توسط گوگل ایندکس نشود، فعالیت های سئوی شما بی فایده خواهد بود و به هیچ وجه نمی توانید در نتایج جستجوی گوگل ظاهر شوید. از این رو بودجه خزش سایت مهم می شود زیرا تعداد صفحاتی را که باید در یک بازه زمانی مشخص خزش شوند تعیین می کند. اگر سایت شما، بسته به مقیاسش، نتواند بودجه خزش مورد نیاز خود را دریافت کند، ممکن است بسیاری از صفحات آن در زمان مورد نظر شما ایندکس نشوند.
البته، قرار نیست همه سایتها نگران بودجه خزش خود باشند، زیرا خود گوگل به خوبی میتواند صفحات جدید را شناسایی کرده و آنها را ایندکس کند، اما در موارد زیر باید مراقب بودجه خزش سایت خود باشید:
• شما یک سایت بسیار بزرگ دارید: اگر یک سایت بزرگ مانند سایت فروشگاهی با بیش از 10000 صفحه دارید، ممکن است Google در یافتن همه صفحات شما با مشکل مواجه شود.
• بخش جدیدی به سایت اضافه کرده اید: اگر به تازگی بخش جدیدی را به سایت اضافه کرده اید که هزاران صفحه را شامل می شود، ممکن است بودجه خزیدن فعلی شما برای فهرست کردن همه آنها کافی نباشد.
• شما تغییر مسیرهای زیادی در سایت انجام داده اید: تغییر مسیرهای زیاد در صفحات سایت می تواند بودجه خزیدن شما را هدر دهد.
خود گوگل تاکید می کند که مدیران سایت یا سئوکاران نباید نگران بودجه خزش سایت خود باشند. چون این موضوع دست آنها نیست. با این حال، همه میخواهند صفحات وبسایتشان در همان روزی که منتشر میشوند توسط گوگل خزیده و ایندکس شوند. اما این فرآیندی است که توسط گوگل مدیریت می شود و معمولاً حتی سایت های نه چندان بزرگ نیز مشکلی با بودجه خزش خود ندارند. به خصوص اگر سایت شما چندین هزار صفحه (زیر 10000 صفحه) دارد، اصلاً نیازی به تمرکز روی بودجه خزش سایت ندارید. اما برای سایتهای بزرگ، مواردی مانند اولویتبندی صفحاتی که میخواهید خزیده شوند، زمانی که هر کدام باید خزیده شوند و میزان منابعی که سرور سایت شما میتواند برای خزش اختصاص دهد بسیار مهم میشود.
رباتهای Google به عنوان یک شهروند مسئول در فضای وب طراحی شدهاند. اولویت اول آنها خزش در صفحات سایت ها است، اما در عین حال مراقب هستند که در حین خزش در سایت ها روی تجربه کاربر تأثیر نگذارند. بنابراین گوگل ایندکس را به عنوان «محدودیت سرعت خزش» تعیین کرده است که حداکثر سرعت استخراج صفحه را برای هر سایت مشخص می کند. این شاخص در واقع تعداد اتصالات همزمانی را که ربات گوگل با سایت شما برای خزش صفحات ایجاد می کند نشان می دهد و مقدار آن به دو عامل بستگی دارد:
• سلامت خزش: اگر سایت شما به درخواستهای ربات Google به سرعت پاسخ دهد، سرعت خزش آن افزایش مییابد. این بدان معناست که ربات گوگل می تواند اتصالات بیشتری به سایت شما ایجاد کند و صفحات بیشتری را در یک بازه زمانی مشخص بخزد. برعکس، اگر سایت شما به ربات گوگل پاسخ یا خطا بدهد، سرعت خزش کاهش می یابد.
• تنظیم محدودیت در کنسول جستجو: برخی از مدیران سایت تعداد صفحات خزش شده را از طریق کنسول جستجوی Google محدود می کنند. این محدودیت می تواند سرعت خزش را کاهش دهد.
یکی از عواملی که باعث افزایش بودجه خزش سایت شما می شود درخواست خزش است. اگر درخواستی برای خزش از سایت شما وجود نداشته باشد، فعالیت ربات های گوگل کاهش می یابد. عوامل زیر بر افزایش تقاضای خزش تأثیر میگذارند
• شهرت صفحات: صفحات اینترنتی که در وب محبوبتر و مشهورتر هستند اغلب توسط ربات های گوگل بیشتر خزش می شوند تا محتوای آنها در فهرست به روز نگه داشته شود.
• منسوخ شدن صفحات: Google ترجیح می دهد صفحاتی را که قدیمی هستند در فهرست خود نگه ندارد، بنابراین صفحاتی که کمتر به روز می شوند شانس خزش خود را از دست می دهند.
