کرال باجت Crawl Budget یا بودجه خزش چیست؟

کرال باجت Crawl Budget یا بودجه خزش چیست؟ گاهی اوقات شما مطالبی رو در وب سایت خود منتشر می کنید که همان روز توسط رباط های گوگل خزش می شوند. این سایت ها معمولا سایت هایی کوچک با تعداد صفحات کم هستند. اما ممکن است شما یک محتوایی رو در سایتتون به روز رسانی کنید و یا یکسری تغییرات روی برخی از صفحات سایت انجام بدید، ولی بعد از اینکه اینهارو منتشر کردید، ممکنه مدت زمانی طول بکشد تا تغییرات کرال و ایندکس شود. مثلا سه هفته طول بکشد. گاهی وقت ها هم ممکنه اصلا هیچ وقت ایندکس نشوند و گوگل این تغییرات رو نبیند. دلیل این مشکل می تواند این باشد که شما به درستی از بودجه خودتون استفاده نکردید. برای اطلاعات بیشتر در ادامه مطلب همراه ما باشید.

نظریه عمومی خزیدن

وب، فضایی تقریبا بی نهایت است که از توانایی گوگل برای کاوش و فهرست کردن هر URL موجود فراتر است. در نتیجه، محدودیت‌هایی برای مدت زمانی که Googlebot می‌تواند برای خزیدن در هر سایت اختصاص دهد، وجود دارد. مقدار زمان و منابعی که گوگل برای خزیدن یک سایت اختصاص می دهد، معمولاً بودجه خزیدن سایت نامیده می شود. توجه داشته باشید که هر چیزی که در سایت شما خزیده می شود لزوما ایندکس نمی شود. هر صفحه باید ارزیابی، ادغام و ارزیابی شود تا مشخص شود که آیا پس از خزیدن، ایندکس می شود یا خیر.
بودجه خزیدن توسط دو فاکتور crawl limit و crawl demand تعیین می شود.

محدودیت ظرفیت خزیدن (Crawl capacity limit)

به این معناست که گوگل نباید تعداد زیادی از صفحات یک سایت رو خزش کند، چون باعث استفاده بیشتر از سرور می شود. محدودیت ظرفیت خزیدن بر اساس چند عامل می تواند بالا و پایین شود:

• سلامت خزیدن: اگر سایت برای مدتی به سرعت پاسخ دهد، محدودیت افزایش می یابد، به این معنی که می توان از اتصالات بیشتری برای خزیدن استفاده کرد. اگر سرعت سایت کاهش یابد یا با خطاهای سرور پاسخ دهد، محدودیت کاهش می یابد و Googlebot کمتر می خزد.

محدودیت تعیین شده توسط مالک سایت در کنسول جستجو: صاحبان وب سایت می توانند به صورت اختیاری خزیدن Googlebot در سایت خود را کاهش دهند. توجه داشته باشید که تعیین محدودیت های بالاتر به طور خودکار خزیدن را افزایش نمی دهد.

• محدودیت های خزیدن گوگل: گوگل ماشین های زیادی دارد، اما ماشین های بی نهایت ندارد. ما هنوز باید با منابعی که در اختیار داریم انتخاب کنیم.

تقاضای خزیدن (Crawl demand)

به معنای این است که در یک بار خزش چند تا صفحه باید دیده شود. اگر ربات گوگل به url خاصی اهمیت دهد آن url در بازه ی زمانی در جایگاه بالاتری قرار میگیرد. گوگل به url هایی که بیشتر به اشتراک گذاشته میشوند و یا به آن ها لینک داده میشود بیشتر اهمیت میدهد به عبارتی برای محتواهای محبوب ارزش بیشتری قائل میشود. عواملی که نقش مهمی در تعیین تقاضای خزیدن دارند عبارتند از:

• موجودی درک شده: بدون راهنمایی از طرف شما، Googlebot سعی می کند همه یا اکثر URL هایی را که در مورد آنها می داند در سایت شما بخزد. اگر بسیاری از این URL ها تکراری هستند، یا نمی خواهید به دلایل دیگری (حذف شده، بی اهمیت و غیره) خزیده شوند، این امر باعث هدر رفتن زمان زیادی برای خزیدن گوگل در سایت شما می شود. این عاملی است که شما می توانید به طور مثبت بیشترین کنترل را داشته باشید.
• محبوبیت: نشانی‌های اینترنتی که در اینترنت محبوب‌تر هستند، معمولاً بیشتر خزیده می‌شوند تا در فهرست ما تازه‌تر باقی بمانند.
• کهنگی: سیستم‌های ما می‌خواهند اسناد را به قدر کافی بازخوانی کنند تا تغییراتی را دریافت کنند.

علاوه بر این، رویدادهای سراسر سایت مانند جابجایی سایت ممکن است باعث افزایش تقاضای خزیدن به منظور فهرست مجدد محتوا تحت URL های جدید شود.

چه عواملی باعث تلف شدن بودجه خزش میشود؟

• صفحاتی که محتوای تکراری یا کپی هستنند.
• صفحاتی که سرعت لود پایینی دارند.
• صفحه هایی از سایت که محتوای بی کیفیت و کم ارزش دارند.
• ریدایرکت هایی که به درستی انجام نشده باشد.
• صفحه هایی که در آنها لینک سازی داخلی به درستی انجام نشده باشد.
  و..‌.

نظارت خزیدن و نمایه سازی سایت

در اینجا مراحل کلیدی برای نظارت بر نمایه خزیدن سایت شما آمده است:

1. ببینید آیا Googlebot با مشکلات در دسترس بودن در سایت شما مواجه است یا خیر.
2. ببینید آیا صفحاتی دارید که خزیده نمی شوند، اما باید خزیده شوند.
3. ببینید آیا هر قسمت از سایت شما نیاز به خزیدن سریعتر از قبل دارد یا خیر.
4. راندمان خزیدن سایت خود را بهبود بخشید.
5. خزیدن بیش از حد سایت خود را کنترل کنید.

نتیجه گیری

گوگل یک بودجه ای به ما میدهد تا برای ایندکس کردن صفحات استفاده کنیم که به این بودجه crawl budget (بودجه خزش) گفته میشود. به عبارتی به توجه خزنده های گوگل به سایت شما کرال باجت گفته میشود؛ و هرچه نرخ آن بیشتر باشد صفحات بیشتری کرال و ایندکس میشوند و اگر هم تعداد صفحات شما از بودجه خزش شما بیشتر باشد صفحات سایت شما ایندکس نمی شوند. با در نظر گرفتن ظرفیت خزیدن و تقاضای خزیدن، گوگل بودجه خزیدن یک سایت را به عنوان مجموعه URL هایی تعریف می کند که Googlebot می تواند و می خواهد بخزد. حتی اگر به محدودیت ظرفیت خزیدن نرسیده باشد، اگر تقاضای خزیدن کم باشد، Googlebot سایت شما را کمتر می‌خزد.