بودجه خزش (Crawl Budget) چیست؟

اگرمدیریت سئو یک وبسایت را بر عهده دارید ، حتما تابحال به این مورد برخوردید ، با اینکه محتوای صفحات خود را بروزرسانی کرده اید اما بعد از مدتی متوجه میشوید که گوگل محتوای صفحه مورد نظر شما را هنوز ایندکس نکرده . علت این امر چیزی جز تمام شدن بودجه خزش شما نزد گوگل نیست ! همراه همیارکد باشید تا اطلاعات مفیدی راجع به این موضوع بدست آورید.

منظور از بودجه خزش Crawl Budget چیست ؟

بودجه خزش یا بودجه کراول به تعداد صفحاتی گفته میشود که بوسیله ی ربات های گوگل در طی یک بازه مشخص (مثلا یک هفته) در وبسایت شما ایندکس میشوند. نرخ خزش در واقع میزان توجهی است که ربات های خزنده گوگل نسبت به وبسایت شما دارند. در اکثر موارد بودجه سایت شما براساس تعداد بازدید و لینک های ورودی به آن مشخص میشود. توجه ربات های خزنده گوگل هرچقدر به وبسایت شما بیشتر باشد ، نرخ خزش شما هم افزایش پیدا میکند.

نرخ بودجه خزش چگونه تعیین میشود

برای این کار گوگل از دو روش Crawl Demand و Crawl Limit  اسفاده میکند

۱- Crawl Limit / host load  سرور وبسایت ما ظرفیت چه تعداد خزش را دارد.

روال کار به این صورت است که ، هربار که یک ربات وبسایت ما را کراول (خزش) میکند ، یک درخواست مبنی بر دسترسی به منابع وبسایت به سرور آن میفرستد. اگر این درخواست ها بیش از اندازه توسط ربات ها به سرور سایت  ارسال شود ،در نتیجه سرور قادر به پاسخگویی به این حجم از درخواست ها نیست و بعد از آن سایت از کار میافتد (به اصطلاح down میشود) . حال گوگل از دو طریق متوجه ظرفیت سرور وبسایت ما میشود:

- باگ های سرور: زمانی که درخواست ربات های گوگل چندین بار در سمت سرور با ارور مواجه شود.

- تعداد سایت های موجود در هاست اشتراکی : اگر وب سایت شما از نظر محتوا و صفحات ، سایت بزرکی محسوب میشود و شما در حال استفاده از هاست های اشتراکی برای وبسایت خود هستید، به میزان تعداد سایت های موجود در این هاست اشتراکی ، شانس شما برای دریافت نرخ بودجه خزش کاهش پیدا میکند . به همین خاطر اگر اهداف بزرگی برای وبسایت خود دارید ، بهتر است از هاست اختصاصی استفاده کنید.

۲- Crawl Demand / crawl scheduling  کدام صفحات از وبسایت شما ارزش دوباره کراول شدن را دارند

در این روش ، گوگل از فاکتورهای زیر برای دادن نرخ خزش به وبسایت ها استفاده میکند :

- محبوبیت صفحه : رابطه ای مستقیم با این دارد که ، تعداد لینک های مفید داخلی و خارجی این وبسایت چقدر است و همچنین اینکه صفحه موردنظر در چه تعداد کلمات کلیدی جایگاه دارد.

- محتوای متنوع و تازه : توجه به اینکه محتوای صفحه موردنظرچه مقدار تازه سازی و نوسازی میشود .

به چه دلیل بودجه خزش تلف میشود

۱- محتوای غیر مفید و بی کیفیت

صفحاتی که دارای محتوای بی کیفیت و یا غیر مفید هستند ، نباید در وبسایت قرار بگیرند و در صورت قرار گرفتن نباید به گوگل معرفی شوند ، زیرا مانند زامبی نرخ بودجه شما را مصرف میکنند.

۲- وجود نداشتن  SEO friendly URL

اگر URL شما دارای عباراتی همچون ? یا = است مانند  https://www.test.com/pencils/pencile?color=red  ، بهتر است از این نوع URL استفاده نکنید زیرا SEO friendly نیست و در نرخ بودجه شما تاثیر منفی خواهد گذاشت.

۳- لینک های شکسته

لینک های شکسته یا ریدایرکت شده میتوانند مانند زنجیره ای بی نهایت از لینک ها ربات های گوگل را سردرگم کنند. هر چه این سردرگمی بیشتر باشد، بودجه بیشتری هدر میرود. تا جای ممکن یا از آن ها استفاده نکنید یا طبق اصول و به شکلی درستی از آن ها بهره ببرید.

۴- صفحات با سرعت لود پایین .

شما همراهان عزیز همیارکد میتوانید نظرات و پرسش های خود را از طریق کامنت با همیارکد به اشتراک بگذارید ❤

آکادمی همیارکد