کراول باجت، عنصری حیاتی در سئو سایت

آیا تا به حال برای شما نیز پیش آمده است که محتوایی را در وب سایت خود منتشر کرده و یا تنظیماتی را اعمال کرده باشید ولی برای شما لحاظ نشده باشد یا با تاخیر زیادی انجام شود؟ این کاملا با کراول باجت (Crawl Budget) شما مرتبط است. چگونه؟

فرض کنید کراولر گوگل وارد سایت شما می‌شود و قصد دارد که صفحات شمارا ایندکس کند.خوب، اول وارد صفحه اصلی شده، از طریق لینک هایی که داده اید وارد حلقه، صفحات ۴۰۴، ریدایرکت و غیره می شود و پس از گذشت زمانی که به شما اختصاص داده بود، از سایت شما خارج خواهد شد. به همین دلیل امکان دارد برخی از صفحات شما کراول نشود.

گراول باجت چیست؟

به میزان زمانی که گوگل برای کراول (خزش) محتوای سایت شما در یک بازه زمانی (مثلا یک روز) اختصاص می‌دهد، کراول باجت گفته می‌شود. این میزان بر اساس تعداد لینک های ورودی به وب سایت شما معمولا تعیین می‌شود. هرچه این بازه زمانی کوتاه تر باشد به این معناست که برای گوگل ارزش بیشتری دارید.

خوب برای اینکه بتوانید میزان توجه گوگل را به خود بیشتر کنیم، باید یکسری بهینه سازی هارا انجام دهید که در ادامه آنها را باهم بررسی خواهیم کرد.

چرا برای موتور های جستجو مهم است؟

چرا گوگل نیاز دارد سایت ها را ارزش گذاری کند؟ برای اینکه بتواند بهترین نتایج را به کاربران خود نمایش دهد. به همین دلیل انواع الگوریتم ها و ساختار هارا پیاده سازی کرد و بر اساس آنها به هر سایت ارزشی اختصاص داد تا اولیت و اهمیت هر سایت را بتواند مورد ارزیابی قرار دهد.

از نظر گوگل، کراول باجت من چقدر است؟

گوگل در سال ۲۰۱۷ درباره کراول باجت گفته است:

تمامی محتواهای شما پس از بارگزاری، کراول و ایندکس خواهد شد. پس کراول باجت چیزی نیست که بخواهد باعث نگرانی شما شود. اگر شما یک سایت خبری دارید که نیاز دارید تا اخبار به سرعت و یا در بازه های زمانی خاص منتشر شود، بهتر است موارد زیر را درنظر بگیرید.

چطور بودجه بندی برای سایت ها انجام می‌شود؟

گوگل برای این کار از دو المان زیر استفاده می‌کند:

Crawl limit / host load: منابع سرور شما ظرفیت چه میزان خزش را دارد؟

ورود کراولر گوگل نیز مانند کاربر است و برای لود هر صفحه از سایت شما، درخواست لود داده می‌شود. میزان بالای این درخواست ها موجب عدم امکان پاسخ گویی سرور شما شده و اصطلاحا سرور down می‌شود. خوب گوگل از کجا متوجه این مشکل خواهد شد؟

باگ سرور: ارسال چندباره درخواست ها به سرور و بروز مشکل از جانب سرور به گوگل.
تعداد سایت های فعال بر روی سرور شما: اگر شما از هاست های اشتراکی استفاده می‌کنید؛ صدها سایت دیگر نیز به صورت موازی بر روی سایت شما درحال فعالیت هستند. به همین دلیل، اگر سایت شما دارای صفحات زیادی باشد، محدودیت زیادی نیز در کراول باجت خواهید داشت.

اگر شما در این بازه قرار دارید و از نظر اقتصادی نیز برای شما توجیه داشت، می‌توانید از هاست های اختصاصی استفاده کنید تا هم سرعت لود صفحات و هم نرخ نزش شما بهبود داده شود.

Crawl demand / crawl scheduling: در این بخش، کراولر گوگل تشخیص می‌دهد که آیا صفحات شما ارزش کراول مجدد را دارد یا خیر. این ارزش گذاری به شرح ذیل است.

محبوبیت صفحه: این صفحه چه تعداد لینک داخلی و خارجی دارد و آیا در نتایج گوگل دارای رتبه هست یا خیر.
تازگی محتوا: آیا محتوای شما به‌روز رسانی شده است؟ هر چند وقت یکبار این به‌روزرسانی انجام می‌شود؟
نوع صفحه: هر صفحه دارای ارزش خاصی بوده و بسته به خصوصیتی که دارند. از این رو هریک دارای کراول باجت خاصی خواهد بود.

مطالعه بیشتر: سئو وب سایت

چرا کراول باجت برای ما باید مهم باشد؟

با رعایت همه موارد فوق باز پیش می‌آید که شما تغییراتی را در محتوا یا تنظیمات انجام داده باشید ولی بعد از چند هفته، هنوز اعمال نشده باشند. این مورد نشان دهنده داشتن مشکل در کراول باجت است. برای بررسی و رفع آن، موارد زیر را حتما مورد توجه و بررسی قرار دهید.

در بهترین حالت؛ اگر وب سایت شما کاملا درست دسته بندی و ساختار دهی شده باشد، به راحتی پس از انتشار محتوا، خوانده می‌شود و برای ایندکس سریع‌تر، تنها نیاز به سرچ آن در سرچ کنسول دارید.

و در بدترین حالت ممکن؛ تعداد ریدایرکت ها و صفحات ۴۰۴ شما بسیار زیاد است و لینک سازی های خطا (در یک پیج، به همان پیج لینک دادن) انجام داده اید؛ به همین دلیل گوگل امکان جستجوی اختصاص زمان بیشتری به شمارا نداشته و از لیست کراول خارج خواهید شد.

برای بهینه سازی آن، ابتدا باید ساختار لینک سازی داخلی خود را بهینه سازی کرده، سپس شروع به بهینه سازی صفحات ۴۰۴ و ۳۰۱ کنید تا رباط گوگل درگیر نشود. عدم توجه به این موارد ساده ولی در عین حال بسیار مهم، ممکن است سایت شمارا تا مرز نابودی بکشاند.

چطوری CRAWL BUDGET خود را نابود کنیم؟

بسیاری از کسب و کارها در حال حاضر از این مشکل رنج می‌برند . پس تنها شما نیستید که دچار این مشکل شده اید! تمامی کسب و کارها بسته به وسعت کاری و دانش تخصصی خود سعی می‌کنند تا خود را در رتبه های برتر قرار دهند ولی با عدم توجه به برخی نکات ساده اما حیاتی، می‌توانید به راحتی کسب و کار خود را به گند بکشید.

کوئری پارامتر

زمانی که فیلتری را در صفحه انجام می‌دهید، عبارت هایی در انتهای آدرس صفحه شما اضافه می‌شود که به این موارد کوئری پارامتر گفته می‌شود. (برای مثال https://www.example.com/men/shoes?color=dark-blue) این پارامتر ها عضوی از آدرس شما نیستند و تنها در زمان فیلتر به آن اضافه می‌شوند! پس حتما دقت داشته باشید که گوگل آنهارا نبیند.

محتوای تکراری – Duplicate

محتوای تکراری یا از نظر مفهومی شبیه به هم را محتوای تکراری می‌گویند. اینگونه صفحات آسیب های بسیار زیادی را به وب سایت ما وارد می‌کنند. پس حتما بهینه سازی آنهارا مدنظر داشته باشید.

محتوای بی کیفیت

صفحاتی که دارای محتوای کم و بی ارزشی هستند باید تا جای ممکن در دید گوگل قرار نگیرد چراکه به شدت این صفحات بوجه کراول شمارا مصرف خواهند کرد.

لینک های شکسته یا صفحات ریدایرکت شده

این گونه لینک سازی ها و ریدایرکت های زیاد مانند هزارتویی هستند که رباط گوگل را برای مدت طولانی‌ای در خود نگه می‌دارند و این امر موجب هدررفت بودجه شما خواهد شد.

نقشه سایت را دستی وارد کنید

با تنظیم دستی نقشه سایت، عملا مهمترین کروکی سایت خود را دستکاری کرده و تعداد زیادی لینک شکسته و ریدایرکت خواهید داشت. برای جلوگیری از این مشکلات پروسه‎ای را قرار دهید تا این آدرس دهی ها به صورت اتوماتیک انجام شود.

اگر صفحاتی با زمان لود بالا دارید و یا قرار نیست هرگز لود شوند؛ فکری برای آنها کنید چراکه این پیغام را به گوگل می‌دهد که سرور شما ضعیف بوده و امکان سرویس دهی در زمان مناسب را ندارد.

صفحات no index

این صفحات میزان کراول باجت شمارا ازبین خواهند برد. برای جلوگیری از این اتفاق، فکری برای آنها کنید.

منبع: کراول باجت