بودجه خزش و یا اصطلاحا Crawl Budget به مفهوم این است که خزنده های موتور جستجوی گوگل یک زمان زمان مبثوتی را به شما اختصاص می دهند تا صفحات مختلف وب سایت شما را شناسایی و مورد بررسی قرار دهند.
یکی از دغدغه بسیار مهم اکثر سئوکاران و افرادی که قصد دارند وب سایت خود را برای موتور های جستجو سئو و بهینه سازی نمایند این است که صفحات آن ها پس از ساخت و ایجاد ساختار سئو، هر چه سریعتر ایندکس شود و کلمات کلیدی آن ها در صفحات اول گوگل بالا بیاید.
اما گاهی اوقات پس از گذشت یک زمان طولانی این صفحات اصلا توسط خزنده های گوگل شناسایی نمی شود، (مانند این که این صفحات اصلا از اول ساخته نشده و وجود ندارند).
در این جا آشنایی با مفهوم بودجه خزش می تواند به شما کمک کند تا صفحات وب سایت خود را سریعتر مهیا نمایید تا توسط خزنه های گوگل مورد بررسی قرار گیرند.
در بخش قبلی مفهوم کلی بودجه خزش را به شما معرفی کردیم، و گفته شد که Crawl Budget به این معنی است که خزنده ها و یا ربات های موتور های جستجو در زمان های مشخصی شروع به خزیدن در صفحات وب سایت شما و شناسایی این صفحات می کنند، و پس از بررسی های انجام شده توسط ربات های گوگل اگر صفحات وب سایت شما از نظر سئو داخلی دارای استاندارد های لازم باشند، و همچنین وب سایت شما از نظر سئو تکنیکال و موارد فنی که بسیار مورد توجه گوگل است مانند وضعیت سرعت وب سایت، و سئو خارجی دارای استاندارد های گوگل باشد، در این صورت صفحات وب سایت شما شانس حضور در صفحه اول گوگل را دارند.
برای این که مفهوم Crawl Budget بهتر برای شما مشخص شود اجازه دهید در این بخش یک مثال کاربردی را برای شما بزنیم.
فرض کنید که شما یک خانه را برای خودتان ساخته اید، بعد اتمام فرآیند ساخت حالا می خواهید دکوراسیون منزل خود را مهیا نمایید.
حالا فرض کنید که چند شب دیگر هم قرار است برای شما مهمان بیاید، در زمان ایجاد دکوراسیون داخلی برای منزل مکان هایی مانند پذیرایی، آشپزخانه، سرویس بهداشتی، و اتاق خاب ها که در دسترس و در معرض دید مهمان ها قرار دارد بسیار مورد توجه شما می باشد.
و این مکان ها را با دقت و ظرافت خاصی طراحی می کنید، اما مکان های دیگر مانند انباری، بالکن، حیاط پشتی، و غیره که زیاد در معرض دید مهمان ها قرار ندارد، ممکن است شما چندان توجهی به بحث دکوراسیون و چیدمان آن جا نداشته باشید.
با توجه به مثال ذکر شده مهمان های شما نقش خزنده های موتور جستجو را دارند، و منزل شما هم حکم وب سایت شما را دارد، پس شما برای بهتر دیده شدن منزل خود تمرکز زیادی را بر روی دکوراسیون بخش های مهم منزلتان قرار داده اید.
مفهوم بودجه خزش هم دقیقا همین است، یعنی ما باید صفحات مهم وب سایت خود را، یعنی صفحاتی که یا ارزش سئویی بالا برای ما دارند، و یا صفحاتی که ارزش فروش و درآمدزایی برای ما دارند را در دسترس خزنده های موتور های جستجو قرار دهیم، که به درستی در سایت با خزش داشته باشند، و بودجه خزش یا Crawl Budget در زمان های مشخص در صفحات وب سایت ما به درستی انجام شود و صفحات مهم ما سریعتر توسط ایت خزنده ها ایندکس و یا شناسایی شوند.
برای این منظور هم ما می توانیم صفحات غیر ضروری خود را نوایندکس نماییم.
نکته » صفحات غیر ضروری صفحاتی هستند که نه ارزش سئویی برای ما دارند، و نه این صفحات برای فروش محصول و یا خدمات خاصی در وب سایت ما ساخته شده اند، صفحاتی مانند صفحه درباره ما، صفحه قوانین و مقررات، صفحه سبد خرید، صفحه پرداخت، برخی از صفحات دسته بندی نوشته ها و محصولات که ارزش سئویی ندارند می توانند نوایندکس شوند، تا خزنده های موتور های جستجو در زمان خزیدن در صفحات وب سایت ما تمرکز خود را بر روی صفحات ارزشمند و مهم وب سایت ما قرار دهند.
برای این که شما بتوانید Crawl Budget را در صفحات وب سایت خود بهینه نمایید، باید به یکسری نکات مهم و ضروری توجه داشته باشید.
یکی از این نکات ضروری در بخش قبل به آن اشاره شد که شما باید صفحات غیر ضروری خود که ارزش سئویی و یا درآمدزایی برای شما ندارند را نوایندکس نمایید.
در بخش زیر هم چند نمونه دیگر از موارد مهمی که موجب بهبود Crawl Budget در وب سایت شما می شود را ذکر کرده ایم.
استفاده از محتوای تکراری و یا Duplicate content مانند یک قاتل خاموش است که به مرور زمان یک وب سایت را نابود خواهد کرد.
اگر می خواهید بدانید که محتوای تکراری چگونه یک وب سایت را نابود می کند، پیشنهاد می کنیم که مقاله آموزشی الگوریتم های گوگل را مطالعه نمایید، که در این مقاله آموزشی انواع الگوریتم هایی که موتور جستجوی گوگل از آن ها استفاده می کند به شما معرفی شده است.
با آشنایی بیشتر با این الگوریتم ها به خصوص الگوریتم های هوش مصنوعی گوگل در می یابید که گوگل چه اهمیت زیادی را بر روی وحتوای وب سایت قرار داده است، و اصلا این جمله معروف را که اکثر سئوکاران از آن استفاده می کنند، <<محتوا خوب در وب سایت حکم پادشاه را دارد>> را بهتر درک می کنید.
در زمان Crawl Budget در وب سایت شما در صورتی که خرنده های گوگل با محتوای تکراری و کپی شده در سایر وب سایت ها برخورد کنند، صفحه شما از سوی خزنده های گوگل نمره منفی دریافت خواهد کرد، و آن صفحه شانسی برای ایندکس شدن و بالا آمدن در گوگل را ندارد.
یکی از کار های مهم شما برای مدیریت درست و اصولی یک وب سایت، تولید محتوای ساختارمند مطابق با قواعد گوکل است.
تولید محتوا در وب سایت می تواند شامل تولید محتوای متنی و یا تولید محتوای تصویری باشد، که اگر یک سئوکار این ساختار را در وب سایت خود به درستی رعایت نماید و بتواند نیاز مخاطب را برطرف کند، قطعا یک قدم مهم و محکم را در زمینه سئو و بهینه سازی صفحات وب سایت خود برداشته است.
برای این که شما در زمینه تولید محتوا خود را ارتقا دهید پیشنهاد می کنیم که میزان مطالعه خود را بالا ببرید، و سعی کنید که نیاز های مخاطب هدف خود را به خوبی شناسایی نمایید، که این موضوع در ارائه محتوای کاربرپسند بسیار می تواند به شما کمک نماید.
مورد دیگر که تاثیر بسیار منفی در ایندکس نشدن صفحات دارد لینک های شکسته و یا Broken links در وب سایت می باشد.
برای جلوگیری از این موضوع بهتر است که در زمان لینک دهی به صفحات مختلف دقت نمایید که این فرآیند به درستی در وب سایت شما انجام می شود.
و اگر صفحاتی در وب سایت دارای لینک های شکسته هستند بعد از شناسایی باید سریعا برطرف شده، و آن صفحات مجددا به کمک ابزار سرچ کنسول به گوگل معرفی شود.
در درجه اول شما باید از ایجاد صفحات تکراری و مشابه در وب سایت جلوگیری نمایید، به هر حال می دانید که وجود یک یا چند صفحه مشابه در وب سایت ارزش سئویی همه این صفحات را پایین می آورد.
اما اگر در گذشته یکسری صفحات مشابه و هم نام را در وب سایت خود ایجاد کرده اید، برای حل این مشکل می توانید از انواع ریدایرکت ها استفاده نمایید.
برای بهبود بودجه خزش ویا Crawl Budget در وب سایت خود شما باید با قابلیت سایت مپ آشنایی کامل داشته باشید، و در صورت وجود URL های اشتباهی در سایت مپ وب سایت خود به سرعت آن ها را برطرف نمایید.
در ابتدا شما باید با ثبت سایت مپ در گوگل وبمستر URL هایی را که خزنده های گوگل اجازه دسترسی به آن ها را دارند مشخص نمایید، و سپس برخی از URL هایی را که نمی خواهید خزنده های گوگل به آن ها دسترسی داشته باشند را حذف کنید.
تمامی سئوکاران این موضوع را به خوبی می دانند که امروزه مسئله سرعت وب سایت به خصوص سرعت بارگذاری صفحات در نسخه موبایل از اهمیت بسیار بالایی برای ربات های گوگل برخوردار است.
به همین دلیل است که بسیاری از افراد زمان زیادی را صرف بهینه سازی صفحات وب سایت خود با استفاده از دانش برنامه نویسی می کنند، و یا با استفاده از قابلیت هایی مانند AMP سرعت صفحات وب سایت خود را در حالت موبایل ارتقا می دهند.
لینک سازی داخلی با عنوان و یا انکر تکست درست به سایر صفحات مرتبط در یک وب سایت می تواند به خزنده های گوگل کمک نماید که تشخیص دهند هر صفحه ای باید با چه کلمات مرتبطی شناسایی شود، که این موضوع قطعا تاثیر زیادی برای بهبود Crawl Budget در وب سایت ما دارد.
مزیت مهمی که لینک سازی خارجی هم برای صفحات وب سایت ما می تواند داشته باشد، این است که لینک خارجی از یک صفحه به یک وب سایت معتبر با دامین اتوریتی بالا می تواند منجر شود که صفحه ما نیز سریعتر توسط خزنده های موتور های جستجو شناسایی شود.
مثالا در همین مقاله آموزشی ما به وب سایت google page speed که یکی از ابزارهای کاربردی و مهم گوگل برای تعیین وضعیت سرعت وب سایت می باشد لینک خارجی داده ایم.
برای این که صفحات مهم وب سایت ما سریعتر توسط خزنده های موتور های جستوجو شناسایی شوند بک لینک سازی درست و اصولی می تواند در این زمینه بسیار تاثیرگذار باشد.
فایل robot.txt می تواند با مسیر دهی درست به خزنده های گوگل به آن ها کمک کند که چه صفحاتی را سریعتر ایندکس و شناسایی نمایند.
فایل robot.txt دروقع به خزنده های موتور های جستجو آدرس می دهد که به چه صفحاتی سر بزنند و چه صفحاتی نیاز به شناسایی و بازرسی ندارند.
مثالی که در ابتدای مقاله برای مفهوم Crawl Budget زده شد، فرض کنید که شما زمانی که برای منزل خود مهمان دعوت کرده اید یک نفر را استخدام می کنید که جلوی دب ورودی منزل مهمان های شما را راهنمایی نماید که از کجا وارد شوند، و در چه بخش هایی از منزل را بازدید نمایند، فایل robot.txt دقیقا همین کار را انجام می دهد.
برای مشاهده این موضوع شما می توانید در ابزار سرچ کنسول به بخش Settings مراجعه نمایید، و سپس در بخش Crawl Stats و با کلیک بر روی دکمه OPEN REPORT وضعیت بودجه خزش وب سایت خود را مشاهده نمایید.
منبع » سایت atgo.ir
