کرالینگ و ایندکسینگ در سئو

کرالینگ:

در زمینه سئو، خزیدن فرایندی است که در آن ربات های موتور جستجو (همچنین به عنوان خزنده وب یا عنکبوت شناخته می شوند) به طور سیستماتیک محتوا را در یک وب سایت کشف می کنند(این محتوا می تواند متن، تصاویر، فیلم ها یا سایر انواع فایل هایی باشد که برای رباتها قابل دسترسی هستند. صرف نظر از فرمت، محتوا منحصرا از طریق لینک ها یافت می شود.).یک خزنده وب با کشف URL ها و بارگیری محتوای صفحه کار می کند.

بعد از انجام کرالینگ توسط ربات ها صفحات در سطوح مختلفی اولویت بندی می شوند و این اولویت بندی نه تنها به دسته بندی لینک ها بلکه به عوامل دیگری که اهمیت نسبی هر صفحه را در چشم هر موتور جستجو تعیین می کند، بستگی دارد.اکثر موتورهای جستجوی محبوب ربات های خود را دارند که از الگوریتم های خاصی برای تعیین اینکه چه چیزی و چه زمانی کرالینگ می کنند استفاده می کنند و در نتیجه همه ی خزیدن ها یکسان نیستند .اگر یک صفحه در یک سایت خزیده نشود، در نتایج جستجو رتبه بندی نخواهد شد، چونکه بسیار بعید است که ایندکس شود.اما مهم ترین دلیل اهمیت کرالینگ در این است که برایه محتوایی که مدت محدودی ارائه میشوند ضروری می باشد(برای مثال در یک سایت خبری که اخبار روز را قرار می دهد ممکن است یک هفته بعد آن خبر فاقد اهمیت باشد پس در این موارد کرالینگ سریع بسیار ضروری می باشد)

ایندکسینگ

در SEO، ایندکسینگ به فرایند موتورهای جستجو مانند گوگل، بینگ یا یاهو اشاره دارد که صفحات وب را کشف، ذخیره سازی و سازماندهی می کنند تا بتوانند در نتایج موتور جستجو بازیابی و نمایش داده شوند.هنگامی که یک موتور جستجو یک صفحه وب را فهرست می کند، صفحه را به پایگاه داده خود اضافه می کند و آن را برای کاربران در دسترس قرا می دهد.هنگامی که یک کاربر جستجو را انجام می دهد، موتور جستجو از شاخص خود برای پیدا کردن مرتبط ترین صفحات وب استفاده می کند. الگوریتم جستجو عواملی مانند ارتباط، کیفیت و سیگنال های کاربر را برای تعیین رتبه بندی صفحات نمایه شده در نتایج جستجو تجزیه و تحلیل می کند.ایندکسینگ یک گام مهم در سئو است زیرا اگر یک صفحه وب ایندکس نشود، در نتایج موتور جستجو ظاهر نخواهد شد.