فعالیت هایی که قبل از نمایش نتایج توسط موتورهای جستجو انجام می شود:
برای پیدا کردن محتوا در اینترنت می گردند، و هر لینک، URL و کدی که پیدا کنند را بررسی می کنند.
کراولینگ پروسه کشفی است که موتورهای جستجو انجام می دهند. موتورهای جستجو تیمی از ربات ها که به عنوان خزنده ها(crawlers) و عنکبوت ها(spiders) شناخته می شوند را برای کشف و اپدیت محتوا می فرستد. محتوا در اینترنت می تواند صفحه ی وب، عکس، ویدیو، PDF و غیره باشند.کل محتوا صرف نظر از فرمت آن ها با لینک پیدا می شوند.
ربات ها شروع می کنند که چند صفحه وب را بررسی کنند، سپس به دنبال لینک های موجود در آن صفحه می روند تا اینکه URLهای جدید را پیدا می کنند. این پروسه به همین نحو ادامه پیدا می کند و محتوای کراولر ها می توانند هر لحظه محتوای جدیدی را کشف کنند و آن را یه ایندکس خود اضافه می کنند. حال پایگاه داده ای بسیار عظیم از URL ها کشف و ذخیره شده است و بعدا زمانی که یک جستجو کننده به دنبال اطلاعاتی می گردد، موتور های جستجو گر بتوانند محتوای موجود بر روی URL را برای کاربر بازیابی کنند.
در این قسمت موتورهای جستجو هر محتوایی را که در پروسه crawling پیدا کرده اند را در پایگاه داده ذخیره و سازماندهی می کنند. هر صفحه ای که ایندکس می شود اماده ی نمایش به عنوان سوالات مربوطه کاربران در موتورهای جستجو است.
محتوای index شده شامل url ها،کلمات کلیدی،محتوای سایت،چگونگی تعامل کاربر با سایت است.
موتور های جستجو سعی می کنند که اطلاعات فوق العاده زیادی را که در مرحله ی پیش کشف کرده اند را دسته بندی و ذخیره کنند و محتوای مناسب را برای کاربران عرضه کنند.
فایلی که به موتورهای جستجو می گوید چه محتوایی از سایت را بازدید کند.
برای اهمیت دادن به صفحه باید از تگ canonical استفاده کنیم چون گوگل به URL هایی که دراین تگ هستند اهمیت بیشتری می دهد.
گوگل با استفاده از الگوریتم هایش محتوای ضعیف و تکراری را تشخیص می دهد و این صفحات را index نمی کند.
خطاهایی که url ها برمیگردانند(کد های وضعیتresponse code) باعث index نشدن صفحات می شود.
هنگامی که کاربر در گوگل جستجو می کند، اطلاعات index شده توسط موتورهای جستجو پردازش شده و شاخص ها مقایسه می شوند و بعد محاسبه می کند کدام شاخص به محتوای جستجو شده نزدیک تر است.
در اینجا گوگل بهترین نتایج مرحله قبل را به کاربر نمایش می دهد.شما می توانید رنک سایت خود را در سایت Moz ببینید.
در این پست سعی کردم تا نحوه کار موتورهای جستجو را برایتان به اشتراک بگذارم اما توجه داشته باشید الگوریتم تمام موتورهای جستجو چنین نیست و این 4مرحله معمولا در تمامی آنها وجود دارد.
