موتور جستجو ماشینی برای شناسایی، درک و سازماندهی محتوای اینترنت است تا مرتبطترین نتایج را به پرسشهای جستجوکنندگان ارائه کند. محتوا برای نمایش در نتایج جستجو، ابتدا باید برای موتورهای جستجو قابل مشاهده و بهینهسازی شده باشد. بهینهسازی موتور جستجو (Search Engine Optimization) راهکارهایی برای افزایش بازدید و جذب ترافیک ارگانیک بیشتر به سمت وب سایت است. بهینهسازی کمک میکند که محتوای وب سایت درک و بهعنوان نتایج مرتبط و ارزشمند به کاربران ارائه شود.
در موتور جستجو فرایندهایی برای مشاهده و درک محتواهای منتشر شده در وب و ارائه نتایج مرتبط با جستجوی کاربران انجام میشود. در این مقاله نحوه عملکرد موتور جستجو، فرایندهای اصلی آن و عوامل مؤثر در کارآمدی هر کدام مورد بررسی قرار میگیرد.
موتور جستجو سه فرایند اصلی دارد که طی مراحل انجام گرفته در آنها نتایج مرتبط با پرس و جوی کاربران ارائه میشود. این فرایندها عبارتند از:
کراولینگ (خزیدن): در کراولینگ (Crawling) رباتهای موتور جستجو URL وب سایت را شناسایی و اسکن میکنند.
ایندکس کردن: صفحات وب پس از کراولینگ، در فرایند ایندکس شدن (Indexing)، سازماندهی و در یک پایگاه داده دستهبندی میشوند.
رتبهبندی: در فرایند رتبهبندی (Ranking)، نتایج بر اساس فاکتورهایی مانند میزان ارتباط با جستجوی کاربر و محبوبیت مرتب میشوند. در نهایت محتوایی ارائه میشود که بهترین جواب برای پرسش جستوکننده است.
در فرایند خزیدن، موتورهای جستجو گروهی از رباتهای نرمافزاری یا خزشگرها (Spider) را برای یافتن محتوا به وب سایتها ارسال میکنند. محتوا میتواند صفحه وب، تصویر، ویدئو و PDF باشد و صرف نظر از نوع آن، با استفاده از لینکها قابل شناسایی است. خزشگرها صفحات وب را اسکن و لینکها را دنبال و میکنند تا URLهای جدید پیدا شود. با خزیدن در مسیر این لینکها، خزشگر میتواند محتوای جدید را پیدا کند.
خزشگرهای موتور جستجو بر اساس پارامتری به نام بودجه خزش (Crawl Budget) از وب سایتها بازدید میکنند. بودجه خزش به معنای تعداد صفحات یک وب سایت است که رباتها در یک دوره زمانی معین خزش میکنند.
بدون خزیدن، موتور جستجو وب سایت شما را شناسایی نخواهند کرد. در نتیجه صفحات در نتایج موتور جستجو رتبه نخواهد گرفت.
ایندکس شدن فرایندی است که در آن یک موتور جستجو مانند گوگل دادههای صفحات وب را که از خزشگر دریافت کرده در پایگاه داده خود سازماندهی، دستهبندی و ذخیرهسازی میکند. ایندکس شدن را میتوان به صورت یک سیستم فایلبندی آنلاین برای پستها، صفحات وب سایت، تصاویر و ویدئوها تصور کرد. این سیستم در گوگل، پایگاه داده عظیمی به نام ایندکس (Google Index) است.
ایندکس موتور جستجو پایگاه داده یا کتابخانه گستردهای از اطلاعات درباره صفحات وب است که موتور جستجو آنها را به تدریج کراول و آنالیز کرده است. از طریق ایندکس، موتورهای جستجو با ارائه فهرستی از صفحات مرتبط، به پرس و جوهای کاربر بهشکل سریع و کارآمد پاسخ میدهند.
هر زمان که محتوایی منتشر یا بهروزرسانی میشود، موتورهای جستجو خزیدن و ایندکس شدن را بر روی آن صفحه انجام میدهند تا اطلاعات آن را به پایگاه داده خود اضافه کنند. این فرایند به صورت خودکار انجام میشود، اما میتوان با استفاده از ارسال نقشه سایت به موتور جستجو سرعت آن را افزایش داد. نقشه سایت فایلی است که در آن اطلاعاتی درباره صفحات، ویدئوها، فایلهای سایت و ارتباط بین آنها ارائه میشود. نقشه سایت، زیرساخت وب سایت از جمله لینکها را مشخص میکند تا برای خزیدن و درک محتوا به شکل موثر به موتورهای جستجو کمک کند.
همان طور که با استفاده از یک فرهنگ لغت میتوان به سرعت و به سادگی معنی یک کلمه را پیدا کرد، موتورهای جستجو نیز از ایندکس صفحات برای ارائه مرتبطترین و مفیدترین نتایج به کاربران استفاده میکنند. موتور جستجو از ایندکس گسترده خود برای جستجوی سریع در صفحات وب استفاده میکند تا آنهایی را که احتمالاً پاسخ پرسش کاربر هستند پیدا کند.
بدون استفاده از ایندکس، موتورهای جستجو برای هر پرس و جوی کاربر باید تمام صفحات وب را جستجو کنند. در این صورت فرایند جستجو کند و ناکارآمد میشود، زیرا میلیاردها صفحه در فضای وب وجود دارد و تجربه با کیفیت مورد انتظار کاربر ارائه نمیشود.
رتبه به جایگاه یک سایت در صفحه نتایج موتور جستجو (Search Engine Result Page) اشاره میکند. وقتی جستجویی انجام میشود، موتورهای جستجو ایندکس خود را برای یافتن مرتبطترین محتوا بررسی میکنند. سپس محتوا را برای ارائه به پرس و جوی کاربر مرتب میکنند. مرتب کردن نتایج جستجو بر اساس مرتبطترین آنها رتبهبندی نام دارد. بهطور کلی هر چقدر یک وب سایت با پرس و جوی کاربر مرتبطتر باشد رتبه بالاتری خواهد داشت.
سئوی مؤثر نقش مهمی در رتبهبندی دارد، زیرا تقریباً بیش از ۹۰٪ ترافیک اینترنت توسط سایتهایی ایجاد میشود که در صفحه اول نتایج موتور جستجو قرار گرفتهاند.
رتبهبندی صفحات بهطور مرتب بهروز رسانی میشود. برای حفظ یک رتبه خاص یا بهبود رتبهبندی، بهطور مداوم باید بر روی صفحه کار شود تا با پرس و جوهای جدید تطبیق یافته و در صفحه نتایج، رتبه بالاتری کسب کند. آنچه امروز رتبه بالایی بهدست میآورد در صورت عدم سرمایهگذاری بر روی سئوی خوب، ممکن است فردا رتبه بسیار بدی داشته باشد.
موتور جستجوی گوگل از الگوریتمهای مختلفی برای رتبهبندی سایتها استفاده میکند. پیج رنک (PageRank) الگوریتمی است که بنیان گذاران گوگل برای اولین بار از آن برای تعیین رتبه سایتها استفاده کردند. در این الگوریتم، صفحات از طریق لینکهایی که سایر وبسایتها به وب سایت شما میدهند یا همان بک لینکها (Backlink) رتبهبندی میشوند.
هرچه لینکهای بیشتری از سایتهای دیگر برای یک وب سایت یا صفحه دریافت شود، محتوای آن قابل اعتمادتر است. در این صورت یافتن محتوا برای رباتهای کراول کننده وب سایتها نیز آسانتر است. البته باید توجه داشت که ارزش بک لینکها یکسان نیست. لینکهای کم از طرف سایتهای مرتبط و معتبر در رقابت با صدها لینک غیر مرتبط و با کیفیت پایین برنده هستند.
از دیگر الگوریتمهای برتر گوگل میتوان به پاندا (Panda)، پنگوئن (Penguin)، مرغ مگس خوار (Hummingbird)، کبوتر (Pigeon)، موبایل گدون (Mobilegeddon)، رنک برین (RankBrain)، موش کور (Possum)، بهروز رسانی مدیک (Medic Update)، برت (Bert)، الگوریتم Page Experience Update، الگوریتم Helpful Content Update اشاره کرد.
در الگوریتم پیج رنک، رتبه صفحه از یک سایت به سایت دیگر و از یک صفحه به صفحه دیگر جریان پیدا میکند. اگر برای یک پست وبلاگ بک لینک دریافت شود، اعتبار بک لینک به لینکهای داخلی آن پست نیز انتقال داده میشود.
برای مثال فرض کنید در یک پست، محتوایی درباره تعمیر یک وسیله نوشتهاید که در واقع مرحله بالای قیف بازاریابی است. اگر لینکی به این محتوا داده شود، رتبه صفحه لینک دهنده میتواند به صفحه خدمات مشتریان (در صورت لینک داده شدن به آن در پست وبلاگ) نیز انتقال یابد. در نتیجه قابلیت ایندکس شدن و رتبه آنها نیز افزایش پیدا میکند.
بک لینکها جزو مهمترین فاکتورهای رتبهبندی گوگل هستند. بررسیهای صورت گرفته از جمله مطالعه Ahrefs بارها نشان داده است که بین بک لینکها و ترافیک جستجوی ماهانه ارتباط وجود دارد. دلایل اهمیت بک لینکها عبارتند از:
۱.افزایش اعتبار و قابلیت اعتماد سایت
۲.امکان یافتن صفحه شما از طریق وب سایتهای دیگر
به طور کلی بک لینکها قابلیت کراول شدن، ایندکس شدن و رتبه سایت را بهبود میبخشند.
اگرچه این امکان وجود دارد که به دلایلی بخشی از وب سایت یا تمام آن را برای خزشگرهای موتور جستجو مسدود کرد، اما چنانچه بخواهید جستجوگران، محتوا را پیدا کنند ابتدا باید نسبت به دسترسپذیر بودن آن برای خزشگرها و قابلیت ایندکس شدن آن اطمینان حاصل کنید. در غیر این صورت محتوا برای موتور جستجو قابل مشاهده نخواهد بود.
یک راه برای رصد ایندکس شدن صفحات وب استفاده از ابزار گوگل سرچ کنسول (Google Search Console) است. در صورت داشتن وب سایت میتوان تعداد صفحات ایندکس شده را مشاهده کرد. به این ترتیب میتوان از سر زدن خزشگر گوگل به تمام صفحات مورد نظر اطمینان پیدا کرد.
با استفاده از عملگر جستجوی پیشرفته site نیز میتوان ایندکس شدن صفحات را بررسی کرد. به این صورت که آدرس صفحه مورد نظر به شکل "site:yourdomain.com"در نوار جستجو وارد میشود. در صورت ایندکس شدن، صفحه در نمایش جستجوی گوگل مشاهده میشود.
فاکتورهای مختلفی بر ایندکس کردن موتورهای جستجو تأثیر میگذارند. در ادامه به برخی از مهمترین آنها اشاره میشود:
خزشگرها وب سایتها را برای جستجوی محتوای جدید کراول میکنند. آنها باید بتوانند وب سایتها را مرور و صفحات جدید را پیدا کنند. اگر خزشگرها نتوانند این صفحات را پیدا کنند یا در پیمایش آنها با چالش مواجه شوند، این موضوع میتواند موجب تأخیر در فرایند ایندکس شدن یک صفحه یا حتی در برخی موارد ایندکس نشدن آن گردد.
فاکتورهای زیر بر کارآمدی کراولینگ تأثیر میگذارند:
نقشه سایت XML: یک فایل XML است که تمام صفحات یک وب سایت را فهرست و خزشگر آنها را کراول میکنند. این فایل را میتوان بهصورت دستی نیز به سرچ کنسول ارسال کرد.
فایل Robots.txt: یک فایل متنی ساده که به صفحه وب اضافه میشود و خزشگرها را برای دسترسی به صفحات راهنمایی میکند. این فایل ترافیک خزشگرها را مدیریت نموده و در صورت درخواستهای زیاد به سمت سایت مانع افزایش بار بر روی آن میشود. برای مثال میتوان مشخص کرد که گوگل صفحاتی مانند کارتهای خرید یا دایرکتوریها را کراول نکند.
لینکدهی داخلی: لینکهایی از یک صفحه وب سایت به صفحات دیگر آن هستند. کراولرها میتوانند این صفحهها را دنبال و صفحههای جدید را شناسایی کنند.
لینکهای خارجی (بک لینکها): لینکهای وارد شده از وب سایتهای دیگر به وب سایت شما هستند. کراولرها میتوانند این لینکها را دنبال و صفحات جدید را پیدا کنند.
در طول ایندکس شدن، رباتها صفحه وب را کراول و موضوع آن را شناسایی میکنند. سپس صفحه را به کلمات کلیدی و پرس و جوهای مرتبط با آن متصل میکنند. فاکتورهای سئوی زیر بر چگونگی ایندکس شدن محتوا تأثیرگذار هستند:
محتوا: محتوای منحصر به فرد، غیر تکراری، آموزنده و مرتبط با مخاطب هدف اهمیت دارد.
فاکتورهای فنی: اطمینان نسبت به اینکه سایت میتواند با استفاده از نقشه سایت و فایل robots.txt کراول شود.
بک لینکها: حتی تعداد کم لینک از سایتهای مرتبط میتواند به موتورهای جستجو برای شناسایی محتوا کمک کند.
تازگی: به روز رسانیهای منظم به موتورهای جستو نشان میدهد که سایت شما فعال و معتبر است.
بک لینکها نقش گستردهای در ایندکس شدن صفحه وب دارند. بک لینک را میتوان 50% سئو در نظر گرفت. بارها ثابت شده است که بک لینکها به ایندکس شدن و رتبهبندی کمک میکنند. باید توجه داشت که بک لینکهای دریافتی باید از منابع معتبر و مرتبط با سایت شما باشند.
راههای بسیاری برای بهینهسازی ایندکس کردن موتور جستجو وجود دارد که در ادامه به برخی از آنها اشاره میشود.
نقشه سایت XML: فهرست صفحات وب سایت که به کراول کردن موتور جستجو میکند. این فهرست در قالب یک فایل XML است که با استفاده از ابزارهای وب مستر موتور جستجو ایجاد و ارسال میشود.
فایل Robots.txt: این فایل کراولر را راهنمایی میکند که به کدام صفحات دسترسی داشته باشد یا آنها را کراول نکند. فایل robot.txt در دایرکتوری روت وب سایت بارگذاری میشود.
محتوای با کیفیت: قرار دادن محتوای آموزنده و مرتبط با نیاز مخاطب که او را درگیر کند. برای این منظور میتوان از تحقیق کلمه کلیدی جهت یافتن کلمات بیشتر جستجو شده از سوی کاربران استفاده کرد.
سئوی تکنیکال: سرعت وب سایت، بهینهسازی برای موبایل (طراحی ریسپانسیو)، دادههای ساختار یافته و قرار ندادن لینکهای شکسته (لینکهایی که به صفحه خالی هدایت میشوند) فاکتورهای مورد توجه در سئوی تکنیکال هستند.
لینکدهی داخلی: لینکهایی که صفحات مرتبط در وب سایت را با استفاده از یک متن توصیفکننده (anchor text) به هم وصل میکند.
بک لینکهای خارجی: برای گرفتن بک لینک خارجی محتوای قابل اشتراک تولید و با دارندگان سایر وب سایتها ارتباط ایجاد کنید.
بهروز رسانی منظم: محتوا را از طریق انتشار مطالب جدید و بهروز رسانی محتوای موجود به روز نگه دارید.
بهینهسازی متا تگ: برای هر صفحه تگ عنوان و توضیحات متا را دقیق بنویسید و کلمات کلیدی را در آنها قرار دهید.
بهینهسازی تصویر: در نام فایل تصاویر و متن جایگزین، از کلمات کلیدی مرتبط استفاده کنید.
ساختار URL: از URLهای واضح و کوتاه استفاده کنید که نشان دهنده موضوع محتوای صفحه هستند.
اسکیما مارک آپ: اسکیما مارک آپ (Schema Markup) کد یا داده ساختار یافتهای است که به کدهای HTML وب سایت اضافه میشود و باعث درک بهتر متن برای موتور جستجو میشود.
موتور جستجو با استفاده از سه فرایند اصلی کراولینگ (خزیدن)، ایندکس کردن و رتبهبندی نتایج مرتبط با پرس و جوی کاربران را ارائه میکند.
در فرایند خزیدن، موتور جستجو با استفاده از رباتها یا همان خزشگرها لینکها را دنبال و صفحات وب را اسکن میکند. صفحات وب پس از کراولینگ، در فرایند ایندکس شدن سازماندهی و در پایگاه داده دستهبندی میشوند. پس از آن در رتبهبندی محتوا تحلیل شده و نتایج بر اساس میزان ارتباط با جستجوی کاربر مرتب میشوند.
فاکتورهای مختلفی مانند لینکدهی داخلی، لینکهای خارجی، نقشه سایت بر کارآمدی کراولینگ تأثیرگذارند. محتوا و بهروز رسانی منظم آن، فاکتورهای فنی، بک لینکها، بهینهسازی کلمات کلیدی و تصاویر، ساختار URL، عوامل موثر در سئوی تکنیکال مانند سرعت وب سایت و طراحی ریسپانسیو بر چگونگی ایندکس شدن محتوا و بهینهسازی آن تأثیرگذارند.
