بررسی و کنکاش مشکل ایندکس نشدن محتوای سایت

میان انبوهی از سایت هایی که در زمینه های مختلف و متنوع فعال هستند، کاربران بی شماری وجود دارند که هر روز به دنبال سوال ها و نیازهای شان به موتور جستجو روی می آورند. یک دستور آشپزی، روش انجام کار، اطلاعاتی در خصوص شخصیتی محبوب و اخباری که به مسایل روز دنیا می پردازد، همه اینها تنها بخش کوچکی از دنیای بی انتهایی است که نیازهای یک جستجوگر را تعریف می کند.

بیایید جمله ای در پاراگراف قبل را مجدد بازنویسی کنیم، جایی که خواسته ها تبدیل به یک دستور آشپزی متفاوت، روش انجام کاری دیگر و اطلاعاتی بیشتر از آنچه که برای یک شخص در نظر داریم. در اینجا هرچند نیت کاربر از جستجو مشخص است اما، انسان ذاتا تنوع طلب و داده کاو است. او می خواهد چیزهای متفاوت را به روشی دیگر و بیشتر به دست آورد. آنچه کنون درباره اش صحبت کردیم، در موتور جستجوی گوگل تبدیل به یک فناوری شده که Refine / Broaden this search نام دارد.

اگر می خواهید برای وب سایتی که میزبان یک کسب و کار و یا منبعی از اطلاعات غنی است، ترافیک پایدار طبیعی جذب کنید، وقت آن رسیده به ذهن و فکر مخاطب تان بروید، نیاز او را بشناسید و دلیل این خواسته را شناسایی کنید و آنگاه به گوگل بیایید تا از راهکارهایی که در قالب آپدیت ها و بروز رسانی ها ارایه می شود، برای تکمیل استراتژی سئوی تان بهره مند شوید. اگر با چالشی به نام ایندکس نشدن روبرو هستید، این مقاله بینش مناسبی را برای شما به ارمغان می آورد.

دیدتان را نسبت به خزش و ایندکس عوض کنید

مقدمه این مقاله برای شما یک الگوی خوب برای تغییر در فضای فکری تان نسبت به توقعی که از موتور جستجو دارید، است. شما یک سایت در میان میلیون ها وب سایت دیگر هستید که مخاطبینی با سلیقه های بسیار متغیر و سخت گیر به جستجوی شان می پردازند. این ذهینت را داشته باشید که آیا شما به واقع ارزش و یا داده بهتر و متفاوت تری را به نسبت رقبای تان ارایه می دهید یا خیر؟ آن هم در حالیکه نتایج دسکتاپ تنها 10 محتوا را در هر صفحه به نمایش می گذارد.

برای شروع پس به این موضوع خوب فکر کنید زیرا صرفا طراحی و برپایی یک سایت نمی تواند برای شما به معنی حضور در نتایج جستجو و یا فروش چشم گیر باشد. یک وب مستر حرفه ای و آگاه می داند که برای تجارت آنلاین خود باید به روش های تجارت الکترونیک بپردازد تا بتواند مشتریان اش را بصورت مستقیم جذب و با ترافیکی که بدین شکل صورت میگیرد، داده های مورد نیاز را برای ارزیابی کمی و کیفی و تجربه کاربری خوب در اختیار کراولرها و الگوریتم ها بگذارد.

در یک کسب و کار سنتی وقتی مغازه یا شرکتی را تاسیس می کردید، ابتدا به بررسی بازار و امکان سنجی فروش می پرداختید. سپس با تامین سرمایه و منابع انسانی، بازار هدف را تامین می کردید. جدای از اینکه اغلب سازمان ها برای این پروسه از مشاوره کارشناسان با تجربه استفاده می کنند، ایجاد فضای آگاهی در بازار به معنی شروع کمپین تبلیغاتی است به نحوی که بیلبوردها، تابلوهای شهری، آگهی های تلوزیونی، بازاریابی تلفنی و پیامک یا ایمیل مارکتینگ جزئی از این برنامه است.

بیایید این سوال را از خودمان بپرسیم، آیا صرفا با نظافت و چیدمان یک مغازه و یا بوتیک می توان انتظار حضور مشتری را داشت؟ آیا با اجاره دفتر شرکت در طبقه پنجم مجتمع اداری منجر به فروش محصولات و خدمات می شود؟ طبیعاتا پاسخ خیر است و اینجاست که به یک نکته بسیار مهم پی می بریم که "جذب اعتماد به واسطه ارایه اطلاعات" است. تا زمانی که سایت شما فعال باشد، انتظار جذب مخاطبین هدف و فروشی موفق، توهمی بیش نخواهد بود.

گوگل در کنفرانس SearchOn به موضوعات بسیار مهمی اشاره کرد در این میان تعهد به ارایه اطلاعات واقعی و معتبر که قابل اتکا باشند، جزو مهم ترین سرنخ های این مقاله به شمار می رود. دسترسی به اطلاعاتی که هم منطبق و هم معتبر است برای گوگل بسیار مهم است، زیرا افراد زیادی هستند که برای یافتن داده های مورد نظر و نیازشان به این موتور جستجو مراجعه می کنند. ارایه نتایج با کیفیت بالا فاکتوری است که گوگل را همیشه متمایز ساخته است. اطلاعات غلط در جامعه یک چالش فزاینده به شمار می ورد با اینحال گوگل متعهد شده تا تازیه ترین، معتبر ترین و قابل اعتماد ترین اطلاعات را در اختیار کاربران اش قرار دهد و این چیزی نیست که طی یک روز بدست بیاید.

گوگل سیستم رتبه بندی اش را بر مبنی ارایه اطلاعات با کیفیت و واقعی تغییر داده که به عنوان مثال برای اطلاعات مرتبط با سلامت افراد جامعه، داده ها را از منابع بسیار معتبر و ترجیحا سازمان های شناخته شده جمعاوری می کند.

به این 4 فاکتور توجه کنید:

1. درباره این نتیجه جستجو
2. پوشش کامل داده های اطلاعاتی
3. داده هایی که صحت آنها بررسی شده است
4. محتوای مشورت شده- مشورت داده شده

گوگل با هدف بهبود سواد رسانه ای کاربران، نتایج جستجو را تغییر می دهد و دائما در حال گسترش قابلیت های بخشی به نام "درباره این نتیجه" است که در اوایل سال 2021 راه اندازی شده بود. ویژگی about this شامل اطلاعات مربوط به منبع محتوای جاری، توضیحات ویکی پدیا و بخش درباره ما از سایت است که بخش هایی مانند اخبار، بررسی و تحلیل مطالب روی سایت و نتایج مرتبط با یک کوئری شاخص و سایر منابع اطلاعاتی که ممکن است مربوط به درخواست اصلی کاربر باشد نیز به آن اضافه شده است و می تواند به مردم در ارزیابی بهتر منابع ناآشنا و جدید کمک کند.

یکی از شاخص های دیگر در زمینه اعتماد سنجی برگرفته از اطلاعاتی است که شما در سایت تان و درباره خود یا نویسندگان و کسب و کارتان می نویسید. گوگل در بخشی به نام "به نقل از" می خواهد به کاربران بگوید که این سایت چطور خودش را توصیف می کند. بدین ترتیب قضاوت عادلانه تری در انتظار سایت هایی خواهد بود که از زیاده گویی و فخر فروشی دوری می جویند. صداقت در اطلاعات و پرهیز از ادعای غیر واقعی، دستاوردهایی است که ویژگی درباره این نتیجه به ارمغان آورده است.

گوگل می گوید برای اعتماد به یک منبع یا محتوا معمولا نیاز دارید وقت بیشتری را سپری کند تا در طول زمان بر موثق بودن یک داده برای استفاده افراد صحه گذارد. درست است که با اولین ورود به یک سایت نمی توان مدت زمان راه اندازی آن را یافت اما ویژگی درباره این جستجو کمک می کند تا بدانید سایت پیش رو چند سال یا چند ماه است که شروع به کار کرده است.

خزش و ایندکس به زبان ساده

هر زمان که می خواهید مطالب یک صفحه را بررسی و تجزیه تحلیل نمایید، این همان کاری است که موتور جستجو انجام می دهد و به آن این امکان را می دهد تا بتواند صفحات Html را بخواند و محتوای آن را درک کند. برای این منظور، ابتدا باید بتوان آدرس ها را یافته و از وجود آنها مطلع شد که به آن خزش - Crawling می گوییم.

پس از این مرحله، خزنده، صفحه را مانند آنچه که در مرورگر اتفاق می افتد، بدنبال هر قطعه جاوا اسکریپتی گشته و نتیجه را نمایه سازی می کند. استخراج عناوین و سایر متون از درختواره اشیای صفحه ساده است و مانند توکن ذخیره می گردد تا برای ایندکس آدرس های شما استفاده شود. حال این سوال پیش می آید که موتور جستجو چطور این فرآیندها را تفسیر می کند و می فهمد؟

برای این موضوع، موتور جستجو عناصر قابل خواندن توسط ماشین - Machine-readable Elements را بررسی کرده و بر مبنی آن تصمیم می گیرید که چه اطلاعاتی را ایندکس و یا صرف نظر نماید. اما داستان فراتر از این حرف ها ست و این همه ماجرا نیست. کراولر این سوال را در نظر میگیرد که آیا صفحه ای که قصد دارد ایندکس کند یک رویداد خانوادگی است یا دستور پخت یک غذای خوش طعم که با داده های ساختاریافته در نظر گرفته می شود.

همزمان با پردازش و بررسی یک صفحه، خزنده ها بدنبال لینک هایی می گردند که به سایر صفحات، هم در داخل و هم به خارج پیوند داده شده باشند. در هر صورت لینک ها باید با عناصر HTML استاندارد - Well-formed تولید و مشخص گردند، تا با در دسترس و مستدل بودن، بهتر بتوان آنها را فهمید. برای تکمیل پروسه، کراولر به لینک هایی که به صفحه هدف شان رسیده اند هم می نگرد و برای خزش های بعدی در نظر میگیرد.

یکی از تغیرات اخیر گوگل در واکشیِ داده ها از صفحات، حرکت بسوی معماری HTTP/2 بوده و جزو تغییرات عمده در HTTP ( پروتکل انتقال داده های در اینترنت ) می باشد. در این حالت می توان یک سیگنال TCP را ارسال و بصورت همزمان چندین فایل را دریافت کرد که باعث می شود خزش کارآمدتری داشته و گوگل بات و خزنده ها هم دیگر نیازی ندارند تا وقت زیادی را برای خزش هدر دهند.

بودجه خزش شامل 2 معیار اساسی می باشد:

1. مشخص کردن خزش - crawl demand: میزان آدرس هایی است که گوگل می خواهد در سایت بخزد.
2. ظرفیت خزش - crawl capacity: کشش سرور شما برای خزش بدون مشکل آدرس ها چقدر است.

حال فکرش را بکنید که با فناوری HTTP/2، سیستم های خزنده گوگل می توانند با همان مقدار بارگیری و بارگزاری بر روی سرور، درخواست های بیشتری داشته و از این فناوری بهره ببرند. در حال حاضر بیش از یک/دوم آدرس ها بر بستر HTTP/2 خزش می شود که این پیشرفت ها به زیر ساخت های سرویس دهنده وب سایت شما در جهت سرویس به خزنده ها کمک می کنند.

چک لیست بررسی امکان ایندکس صفحات

برچسب متا

این تگ ها کنترل کننده رفتار خزنده ها هستند و صفحات دارای هر یک از این برچسب ها ایندکس نمی شوند.

<meta name=“robots” content=“noindex”>
 <meta name=“googlebot” content=“noindex”>

تگ های متا ربات به موتور جستجو می گویند که آیا اینکدس این صفحه مجاز است یا خیر. اگر از پلاگین های سئو استفاده می کنید باید از بخش مربوط به این مساله توجه کنید. برای یافتن صفحاتی دارای برچسب noindex هستند می توانید از ابزار Ahrefs نسبت به اجرای crawl اقدام و از گزارش indexing به دنبال گزارش “page Noindex” باشید.

برچسب X ‑ Robots

با ساتفاده از ابزار بازرسی URL در کنسول جستجوی گوگل می توانید از مسدود بودن صفحه مطمئن شوید. با وارد کردن URL و بررسی پیام زیر قادر هستید x-robots را پایش کنید. پیام زیر به معنی نوایندکس بودن پیوند مد نظرتان است.

 “Indexing allowed? No: ‘noindex’ detected in ‘X‑Robots-Tag’ http  header”

از نقشه سایت خود مطمئن شوید

سایت مپ به اندازه رگ های بدن اهمیت دارند. تصور اش را بکنید در حال رفتن به یک آدرس هستید و علارغم اینکه عجله هم دارید، ناگهان با یک کوچه بن بست برخورد می کنید. موضوع جایی اهمیت دارد که این مسیر در نقشه شما قابل تردد بوده و همین سوپرایز بد موقع، زمینه ساز صرف وقت و هزینه بیشتر می شود. اما شرایط بر روی سایت متفاوت است زیرا پیوندهایی که بسته شده اند، کراول و ایندکس نمی شوند.

یک نقشه سایت به گوگل می گوید چه صفحاتی در سایت شما وجود دارند و راهنمایی بر نحوه خزش نیز هستند. موتور جستجو باید بتواند صفحات موجود در وب سایت شما را پیدا کند، که با قرار گرفتن صحیح در سایت مپ، پروسه فوق بخوبی انجام می شود. پلاگین های سئو در تولید و مدیریت نقشه سایت به شما کمک می کنند و امکانات خوبی را در اختیارتان می گذارند.

برای بررسی اینکه آیا صفحه ای در نقشه سایت شما قرار دارد یا خیر، از ابزار بازرسی URL در سرچ کنسول استفاده کنید. اگر خطای “URL is not on Google” و “Sitemap: N/A” را مشاهده کردید، صفحه فوق در نقشه سایت شما وجود ندارد که منجر به ایندکس نشدن نیز می گردد.

برچسب های canonical را بررسی کنید

کنونیکال به گوگل می گوید که نسخه برگزیده یک صفحه کدام است، مانند زیر:

<link rel = “canonical” href = “/ page.html /”>

صفحات سایت را برای مواردی که فاقد برچسب canonical هستند جستجو کنید تا اگر تنها هستند به خودشان کنونیکال شوند. همچنین صفحاتی که از یک مفهوم دارای چند برگه هم معنی دیگر هستند، بهترین نسخه را برای ایندکس شدن گزینش کنید. گاهی صفحات به اشتباه نماینده می شوند و محتوای بهتر از ایندکش شدن باز می ماند.فحه شما دارای rogue canonical است، می تواند به Google در مورد نسخه دلخواه این صفحه که وجود ندارد، بگوید. در این صورت، صفحه شما ایندکس نمی شود.

برای وضعیت کنونیکال، از ابزار بازرسی URL Google استفاده کنید. اگر برچسب فوق به صفحه دیگری اشاره کند، هشدار “Alternate page with canonical tag” را مشاهده خواهید کرد.

صفحات یتیم سایت را شناسایی کنید

صفحات یتیم به انواع محتوایی گفته می شود که هیچ لینک سازی در آنها صورت نگرفته است، بدین معنی که نه لینکی به برگه می آید و نه خارج می شود. بدین ترتیب بازدیدکنندگان و خزنده ها نمی توانند آنها را پیدا کنند. محتوایی که نتواند در پیمایش داخل سایت نقشی داشته باشد و از چشم خزنده ها نیز دور باشند، برای ایندکس به مشکل برخواهند خورد.

پیوندهای داخلی nofollow را بیابید

پیوندهای نوفالو با برچسب rel = “nofollow” هستند که از انتقال رنک و امتیاز به مقصد جلوگیری و مانع خزش نیز می شود.می کند. استفاده از nofollow باعث می شود که پیوندهای هدف از نمایه سازی حذف شوند. اما در نظر داشته باشید اگر سایر سایت ها بدون استفاده از nofollow به صفحات فوق پیوند دهند یا اگر URL ها از طریق نقشه سایت برای گوگل خوانده شوند، آن برگه ها همچنان در به Google  ارسال شوند، ممکن است صفحات مورد نظر همچنان برای ایندکس در نظر گرفته شوند. اطمینان حاصل کنید که تمام لینک های داخلی به صفحه های قابل ایندکس پیوند داده می شوند.

ابزار Ahrefs به شما برای جستجوی سایت خود استفاده کنید. گزارش پیوندها را برای صفحات قابل ایندکس شدن بررسی کنید و اگر با خطای “Page has nofollow incoming internal links only” روبرو شدید سعی کنید پیوندهای فوق را روی سایت نیز با ابزار بازرسی URL کنسول جستجو کنترل و در نهایت موارد را برطرف کنید.

نکته: از هر ابزاری که برای بررسی پیوندها و تگ ها بهره می برید، می توانید با استفاده از کنسول جستجو از صحت آنها نیز مطمئن شوید.

پیوندهای داخلی را تقویت کنید

گوگل با جستجوی وب سایت شما محتوای جدید را کشف می کند. اگر از پیوند داخلی با صفحه مورد نظر غافل شوید، ممکن است کراولرها نتوانند چیزی را بیابند. لینک سازی داخلی یکی از حیاتی ترین و پیچیده ترین استراتژی های موجود است که سرنوشت ساز نیز است. می توانید صفحاتی که برای ایندکس شدن مشکل دارند را از نظر کیفیت محتوا بروزرسانی کرده و از برگه های با ارزش و قدرتمند به آنها لینک سازی کنید.

در کنسول جستجوی گوگل نیز می توانید صفحاتی که می خواهید سریع تر ایندکس شوند را در ابزار بازرسی کنترل کرده و سپس به گوگل با ”Request indexing” به گوگل اطلاع دهید که محتوای شما آماده بازبینی و نمایه سازی است. بیش از یک بار در روز نباید برای این درخواست اقدام کنید و ابدا یک محتوای ضعیف با تغییرات جزئی را نیز کاندید نکنید. بعضی افراد با استفاده متعدد از ”Request indexing” نتنها به ایندکس محتوا کمکی نمی کنند، بلکه کراولر را برای خزش و نمایه سازی بی اعتماد می کنند. وقتی در فصل سرما ماشین روشن نمی شود، استارت زدن مداوم باتری را هم خالی می کند.

صفحات بی کیفیت ایندکس نمی شوند

این یعنی قرار نیست هر برگه و محتوایی که ایجاد می کنید ایندکس شود زیرا صفحات با کیفیت پایین برای کاربران اش هیچ ارزشی ندارند.

گوگل می گوید: ما هرگز همه URL های شناخته شده را ایندکس نمی کنیم و این کاملا طبیعی است. وقتی بع طراحی و پیاده سازی یک سایت عالی و الهام بخش بپردازید، آنوقت می توان امیدوار بود همه چیز خوب پیش برود.

برای ایندکس صفحات سایت، لازم است محتوایی ایده عال و الهام بخش داشته باشید.

اگر از مسایل فنی سایت مطمئن هستید، باید تمرکزتان را بر روی ارزش محتوا بگذارید. صفحات را با دید متفاوت چک کنید و و این سوال را از خود و مخاطبین تان بپرسید که آیا واقعا این برگه ارزش نمایش در نتایج دارد یا خیر. به نظر شما وقتی کاربری به محتوای شما برسد، چیز ارزشمندتری نسبت به رقبا بدست می آورد؟ با خودتان صادق باشید زیرا گوگل برای مخاطبین اش بسیار ارزش قائل است و هر محتوایی به صدر نتایج نخواهد رسید مگر لایق آن جایگاه باشد.

صفحاتی که کیفیت پایینی دارند را حذف کنید

هرچند چالش بودجه خزش در سایت های کوچک و یا صفحات تعداد پایین نگران کننده نیستف اما وجود بیش از حد صفحات بی کیفیت باعث هدر رفتن crawl budget شده و تاثیر قابل توجهی بر روی کشف محتوای منحصر بفرد در یک سایت دارد. حذف صفحات با کیفیت پایین بر روی تجربه کاربری تاثیر می گذارد و هیچ چیز بدتر از این نیست یک شخص از جضور اش در صفحات راضی نباشد.

بک لینک های با کیفیت بالا را در نظر بگیرید

بک لینک ها به گوگل می گویند که یک صفحه چقدر مهم است و این را از روی اعتباری که منابع دیگر نشان می دهد می یابد. وقتی چند نفر درباره یک نفر نظر خوبی داشته باشند، این در نحوه ارزیابی وی کمک می کند. برای اطمینان از اعتبار یک صفحه، گوگل صفحات وب را تنها با بک لینک ایندکس نمی کند. گوگل صفحات دارای پیوندهای با کیفیت را که از اهمیت بیشتری برخوردارند سریع تر خزش و ایندکس می کند.

نکته: خزش صفحات به معنی ایندکس نیست و همینطور ایندکس نیز به معنی نمایش در نتایج نخواهد بود. پس اگر محتوای شما ایندکس شده باشد صرفا در شرایطی به نتایج خواهد رفت که با کوئری جستجوگر منطبق باشد. مطالب شما در مرحله ایندکس برای گوگل با ارزش در نظر گرفته شده و حال باید به خواسته کاربران بتواند پاسخ دهد. اینجاست که اهمیت نیت کاربر و اینکه او چرا این نیاز را دارد پررنگ تر می شود.

جمع بندی

این مقاله را با یک مقدمه کامل شروع کردیم و در طی آن نکات کلیدی مهمی را بازگو کردیم. این موتور جستجو است که به کاربران اش تعهد داده تا اطلاعات مطمئن و پاسخ مناسب را ارایه می کند و فاکتورهای سخت گیرانه ای را نیز به کار میگیرد. وقتی برای ارزیابی یک محتوا به سایت تان می آید، باید ماهیت محتوا و ارزش های کل سایت را نیز در نظر میگیرد. آیا شما در بیان اطلاعاتی که در صفحه "درباره ما" نوشته اید صادق بوده اید یا با جملات فریبنده و اغراق آمیز سعی در بزرگ نمایی داشته اید. هر چیزی که باعث شود تا حضور یک مخاطب در سایت شما غیر مفید واقع شود به معنی عدم ارزش لازم برای ایندکس شدن است.

کیفیت محتوا، حتی اگر یک کارشناس خبره در نوشتن آن کمک کرده باشد به معنی واجد شرایط بودن نیست، بلکه لازمه درک امکان پذیرش بودن در نتایج جستجو، بررسی رفتار و بازخورد کاربران است که بخشی از آن را در نظرات و فیدبک ها می توان یافت. کاربران را ترغیب کنید نظر بدهند و کامنت ثبت کنند زیرا این نکته به قضاوت سایر افراد نیز کمک کرده و نشان دهنده تعامل در صفحه است.

صفحات و مطالب سایت به سادگی ایندکس نمی شوند و این مسیر به سوی سخت تر شدن شرایط و بازبینی ها پیش روی می کند. شما کالایی دارید که بازار خوبی دارد اما در آنجا رقبای قدرتمند و قدیمی حاضرند تا تمام ترافیک طبیعی را تصاحب کنند. با نوآوری و خلاقیت و همچنین ایده پردازی و اطلاع از آخرین آپدیت ها و بروزرسانی ها می توان برای پیکربندی صفحه منطبق با قوانین و دستورالعمل های گوگل شانس بیشتری داشت که لازمه اش تحقیق و پژوهش و همچنین اطلاع از رویدادهای این موتور جستجو است. اینکه بدانید یک الگورتم جدید برای تعریف یک محصول چه ویژگ هایی مد نظر دارد، محتوای شما را برای خزش و ایندکس بهتر تعریف می کند. گوگل باید در میان میلیون ها سایت مشابه شما و بی نهایت مطلب مانند آنچه که نگاشته اید، بهترین ها را انتخاب کند هرگز قابل تصور نیست. ایندکس نشدن صفحات همیشه به معنی مشکل نیست، وقتی گوگل برگه را قابل نمایش در نتایج نداند، تمرکزتان را بر روی تجربه کاربری و کیفیت محتوای غنی بگذارید و این سوال را از خود بپرسید که محصول ، محتوا و خدمات تان لازم است به تنهایی و برای یک اجرای بهتر به صحنه قدم بگذارد. یک سایت برای رشد و پیشرفت به روش های دیجیتال مارکتینگ نیاز دارد، جاییکه بازاریابی پیامک، ایمیل و تبلیغات آنلاین ترافیک مستقیم را به فروشگاه تان می آورد و بر اساس رفتار کاربر و پایداری حضور افراد و همچنین کیفیت محتوایی که با گردش مخاطبین تان در سایت معنی پیدا می کند، نتیجه بهتری خواهید گرفت.

نویسنده: علیرضا ناجی

writing by: Alireza Naji
Instagram: naji.ar
Twitter: AlirezaNaji

حمایت از من در ریمیت ( https://reymit.ir/alirezanaji )