شاید برای شما این سوال نیز پیش آمده باشد که چرا گوگل سایتم را ایندکس نمی کند؟
آیا مشکل جدی در پشت مسئله ایندکس نکردن سایت وجود دارد؟
در برخی از مواقع بر خلاف زحماتی که برای تولیدمحتوا می کشیم، در گوگل ایندکس نمیشود. با وجود این که محتوای شما کاملا یونیک است و شخصا آن را تولید کرده اید. و تکنیک های سئو محتوا را به درستی برروی آن پیاده سازی کرده اید. اما باز هم محتوای شما ایندکس نمیشود!
در این شرایط بهتر است به سرچ کنسول گوگل مراجعه کنید. زیرا رفع خطاهای موجود در بخش Coverage سرچ کنسول، در ایندکس شدن محتوای شما تاثیر بسزایی دارند. پس با چک کردن روزانه آن ها میتوانید خطاهای موجود را پیش از افزایش آنها، بررسی و رفع کنید.
اگر هنوز سایت خود را در سرچ کنسول ثبت نکردید، از آموزش زیر کمک بگیرید:
آموزش ثبت سایت در گوگل سرچ کنسول
پس تا انتهای این آموزش همراه باشید تا به شما دلایل ایندکس نشدن سایت در گوگل را به صورت کامل توضیح دهم.
نخستین مسئله مهم این است که در طی ماه های اخیر آپدیت های گوگل در مورد الگوریتم ها بسیار سختگیرانه برخورد نموده و همین مورد، فرآیند را کمی پیچیده میکند. آپدیت جدید گوگل یک سری از تست های ریز بینانه در محتوای سایت ها انجام می دهد و این مسئله تنها محدود به ایران نیست و تمامی سایت ها در سراسر دنیا را شامل می شود.
یکی از دلایل رایج ایندکس نشدن سایت در گوگل، وجود خطاهای متعدد در سایت است. خطاهای مهم میتوانند عملکرد سایت را مختل کنند و به این ترتیب مانع ایندکس محتوا شوند. در ادامه به بررسی برخی از این خطاها میپردازیم:
این خطا هنگامی ایجاد می شود که سعی داریم به صفحه سایت دسترسی پیدا کنیم. اما ارتباط با سرور DNS برقرار نمیشود. این خطا میتواند به این دلیل باشد که سرورتان از کار افتاده است یا مشکلی در DNS Timeout یا DNS Lookup دامنه شما وجود دارد. این خطاها اهمیت بسیاری دارند و باید در اولین فرصت آنها را رفع کنید؛ چون وجود خطاهای DNS باعث میشود تا ربات های گوگل نتوانند به سایت شما دسترسی پیدا کنند.
خطای سرور زمانی اتفاق می افتد که مدت زمان پاسخگویی سرور بیش از حد طولانی شود، ربات های گوگل دست از کراول میکشند و سایت را ترک میکنند. این خطا ممکن است وقتی رخ دهد که ترافیک سایت شما، بیش از اندازه ای باشد که سرور بتواند آن را اداره کند. در این حالت دلیل ایندکس نشدن سایت، مدت بارگذاری طولانی آن است.
درست مانند خطاهای DNS، خطاهای سرور هم باید درجا رفع شوند. زیرا این خطا یک خطای مهم و اساسی است. در صورت مشاهده خطاهای سرور در Search Console، برای رفع آنها هر چه سریعتر اقدام کنید.
درصورتی که فایل robot.txt مشکل داشته باشد، امکان ایندکس نشدن سایت وجود دارد. و Googlebot نمیتواند به فایل robots.txt شما دسترسی پیدا کند. همچنین تگ No index در این فایل را بررسی کنید؛ زیرا پس از تگ No index دسترسی به یکسری از صفحات یا حتی کل سایت مسدود میشود. پس در صورتی که این مسدود سازی از طرف شما نبوده باشد، می تواند برای ایندکس سایت مشکل ساز شود.
شما در robots.txt میتوانید رفتار کراول های موتور جستجو گوگل را درباره سایتتان تعیین کنید و به آنها بفهمانید که کدام قسمت از صفحات وبسایت را نباید جستجو و ایندکس کنند. برای این کار میتوانید از متاتگ no index استفاده کنید. اما اگر مشابه کد زیر، از این متاتگ به شکل اشتباه استفاده کنید، ممکن است گوگل نتواند سایت شما را ایندکس کند:
<“meta name=”robots” content=”noindex, nofollow>
عدم وجود لینک سازی در سایت شما میتواند یکی دیگر از دلایل ایندکس نشدن محتوا در گوگل باشد. لینک سازی داخلی موجب می شود که کاربر با ورود به یک صفحه، صفحات دیگر سایت شما نیز بازدید کند و این امر تعامل کاربر با سایت را افزایش می دهد. همچنین شما میتوانید با استفاده از بک لینک ها (قرار دادن لینک سایت خود در دیگر سایت ها) سایت خود را به کاربران معرفی نمایید.
اگر از محتواهای بی کیفیت، کوتاه و یا کپی در سایت خود استفاده میکنید؛ قطعا دلیل عدم ایندکس سایت شما در گوگل همین مورد می باشد. این شکل از محتواها مورد قبول گوگل نیستند. سعی کنید، محتوای تکراری در سایت ایجاد نکنید. زیرا حکم داپلیکیت دارند و توسط گوگل رد خواهد شد.
درصورتی که شما حجم بسیاری از جاوا اسکریپت را بر روی صفحات سایت خود استفاده نموده اید، این امر موجب هدر رفتن منابع سرورهای گوگل و کاربر میشود. در انتها گوگل صفحه های سایت شما را ایندکس نخواهد کرد. پس سعی کنید از جاوا اسکریپت در حجم معمولی استفاده کنید.
وقتی ربات های گوگل نتوانند محتوایی را ببینند، امکان ایندکس کردن آن را هم ندارند. اگر هاست شما به صورت مداوم قطع میشود، ممکن است ربات های گوگل نتوانند در سایت شما crawl کنند. در این مواقع توصیه می شود هاست تان را عوض کرده و از هاست باکیفیت تری استفاده کنید.
ممکن است در ظاهر هم هاست شما مشکلی نداشته باشد، اما طبق تجربه ای که بر روی چندین سایت بزرگ و کوچک بدست آوردیم، با تغییر هاست، صفحات سایت ایندکس شدند.
گاهی گوگل به این دلیل که نمیتواند صفحات وب شما را دریافت و بررسی کند، امکان ایندکس ندارد. برای یافتن خطاهای Crawl درسرچ کنسول گوگل می توانید مراحل زیر را طی کنید:
منظور از خطاهای URL، خطاهای مربوط با یک صفحه خاصی از سایت است. شما میتوانید این دسته از خطاها را در بخش Coverage گوگل سرچ کنسول مشاهده نموده و نسبت به رفع آنها اقدام کنید.
هنگامی که یک صفحه دیگر بر روی سایت وجود نداشته باشد، URL مربوط به آن خطای 404 را نمایش میدهد.
در صورتی که اعتبار آدرس یک صفحه از بین برود، این خطا برای کاربر نماش داده میشود. این خطا کمی با خطای پیشین متفاوت است و نحوه ی رفع آن هم کمی تفاوت دارد:
خطای Access Denied به این معناست که امکان دسترسی به لینک موردنظر برای ربات گوگل وجود ندارد. این موضوع توسط یکی از موارد زیر اتفاق می افتد:
ربات گوگل نمیتواند آن محتوا را ببیند، چون فقط کاربرانی که در سایت ثبت‌نام کرده‌اند و رمز عبور دارند، این اجازه را دارند تا به مطلب دسترسی داشته باشند.
ممکن است txt فایل شما، دسترسی بات گوگل به برخی از فایل های سایت تان را مسدود کرده باشد.
ممکن است سروری که سایت شما روی آن قرار دارد، یک سری موارد امنیتی برای کاربران خود در نظر گرفته باشد و در تنظیمات خود، به صورت کلی دسترسی ربات گوگل مسدود شده باشد.
این خطا نشان دهنده آن است که گوگل نمیتواند یک URL مشخص از سایت شما را دنبال کند. گوگل موارد زیر را به عنوان ویژگی هایی شناسایی نموده که باعث میشوند، ربات های گوگل و سایر موتورهای جستجو در crawl کردن مشکل داشته باشند:
Frames-Cookies-Flash-JavaScript-DHTML-Session IDs
اگر سایت مپ یا نقشه سایت نداشته باشید؛ ایندکس نشدن سایت شما طبیعی است. باید حتما یک سایت مپ داشته باشید و به طرز صحیح آن را پیکربندی و معرفی کنید. نداشتن نقشه سایت، یک مانع جدی سر راه ایندکس شدن سایت شما در گوگل است. همچنین پس از ساخت سایت مپ، نیاز است درخواست crawl گوگل به منظور ایندکس شدن سایت را برای گوگل ارسال کنید. تا گوگل بعد از بررسی، برای ایندکس نمودن سایت اقدام کند.
فایل HT access یک فایل پیکربندی سرور است. این فایل می تواند برای ایجاد ریدایرکت ها، بازنویسی URL های خراب به نسخه های بهتر و تمیزتر و حتی مسدود کردن صفحات، جهت جلوگیری از crawl کردن ربات های گوگل، استفاده میشود.
اگر سایت یا صفحه شما در robots.txt یا از طریق دستورالعمل های روی صفحه مانند تگ no index مسدود نشده اما همچنان امکان crawl کردن برای آن وجود ندارد، درصورتی که دستورهای نادرستی در این فایل وارد شده باشد. میتواند مشکلات بسیاری از جمله عدم ایندکس محتوای سایت را به همراه داشته باشد.
امیدوارم این آموزش برای شما مفید بوده باشد و به وسیله آن دلیل عدم ایندکس سایت خود توسط گوگل را متوجه شده باشید. درصورتی که درمورد این مقاله هرگونه سوال یا مشکلی دارید، میتوانید آن را در بخش دیدگاه بنویسید. تا در اسرع وقت به آن پاسخ دهم.
