چیزی که متاسفانه چی در مصاحبه چی در کار با افراد مبتدی، حرفه ای و ... میبینم اینه که به یکی از مواردی که در سرچ کنسول هیچ اهمیتی نمیدهند، بخش crawl stats هستش، در صورتی که اگر این بخش مشکلات جدی داشته باشد با رفع اونا به راحتی میتونیم وضعیت خودمونو بهبود بدیم و نیازی به استراتژی های پیچیده و هزینه های سنگین نیست.
وارد سرچ کنسول بشید، بخش Setting رو باز کنید و اونجا وارد crawl stats بشید.
در بخش اول شما یک overview از وضعیت کراولینگ سایت خودتون مشاهده میکنید. اما بریم جلوتر و ببینیم که دقیقا این بخش چه کمکی به ما میکنه.
بخش اول و آبی رنگ، نشان دهنده کل تعداد ریکوئست های کراولر گوگل به آدرس های مختلف سایت شماست و این آدرس ها منظور صرفا صفحات سایت نیستند و شامل asset های مختلفی می شوند.
حالا تو بخش دوم، ما Total Download Size هستش که میبینیم رابطه عجیبی بین این عکس و عکس قبلی هستش.
خیلی واضح هستش که وقتی که crawl های بیشتری به asset ها زده میشه میزان بیشتری هم دانلود اتفاق میفته.
ولی نکته حرفه ای این ماجرا چیه؟
بیان برعکس به داستان نگاه کنیم، طبیعتا گوگل دوست داره صفحات سبک تر باشند تا منابع کمتری رو استفاده کنه، پس if you know that what i mean !!!!!
نکته بسیار مهم دیگه هم بخش avg response time هستش. طبیعتاااااااا شما این بخش رو باید تا جای ممکن بهینه، بهینه و بهنیه تر بکنیدش.
هر چقدر زمان پاسخگویی یک صفحه (که به عوامل متعددی برمیگرده) بیشتر باشه خب خیلی مشخصه که چی میشه دیگه.
حالا اگر میخواید بیشتر بدونید، روی اون علامت سوال گوشه راست پایین هر کدوم از کارت ها کلیک کنید و برید حالشو ببرید.
پس این 3 بخش اصلا بخش های ساده و بی خاصیتی نیستند، بلکه بی نهایت مهم هستن.
به طول مثال شما میبینید از یه تایمی به بعد avg response time رفته بالا خب این باید پیگیری بشه که چرا این اتفاق افتاده و رفع بشه.
بیشتری ارورها طبق تجربه تو بخش server connectivity اتفاق میفته. ولی پروژه هایی هم داشتم که تو fetch شدن فایل robots هم ارورهای زیادی داشتن. این بخش رو جون مادرتون روزانه چک کنید ببینید مشکل ابتدا در چه بخشی هست و بعد با توجه به توضیحات پایین دنبال منبع مشکل و رفعش بگردین.
توضیحات پایین مربوط به بخش server connectivity هستش و بخش های
به ارورهای سمت dns های شما مربوط میشه که به راحتی قابل چک کردن هستن که اینجا واردشون نمیشم.
2.robots
اینم که مشخه که تو بخش fetch شدن فایل اگر مشکلی وجود داشته باشه بهتون ارور میده. که اینم به راحتی قابل حل و از بخش by response عکس پایین هم به راحتی قابل تشخیص هستش.
تو این بخش شما به طور کامل میتونید وضعیت response آدرس های مختلفی که crawl request به آن ها زده شده رو ببینید. توجه داشته باشید که crawl request به crawl تفاوت میکند.
بذارید ابتدا از موارد مشکل ساز شروع کنم و بقیه دیگه واضحه که چیه!
چیزی داریم به نام Crawl Fail Rate یعنی کراولر اومد ریکوئست زده و عملا به جایی نرسیده، این بده!!
پس حتما وارد این بخش بشید و ببینید که چه آدرس هایی ارور از سمت سرور داشتن. یکی از متداول ترین اتفاقاتی که باعث crawl fail rate میشه همین ارورهای سمت سرور هست که اگر نتونیم کنترلشون بکنیم، واقعا فاتحه!!!!!
طبق تجربه خودم، کلا دوتا مورد هست که باعث crawl fail rate میشه که اولی ارورهای سمت سرور بود دومی هم همین page could not be reached.
این مورد هم عملا ریکوئست میزنه ولی باز به هیچی نمیرسه و fail اتفاق میفته.
طبق تجربه شخصی خودم تو پروژه هایی که انجام دادم، ارورهای سمت سرور بسیار بسیار متداول تر بودند ولی این مشکل هم کم نیست!!!
این ارور (یا هر چی اسمشو بذاریم) به شکل از سمت کاربر برمیگرده.
شاید باورتون نشه ولی 4xx هیچ تاثیری در crawl fail rate ندارههههههههه!!!!
چرا؟ چون کراولر حداقل به یه چیزی حداقل رسیده!! به چیزی که نیست!!!
بیان یه کم ریاضی طورش کنیم:
عکس بالا مربوط به جزئیات بخش ارور 5xx هست.
عکس بالا هم مربوط به جزئیات بخش host status و زیر بخش server connectivity هستش.
عکس بالا هم مربوط به همون بخش overview هستش و تعداد کل request ها رو نشون میده.
حالا یه جمع و تفریق کنین ببینین عددها درستش یا نه ????.
یعنی یه سری آدرس هایی که قبلا کراول ریکوئست واسشون زده شده دوباره ریکوئست خوردن تا ببینه وضعیتشون الان در چه حالیه.
اینم که واضحه که کراولر دنبال آدرس های جدید در سایت ما گشته و به اونا ریکوئست زده.
شاید فکر کنید که این محتوا محتوای مهمی نباشه، ولی خب سخت در اشتباهید.
من سعی کردم فقط موارد و بخش هایی رو توضیح بدم که شدیدا دردسر ساز میشن واسمون پس اگر هر کدوم از این بخش ها رو مرتبا و روزانه چک نکنید، احتمال بدبخت شدنتون زیاده ????.
