سلام دوستان امیدوارم روزگار خوبی رو سپری کنید
گوگل دیروز یک آپدیت روی سرچ کنسول ارائه کرد که تمرکز اصلی این اپدیت روی گزارش وضعیت خزش (crawl sate) وبسایت است. در این مطلب یکم روی این گزارش عمیق می شیم و بررسی می کنیم که چه اطلاعاتی میشه از روی این گزارش بدست آورد.
تصویر زیر گزارش crawl stats قدیمی سرچ کنسول هستش
برای پیدا کردن وضعیت کرال در سرچ کنسول به بخش تنظیمات property مراجعه و بعد روی آیتم crawl stats کلیک کنید.
هدف از بررسی این گزارش برای وبمستر ها و سئوکار ها بهینه سازی crawl budget اونهاست ، اینکه کرال باجت چی هست و چرا باید بهینه سازی بشه بحث تخصصی هست و در اسکوپ این مقاله نمی گنجه . اگر وبسایت کوچکی دارید احتمالا اونقدری درگیر این مسئله نمی شین ولی اگر روی یه وبسایت در اسکیل متوسط یا بزرگ کار میکنید ، خوبه که عمیق بشید در این زمینه و مقاله های زیر می تونه کمکتون بکنه
هدف از این اپدیت این بوده که سئوکارها ، وبسمتر ها و توسعه دهنده ها ( اینها رول های متفاوتی هستن خدایی،گیر ندین ) مشکلات خزش وبسایت اشون رو بهتر بتونن متوجه بشن
۱- دسته بندی تعداد ریکوئست ها بسته به ( کد ریسپانس ، نوع فایلی که کرال شده ، هدف از کرال و نوع ربات خزنده گوگل )
۲- گزارشات تفصیلی از وضعیت هاست وبسایت
۳ - مثال هایی از ادرس url که خزنده به اونها سر زده
۴- گزارش های مقایسه ای برای وبسایت (وب سرویس) هایی که از چندتا هاست استفاده می کنند
تصویر اول گزارش رو باهم بررسی می کنیم
خب مشاهده می کنید که در بازه مشخص شده گوگل ۷۳۰ هزار ریکوئست ارسال کرده برای کرال صفحات وبسایت
۷.۹۸ بیلیون بایت (خیلی احمقانه است این مدل عددگذاری و باید یه فکری براش بکنه، خب بزن ۸ گیگا بایت) دانلود کرده
میانگین ریسپانس هم به ربات های خزنده حدود ۹۳۰ مگابایته (میدونم زیاده و تقریبا ۷ برابر چیزی هست که باید باشه)
خب من چی می تونم بفهمم؟
- وضعیت ریسپانس سرورم افتضاحه
احتمالا کش سرور هام یا تنظیمات کش وضعیت خوبی نداره (بسته به ترافیک وبسایتم که حدود ۱۰ هزار بازدید روزانه است خیلی داره دانلود می کنه)
اگر روی هرکدوم از این لیست نمایش داده شده کلیک کنید نمودار وضعیت رو نمایش می ده که من برای یکی رو توضیح می دم
۱- میگه که در ۹۰ روز گذشته مشکلی نبوده (خدا رو شکر)
۲- وضعیت DNS رزولوشن رو نمایش میده (چون دقیق نمی دونم چیه می تونم به فارسی سخت بگم چی هست که نمیگم و لینک میذارم)
۳- وضعیت سرور رو نمایش میده که نرخ از دست رفتن ریکوئست های ربات گوگل چقدر بوده
خب مشاهده می کنید در تاریخ ۱۱/۱۶/۲۰۲۰ من تقریبا ۰.۲ درصد از ریکوئست هام فیل شده که مایه بسی رنج و تاسف هستش - البته تا خط چین بالا که داره Acceptable fail rate رو نشون میده راه درازی هست
یکی از نکاتی که باید رعایت کنید اینه که این همیشه نزدیک صفر باشه و هیچوقت فکر نزدیک شدن به اون خط چین رو نکنید
خب یکم اسکرول می کنیم پایین
در این گزارش ریکوئست هایی که سمت سرور شما از طرف کرالر گوگل ارسال شده ، به صورت خیلی جذابی دسته بندی کردن
اول باید بدونید که ریسپانس هدرهایی که سرور شما یا هر سرور دیگری روی این کره خاکی به هر ریکوئست برمیگردونه چی هست و داره چی میگه
روی هرکدوم از ایتم ها کلیک کنید گزارش مخصوص اون ریسپانس کد رو نمایش میده که تحلیلش مثل تحلیل جامع اول هستش (شبیه استاد کنکوریا شد) و در زیر اون هم لیست تعدادی از لینک هاییست که تحلیل کرده
چه تعداد از ریکوئست هایی که ارسال شده برای کرال کردن فایل تایپ های مختلف بوده
احتمالا بخش عظیمی از ریکوئست ها برای کرال صفحات html هستن اگر وبسایت شما وردپرسی یا از CMS استفاده کرده باشین
اگر Angular - vue - react استفاده کرده باشین و SSR فعال نباشه احتمالا وزن js و json فایل ها بیشتر از چیزی هستش که در تصویر این مطلب می بینید .
دیسکاوری :
این رو مطمئن نیستم در موردش ونیازمند این هست که گوگل یه داکیومنت بده ، ولی چیزی که من برداشت می کنم از مفهومش طبق بک لینک هایی که گرفتین میاد ببینه چی روی سایت شما منتشر شده و کرالش می کنه.خلاصه دنبال پیدا کردن چیزای جدید برای ایندکس هستش
رفرش :
از اسمش هم مشخص هست که برای بررسی و آپدیت صفحات قبلی شما کرالر درخواست داده و وضعیتش رو می تونید ببینید
خب همانطور که می دونید گوگل agent های مختلفی برای ربات هاش تعریف کرده که شما بتونید بهتر مدیریت کنید اونها رو
اینکه چطوری مدیریتشون کنید هم بحثش در این اسکوپ نیست ولی حتما حتما حتما این لینک رو ببینید تا کاملا متوجه بشید
