هر زمان که به وجود جستجوگر گوگل می اندیشم به یاد یک ابر کامپیوتر بسیار پیشرفته و غول آسا میافتم که بدون اینکه لحظه ای را تلف کند در حال سیو کردن صفحات وبسایت های مختلف است.
اما در حقیقت گوگل دارایک ربات پیشرفته است، ربات گوگل یک برنامه پیشرفته کامپیوتری است که دستور دارد به سراغ سایت ها رفته و آن ها را بررسی نماید.
اما این بررسی چگونه اتفاق می افتد؟ چه نتیجه ای را در پی دارد؟ و در چه زمانی اتفاق می افتد؟
خزنده های گوگل
همانطور که از نام این ربات ها پیداست این ربات ها پیوسته در بین صفحات وب میخزند! و هر جا به لینک یا یک “URL” برخورد کردند، حساس شده و آدرس مورد نظر را برای برسی بیشتر در صف طولانی برسی قرار میدهند.
خزنده گوگل
در مرحله بعد ربات بازگشته و لینک “URL” پیدا شده را برسی میکند، در واقع خزنده به دنبال نقشه سایت مورد نظر یا “site map” میگردد.
حالا ربات خزنده تمام لینک های داخلی سایت مورد نظر را در اختیار دارد و مراحل قبل دوباره تکرار میشوند، انقدر ربات به گشتن ادامه میدهد که تمام لینک های موجود در سایت را برسی کرده باشد.
فهرست اینترنتی یا وب دایرکتوری در یک نگاه
شاید بپرسید:
این لینک ها به چه درد گوگل و ربات عنکبوتی اش میخورد؟
در جواب باید گفت “URL” یا لینک ها در فضای اینترنت در واقع آدرس محتوا و اطلاعات موجود در وب هستند قدم اول برای برسی و شناخت بیشتر یک چیز یا یک فرد داشتن آدرس و دسترسی به آن است!
ربات های خزنده بعد از در اختیار گرفتن تمام لینک های داخلی وب سایت مورد نظر شروع به پایش اطلاعات و برسی کیفی محتوای موجود در سایت میکنند، از محتوای متنی نوشته شده بگیر تا کدنویسی قالب صفحه مورد نطر به دقت توسط ربات خزنده برسی میشود.
مراحل کار گوگل
معرفی لغوی کِراولر یا Crawler
معنای لغوی کلمه Crawler به معنی خزیدن است. ربات هایی که سراسر وب را میخزند تا وب سایت های جدید برای پاسخ جستجو کاربران پیدا کنند، سایتهایی که در گذشته ایندکس کرده اند را به روز نمایند و نتایج جستجو را اگر لازم باشد به روز کنند.
صفحاتی که در گوگل ایندکس شده اند حدود ۱۰۰.۰۰۰.۰۰۰ گیگابایت حافظه را اشغال کرده اند. در حقیقت اینجا مغز گوگل است.
گوگل از تعداد زیادی کامپیوتر با تکنولوژی های پیشرفته برای ارسال ربات هایش به وب سایت ها و کاوش آنها استفاده میکند. گوگل بات (Google Bot) نام عمومی تر Google Web Crawler ، ربات مخصوص موتور جستجوگر گوگل است و موتورهای جستجوی دیگر ربات های مخصوص به خود را دارند.
ربات های گوگل چطور کار میکنند؟
این ربات ها با استفاده از نقشه سایت (Site Map) و بک لینک های مشاهده شده از بررسی های گذشته تصمیم میگیرد که در قدم بعدی به کجا برود. هنگامی که ربات به یک بک لینک جدید میرسد، آن را به لیست بررسی خود اضافه میکند تا آن ها را بررسی نماید. اگر ربات متوجه تغییر در لینک ها و یا خرابی آن ها شود، صفحه ایندکس شده خود را بروزرسانی میکند. ساختار برنامه نویسی ربات های گوگل زمان بازگشت مجدد و بررسی صفحات را برای ربات مشخص میکنند.
ربات خزنده گوگل
انواع مختلف ربات های خزنده
تعداد متنوعی از ربات ها وجود دارند. به طور مثال ربات های AdSense و AdBots کیفیت تبلیغات را بررسی میکنند. در ادامه میتوانید تعدادی از انواع ربات های گوگل را مشاهده نمایید که ما با آن ها سر و کار داریم.
ربات های گوگل با توجه به میزان تغییراتی که شما روی وبسایت خودتان اعمال میکنید به سراغ شما می آیند. اگر میخواهید دسترسی ربات های گوگل را ببندید باید در نظر داشته باشید که ربات موتورهای جستجوگر دیگر نیز ممکن است دستخوش این تغییرات شوند.
البته اگر فایل robot.txt در سرور سایت شما این اجازه را به ربات نداده باشد، یا اگر متا تگ ربات در یک صفحه به خصوص، دسترسی موتورهای جستجو را منع کرده باشند، ربات ها این صفحه را میخوانند اما ایندکس نمیکنند. یا اصلا نمیتوانند صفحه را بخوانند.
کنسول گوگل و ارتباط با خزنده های گوگل
تعریف خود گوگل از کنسول گوگل : فراید خزیدن با لیست های طویل از لینک هایی که در گذشته یافته شده یا صاحبان سایت ها به کنسول گوگل میدهند اغاز میشود خزنده ها توجه ویژه ای به تغییرات جدید لینک های بروز شده و لینک های مرده دارد، گوگل با توجه به اهمیت سایت شما مشخص خواهد کرد خزنده ها هر چند ساعت در چند روز در طی هفته و چگونه و چطور در لین های داخلی شما بخزند.
خزنده گوگل
سیستم مانیتورینگ خزنده های گوگل و ابزار گوگل وب مستر
ما کنسول جستجو گوگل را به مالکان سایتها پیشنهاد می‌کنیم که در مورد نحوه عملکرد گوگل در سایت آنها اطلاعات دقیقی ارایه دهد:
آنها می‌توانند دستورالعمل‌های دقیقی در مورد چگونگی پردازش صفحات سایت خود ارایه دهند، می‌توانند درخواست یک recrawl را بکنند و یا می‌توانند روی هم رفته از یک فایل به نام “robots.txt” استفاده کرده یا حتی نکنند!
این قابلیت گوگل هرگز پولی نخواهد بود و ابزاریست برای همه وب سایت های شخصی، تجاری، خبری و… برای در اختیار گذاشتن بهترین نتایج
گوگل هرگز هیچ پرداختی را نمی‌پذیرد تا به طور مرتب در سایت بخزد – ما ابزاری مشابه را برای همه وب سایتها فراهم می‌کنیم تا از بهترین نتایج ممکن برای کاربران خود اطمینان حاصل کنیم
اطلاعات بیشتر در مجله hardlife.ir
