چرا موتور جستجوی ملی پروژه ای نشد، شد؟

وقتی صحبت از شبکه ملی اطلاعات در ایران شد اولین نیاز این شبکه اطلاعاتی که موتور جستجو بود مطرح شد، وزارت ارتباطات و فناوری اطلاعات در سال 1388 کار بر روی پروژه موتور جستجوی بومی را آغاز کرد. که می شود 2009، آن زمان موتورهای جستجو وارد مرحله چهارم از مراحل سیر خود شدند (هم اکنون در ابتدای راه مرحله هفتم آن هستیم)

اگر فرصت سوزی نشده بود امکان اینکه به خلق موتور جستجوی ملی برسیم زیاد بود، اما چرا می گویم دیر شده است؟.

مراحل رشد و شکوفایی، که موتورهای جستجو از دل آن درآمدند

تو دنیا سرجمع 10 موتور جستجوی قابل قبول نداریم وبقیه حکم سیاهی لشکرهای آن را دارند و جالب است بدانید که اکثریت این 10 موتور جستجو در بازه مرحله دوم مشغول شده بودند.

مرحله اول: عصر بازیابی اطلاعات (1945-1988)

قبل از ظهور اینترنت این مرحله شروع شده بود که به آن بازیابی اطلاعات می گفتند و زمانی بود که الگوریتم های مربوط به نمایه سازی جستجو و تکنیک های مختلف جستجو توسعه یافته شدند.

مرحله دوم: از تولد وب تا بسته شدن نطفه گوگل (1989-1996)

این دوره از تولد وب شروع می شود و موتور جستجوی یاهو که 1995 ایجاد شد اولین جستجوگر آن بود.

وب، واحد نسبتاً کوچکی بود،و عناصر اصلی جستجوی وب مانند خزیدن، نمایه سازی و الگوریتم های اولیه برای رتبه بندی در این مرحله توسعه یافتند.

مرحله سوم: دوره رشد جستجو در وب (1997 تا 2001)

این زمانی بود که موتورهای جستجو اهمیت تجاری زیادی پیدا کردند و تعدادشان هم زیاد شده بود و از آن تعداد بایدو ویاندکس و ناور را باید نام برد و در این مرحله فعالیت های مختلف ارسال هرزنامه در مراحل اولیه ظاهر شد و ما شروع به پاسخگویی به فعالیت های ارسال هرزنامه از طریق الگوریتم های جستجو کردیم.

مرحله چهارم: به بلوغ رسیدن جستجوی وب (2002 تا 2010)

به وقتی رسیدیم که موتورهای جستجو داشتند رشید می شدند و نشانه های بلوغ را از خود نشان می دادند و زمانیکه به بلوغ کامل رسیدند نطفه موتور جستجوی ملی در ایران بسته شد.

این زمانی بود که دستورالعمل‌هایی ارائه شد و تلاش‌ها برای بهبود نتایج جستجو با ارائه‌دهندگان محتوا تقویت شد، در حالی که توسعه و به‌روزرسانی الگوریتم‌ها برای پاسخگویی به تنوع فزاینده فعالیت‌های ارسال هرزنامه در جریان بود. در این دوره، دانش پاسخگویی به فعالیت‌های ارسال هرزنامه به سرعت در حال جمع‌آوری بود.

کم کم رقابت، موتورهای ضعیف را از دور خارج می کرد.

مرحله پنجم: دوره رشد جستجوی موبایل (2011 تا 2014)

همانطور که درک رفتار ارسال هرزنامه و تجزیه و تحلیل کلی الگوی اسپمها تکمیل شد، سیستم از طریق به روز رسانی های معمول الگوریتم به یک سیستم پاسخ چابک به رفتار ارسال هرزنامه تغییر یافت. در همین حال، با گسترش سریع جستجوی تلفن همراه، الگوریتم‌هایی تقویت شده‌اند که نمایش محتوای بهینه‌شده برای محیط تلفن همراه را ترویج می‌کنند.

مرحله ششم: دوره معرفی هوش مصنوعی (2015 تا 2022):

به زمانی رسیدیم که هوش مصنوعی و یادگیری ماشینی( مبتنی بر شبکه عصبی) به فهرست‌بندی و رتبه‌بندی معرفی شد تا نتایج جستجوی بهتری برای پرس‌و‌جوهایی که قبلاً هرگز جستجو نشده بودند یا پرس‌و‌جوهایی با ابهام قوی ایجاد شود. به روز رسانی های آینده الگوریتم های جستجو از نظر کمیت و کیفیت بسیار بیشتر از به روز رسانی های موجود خواهد بود.

و مرحله هفتم: یک دوره رشد جدید که توسط هوش مصنوعی هدایت می شود (2023~)

جلوه جدیدی از موتورهای جستجو از طریق ظهور ChatGPT ارائه شد که توسط OpenAI با پشتیبانی مایکروسافت و ترکیبی از موتور جستجوی مایکروسافت Bing ارائه شد و گوگل نیز یک جستجوی مبتنی بر هوش مصنوعی به نام BARD را برای پاسخگویی راه اندازی کرد. از زمان نوشتن این مقاله در مارس 2023، ما نمی دانیم که جستجو در چه جهتی تکامل خواهد یافت، اما آنچه واضح است این است که تغییر جدیدی آغاز شده است.

برای اینکه ببینید کار ما ایرانیها برای وارد شدن به بازی موتور جستجوها در این مرحله چقدر سخت است بگذارید یک مرور سریع به آنچه در هر مرحله رخ داده داشته باشیم (طوریکه از حوصله بحث خارج نشود.)

مرحله اول، سیستم IR پدید آمد

• در سال 1945، اصطلاح "بازیابی اطلاعات (IR)" یا همان سیستم IR برای اولین بار در مقاله ای توسط Vannervar Bush استفاده شد.
• اوایل دهه 1950، زمانی که کامپیوترهای نسل اول ظاهر شدند، اغلب در ایالات متحده استفاده می شد.
• در سال 1949، ایده هایی در مورد بازیابی اطلاعات و ترجمه ماشینی توسط وارن ویور و اندرو دی.بوث ارائه شد. این نظریه ها در دهه 1960 سیستماتیک شدند.
• در دهه 1960، تکنیک های نمایه سازی متن آزاد رایج شد.
• استانداردهای تکرارپذیری و نرخ زمینه توسط سیریل کلوردون در سال 1966 ایجاد شد.
• در سال 1968، جرارد سالتون یک تکنیک جستجوی چند زبانه را پیشنهاد کرد. تکنیک های جستجوی جدید مانند بازخورد مربوط و یک سیستم بازیابی اطلاعات با ظرفیت بالا به نام BRS پیاده سازی شد.
• در دهه 1970، عصر اسناد الکترونیکی منجر به تجاری سازی سیستم های جستجو شد. دیالوگ، مدار، BRS و غیره همچنین در این دوره بود که OCLC، بزرگترین شبکه کتابخانه ای جهان، که 26000 کتابخانه در 64 کشور را به هم متصل می کند، ظهور کرد. در این دوره، سیستم پایگاه داده ظاهر شد و بر اساس مدل سلسله مراتبی و مدل شبکه به انواع رابطه ای و شیء توسعه یافت.
• با شروع سال 1980، قیمت سخت افزارهای مرتبط کاهش یافت و تقاضای کاربران برای جستجوی متن کامل به تدریج افزایش یافت. در همین راستا، موتورهای جستجوی حرفه ای تمام عیار ظهور کردند.

مرحله دوم، جستجوگر به دنیا معرفی شد

• شبکه جهانی وب توسط تیم برنرز لی در سال 1989 پیشنهاد شد. تیم برنرز لی شخصاً پروتکل وب جهانی، http، زبان نشانه گذاری، HTML، مرورگر وب و ویرایشگر Worldwideweb (همان www)، اولین نرم افزار وب سرور، CERN httpd را توسعه داد. و اولین وب سرور، اولین صفحه وب، hhtp://info.cern.ch را اعلام کرد (در این زمان، سرورها و نرم افزارهای توسعه یافته توسط تیم برنرز لی تنها در ایستگاه های کاری NeXT اجرا می شدند، که پس از تاسیس شد. استیو جابز از اپل اخراج شد).
• در سال 1990، زمانی که لیست خدمات وب به دلیل افزایش تعداد وب سرورها ناکافی شد، آلن امتیج، دانشجوی دانشگاه مک گیل، Archie، اولین موتور جستجوی مبتنی بر اینترنت را توسعه داد و FTP (پروتکل انتقال فایل) را معرفی کرد. به شما امکان جستجوی سرورها را می دهد.
• 1993 مرورگر Mosaic راه اندازی شد. چند ماه بعد، Wide Web Wanderer که توسط متیو گری از MIT توسعه داده شد، راه اندازی شد و تعداد سرورهای وب را در آن زمان به 130 رساند. و «ورونیکا» (شاخص بسیار آسان جوندگان گرا با شبکه گسترده برای بایگانی های رایانه ای)» به عنوان یک موتور جستجو ظاهر می شود که داده های بارگذاری شده در سرور Gopher را جستجو می کند.
• در سال 1994، جری یانگ و دیوید فیلو، دانشجویان دانشگاه استنفورد، «راهنمای جری و دایود برای شبکه جهانی وب» را راه‌اندازی کردند که نمونه اولیه یاهو از نوع دایرکتوری بود. Lycos، یک خزنده وب (www.webcrawler.com) که توسط مایکل مولدین از دانشگاه کارنگی ملون توسعه یافته است، به عنوان یک موتور جستجوی وب اولیه شروع به کار کرد. در آن زمان 2738 وب سرور وجود داشت.
• در سال 1995، هانگول و کامپیوتر سیممانی را راه اندازی کردند. در این زمان یک موتور جستجوی کره ای به نام Koseek (www.kor-seek.com) نیز ظاهر شد. لری پیج و سرگئی برین بنیانگذاران گوگل در دانشگاه استنفورد با هم آشنا شدند.
• در سال 1996، AltaVista که توسط Digital Equipment اداره می شد (تراشه آلفای 64 بیتی توسعه یافته توسط DEC)، Kachine (www.kachi.com) توسعه یافته توسط Seong-Hoon Kim، Wakano (www.wakano.com) و Miss. موتورهای جستجو مانند Dachagni (www.mochanni.com) در کره معرفی شدند. لری پیج و سگراوین توسعه مشترک موتور جستجویی به نام BackRub را آغاز کردند که به نمونه اولیه گوگل تبدیل شد.

مرحله سوم، دوره رشد

• در سال 1997، سرگئی برین و لری پیج دامنه "go gole" را ثبت کردند.
• در سال 1998، گوگل از سرویس جستجوی وب خود پرده برداری کرد و در دسامبر، به عنوان موتور جستجو در فهرست 100 وب سایت برتر مجله PC انتخاب شد و گوگل را به عنوان شرکتی با استعداد شگفت انگیز برای نمایش نتایج جستجوی بسیار مرتبط معرفی کرد.
• در سال 2000، گوگل به 15 زبان از جمله کره ای، ژاپنی و چینی گسترش یافت، 350 تبلیغ کننده جمع آوری کرد و Google AdWords (نه CPC) را راه اندازی کرد و Google Toolbar را در دسامبر راه اندازی کرد.
• در سال 2001، گوگل 1.3 میلیارد صفحه را ایندکس کرد.

مرحله چهارم، بلوغ

• در سال 2002 گوگل ادوردز روش پرداخت به ازای کلیک را معرفی کرد. به روز رسانی رتبه صفحه
• 2003بوستون (فوریه 2003) - به روز رسانی الگوریتم کاساندرا (آوریل 2003) - مشکلات مربوط به کیفیت پیوند، یعنی مشکلات با تعداد زیادی پیوند از دامنه های متعلق به یک مالک، و الگوریتم های مکمل برای متن و پیوندهای پنهان.
• دومینیک (2003.05) - به روز رسانی های مربوط به منطق ربات خزنده گوگل و تشخیص بک لینک
• اسمرالدا (ژوئن 2003) - تغییر قابل توجهی در ساختار اصلی اصلی گوگل به وجود آمد زیرا تعادل مجدد شاخص ماهانه، که قبلا به عنوان Google Dance شناخته می شد، به "Everflux" تغییر نام داد.
• فریتز (ژوئیه 2003) - تعادل مجدد ماهانه شاخص به پایان رسید و با تغییر به روش به روز رسانی مداوم، شاخص به صورت روزانه تغییر کرد.
• فهرست تکمیلی (2003.09) - برخی از نتایج به فهرست تکمیلی تقسیم می‌شوند تا اسناد وب بیشتری را بدون به خطر انداختن عملکرد فهرست‌بندی کنند.
• فلوریدا (نوامبر 2003) - به روز رسانی در ماهیت جریمه ها برای تکنیک های سئو دوره قبلی (دهه 90) مانند پر کردن کلمات کلیدی.
• یاهو، ارائه دهنده پیشرو خدمات دایرکتوری که به صورت دستی با استفاده از موتورهای جستجوی شخص ثالث مانند متن باز، آلتاویستا، اینکتومی و گوگل ایجاد شده است، پس از خرید Overture، یک شرکت تبلیغاتی کلمات کلیدی، شروع به توسعه موتور جستجوی خود کرد.
• آستین (ژانویه 2004) - پردازش صفحات وب که از تکنیک هایی مانند متن نامرئی یا پر کردن متا تگ استفاده می کردند، اما در به روز رسانی فلوریدا حذف نشدند. از طریق الگوریتمی به نام Hilltop، ارتباط صفحه مهمتر در نظر گرفته شد.
• براندی (2004.02) - گسترش فهرست در مقیاس بزرگ، معرفی تکنیک LSI (نمایه سازی معنایی پنهان) برای شناسایی مترادف ها یا درک هدف جستجو، و الگوریتمی که توجه بیشتری به ارتباط متن لنگر دارد.
  IPO گوگل در ماه اوت
• رل Nofollow (2005.01) - توسط گوگل به همراه یاهو و مایکروسافت برای جلوگیری از تلاش‌ها برای تأثیرگذاری بر رتبه‌بندی از طریق پیوندهای خروجی اعلام شد.
• به روز رسانی در مورد محتوای تکراری و متعارف (www در مقابل غیر www).
• جستجوی شخصی (2005.06) - بازتاب منطق شخصی سازی بر اساس تاریخچه جستجو.
• سایت مپ یا نقشه های سایت XML (06.2005) – با آپلود نقشه های سایت در قالب XML در ابزارهای وب مستر، کارایی خزیدن و نمایه سازی را بهبود می بخشد.
• به روز رسانی برای تحریم پیوندهای با کیفیت پایین، به ویژه پیوندهای متقابل، مزارع پیوند و پیوندهای یورو.
• به روز رسانی برای رسیدگی به چندین مشکل فنی مانند پردازش متعارف URL و تغییر مسیر از آنجایی که به روز رسانی برای زیرساخت است، طی چند ماه انجام شد.
  ......

مرحله پنجم، دوره رشد جستجوی موبایل

• به روز رسانی برای نمایش تنها 7 نتیجه جستجو در صفحه نتایج جستجو موبایل به جای 10. این مورد برای حدود 18٪ از کلمات کلیدی است، نه همه عبارات جستجو تایید شده است .
• پاندا
• پنگوئن
• مرغ مگس خوار

....

مرحله ششم، معرفی هوش مصنوعی

• اکتبر 2015 Rankbrain
• به‌روزرسانی BERT
• معرفی MUM مخفف "Multitask Unified Model" است و مدلی است که وظایف مختلف پردازش زبان طبیعی را به طور همزمان انجام می دهد. این یک الگوریتم مبتنی بر هوش مصنوعی است که برای تولید نتایج جستجوی رضایت‌بخش حتی برای جستجوهای دشوار برای یافتن پاسخ سؤالات پیچیده با جستجو در زبان‌ها و قالب‌های رسانه‌ای مختلف توسعه یافته است. گوگل از طریق معرفی این الگوریتم می تواند دقت و تنوع نتایج جستجو را افزایش دهد. و می توانید با دقت بیشتری هدف جستجوهای جستجوی کاربران را درک کنید. بنابراین کیفیت نتایج جستجو نیز افزایش می یابد. علاوه بر این، MUM دارای نقاط قوتی در پردازش چند زبانه است، که نقاط قوت خود را در پردازش اسناد نوشته شده به زبان های مختلف نشان می دهد.

مرحله هفتم، رشد جدید

راه اندازی یک سرویس ترکیبی با ChatGPT و مایکروسافت بینگ و سرویس مربوطه گوگل، BARD.

نتیجه گیری مقاله

همانطور که در مطلب: بمباران سخت ایرانیان توسط گوگل(قسمت دوم) گفته شد، با خیانتی که شرکتهای مختلف ایرانی به اسم موتور جستجوی ملی در حق مردم ایران انجام دادند (بجای دانش افزایی و قرار دادن خود در ریل پیشرفت موتورهای جستجو که شرح آن در بالا رفت، مخفی کاری کرده و با هدف پولهای کلان از بیت المال، پشت پرده با گوگل قرار دادبسته و نتایج را از گوگل می گرفتند و با تغییری که در آن ایجاد می کردند بنام خود جا می زدند و تا قطع اینترنت بمدت 10 روز این خیانت آنها مخفی مانده بود) و با این کار در شرایطیکه می توانستیم در مرحله سوم با هوش وذکاوت ایرانی خود را در مرحله چهارم به بقیه موتورها برسانیم، الان در دوراهی هوش موصنعوی و موتورهای جستجو و وزارت ارتباطات دیگر کاری نمی تواند بکند. مگر اینکه کار شاق بلد باشد.

و تنها و تنها و تنها، باید با عنایت به امید به موتور جستجویی که هنوز رونمایی نکرده و از سال 1386 در پس پرده به تلاش مشغول است داشت.