عملیات سرچ تصاویر گوگل به چه صورت انجام میشود؟

طبق مطالعاتی که در این زمینه انجام دادم به این نتیجه رسیدم که جستجوی تصاویر در گوگل از طریق تصویر، جزء راز های گوگل هست و هر چه در اینترنت یافتم جز حدس و گمان نبود. بنابراین تصمیم گرفتم با توجه به مطالعات و جستجوهایی که انجام دادم این مطلب را پیاده سازی کنم.

به نظر میرسد که گوگل از ترکیب چندین تکنیک مختلف برای جستجوی تصاویر استفاده می‍‍‍کند.

یکی از تکنیک‍هایی که به نظر میرسد گوگل از آن برای یافتن تصاویر مشابه استفاده می‍کند، تکنیک جستجوی عکس معکوس (Reverse image search) می‍باشد که یک تکنیک جستجوی تصویر مبتنی بر محتواست (content-based image retrieval (CBIR)) و شامل یک تصویر نمونه برای سیستم CBIRاست که سپس جستجوی خود را بر اساس آن انجام می‍دهد. جستجوی عکس معکوس به کاربران این امکان را می‌دهد که محتوایی را پیدا کنند که مربوط به یک تصویر نمونه خاص است یا محبوبیت یک تصویر را بررسی کنند و همچنین نسخه‌های دستکاری شده و آثار مشتق شده را کشف کنند.

الگوریتم های متداول جستجوی عکس معکوس عبارتند از:

• تبدیل ویژگی تغییر ناپذیر مقیاس (Scale-invariant feature transform(SIFT)): یک الگوریتم بینایی ماشین برای تشخیص، استخراج، توصیف و تطبیق ویژگی های محلی در تصاویر است و کاربردهای متنوعی در تشخیص اشیا، ناوبری رباتیک، ترکیب تصویر، مدل سازی سه بعدی، تشخیص حرکت، ردیابی ویدئو و ... دارد.
• مناطق بیرونی با حداکثر پایداری (Maximally stable extremal regions(MSER))
• درخت واژگان (Vocabulary tree یا Bag-of-words model)

مراحل کلی در هنگامیکه جستجو بر اساس تصویر انجام می‍شود تا از یک تصویر ارسالی به نتایج جستجوی برگشتی برسد به شرح زیر است:

1. تجزیه و تحلیل تصویر: تصویر ارسال شده برای یافتن شناسه‍هایی مانند رنگ‍ها، نقاط، خطوط و بافت‍ها تجزیه و تحلیل می‍شود. در تجزیه و تحلیل تصویر به نظر میرسد از تکنیک تطبیق الگو (Pattern Matching) استفاده می‍شود. از این طریق لبه‍های داخل تصویر مشخص شده و ویژگی‍های اصلی به صورت بردار در دیتابیس ذخیره می‍شوند. سپس از تکنیک‍های هوش مصنوعی و یادگیری عمیق جهت درک محتوا استفاده می‍شود. هوش مصنوعی یک تصویر را بررسی می‍کند و گروهی از ویژگی‍ها را با احتمالات رخ داد هر کدام، گزارش می‍دهد که همه آنها به عنوان متا تگ برای تصویر استفاده می‍شود. اصطلاح «محتوا» در این زمینه ممکن است به رنگ‌ها، شکل‌ها، بافت‌ها یا هر اطلاعات دیگری که می‌تواند از خود تصویر مشتق شود اشاره کند (CBIR).

2. ایجاد پرس و جو: این ویژگی‍های متمایز تصویر برای ایجاد یک عبارت جستجو استفاده می‍شود.

3. تطبیق تصویر: تطبیق داده های متا دیتا و بررسی کردن محتوای داده‌ها و جمع‌بندی آنها انجام می‍شود و تصاویر مطابقت داده شده با پرس و جو مشخص می‍شوند.

4. بازگشت نتایج: الگوریتم‌های جستجو و تطبیق گوگل، تصاویر مشابه را به عنوان نتایج به کاربر بر می‌گردانند.

هسته اصلی الگوریتم موتور جستجوی تصویر گوگل بر تطبیق عبارت‍های جستجو با متن مرتبط با تصاویر متکی است. نمونه ای از متن مرتبط با تصاویر شامل موارد زیر است:

• نام فایل
• ابرداده های تصویری مانند ابرداده EXIF
• متن از صفحه وب که تصویر از آن پیوند داده شده است
• متن از صفحه وب که تصویر به آن پیوند دارد
• لنگر متن هایپرلینک ها به تصویر
• عنوان تصویر

هنگامی که رتبه‌بندی اولیه نتایج جستجوی تصویر ایجاد شد، تصاویر برتر دوباره پردازش می‌شوند تا در نتایج جستجو، تصویر مرتبط‌تری ارائه شود. در این پردازش مجدد، به تصاویری که شبیه‌ترین تصاویر در زیر مجموعه هستند، ارتباط بیشتری داده می‌شود و تصاویری که خیلی متفاوت هستند، مجدداً رتبه‌بندی یا حتی حذف می‌شوند. برای اینکه نتایج مرتبط تری ارائه شود، عملیات‌های زیر نیز ممکن است انجام شود:

• حذف یا وزن بیشتر به تصاویر دارای چهره، بر اساس احتمال این که پرس و جو برای یافتن تصویر یک شخص باشد
• حذف یا وزن دادن بیشتر به تصاویر با نشانه ها یا اشیاء خاص
• وزن بیشتر به تصاویر با کیفیت بالاتر

نکات برجسته در مورد نحوه عملکرد موتور جستجوی تصویر

یک تصویر باید حاوی عبارات مرتبط در متا داده و متن اطراف خود و با کیفیت بالا باشد. همچنین، تصویر باید به اندازه کافی شبیه به تصاویر دیگر باشد تا گوگل بداند مرتبط است.

برخی از نکات برجسته:

• اصطلاحات با تصاویر مرتبط هستند و برای مطابقت با پرس و جو استفاده می شوند
• گوگل از TF-IDF برای ارزیابی ارتباط یک عبارت با یک تصویر استفاده می کند
• هرچه عبارات مرتبط با تصاویر مرتبط باشد، احتمال بازیابی تصاویر در حین جستجو بیشتر است
• هر چه یک تصویر شبیه به همه تصاویر رتبه بندی شده برای یک پرس و جو بیشتر باشد، رتبه بهتری خواهد داشت
• منحصر به فرد بودن تصویر به عنوان بخشی از امتیاز کیفیت تصویر محاسبه می شود
• شباهت با استفاده از شباهت ویژگی و داده های کلیک کاربران تخمین زده می شود
• وزن همه ویژگی های تصویر بسته به پرس و جو یکسان نیست
• هرچه کیفیت تصویر بالاتر باشد، رتبه بهتری خواهد داشت
• تغییرات کوچک تصاویر ممکن است منجر به این شود که تصاویر تکراری، منحصر به فرد در نظر گرفته شوند
• نشانه‌ها، اشیاء و افراد برای گوگل هنگام تجزیه و تحلیل تصاویر مهم می‌باشد

اجزای اصلی موتور جستجوی تصویر

ماژول ها (یا نرم افزارهای) جداگانه در موتور جستجوی تصویر در پردازش پرس و جو، پردازش تصاویر و رتبه بندی نتایج جستجو نقش دارند. موتور جستجوی تصویر از تمام این ماژول‍های مجزا در الگوریتم خود استفاده می‍کند.

1. ماژول خزیدن تصویر
2. ماژول شرایط تصویر
3. ماژول ویژگی های تصویر
4. ماژول شباهت تصویر
5. ماژول احتمالات
6. ماژول نمایه سازی تصویر
7. سرور جستجوی تصویر
8. ماژول امتیازدهی و رتبه بندی
9. مخزن تصاویر و فهرست تصاویر

Reference:

[1] https://www.jcchouinard.com/google-image-search-engine/

[2] https://en.wikipedia.org/wiki/Reverse_image_search

[3] https://www.stanventures.com/blog/image-algorithm-seo/

[4] https://www.linkedin.com/pulse/how-google-using-ai-computer-vision-lens-janak-sawale/

[5] https://dsp.stackexchange.com/questions/5995/what-algorithm-does-google-use-for-its-search-by-image-site

[6] https://www.quora.com/How-does-a-Google-image-search-engine-work

[7] https://en.wikipedia.org/wiki/Scale-invariant_feature_transform

[8] https://en.wikipedia.org/wiki/Maximally_stable_extremal_regions

[9] https://en.wikipedia.org/wiki/Bag-of-words_model_in_computer_vision

[10] https://en.wikipedia.org/wiki/Content-based_image_retrieval

[11] https://en.wikipedia.org/wiki/Google_Images

[12] https://en.wikipedia.org/wiki/Exif

[13] https://www.jcchouinard.com/tf-idf/