الگوریتم بدون نظارت هینتون و گوگل برین

جفری هینتون بار دیگر در کانون هوش مصنوعی قرار دارد، این بار با تحقیق جدیدی که با استفاده از یادگیری بدون نظارت به یک جهش عملکردی عظیم در تشخیص تصویر دست یافته‌است. همچنین پیشگام هوش مصنوعی و برنده جایزه تورینگ در توییتر ظهوری عجیب برای ترویج این تحقیق پیدا کرد، «یادگیری بدون نظارت بازنمایی‌ها به خوبی کار می‌کند بدون آنه نیاز به بازسازی داشته باشد».

نظر هینتون در مورد انواع داده‌ها و آموزش مدل، در سخنرانی او را در کنفرانس هفته گذشته AAAI 2020 در نیویورک منعکس شد. هینتون با معرفی تازه‌ترین کار خود در زمینه کدگذار خودکار کپسول پشته‌ای (Stacked Capsule Auto-encoders)، به این پرسش پاسخ داد: «من همیشه می‌دانستم که یادگیری بدون نظارت کار درستی است.»

در همان سکوی AAAI، دیگر برنده جایزه تورینگ، یان لکون موافق بود که یادگیری بدون نظارت ممکن است یک تغییر دهنده بازی برای هوش مصنوعی باشد که رو به جلو حرکت می‌کند: «ما امروز چیزهای زیادی در مورد محدودیت‌های یادگیری عمیق خواندیم، اما بیشتر آن‌ها در واقع محدودیت‌های یادگیری تحت نظارت هستند … این استدلالی است که جف [ هینتون ] چندین دهه است که انجام می‌دهد.» یادگیری بدون نظارت، که لکون ترجیح می‌دهد آن را «یادگیری خود ناظر» بنامد و با عبارت «یادگیری نیمه نظارت شده» همپوشانی می‌کند، به طور کلی به آموزش مدلی اشاره دارد که نیازی به برچسب زدن داده‌های دستی ندارد.

مشروح صحبت‌های سه نابغه یادگیری عمیق در کنفرانس AAAI 2020 را بخوانید.

در این مقاله یک چارچوب ساده برای یادگیری کنتراست نمایش‌های بصری، گروهی از محققان گوگل برین از جمله هینتون یک چارچوب ساده اما قدرتمند تحت عنوان SimCLR برای یادگیری مقابله‌ای نمایش‌های بصری پیشنهاد می‌کنند. این تیم نتیجه‌گیری می‌کند که «یک طبقه‌بندی‌کننده خطی آموزش‌دیده بر روی نمایش‌های خودناظر که توسط SimCLR آموزش داده شده‌است، به دقت بالای ۷۶.۵٪ دست می‌یابد، که یک بهبود نسبی ۷ درصدی نسبت به حالت پایه قبلی است، که با عملکرد یک ResNet-۵۰ نظارت شده مطابقت دارد. وقتی که تنها ۱٪ از برچسب‌ها خوب تنظیم شوند، ما به دقت ۸۵.۸% دست می‌یابیم که در مقایسه با الکس‌نت ۱۰۰ برابر برچسب‌های کم‌تر اما عملکرد بهتری دارد.»

نتایج آزمایشی موثر موضوع مقاله را به یک موضوع داغ در میان جامعه یادگیری ماشین تبدیل کرده‌است.

چگونگی یادگیری نمایش بصری به طور موثر بدون نظارت انسان، یک مشکل دیرینه برای محققان هوش مصنوعی بوده‌است، با رویکردهای تولیدی و رویکردهای متمایز کننده دو روش اصلی موجود. از آنجا که رویکردهای متمایز مبتنی بر یادگیری مقابله‌ای در فضای پنهان اخیرا نتایج امیدوار کننده‌ای را نشان داده‌اند، این جایی است که تیم از تلاش‌های خود استفاده کرده‌است. یادگیری نمایش بصری کنتراست اولین بار برای یادگیری نمایش با مقایسه جفت‌های مثبت در مقابل جفت‌های منفی معرفی شد.

در حالی که تحقیقات قبلی از یک بانک حافظه برای ذخیره بردار نمایش کلاس نمونه استفاده کردند، تیم الگوریتم های یادگیری خود - نظارت شده تطبیقی ساده شده‌ای را توسعه دادند که نیازی به معماری‌های خاص یا بانک حافظه ندارند. چارچوب SimCLR با به حداکثر رساندن توافق بین دیدگاه‌های مختلف افزوده شده از یک مثال داده مشابه از طریق یک فقدان مقابله‌ای در فضای پنهان، بازنمایی را یاد می‌گیرد.

این تیم مشاهده کرد که افزایش داده نقش مهمی در ارایه بازنمایی‌های موثر ایفا می‌کند و معتقد است که انجام چندین عملیات افزایش داده - کراپ تصادفی، تحریف رنگی، تاری گاوسی، و غیره - در تعیین وظایف پیش‌بینی مقابله‌ای که منجر به بازنمایی موثر می‌شود، بسیار مهم است. و در مقایسه با یادگیری تحت نظارت، یادگیری بدون نظارت مزایای بیشتری از افزایش داده قوی‌تر را نشان می‌دهد.

در حال حاضر، یادگیری تحت نظارت و یادگیری بدون نظارت دو روش اصلی یادگیری ماشین هستند. با این حال یادگیری نظارت شده سنتی نیازمند داده‌های برچسب دار برای آموزش الگوریتم است، و مجموعه داده‌های درست برچسب گذاری شده همیشه در دسترس نیستند. بنابراین یادگیری بدون نظارت نشان‌دهنده چیزی از یک راه‌حل ایده‌آل است، زیرا به محققان اجازه می‌دهد تا داده‌های بدون برچسب را مستقیما به یک مدل یادگیری عمیق تغذیه کنند، که سپس تلاش می‌کند ویژگی‌ها و الگوها را استخراج کند و اساسا آن را درک کند. در عین حال، یادگیری تحت نظارت نیمه از مجموعه داده‌های آموزشی متشکل از داده‌های برچسب دار و بدون برچسب استفاده می‌کند (معمولا بیشتر از مورد اول). این روش به ویژه زمانی خوب عمل می‌کند که برچسب زدن داده‌ها وقت گیر است، و استخراج ویژگی‌های مربوطه از داده‌ها دشوار است - برای مثال با تصاویر پزشکی مانند اسکن‌های CT و MRI ها.

روش‌های اصلی یادگیری ماشین از نزدیک در مطالعه جدید گوگل مغز مورد بررسی قرار گرفته‌اند و محققان پیشنهاد داده‌اند که برخی از روش‌های قبلی برای یادگیری بدون نظارت یا خود - نظارت ممکن است به طور غیر ضروری پیچیده باشند. محققان می‌گویند که قدرت و عملکرد چارچوب ساده جدید آن‌ها نشان می‌دهد که « علی‌رغم افزایش اخیر علاقه، یادگیری خودناظر همچنان کم‌ارزش باقی می‌ماند.»

توصیه می‌شود برای تکمیل بحث مقاله کامل هینتون با عنوان A Simple Framework for Contrastive Learning of Visual هستید را با کمک مقاله‌خوان ترجمیار همراه با ترجمه فارسی و به صورت رایگان از این لینک مطالعه نمایید

چاپ‌شده در: syncedreview به تاریخ ۱۹ فوریه ۲۰۲۰
نویسنده: Fangyu Cai
لینک مقاله اصلیhttps://medium.com/syncedreview/geoffrey-hinton-google-brain-unsupervised-learning-algorithm-improves-sota-accuracy-on-imagenet-f0537f5b716a
این مقاله توسط ربات هوشمند ترجمه انگلیسی به فارسی علمی و به صورت خودکار ترجمه شده و می‌تواند به صورت محدود دارای اشکالات ترجمه باشد.