آینده یادگیری عمیق، با توجه به پیشگامان آن

منتشر شده در venturebeat به تاریخ ۵ جولای ۲۰۲۱
لینک منبع The future of deep learning, according to its pioneers

سه پیشگام یادگیری عمیق در مقاله‌ای در مجله ارتباطات مجله ACM که در جولای منتشر شده، استدلال می‌کنند که شبکه‌های عصبی عمیق بدون کمک از هوش مصنوعی نمادین، ​​از کاستی‌های خود عبور خواهند کرد.

در مقاله آن‌ها، یوشوا بنجیو، جفری هینتون، و یان لکان، دریافت‌کننده جایزه تورینگ سال ۲۰۱۸، چالش‌های فعلی یادگیری عمیق و تفاوت آن با یادگیری در انسان‌ها و حیوانات را توضیح می‌دهند. آن‌ها همچنین پیشرفت‌های اخیر در این زمینه را بررسی می‌کنند که ممکن است نقشه‌ای را برای مسیرهای آینده برای تحقیق در یادگیری عمیق فراهم کنند.

این مقاله با عنوان «یادگیری عمیق برای AI» آینده‌ای را پیش‌بینی می‌کند که در آن مدل‌های یادگیری عمیق می‌توانند با کمک اندک یا بدون کمک انسان‌ها یاد بگیرند، نسبت به تغییرات در محیط خود انعطاف‌پذیر باشند، و می‌توانند طیف گسترده‌ای از مشکلات بازتابی و شناختی را حل کنند.

چالش‌های یادگیری عمیق

یادگیری عمیق اغلب با مغز انسان‌ها و حیوانات مقایسه می‌شود. با این حال، در سال‌های گذشته ثابت شده‌است که شبکه‌های عصبی مصنوعی، مولفه اصلی مورد استفاده در مدل‌های یادگیری عمیق، فاقد کارایی، انعطاف‌پذیری و تطبیق پذیری همتایان بیولوژیکی خود هستند.

بنجیو، هینتون، و لکان در مقاله خود به این کاستی‌ها اعتراف می‌کنند. یادگیری با نظارت، در حالی که در بسیاری از وظایف موفق است، به طور معمول به مقدار زیادی داده برچسب گذاری شده توسط انسان نیاز دارد. آن‌ها می‌نویسند «به طور مشابه، وقتی که یادگیری تقویتی تنها براساس پاداش است، به تعداد زیادی تعامل نیاز دارد.»

یادگیری با نظارت یک زیر مجموعه محبوب از الگوریتم‌های یادگیری ماشین است، که در آن یک مدل با نمونه‌های برچسب‌دار، مانند فهرستی از تصاویر و محتوای متناظر آن‌ها ارائه می‌شود. این مدل برای یافتن الگوهای تکرار شونده در مثال‌هایی که برچسب‌های مشابهی دارند، آموزش داده می‌شود. سپس از الگوهای آموخته‌شده برای مرتبط کردن نمونه‌های جدید با برچسب‌های مناسب استفاده می‌کند. یادگیری با نظارت به ویژه برای مشکلاتی مفید است که در آن مثال‌های برچسب‌دار به وفور در دسترس هستند.

یادگیری تقویتی شاخه دیگری از یادگیری ماشینی است که در آن یک «عامل» یاد می‌گیرد تا «پاداش» را در یک محیط به حداکثر برساند. یک محیط می‌تواند به سادگی یک صفحه X-O باشد که در آن یک بازیکن AI برای قرار دادن سه X یا O پاداش می‌گیرد، یا به پیچیدگی یک محیط شهری است که در آن به یک ماشین خود-راننده برای اجتناب از برخورد، اطاعت از قوانین ترافیک و رسیدن به مقصد پاداش داده می‌شود. نماینده با انجام اقدامات تصادفی شروع می‌کند. زمانی که بازخورد را از محیط خود دریافت می‌کند، زنجیره‌ای از اقدامات را پیدا می‌کند که پاداش بهتری را فراهم می‌کند.

در هر دو مورد، همانطور که دانشمندان اذعان دارند، مدل‌های یادگیری ماشینی نیاز به کار زیادی دارند. مجموعه داده‌های برچسب‌دار به سختی به دست می‌آیند، به خصوص در زمینه‌های تخصصی که مجموعه داده‌های عمومی و منبع باز ندارند، که به این معنی است که آن‌ها نیاز به کار سخت و گران تفسیرکنندگان انسانی دارند. و مدل‌های پیچیده یادگیری تقویتی به منابع محاسباتی عظیمی برای اجرای تعداد زیادی از دوره‌های آموزشی نیاز دارند، که آن‌ها را برای تعداد کمی از آزمایشگاه‌های AI بسیار ثروتمند و شرکت‌های فن‌آوری در دسترس قرار می‌دهد.

بجیو، هینتون، و لکان نیز اذعان دارند که سیستم‌های یادگیری عمیق فعلی هنوز در حوزه مشکلاتی که می‌توانند حل کنند، محدود هستند. آن‌ها در کارهای تخصصی عملکرد خوبی دارند اما « اغلب در خارج از حوزه محدودی که در آن آموزش‌دیده‌اند شکننده هستند.» اغلب، تغییرات جزئی مانند چند پیکسل اصلاح‌شده در یک تصویر یا تغییر بسیار اندک قوانین در محیط می‌تواند باعث منحرف شدن سیستم‌های یادگیری عمیق شود.

شکنندگی سیستم‌های یادگیری عمیق عمدتاً به دلیل مدل‌های یادگیری ماشینی مبتنی بر "مستقل و توزیع یکسان" است (i.i.d.) فرض بر این است که داده‌های دنیای واقعی توزیع یکسانی با داده‌های آموزشی دارند. i.i.d همچنین فرض می‌کند که مشاهدات بر یکدیگر تأثیر نمی‌گذارند.

دانشمندان می‌نویسند: "از روزهای آغازین، نظریه‌پردازان بر یادگیری ماشینی بر فرض iid تمرکز کرده‌اند ... متأسفانه، این یک فرض واقع‌بینانه در دنیای واقعی نیست."

تنظیمات دنیای واقعی به دلیل عوامل مختلف دائماً در حال تغییر است، نمایش بسیاری از آن‌ها بدون مدل‌های سببی، عملاً غیرممکن است. عامل‌های هوشمند باید به طور مداوم محیط خود و دیگر عوامل را مشاهده و یاد بگیرند، و آن‌ها باید رفتار خود را با تغییرات سازگار کنند.

دانشمندان می‌نویسند: « عملکرد بهترین سیستم‌های هوش مصنوعی امروز، هنگامی که از آزمایشگاه به میدان عمل می‌روند، مورد حمله قرار می‌گیرد.»

فرضیه i.i.d وقتی در زمینه‌هایی مانند بینایی رایانه‌ای و پردازش زبان طبیعی، جایی که نماینده باید با محیط‌های آنتروپی بالا سروکار داشته باشد، اعمال می‌شود حتی شکننده‌تر می‌شود. در حال حاضر، بسیاری از محققان و شرکت‌ها تلاش می‌کنند تا با آموزش شبکه‌های عصبی بر روی داده‌های بیشتر، بر محدودیت‌های یادگیری عمیق غلبه کنند، با این امید که مجموعه داده‌های بزرگ‌تر توزیع گسترده‌تری را پوشش دهند و شانس شکست در دنیای واقعی را کاهش دهند.

یادگیری عمیق در مقابل هوش مصنوعی ترکیبی

هدف نهایی دانشمندان هوش مصنوعی، تکرار نوع هوش عمومی است که انسان‌ها دارند. و ما می‌دانیم که انسان‌ها از مشکلات سیستم‌های یادگیری عمیق فعلی رنج نمی‌برند.

بنگیو، هینتون و لکون در مقاله خود می‌نویسند: "به نظر می‌رسد انسان‌ها و حیوانات می‌توانند مقادیر زیادی دانش پس‌زمینه را در مورد جهان‌، عمدتا با مشاهده، به روشی مستقل از وظیفه ، یاد بگیرند. « این دانش از عقل سلیم حمایت می‌کند و به انسان اجازه می‌دهد تا کارهای پیچیده مانند رانندگی را با تنها چند ساعت تمرین یاد بگیرد.»

در جایی دیگر در این مقاله، دانشمندان اشاره می‌کنند که « انسان‌ها می‌توانند به شیوه‌ای تعمیم یابند که متفاوت و قدرتمندتر از تعمیم iid معمولی باشد: ما می‌توانیم به درستی ترکیبات جدیدی از مفاهیم موجود را تفسیر کنیم، حتی اگر آن ترکیبات تحت توزیع آموزشی ما بسیار بعید باشند، به شرطی که به الگوهای دستوریی و معنایی سطح بالایی که قبلا آموخته‌ایم احترام بگذارند.»

دانشمندان راه‌حل‌های مختلفی را برای از بین بردن شکاف بین هوش مصنوعی و هوش انسانی ارائه می‌دهند. یکی از روش‌هایی که به طور گسترده در چند سال گذشته مورد بحث قرار گرفته‌است هوش مصنوعی ترکیبی است که شبکه‌های عصبی را با سیستم‌های نمادین کلاسیک ترکیب می‌کند. دستکاری نماد بخش بسیار مهمی از توانایی انسان برای استدلال در مورد جهان است. همچنین یکی از چالش‌های بزرگ سیستم‌های یادگیری عمیق است.

بنجیو، هینتون و لکان اعتقادی به ترکیب کردن شبکه‌های عصبی و هوش مصنوعی نمادین ندارند. بنجیو در یک ویدئو که مقاله ACM را همراهی می‌کند، می‌گوید: برخی معتقدند که مشکلاتی وجود دارد که شبکه‌های عصبی نمی‌توانند حل کنند و ما باید به AI کلاسیک، با رویکرد نمادین متوسل شویم. اما کار ما خلاف آن را نشان می‌دهد.

پیشگامان یادگیری عمیق بر این باورند که معماری بهتر شبکه عصبی در نهایت منجر به تمام جنبه‌های هوش انسانی و حیوانی، از جمله کارکرد نماد، استدلال، استنتاج علی و حس مشترک خواهد شد.

پیشرفت‌های پیشگامانه در یادگیری عمیق

بنجیو، هینتون و لکان در مقاله خود بر پیشرفت‌های اخیر در یادگیری عمیق تاکید می‌کنند که به پیشرفت در برخی از زمینه‌هایی که در آن‌ها یادگیری عمیق با مشکل مواجه است، کمک کرده‌است. یک مثال، ترانسفورماتور است، یک معماری شبکه عصبی که در قلب مدل‌های زبانی مانندGPT-۳OpenAI و Meena گوگل بوده‌است. یکی از مزایای ترانسفورمرها توانایی آن‌ها برای یادگیری بدون نیاز به داده‌های برچسب‌دار است. ترانسفورمرها می‌توانند ارائه‌ها را از طریق یادگیری بدون نظارت توسعه دهند، و سپس می‌توانند آن ارائه‌ها را برای پر کردن جاهای خالی روی جملات ناقص یا تولید متن منسجم پس از دریافت یک اعلان اعمال کنند.

اخیرا، محققان نشان داده‌اند که ترانسفورمرها را می توان برای کارهای بینایی کامپیوتری نیز به کار برد. در ترکیب با شبکه‌های عصبی کانولوشن، ترانسفورماتورها می‌توانند محتوای نواحی پوشیده را پیش‌بینی کنند.

یک تکنیک امیدوارکننده‌تر یادگیری مقابله‌ای است که تلاش می‌کند تا بازنمایی‌های برداری نواحی از دست رفته را به جای پیش‌بینی مقادیر دقیق پیکسل پیدا کند. این یک رویکرد جذاب است و به نظر می‌رسد که بسیار به آنچه ذهن انسان انجام می‌دهد نزدیک‌تر است. هنگامی که یک تصویر مانند تصویر زیر را می‌بینیم، ممکن است نتوانیم یک تصویر واقع گرایانه از قطعات گم‌شده را تجسم کنیم، اما ذهن ما می‌تواند یک نمایش سطح بالا از آنچه ممکن است در آن مناطق تحت پوشش قرار گیرد را پیشنهاد دهد (به عنوان مثال، درها، پنجره‌ها و غیره). (مشاهدات خودم: این امر می‌تواند به خوبی با سایر تحقیقات در این زمینه با هدف هم‌سان‌سازی نمایش‌های برداری در شبکه‌های عصبی با مفاهیم دنیای واقعی مطابقت داشته باشد.)

فشار برای اینکه شبکه‌های عصبی وابستگی کمتری به داده‌های برچسب گذاری شده توسط انسان داشته باشند در بحث یادگیری خودنظارتی، مفهومی که LeCun بر روی آن کار می‌کند، قرار می‌گیرد.

این مقاله همچنین به «سیستم یادگیری عمیق ۲» اشاره می‌کند، اصطلاحی که از روانشناس برنده جایزه نوبل، دانیل کانمن، وام گرفته شده‌است. سیستم ۲ وظایف مغز که نیاز به تفکر آگاهانه دارند را شرح می‌دهد که شامل کارکرد نماد، استدلال، برنامه‌ریزی چند مرحله‌ای و حل مسائل پیچیده ریاضی است. یادگیری عمیق سیستم ۲ هنوز در مراحل اولیه خود است، اما اگر به واقعیت تبدیل شود، می‌تواند برخی از مشکلات کلیدی شبکه‌های عصبی، از جمله تعمیم خارج از توزیع، استنتاج علی، یادگیری انتقال قوی، و کارکرد نماد را حل کند.

دانشمندان همچنین از کار در "شبکه‌های عصبی پشتیبانی می‌کنند که چهارچوب ذاتی مرجع را به اشیا و قطعات آن‌ها اختصاص می‌دهند و اشیا را با استفاده از روابط هندسی تشخیص می‌دهند." این یک اشاره به «شبکه‌های کپسولی» است، حوزه‌ای از تحقیقات هینتون که در چند سال گذشته بر روی آن تمرکز کرده‌است. هدف شبکه‌های کپسولی، ارتقای شبکه‌های عصبی از تشخیص ویژگی‌ها در تصاویر به تشخیص اشیا، ویژگی‌های فیزیکی آن‌ها و روابط سلسله مراتبی آن‌ها با یکدیگر است. شبکه‌های کپسولی می‌توانند یادگیری عمیقی را با «فیزیک شهودی» فراهم کنند، ظرفیتی که به انسان‌ها و حیوانات اجازه می‌دهد تا محیط‌های سه‌بعدی را درک کنند.

هنوز راه طولانی برای درک چگونگی واقعا موثر ساختن شبکه‌های عصبی در پیش است. هینتون به ACM گفت: « و ما انتظار داریم که ایده‌های کاملا جدیدی وجود داشته باشند.»

این متن با استفاده از ربات مترجم مقالات هوش مصنوعی ترجمه شده و به صورت محدود مورد بازبینی انسانی قرار گرفته است.در نتیجه می‌تواند دارای برخی اشکالات ترجمه باشد.

مقالات لینک‌شده در این متن می‌توانند به صورت رایگان با استفاده از مقاله‌خوان ترجمیار به فارسی مطالعه شوند.