پیشگامان یادگیری عمیق فکر می‌کنند که آینده آن روشن خواهد شد.

منتشر شده در thenextweb به تاریخ ۵ جولای ۲۰۲۱
لینک منبع: Pioneers of deep learning think its future is gonna be lit

یوشوا بنجیو، جفری هینتون، و یان لکان، چالش‌های فعلی یادگیری عمیق و آینده‌‌ای که ممکن است در انتظار شما باشد را توضیح می‌دهند.

شبکه‌های عصبی عمیق از کاستی‌های خود بدون کمک هوش مصنوعی نمادین عبور خواهند کرد، سه پیشگام یادگیری عمیق در مقاله منتشر شده در شماره جولای مجله ارتباطات ACM بحث می‌کنند.

در مقاله آن‌ها، یوشوا بنجیو، جفری هینتون، و یان لکان، دریافت‌کننده جایزه تورینگ سال ۲۰۱۸، چالش‌های فعلی یادگیری عمیق و تفاوت آن با یادگیری در انسان‌ها و حیوانات را توضیح می‌دهند.

آن‌ها همچنین پیشرفت‌های اخیر در این زمینه را بررسی می‌کنند که ممکن است نقشه‌ای را برای مسیرهای آینده برای تحقیق در یادگیری عمیق فراهم کنند.

این مقاله با عنوان «یادگیری عمیق برای هوش مصنوعی» آینده‌ای را پیش‌بینی می‌کند که در آن مدل‌های یادگیری عمیق می‌توانند با کمک اندک یا بدون کمک انسان‌ها یاد بگیرند، نسبت به تغییرات در محیط خود انعطاف‌پذیر باشند، و می‌توانند طیف گسترده‌ای از مشکلات بازتابی و شناختی را حل کنند.

چالش‌های یادگیری عمیق

یادگیری عمیق اغلب با مغز انسان‌ها و حیوانات مقایسه می‌شود. با این حال، در سال‌های گذشته ثابت شده‌است که شبکه‌های عصبی مصنوعی، مولفه اصلی مورد استفاده در مدل‌های یادگیری عمیق، فاقد کارایی، انعطاف‌پذیری و تطبیق‌پذیری همتایان بیولوژیکی خود هستند.

بنجیو، هینتون، و لکان در مقاله خود به این کاستی‌ها اعتراف می‌کنند. یادگیری با نظارت، در حالی که در بسیاری از وظایف موفق است، به طور معمول به مقدار زیادی داده برچسب‌گذاری شده توسط انسان نیاز دارد. به همین ترتیب، هنگامی که یادگیری تقویتی فقط مبتنی بر پاداش باشد، به تعاملات زیادی نیاز دارد، آن‌ها می‌نویسند.

یادگیری با نظارت یک زیر مجموعه محبوب از الگوریتم‌های یادگیری ماشینی است، که در آن یک مدل با نمونه‌های برچسب‌دار، مانند فهرستی از تصاویر و محتوای متناظر آن‌ها ارائه می‌شود.

این مدل برای یافتن الگوهای تکرار شونده در مثال‌هایی که برچسب‌های مشابهی دارند، آموزش داده می‌شود. سپس از الگوهای آموخته‌شده برای مرتبط کردن نمونه‌های جدید با برچسب‌های مناسب استفاده می‌کند. یادگیری با نظارت به ویژه برای مشکلاتی مفید است که در آن مثال‌های برچسب‌دار به وفور در دسترس هستند.

یادگیری تقویتی شاخه دیگری از یادگیری ماشینی است که در آن یک «عامل» یاد می‌گیرد تا «پاداش» را در یک محیط به حداکثر برساند. یک محیط می‌تواند به سادگی یک تخته آستانه tic-tac باشد که در آن یک بازیکن هوش مصنوعی برای قرار دادن سه Xs یا O پاداش می‌گیرد، یا به پیچیدگی یک محیط شهری است که در آن یک ماشین خود-راننده برای اجتناب از برخورد، اطاعت از قوانین راهنمایی و رانندگی و رسیدن به مقصد پاداش داده می‌شود. نماینده با انجام اقدامات تصادفی شروع می‌کند. زمانی که بازخورد را از محیط خود دریافت می‌کند، زنجیره‌ای از اقدامات را پیدا می‌کند که پاداش بهتری را فراهم می‌کند. زمانی که بازخورد را از محیط خود دریافت می‌کند، زنجیره‌ای از اقدامات را پیدا می‌کند که پاداش بهتری را فراهم می‌کند.

در هر دو مورد، همانطور که دانشمندان اذعان دارند، مدل‌های یادگیری ماشینی نیاز به کار زیادی دارند. به سختی می‌توان مجموعه داده‌های دارای برچسب را تهیه کرد، به ویژه در زمینه‌های تخصصی که مجموعه داده‌های عمومی و منبع باز ندارند، به این معنی که آن‌ها به کار سخت و گران‌قیمت حاشیه‌نویسان انسانی نیاز دارند. و مدل‌های پیچیده یادگیری تقویتی به منابع محاسباتی عظیمی برای اجرای تعداد زیادی از دوره‌های آموزشی نیاز دارند، که آن‌ها را برای تعداد کمی از آزمایشگاه‌های هوش مصنوعی بسیار ثروتمند و شرکت‌های فن‌آوری در دسترس قرار می‌دهد.

بجیو، هینتون، و لکان نیز اذعان دارند که سیستم‌های یادگیری عمیق فعلی هنوز در حوزه مشکلاتی که می‌توانند حل کنند، محدود هستند. آن‌ها در کارهای تخصصی عملکرد خوبی دارند اما « اغلب در خارج از حوزه باریکی که در آن آموزش‌دیده‌اند، شکننده هستند.» اغلب، تغییرات جزئی مانند چند پیکسل اصلاح‌شده در یک تصویر یا تغییر بسیار اندک قوانین در محیط می‌تواند باعث منحرف شدن سیستم‌های یادگیری عمیق شود.

شکنندگی سیستم‌های یادگیری عمیق تا حد زیادی به دلیل مدل‌های یادگیری ماشینی است که براساس «توزیع مستقل و یک‌سان» هستند.(i.i.d) مدلi.i.d همچنین فرض می‌کند که مشاهدات بر روی یکدیگر تأثیر نمی‌گذارند (به عنوان مثال، سکه یا قالب‌ها مستقل از یکدیگر هستند(

دانشمندان می نویسند: "از روزهای آغازین، نظریه پردازان یادگیری ماشینی بر فرض i.i.d تمرکز کرده‌اند... متأسفانه، این یک فرض واقع بینانه در دنیای واقعی نیست ."

تنظیمات دنیای واقعی به دلیل عوامل مختلف دائماً در حال تغییر است، نمایش بسیاری از آن‌ها بدون مدل‌های علی، عملاً غیرممکن است. عامل‌های هوشمند باید به طور مداوم محیط خود و دیگر عوامل را مشاهده و یاد بگیرند، و آن‌ها باید رفتار خود را با تغییرات سازگار کنند.

دانشمندان می‌نویسند: «عملکرد بهترین سیستم‌های هوش مصنوعی امروز، هنگامی که از آزمایشگاه به زمین می‌روند، مورد حمله قرار می‌گیرد.»

فرض i.i.d زمانی شکننده‌تر می‌شود که به حوزه‌هایی مانند بینایی کامپیوتری و پردازش زبان طبیعی که عامل باید با محیط با آنتروپی بالا سروکار داشته باشد، اعمال شود. در حال حاضر، بسیاری از محققان و شرکت‌ها تلاش می‌کنند تا با آموزش شبکه‌های عصبی بر روی داده‌های بیشتر، بر محدودیت‌های یادگیری عمیق غلبه کنند، با این امید که مجموعه داده‌های بزرگ‌تر توزیع گسترده‌تری را پوشش دهند و شانس شکست در دنیای واقعی را کاهش دهند.

یادگیری عمیق در مقابل هوش مصنوعی ترکیبی

هدف نهایی دانشمندان هوش مصنوعی، تکرار نوعی هوش عمومی است که انسان‌ها دارند. و ما می‌دانیم که انسان‌ها از مشکلات سیستم‌های یادگیری عمیق فعلی رنج نمی‌برند.

به نظر می‌رسد که انسان‌ها و حیوانات قادر به یادگیری مقادیر عظیمی از دانش پیشینه درباره جهان، عمدتا از طریق مشاهده، به شیوه‌ای مستقل از وظیفه باشند. «این دانش از عقل سلیم حمایت می‌کند و به انسان اجازه می‌دهد تا کارهای پیچیده مانند رانندگی را با تنها چند ساعت تمرین یاد بگیرد.»

در جایی دیگر در این مقاله، دانشمندان اشاره می‌کنند که «انسان‌ها می‌توانند به شیوه‌ای تعمیم یابند که متفاوت و قدرتمندتر از تعمیم i.i.d معمولی باشد: ما می‌توانیم به درستی ترکیبات جدیدی از مفاهیم موجود را تفسیر کنیم، حتی اگر آن ترکیبات تحت توزیع آموزشی ما بسیار بعید باشند، تا زمانی که به الگوهای نحوی و معنایی سطح بالایی که قبلا آموخته‌ایم احترام بگذارند.»

دانشمندان راه‌حل‌های مختلفی را برای از بین بردن شکاف بین هوش مصنوعی و هوش انسانی ارائه می‌دهند. یکی از روش‌هایی که به طور گسترده در چند سال گذشته مورد بحث قرار گرفته‌است هوش مصنوعی ترکیبی است که شبکه‌های عصبی را با سیستم‌های نمادین کلاسیک ترکیب می‌کند. دستکاری نماد بخش بسیار مهمی از توانایی انسان برای استدلال در مورد جهان است. همچنین یکی از چالش‌های بزرگ سیستم‌های یادگیری عمیق است.

بنجیو، هینتون و لکان به ترکیب شبکه‌های عصبی و هو مصنوعی نمادین اعتقاد ندارند. بنجیو در یک ویدئو که مقاله ACM را همراهی می‌کند، می‌گوید: برخی معتقدند که مشکلاتی وجود دارد که شبکه‌های عصبی نمی‌توانند حل کنند و ما باید به هوش مصنوعی کلاسیک، رویکرد نمادین متوسل شویم. اما کار ما خلاف آن را نشان می‌دهد.

پیشگامان یادگیری عمیق بر این باورند که معماری بهتر شبکه عصبی در نهایت منجر به تمام جنبه‌های هوش انسانی و حیوانی، از جمله دستکاری نماد، استدلال، استنتاج سببی و حس مشترک خواهد شد.

پیشرفت‌های پیشگامانه در یادگیری عمیق

بنجیو، هینتون و لکان در مقاله خود بر پیشرفت‌های اخیر در یادگیری عمیق تاکید می‌کنند که به پیشرفت در برخی از زمینه‌هایی که در آن‌ها یادگیری عمیق با مشکل مواجه است، کمک کرده‌است.

یک مثال، ترانسفورمر است، یک معماری شبکه عصبی که در قلب مدل‌های زبانی مانند OpenAI's GPT-3 و Meena گوگل بوده‌است. یکی از مزایای ترانسفورمرها توانایی آن‌ها برای یادگیری بدون نیاز به داده‌های برچسب‌دار است. ترانسفورمرها می‌توانند ارائه‌ها را از طریق یادگیری بدون نظارت توسعه دهند، و سپس می‌توانند آن ارائه‌ها را برای پر کردن جاهای خالی روی جملات ناقص یا تولید متن منسجم پس از دریافت یک اعلان اعمال کنند.

اخیرا، محققان نشان داده‌اند که ترانسفورمرها را می‌توان برای کارهای بینایی کامپیوتری نیز به کار برد. در ترکیب با شبکه‌های عصبی کانولوشن، ترانسفورمرها می‌توانند محتوای نواحی پوشیده را پیش‌بینی کنند.

یک تکنیک امیدوارکننده‌تر یادگیری مقابله‌ای است که تلاش می‌کند تا بازنمایی‌های برداری نواحی از دست رفته را به جای پیش‌بینی مقادیر دقیق پیکسل پیدا کند. این یک رویکرد جذاب است و به نظر می‌رسد که بسیار به آنچه ذهن انسان انجام می‌دهد نزدیک‌تر است. هنگامی که ما یک تصویر مانند تصویر زیر را می‌بینیم، ممکن است قادر به تجسم یک تصویر واقع‌گرایانه از بخش‌های از دست رفته نباشیم، اما ذهن ما می‌تواند یک نمایش سطح بالا از آنچه که ممکن است در آن مناطق مستتر رخ دهد (به عنوان مثال، درها، پنجره‌ها، و غیره) ارائه دهد. (مشاهده خود من: این امر می‌تواند به خوبی با تحقیقات دیگر در این زمینه با هدف همسوسازی نمایش‌های برداری در شبکه‌های عصبی با مفاهیم دنیای واقعی گره بخورد.)

فشار برای اینکه شبکه‌های عصبی وابستگی کمتری به داده‌های برچسب‌گذاری‌شده توسط انسان داشته باشند در بحث یادگیری خودنظارتی، مفهومی که لکان بر روی آن کار می‌کند، قرار می‌گیرد.

این مقاله همچنین به «سیستم یادگیری عمیق ۲» اشاره می‌کند، اصطلاحی که از روانشناس برنده جایزه نوبل، دانیل کانمن، قرض گرفته شده‌است. سیستم ۲ وظایف مغز که نیاز به تفکر آگاهانه دارند را شرح می‌دهد که شامل دستکاری نماد، استدلال، برنامه‌ریزی چند مرحله‌ای و حل مسائل پیچیده ریاضی است. یادگیری عمیق سیستم ۲ هنوز در مراحل اولیه خود است، اما اگر به واقعیت تبدیل شود، می‌تواند برخی از مشکلات کلیدی شبکه‌های عصبی، از جمله تعمیم خارج از توزیع، استنتاج سببی، یادگیری انتقال قوی، و دستکاری نماد را حل کند.

دانشمندان همچنین از کار بر روی «شبکه‌های عصبی که چارچوب‌های ذاتی مرجع اشیا و قطعات آن‌ها را تعیین می‌کنند و اشیا را با استفاده از روابط هندسی تشخیص می‌دهند» حمایت می‌کنند. این یک اشاره به «شبکه‌های کپسول» است، حوزه‌ای از تحقیقات هینتون در چند سال گذشته بر روی آن تمرکز کرده‌است. هدف شبکه‌های کپسول، ارتقای شبکه‌های عصبی از تشخیص ویژگی‌ها در تصاویر تا تشخیص اشیا، ویژگی‌های فیزیکی آن‌ها و روابط سلسله مراتبی آن‌ها با یکدیگر است. شبکه‌های کپسول می‌توانند یادگیری عمیقی را با «فیزیک شهودی» فراهم کنند، ظرفیتی که به انسان‌ها و حیوانات اجازه می‌دهد تا محیط‌های سه‌بعدی را درک کنند.

هنوز راه درازی برای رسیدن به درک ما از این که چگونه شبکه‌های عصبی را واقعا موثر کنیم وجود دارد. هینتون به ACM گفت: «ما انتظار داریم که ایده‌های کاملا جدیدی وجود داشته باشند.»

این مقاله در اصل توسط بن دیکسون در TechTalks منتشر شد، نشریه‌ای که روندهای فن‌آوری، چگونگی تاثیر آن‌ها بر روش زندگی و کسب‌وکار ما، و مشکلاتی که حل می‌کنند را بررسی می‌کند. اما ما همچنین در مورد جنبه منفی تکنولوژی، پیامدهای تاریک‌تر تکنولوژی جدید، و آنچه که باید به دنبالش باشیم بحث می‌کنیم.

این متن با استفاده از ربات مترجم مقاله هوش مصنوعی ترجمه شده و به صورت محدود مورد بازبینی انسانی قرار گرفته است.در نتیجه می‌تواند دارای برخی اشکالات ترجمه باشد.

مقالات لینک‌شده در این متن می‌توانند به صورت رایگان با استفاده از مقاله‌خوان ترجمیار به فارسی مطالعه شوند.