تکنولوژی GPT-3 چیست و چرا انقلابی در هوش مصنوعی ایجاد می‌کند؟

منتشرشده در مجله Forbes به تاریخ ۵ اکتبر ۲۰۲۰
لینک مقاله اصلی: What Is GPT-3 And Why Is It Revolutionizing Artificial Intelligence?

در دنیای هوش مصنوعی در مورد یک تکنولوژی جدیدا توسعه‌یافته به نام GPT-3، هیجان زیادی وجود داشته‌است. به بیان ساده، GPT-3 یک هوش مصنوعی است که در ایجاد محتوایی که ساختار زبانی دارد - چه زبان انسان و چه زبان ماشین - بهتر از هر چیزی است که قبل از آن آمده.

تکنولوژی GPT-3 توسط OpenAI ایجاد شده‌است، یک شرکت تحقیقاتی که توسط ایلان ماسک تاسیس و در طی سال‌ها به عنوان مهم‌ترین و مفیدترین پیشرفت در هوش مصنوعی توصیف شده‌است.

اما در مورد کاری که دقیقا انجام می‌دهد (و در واقع انجام نمی‌دهد) سردرگمی وجود دارد، بنابراین در اینجا سعی خواهم کرد تا آن را به عبارات ساده برای هر خواننده غیر فنی که علاقه‌مند به درک اصول اساسی پشت آن است، تبدیل کنم. همچنین برخی از مشکلاتی که ایجاد می‌کند را پوشش می‌دهم و این که چرا برخی از مردم فکر می‌کنند که اهمیت آن تا حدودی توسط تبلیغات بیش از حد بزرگ شده‌است.

ممکن است به مطالعه مقاله ۸ ابزار رایگان برای تصویرسازی داده تعاملی در سال ۲۰۲۱ - بدون نیازبه کدنویسی علاقمند باشید.

تکنولوژی GPT-3 چیست؟

عبارت GPT-3 در اصل، مخفف ترانسفورمر عمومی از پیش آموزش‌دیده است ۳ است-این سومین نسخه از ابزاری است که قرار است منتشر شود.

به طور خلاصه، این بدان معنی است که با استفاده از الگوریتم‌هایی که از پیش آموزش‌دیده اند، متن تولید می‌کند - آن‌ها قبلا تمام داده‌هایی که برای انجام کار نیاز دارند را دریافت کرده‌اند. به طور خاص، آن‌ها با حدود ۵۷۰ گیگابایت اطلاعات متنی جمع‌آوری‌شده با کاوش در اینترنت (یک مجموعه داده در دسترس عمومی شناخته‌شده به نام CommonCrawl) همراه با متون انتخاب‌شده توسط OpenAI، از جمله متن ویکی‌پدیا تغذیه شده‌اند.

اگر از آن یک سوال بپرسید، انتظار دارید مفیدترین پاسخ چیزی باشد که به شما برمی‌گرداند. اگر از آن بخواهید کاری مانند ایجاد یک خلاصه یا نوشتن یک شعر انجام دهد، یک خلاصه یا یک شعر دریافت خواهید کرد.

از لحاظ فنی‌تر، به عنوان بزرگ‌ترین شبکه عصبی مصنوعی که تا به‌حال ایجاد شده نیز توصیف شده‌است-در ادامه بیشتر در این مورد توضیح خواهم داد.

تکنولوژی GPT-3 چه کاری می‌تواند انجام دهد؟

تکنولوژی GPT-3 می‌تواند هر چیزی که دارای ساختار زبانی است را ایجاد کند - یعنی می‌تواند به سوالات پاسخ دهد، مقاله بنویسد، متون طولانی را خلاصه کند، از زبانی به زبان‌ دیگر ترجمه کند، یادداشت‌ها برداری کرده و حتی کد کامپیوتری بسازد.

در واقع، در یک دموی آنلاین در دسترس، نشان داده می‌شود که GPT-3 یک اپلیکیشن مشابه با اینستاگرام ایجاد می‌کند و برای این کار از پلاگین برای ابزار نرم‌افزاری فیگما (Figma) - که به طور گسترده برای طراحی اپلیکیشن مورد استفاده قرار می‌گیرد - استفاده می‌کند.

قطعا این تکنولوژی بسیار انقلابی است و اگر ثابت شود که در طولانی‌مدت قابل‌استفاده و مفید است، می‌تواند کاربردهای بزرگی در روش توسعه نرم‌افزار و برنامه‌ها در آینده داشته باشد.

از آنجا که خود کد هنوز برای عموم در دسترس نیست (بعدا بیشتر در مورد آن صحبت می‌کنیم)، دسترسی تنها برای توسعه دهندگان انتخاب‌شده از طریق API نگهداری شده توسط OpenAI در دسترس است. از زمانی که API در ماه ژوئن امسال در دسترس قرار گرفت، نمونه‌هایی از شعر، نثر، گزارش‌های خبری و داستان‌های خلاقانه که توسط این فناوری تولید شده‌اند، ظهور کردند.

در این مقاله می‌توانید ببینید که GPT-3 تلاش می‌کند تا ما انسان‌ها را درباره اینکه قصد ایجاد هیچ‌گونه آسیبی ندارد، متقاعد کند. اگر چه صداقت رباتیک آن به این معنی است که اگر افراد شرور آن را مجبور کنند، اعتراف می‌کند که «من می‌دانم که قادر نخواهم بود از نابود کردن بشریت جلوگیری کنم».

مطالعه مقاله کنکاشی عمیق در OpenAI CLIP با نورون‌های چندوجهی توصیه می‌شود.

تکنولوژی GPT-3 چگونه کار می‌کند؟

در دسته‌بندی عمومی کاربردهای هوش مصنوعی، GPT-3 یک مدل پیش‌بینی زبانی است. یعنی یک ساختار الگوریتمی است که برای گرفتن یک قطعه از زبان (یک ورودی) و تبدیل آن به چیزی که پیش‌بینی می‌کند مفیدترین قطعه زبان بعدی برای کاربر است، طراحی‌شده است.

این کار می‌تواند به لطف تجزیه و تحلیل آموزشی که بر روی بدنه گسترده متن مورد استفاده برای «پیش آموزش» آن انجام شده‌است، انجام شود. برخلاف دیگر الگوریتم هایی که در حالت خام خود آموزش ندیده‌اند، OpenAI در حال حاضر مقدار زیادی از منابع محاسباتی لازم برای اینکه GPT-3 چگونگی کار زبان‌ها و ساختاربندی آن‌ها را درک کند، صرف کرده‌است. گفته می‌شود زمان محاسبه لازم برای رسیدن به این هدف، هزینه‌ای معادل ۴.۶ میلیون دلار برای OpenAI دارد.

برای یاد گرفتن نحوه ساخت سازه‌های زبانی، مانند جملات، از تجزیه و تحلیل معنایی استفاده می‌کند-نه تنها کلمات و معانی آن‌ها را مطالعه می‌کند، بلکه درکی از تفاوت کاربرد کلمات براساس کلمات دیگری که در متن به کار می‌رود را نیز جمع‌آوری می‌کند.

تکنولوژی GPT-3 همچنین نوعی یادگیری ماشینی به نام یادگیری بدون نظارت است زیرا داده‌های آموزشی شامل هیچ گونه اطلاعاتی در مورد اینکه یک پاسخ «درست» است یا «غلط»، مانند یادگیری تحت نظارت، نمی‌شود. تمام اطلاعات مورد نیاز برای محاسبه احتمال اینکه خروجی آن همان چیزی است که کاربر نیاز دارد، از خود متون آموزشی جمع‌آوری می‌شود.

این کار با مطالعه کاربرد کلمات و جملات و سپس جدا کردن آن‌ها و تلاش برای بازسازی توسط خود آن انجام می‌شود. برای مثال، در طول آموزش، الگوریتم ها ممکن است با عبارت «خانه یک در قرمز دارد» مواجه شوند. سپس همین عبارت به آن داده می‌شود، اما به شکلی که یکی از کلمات آن نوشته نشده است - مثلا «خانه یک x قرمز دارد».

سپس تمام متن را در داده‌های آموزشی اش اسکن می‌کند-صدها میلیارد کلمه، که به زبان معنی‌دار مرتب شده‌اند-و تعیین می‌کند که برای بازسازی عبارت اصلی از چه کلمه‌ای باید استفاده کند. برای شروع، به طور بالقوه میلیون ها بار احتمالا اشتباه خواهد کرد. اما در نهایت، کلمه درست را پیدا خواهد کرد. با بررسی داده‌های ورودی اصلی، خواهد دانست که خروجی صحیح دارد، و «وزن» به فرآیند الگوریتمی که پاسخ صحیح را فراهم می‌کند، اختصاص داده می‌شود. این بدان معنی است که به تدریج «یاد می‌گیرد» که چه روش‌هایی به احتمال زیاد پاسخ درست را در آینده به دست خواهند آورد.

مقیاس این فرآیند «وزن دهی» پویا چیزی است که GPT-3 را به بزرگ‌ترین شبکه عصبی مصنوعی تبدیل می‌کند. به این نکته اشاره شده‌است که از برخی جهات، آن چه که انجام می‌دهد، چیز جدیدی نیست، زیرا مدل‌های ترانسفورمر پیش‌بینی زبان، سال‌ها است که وجود دارند. با این حال، تعداد وزن‌هایی که الگوریتم به صورت پویا در حافظه خود نگه می‌دارد و برای پردازش هر عبارت مورد استفاده قرار می‌گیرد ۱۷۵ میلیارد است-ده برابر نزدیک‌ترین رقیب آن که توسط Nvidia تولید شده‌است.

مشکلات GPT-3 چیست؟

توانایی GPT-3 در تولید زبان به عنوان بهترین چیزی است که تا کنون در هوش مصنوعی دیده شده‌است؛ با این حال، برخی ملاحظات مهم وجود دارد. مدیر عامل OpenAI، سم آلتمن، گفته‌است: هیجان GPT-3 بسیار زیاد است. عفو بین‌الملل جهان را تغییر خواهد داد، اما GPT-3 تنها یک نگاه گذرای زودهنگام است.

اول، به دلیل مقدار زیاد توان محاسباتی مورد نیاز برای انجام این کار، در حال حاضر یک ابزار بسیار گران‌قیمت است. این بدان معنی است که هزینه استفاده از آن فراتر از بودجه سازمان‌های کوچک‌تر خواهد بود.

دوم، یک سیستم بسته یا جعبه سیاه است. OpenAI جزئیات کامل الگوریتم های آن را آشکار نکرده است، بنابراین هر کسی که برای پاسخ به سوالات و یا خلق محصولاتی که برای آن‌ها مفید است به آن تکیه می‌کند، به طور کامل مطمئن نخواهد بود که آن‌ها چگونه ایجاد شده‌اند.

سوم اینکه خروجی این سیستم هنوز کامل نیست. در حالی که می‌تواند کارهایی مانند ایجاد متون کوتاه یا برنامه‌های کاربردی پایه را مدیریت کند، خروجی آن وقتی که از او خواسته می‌شود چیزی طولانی‌تر یا پیچیده‌تر تولید کند، فایده کمتری خواهد داشت.

این ها به وضوح مسائلی هستند که ما می‌توانیم انتظار داشته باشیم در طول زمان به آن‌ها پرداخته شود-به مرور، قدرت محاسباتی به کاهش قیمت ادامه می‌دهد، استانداردسازی در اطراف باز بودن پلتفرم‌های هوش مصنوعی ایجاد می‌شود و الگوریتم‌ها با افزایش حجم داده‌ها به خوبی تنظیم می‌شوند.

در کل، این یک نتیجه‌گیری خوب است که GPT-3 نتایجی را تولید می‌کند که بسیار جلوتر و پیشرفته‌تر از آنچه قبلا دیده‌ایم هستند. هر کسی که نتایج زبان هوش مصنوعی را دیده باشد می‌داند که نتایج می‌تواند متغیر باشد و خروجی GPT-3 بدون شک مانند یک گام رو به جلو به نظر می‌رسد. هنگامی که ما آن را به درستی در دستان عموم و در دسترس همه ببینیم، عملکرد آن حتی باید تاثیرگذارتر هم بشود.

این مقاله با استفاده از ربات ترجمه تخصصی مقالات هوش مصنوعی ترجمه شده و به صورت محدود مورد بازبینی انسانی قرار گرفته‌است. بنابراین ممکن است دارای خطاهای احتمالی باشد.

مقالات لینک‌شده در این متن می‌توانند به صورت رایگان با استفاده از مقاله‌خوان ترجمیار به فارسی مطالعه شوند.