در چشم انداز به سرعت در حال تحول هوش مصنوعی، رویکرد سنتی برای تقویت مدل های زبان از طریق افزایش صرف در اندازه مدل دستخوش تحولی اساسی است. این تغییر بر رویکرد استراتژیک‌تر و داده‌محور تأکید می‌کند، همانطور که با پیشرفت‌های اخیر در مدل‌هایی مانند Llama3 نشان داده شده است .
📷
از نظر تاریخی، باور غالب در پیشرفت قابلیت‌های هوش مصنوعی این بوده است که بزرگتر بهتر است.
در گذشته، ما شاهد افزایش چشمگیر قابلیت های یادگیری عمیق به سادگی با افزودن لایه های بیشتر به شبکه های عصبی بوده ایم. الگوریتم‌ها و برنامه‌هایی مانند تشخیص تصویر، که زمانی قبل از ظهور یادگیری عمیق تنها از نظر تئوری ممکن بود ، به سرعت به طور گسترده پذیرفته شدند. توسعه کارت‌های گرافیکی این روند را بیشتر تقویت کرد و مدل‌های بزرگتر را قادر ساخت تا با کارایی فزاینده اجرا شوند. این روند به تبلیغات مدل زبان بزرگ کنونی نیز منتقل شده است.
به طور دوره‌ای، با اعلامیه‌هایی از سوی شرکت‌های بزرگ هوش مصنوعی مواجه می‌شویم که مدل‌هایی را با ده‌ها یا حتی صدها میلیارد پارامتر منتشر می‌کنند. درک دلیل آن آسان است: هر چه یک مدل پارامترهای بیشتری داشته باشد، مهارت بیشتری پیدا می کند. با این حال، این روش brute-force مقیاس‌بندی به نقطه‌ای از بازده کاهش یافته است، به‌ویژه زمانی که مقرون به صرفه بودن چنین مدل‌هایی در کاربردهای عملی در نظر گرفته می‌شود. اعلامیه اخیر متا در مورد رویکرد Llama3، که از 8 میلیارد پارامتر استفاده می کند، اما با 6 تا 7 برابر داده های آموزشی با کیفیت غنی شده است، با کارایی مدل های قبلی مانند GPT3.5 مطابقت دارد – و در برخی سناریوها از آن فراتر می رود. دارای بیش از 100 میلیارد پارامتر این یک محور مهم در قانون مقیاس‌بندی برای مدل‌های زبانی است، جایی که کیفیت و کمیت داده‌ها نسبت به اندازه واقعی اولویت دارند.
همانطور که مدل‌های هوش مصنوعی (AI) از توسعه به استفاده عملی می‌روند، تأثیر اقتصادی آنها، به‌ویژه هزینه‌های عملیاتی بالای مدل‌های مقیاس بزرگ، به طور فزاینده‌ای قابل توجه می‌شود. این هزینه‌ها اغلب از هزینه‌های آموزشی اولیه فراتر می‌رود و بر نیاز به رویکرد توسعه پایدار تأکید می‌کند که استفاده کارآمد از داده‌ها را بر اندازه مدل توسعه‌یافته اولویت می‌دهد. استراتژی هایی مانند افزایش داده ها و یادگیری انتقال می توانند مجموعه داده ها را افزایش دهند و نیاز به بازآموزی گسترده را کاهش دهند. ساده‌سازی مدل‌ها از طریق انتخاب ویژگی و کاهش ابعاد، کارایی محاسباتی را افزایش می‌دهد و هزینه‌ها را کاهش می‌دهد. تکنیک هایی مانند ترک تحصیل و توقف زودهنگام تعمیم را بهبود می بخشد و به مدل ها اجازه می دهد با داده های کمتر به طور موثر عمل کنند. استراتژی‌های استقرار جایگزین مانند محاسبات لبه، اتکا به زیرساخت‌های ابری پرهزینه را کاهش می‌دهند، در حالی که رایانش بدون سرور، استفاده از منابع مقیاس‌پذیر و مقرون‌به‌صرفه را ارائه می‌دهد. با تمرکز بر توسعه داده محور و کاوش در روش های استقرار اقتصادی، سازمان ها می توانند اکوسیستم هوش مصنوعی پایدارتری ایجاد کنند که عملکرد را با کارایی هزینه متعادل می کند.
چشم انداز توسعه هوش مصنوعی در حال تغییر پارادایم است، با تاکید فزاینده بر استفاده کارآمد از داده ها و بهینه سازی مدل. شرکت های متمرکز هوش مصنوعی به طور سنتی بر ایجاد مدل های بزرگتر برای دستیابی به نتایج پیشرفته متکی بوده اند. با این حال، این استراتژی به طور فزاینده ای ناپایدار می شود، هم از نظر منابع محاسباتی و هم از نظر مقیاس پذیری.
از سوی دیگر، هوش مصنوعی غیرمتمرکز مجموعه‌ای از چالش‌ها و فرصت‌ها را ارائه می‌کند. شبکه‌های بلاک چین غیرمتمرکز، که شالوده هوش مصنوعی غیرمتمرکز را تشکیل می‌دهند، در مقایسه با شرکت‌های متمرکز هوش مصنوعی طراحی متفاوتی دارند. این امر، رقابت با نهادهای متمرکز را از نظر مقیاس‌بندی مدل‌های بزرگتر و در عین حال حفظ کارایی در عملیات غیرمتمرکز، برای شرکت‌های غیرمتمرکز هوش مصنوعی چالش‌برانگیز می‌کند.
اینجاست که جوامع غیرمتمرکز می توانند پتانسیل خود را به حداکثر برسانند و جایگاهی در چشم انداز هوش مصنوعی ایجاد کنند. با استفاده از اطلاعات و منابع جمعی، جوامع غیرمتمرکز می توانند مدل های پیشرفته هوش مصنوعی را توسعه دهند و به کار گیرند که هم کارآمد و هم مقیاس پذیر هستند. این آنها را قادر می سازد تا به طور موثر با شرکت های متمرکز هوش مصنوعی رقابت کنند و آینده توسعه هوش مصنوعی را هدایت کنند.
مسیر توسعه آینده هوش مصنوعی باید بر ایجاد مدل هایی تمرکز کند که نه تنها نوآورانه بلکه یکپارچه و مقرون به صرفه باشند. تاکید باید به سمت سیستم هایی تغییر کند که بتوانند با هزینه های قابل مدیریت و استفاده از منابع به سطوح بالایی از دقت و کاربرد دست یابند. چنین استراتژی نه تنها مقیاس پذیری فناوری های هوش مصنوعی را تضمین می کند، بلکه دسترسی و پایداری آنها را در دراز مدت تضمین می کند.
همانطور که حوزه هوش مصنوعی به بلوغ می رسد، استراتژی های توسعه هوش مصنوعی باید بر این اساس تکامل یابد. تغییر از ارزش گذاری اندازه به اولویت بندی کارایی و مقرون به صرفه بودن در آموزش مدل، صرفا یک انتخاب فنی نیست، بلکه یک ضرورت استراتژیک است که نسل بعدی برنامه های کاربردی هوش مصنوعی را تعریف می کند. این رویکرد احتمالاً عصر جدیدی از نوآوری را تسریع خواهد کرد، جایی که توسعه هوش مصنوعی توسط شیوه‌های هوشمند و پایدار هدایت می‌شود که نوید پذیرش گسترده‌تر و تأثیر بیشتر را می‌دهد.
