بررسی مدل‌های تولید شبکه و بهبود روند تولید با کمک ابزارهای هوش مصنوعی و شبکه‌های عصبی

گرداورنده: مائده حشمتی

چکیده:

این مستند به بررسی تعدادی از مدل‌های تولید شبکه از ابتدا تا کنون و بهبود روند تولید با استفاده از ابزارهای هوش مصنوعی و شبکه‌های عصبی می‌پردازد. در این مطالعه، مدل‌های اولیه و پیشرفته‌تر شبکه‌ها مورد بررسی قرار گرفته‌اند تا شبکه‌هایی نزدیک به شبکه‌های دنیای واقعی تولید شوند. همچنین، مفاهیم کلیدی مورد استفاده در این مقاله و مراحل انجام مدل TagGen و Tigger به تفصیل شرح داده شده‌اند. در ادامه، با مطالعه منابع و جستجوی بیشتر، دیدگاه عمیق‌تری نسبت به موضوع ارائه شده است. درنهایت با معرفی مدل های زبانی بزرگ که یکی از پیشرفته‌ترین مدل های هوش مصنوعی می‌باشد به کاربردهای متنوع آن در تولید شبکه‌های پیچیده پرداخته می‌شود. مدل‌های زبانی بزرگ (LLMs) به عنوان یکی از پیشرفته‌ترین دستاوردهای هوش مصنوعی، توانایی‌های بی‌سابقه‌ای در پردازش زبان طبیعی و فراتر از آن از خود نشان داده‌اند. این مستند به بررسی جامع LLM ها، معماری آن‌ها، روش‌های آموزش، ویژگی‌های برجسته، محدودیت‌ها و کاربردهای آن‌ها در تولید و تحلیل شبکه‌های پیچیده می‌پردازد. همچنین، به یک مطالعه موردی در مورد کاربرد LLM ها در شبکه‌ها اشاره می‌شود. در نهایت، چالش‌های پیش رو و چشم‌انداز آینده این فناوری مورد بحث قرار می‌گیرد.

مقدمه:

شبکه‌های پیچیده (Complex Networks) شبکه‌هایی هستند که از مجموعه‌ای از نودها (گره‌ها) و یال‌ها (اتصالات بین گره‌ها) تشکیل شده‌اند و ساختار آن‌ها می‌تواند به صورت تصادفی یا با قواعد خاصی شکل بگیرد. این شبکه‌ها به دلیل ویژگی‌های خاص خود، کاربردهای فراوانی در علوم مختلف دارند.از جمله کاربردهای آن‌ها در تحلیل شبکه‌های اجتماعی٬ بیولوژیکی٬ حمل و نقل و شبکه‌های ارتباطی می‌باشد. تحلیل و تولید شبکه‌های پیچیده در زمینه‌های مختلفی مانند مدیریت و بهینه سازی منابع٬ شناسایی الگو و رفتارها٬ تشخیص ناهنجاری و پیشگیری از بحران ها و طراحی شبکه‌های پایدار مورد استفاده قرار می‌گیرند. تولید شبکه‌هایی که ویژگی‌های شبکه‌های دنیای واقعی را داشته باشند، یکی از چالش‌های اصلی در این حوزه است. در این مقاله، مدل‌های مختلف تولید شبکه از ساده‌ترین مدل‌ها تا مدل‌های پیشرفته‌تر مورد بررسی قرار گرفته‌اند. هدف اصلی این مطالعه، بهبود روند تولید شبکه‌ها با استفاده از ابزارهای هوش مصنوعی و شبکه‌های عصبی است.

بررسی ادبیات و کارهای گذشته:

در این بخش، مدل‌های مختلف تولید شبکه از جمله مدل‌های رندوم، مدل واتس اشترگاتز، مدل Configuration، شبکه‌های دوبخشی، مدل بلوک تصادفی و مدل‌های رشد ترجیحی مانند مدل پرایس و مدل باراباشی-آلبرت مورد بررسی قرار گرفته‌اند. هر یک از این مدل‌ها ویژگی‌های خاص خود را دارند و در زمینه‌های مختلفی کاربرد دارند.

با شروع از ساده‌ترین مدل یعنی مدل های تولید شبکه رندوم که به نام های Erdos Renyi یا گراف تصادف پواسون است به سراغ دنیای مدل های شبکه می‌رویم. این مدل از ساده‌ترین مدل های شبکه است که در عمل به تنهایی کاربرد زیادی ندارد اما از خاصیت‌های آن در مدلهای دیگر استفاده می‌شود. این مدل ویژگی‌هایی همچون small world, Average Shortest Path و Small Compenents را داراست.

با اقتباس از مدل اردوش رنی مدل واتس اشترگاتز ایجاد می‌شودکه در این مدل در کنارقطر کوچک (Small World)٬ شبکه ایجاد شده دارای Clustering بالایی می‌باشد. هدف تولید شبکه ای بود که از هردوی این ویژگی‌ها بهره مند باشد. با روش تغییر تصادفی یالها از گرافی که دارای clustering بالایی می‌باشد به گرافی خواهیم رسید که با حفظ تقریب خوبی از دسته بندی٬ به ویژگی small world نیز خواهد رسید.

مدل بعدی مدل Configuration می‌باشد. در این مدل به جای توزیع درجه ها ما در ابتدا دنباله درجه ها را داریم. در این مدل با دانش درجه ها هر راس به صورت مجزا به درجه ی متناظر خود به یک نیم یال متصل میشود. سپس به صورت رندوم نیم یالها را به یکدیگر متصل می‌کنیم. در این مدل با رویکرد گفته شده هم توزیع درجه ی مورد نظرحفظ می‌شود و هم تمام ویژگی‌های تصادفی بودن را دارد. این مدل در مطالعات شبکه‌ها بسیار کارآمد و مفید است؛ همچنین برای شبیه سازی انواع شبکه‌های پیچیده نیز کاربرد دارد. این مدل در تعداد رئوس بالا ویژگی‌هایی همچون ٬ قطر کوچک شبکه و توزیع درجه Power Law داراست. این مدل به محققان این امکان را می‌دهد تا شبکه‌هایی با توزیع درجه خاصی تولید کرده و ویژگی‌های مطلوب خود را روی آن شبکه مورد بررسی قرار دهند.

در ادامه به بررسی شبکه‌های دوبخشی پرداخته می شود. شبکه‌های دو بخشی نوع خاصی از شبکه‌ها هستند که در آنها گره‌ها به دو دسته متمایز تقسیم می‌شوند و یال ها تنها بین گره‌های این دو دسته ایجاد می‌شوند و نه درون آنها. می‌توان از شبکه‌های دو بخشی برای مدل‌سازی سیستم‌هایی مانند شبکه همکاری‌های علمی (دانشمندان و مقالات) بهره برد. در این مدل توزیع درجه برای هر بخش می‌تواند مستقل از یکدیگر باشد؛ بنابراین برای شبیه سازی مدلهایی که دو دسته مجزا از هم دارند بسیار مفید و کارآمد می‌باشد.

در مدل های configuration ویژگی‌هایی همچون Assortativity به دلیل تصادفی بودن اتصالات زیاد مشاهده نمی شود. با وجود این راهکارهایی وجود دارد تا بتوان با حساب آوردن وابستگی‌های درجه‌ای٬ شبکه‌هایی با این خصوصیات ایجاد و تحلیل کرد. در مورد ویژگی‌های دیگر مانند transitivity و clustering نیز می‌توان با افزودن پارامترهای جدید به دنباله درجه ها و ساخت شبکه با در نظر گرفتن تمام پارامترهای جدید٬ به ساختارهای نزدیک تری نسبت به شبکه‌های دنیای واقعی از مدل پیکربندی برسیم.

مدل بعدی به سراغ stochastic block model می‌رویم. این مدل آماری بیشتر به منظور مدل سازی ساختارهای اجتماعی (Community Structures) و مدل های لایه‌ای استفاده می‌شود. در مدل٬ما ماتریس احتمال اتصال بین درون بلوکی و برون بلوکی را داریم و دانستن تعداد بلوک ها به ساختن می پردازیم. حالت پویای این مدل برای شبکه‌هایی که در طول زمان تغییر می‌کنند نیز تعریف و بررسی شده است. مدل بلوک تصادفی به دلیل قابلیت زیاد در شناسایی و مدل‌سازی ساختارهای پیچیده شبکه، همچنان یکی از ابزارهای اصلی در تحلیل شبکه‌های پیچیده است.

در بخشبعدی به سراغ تحلیل و بررسی دقیق‌تر ویژگی‌های شبکه‌های دنیای واقعی پرداخته می‌شود. در این بخش به مدل هایی پرداخته می‌شود که به ایجاد شبکه‌های واقعی می‌انجامد. بررسی دلیل وجود برخی ویژگی‌ها و سپس شبیه سازی مدل ها برای ویژگی‌های دیگر.

در آغاز برای ایجاد و تکمیل شدن گراف با رویکرد preferential attachment یا cumulative advantage پیش می‌رویم. این رویکرد به این معنا می‌باشد که برای هر راس احتمالی در نظر گرفته می‌شود تا هر راس جدید متناسب با این احتمالات به رئوس موجود در گراف متصل شود. این احتمالات نیز بر اساس معیاری که در نظر می‌گیریم مانند درجه هر راس٬ محاسبه و نرمال می‌شود.

اولین مدل: مدل price
مدل پرایس یکی از مدل‌های اولیه برای توصیف رشد شبکه‌هایی است که با اضافه شدن گره‌ها و یال هابه مرور زمان توسعه می‌یابند. این مدل برای توضیح ساختار شبکه‌های استنادی (citationnetworks) علمی ارائه شد. در این مدل هر راس جدید تمایل به اتصال به گره‌های با درجه بالاتر دارد. همان مدلrich get richer. مدل پرایس پایه‌گذار بسیاری از تحقیقات مدرن در زمینه شبکه‌های پیچیده بوده و به توسعه مدل‌های دیگری مانند مدل باراباشی-آلبرت کمک کرده است٬ که پدیده رشد ترجیحی را به طور گسترده‌تری توضیح می‌دهند. ویژگی بارز و مورد توجه این مدل٬ توزیع درجه Power Law می‌باشد.

دومین مدل: مدل باراباشی آلبرت

روند تشکیل این مدل مانند مدل پاریس است با این تفاوت که فقط برای گراف های غیرجهت دار مناسب است و درجه راس جدید در مرحله ثابت است. یکی از ویژگی‌های جالب این مدل٬ Scale Free بودن آن می‌باشد. یعنی توزیع درجه ها از قانون توانی پیروی میکنند که موجب ایجاد نودهای هاب می‌شود.

تفاوت این مدل با مدل پرایس٬ همانطور که پیش تر اشاره شد٬ در درجه راس ورودی می‌باشد. در‌واقع در مدل باراباشی مینیمم درجه هر راس بزرگ‌تر یا مساوی مقدار m است. هر دو مدل بر رشد ترجیحی تاکید دارند، اما با رویکردها و کاربردهای متفاوتی به مسئله شبکه‌های پیچیده می‌پردازند. مدل باراباشی-آلبرت به عنوان یک مدل پایه‌گذار و عمومی برای شبکه‌های پیچیده شناخته می‌شود، در حالی که مدل پرایس بیشتر به مباحث استنادی و اطلاعاتی پرداخته است.

در بسیار موارد با اقتباس از مدل باراباشی آلبرت شروع به ایجاد مدل های دیگری با پارامترهای دیگری شده است. هدف این تغییرات نزدیک شدن بیشتر به ساختار شبکه‌های پیچیده ی دنیای واقعی بوده است.

ازجمله مشکلاتی که مدل باراباشی آلبرت با آن‌ها مواجه بود می‌توان به نبودن clustering ٬ ثابت بودن مقدار توان در توزیع درجه و تکاملی نبودن ساخت گراف (فقط اضافه می شود) اشاره کرد. برای بهبود این مدل ها مدل های دیگری همچون Copying Model, Forest Fire, و گراف های Kronecker اشاره کرد که هرکدام سعی بر بهبود و افزودن ویژگی‌های ساختاری شبکه‌های واقعی بر مدل های مصنوعی مانند تکامل٬ قطر کوچک و چگالی بیشتر در طی زماندارند.

در ادامه به تحلیل و بررسی ظهور هوش مصنوعی و یادگیری عمیق در تولید شبکه‌های پیچیده می‌پردازیم. در ابتدا اصطلاحاتی برای درک بهتر ادامه مطلب تشریح شده است.

مفاهیم کلیدی:

Graph generative model

مدل‌های تولیدی گراف روش‌هایی در یادگیری ماشین هستند که هدفشان تولید گراف‌های جدید است. این مدل‌ها تلاش می‌کنند ویژگی‌ها و ساختارهای آماری گراف‌های مشاهده شده را یاد بگیرند و از آن برای تولید گراف‌های جدید و مشابه استفاده کنند. از جمله‌ این مدل ها می‌توان به مدل های احتمالاتی مانند اردوش رنی٬ GANs , و شبکه‌های عصبی گراف ها اشاره کرد.

Loss Function

تابع هزینه یا تابع زیان در علم آمار و بهینه‌سازی تابعی است که مقدار زیان را در یک رخداد نشان می‌دهد. تابع هزینه همچنین در علم اقتصاد، کنترل بهینه و مدیریت ریسک کاربرد دارد. درواقع این تابع برای هر داده بررسی میکند چه میزان هزینه ای لازم دارد. با توجه به مسأله ای که با آن رو به رو هستیم به دنبال مینمم کردن و بهینهکردن این تابع هستیم. تابع هزینه اندازه‌گیری می‌کند که مدل تا چه اندازه با داده‌های آموزشی موجود همخوانی دارد.

stochastic gradient descent

روش نزول گرادیان تصادفی (SGD) یک الگوریتم بهینه‌سازی است که به طور گسترده در زمینه یادگیری ماشین و به‌ویژه برای آموزش مدل‌های شبکه عصبی (Neural Networks) استفاده می‌شود. در یادگیری ماشین این روش به دنبال یافتن پارامترهای مسأله می‌باشد که تابع هزینه (Loss Function) را مینمم کند.

تکنیک دیگری موجود است که یکی از پیشرفته‌ترین مکانیزم های پردازش اطلاعات است که به بهبود عملکرد مدل ها در فهم وابستگی‌های درونی و سلسه مراتبی در داده‌ها کمک می‌کند. در‌واقع این مکانیز دو سطح بررسی توجه درون گروهی و برون گروهی دارد. در درون گروهی توجه به داده‌های جزئی تر می‌باشد و هدف این نوع درک وابستگی‌های محلی و جزئی تر در بخش‌های کوچک‌تر می‌باشد. در سطح دوم توجه و تمرکز بر روی ارتباطات میان بخش‌های کوچک‌تری که در سطح اول بررسی شده٬ قرار دارد. در‌واقع این مکانیزم امکان درک وابستگی‌ها و تعاملات کلی‌تر و سطح بالاتر میان بخش‌های مختلف داده‌ها را فراهم می‌سازد.

GAN

شبکه ­های مولد خصمانهبا استفاده از معماری شبکه های عصبی کانولوشنی قادرند تا از مجموعه ای از تصاویر ( دیتاست) یاد بگیرد و تصاویری مشابه تصاویر واقعی اما کاملاً جدیدی که در دیتاست موجود نیست را تولید کنند. این شبکه‌ها از موفق‌ترین و شناخته‌شده‌ترین معماری‌ها در یادگیری عمیق هستند که برای تولید داده‌های جدید از روی داده‌های موجود استفاده می‌شوند و شامل دو بخش مجزا که هرکدام یک شبکه عصبی می‌باشند و به صورت خصمانه با یکدیگر رقابت میکنند٬ می‌باشد. بخش اول مولد یا همان Generator و بخش دوم متمایزگر یا همان Discriminator می‌باشد. هدف اصلی مدل مولد تولید عکس مشابه داده‌های واقعی که تشخیص غیرواقعی بودن آن به صفر نزدیک باشد و مدل متمایزگر با هدف تشخیص عکس واقعی از غیرواقعی که توسطمولد تولید شده است در کنار مدل دیگرارتقا پیدا میکند. با علم نظریه بازی‌ها خواهیم داشت: مولد و متمایزگر در یک بازی با جمع صفر شرکت می‌کنند: مولد می‌خواهد متمایزگر را فریب دهد و متمایزگر می‌خواهد داده‌های جعلی مولد را شناسایی کند.

NetGAN

تولید گراف های واقعی که شبکه‌های دنیای واقعی را با یادگیری الگوها و ویژگی‌های توپولوژیزیرین یک گرافورودی تقلید کنند. NetGAN به‌گونه‌ای طراحی شده است که به جای حفظ نمودار ورودی، آن را تعمیم دهد. این تعمیم‌دهی برای ایجاد نمودارهایی که واقعی و متنوع هستند، به‌جای اینکه کپی دقیقی از نمودار ورودی باشند، حیاتی است. مدل تلاش می‌کند تا ویژگی‌های کلیدی توپولوژیشبکه‌های دنیای واقعی مانند توزیع درجه، همگرایی و ضریب خوشه بندی را بدون تعریف صریح این ویژگی‌ها در مدل، به خود بگیرد. NetGan از چارچوب Wasserstein GAN (WGAN) برای آموزش استفاده می‌کند. WGAN فاصله Wasserstein بین توزیع پیاده‌روی‌های تصادفی تولید شده و توزیع پیاده‌روی‌های تصادفی واقعی از نمودار ورودی را به حداقل می‌رساند. این رویکرد پویایی‌های آموزشیپایداری را ارائه می‌دهد و از مشکلات رایج GAN مانند mode collapse (تولید خروجی‌هایی با تنوع محدود توسط مولد) جلوگیری می‌کند. استفاده از جریمه گرادیان تضمین می‌کند که خروجی تفکیک‌کننده به‌طور یکنواختبا توجه به ورودی آن تغییر کند و پایداری آموزش را بهبود می‌بخشد. فرآیند آموزش با نمونه‌برداری از پیاده روی رندوم (گرفتن ساختارهای محلی و جهانی نمودار) شروع می‌شود، با آموزش متوالی مولد و تفکیک‌کننده ادامه می‌یابد و با آموزش سرتاسری همراه با پس‌انتشار گرادیان‌ها به پایان می‌رسد.

GraphRNN

یک مدل مولد دیگریبرای تولید گراف‌ها است که با استفاده از شبکه‌های عصبی بازگشتی (RNNs) طراحی شده است. این مدل می‌خواهد به‌طور مؤثری اطلاعات ساختاری گراف‌ها را یاد بگیرد و گراف‌هایی جدید با ویژگی‌های مشابه گراف‌های آموزشی تولید کند. این مدل از دو بخش Node Level RNN و Edge Level RNN ایجاد شده است که هردو در تلاشند ساختار دل خواه خود را حفظ و بهبود دهند. یعنی مدل سازی رئوس و یالها تقریباً به صورت مستقل از هم تکامل می یابند. ابتدا سطح گره آموزش داده می‌شود و سپس سطح یال ها با رئوس ایجاد شده آموزش داده می‌شوند. برخلاف روش‌های سنتی مبتنی بر ماتریس مجاورت گراف، در Graph RNNها تعداد پارامترها زیاد وابسته به اندازه گراف نیست. این مدل‌ها طراحی شده‌اند تا بتوانند ساختارهای پیچیده و غنی از اتصالات مانند گراف‌ها را مدل کنند که در بسیاری از مسائل واقعی از جمله شبکه‌های اجتماعی، شبکه‌های بیولوژیکی و شبکه‌های ارتباطی حضور دارند.

TagGen

اساس کار این مدل با لاگ های سیستمی می‌باشد که به صورت سری زمانی در اختیار ما قرار دارند. در‌واقع در هر زمان (Timestamps) اطلاعاتی از داده‌های موجود را با کمک لاگ سیستم در اخیار می‌گیریم و سعی بر یادگیری با دانش در اختیار داریم. شروع این مدل با رویکردی نوآورانه به تولید شبکه می‌پردازد و سعی بر آن دارد که به صورت پیوسته با حفظ ساختار و ویژگی‌های مدل اولیه به تکامل و پیش روی شبکه بپردازد. این مدل با پارامتر کردن یک مکانیزم bi-level self-attention با عملیات محلی دیگر(حذف یا افزودن)٬ پیاده روی تصادفی زمانی ای تولید می‌کند. سپس یک متمایز کننده هریک از این random walk ها را بررسی میکند و از میان آن‌ها تعیین می‌کند کدام دسته از آن‌ها ساختار اولیه دیتای آموزشی را دارد و از توزیع درجه یکسانی برخوردار استتا مورد استفاده قرار بگیرند. روند اجرای این الگوریتم به صورت زیر است:

sampling: با کمک random walk و کاوش محلی به دنبال مجموعه‌ای از دنباله هایی هستیم که موجب تولید همسایگی برای راس مورد مطالعه شده است. برای نمونه‌برداری منصفانه و مؤثر از همسایگی، باید از بین کل داده‌ها، رخداد های زمانی نماینده‌تری را به عنوان گره‌های اولیه انتخاب کنیم.

Generation: از میان نمونه‌های انتخاب شده در بخش قبلی٬ با استفاده از عملیات افزودن و حذف به صورت تصادفی سعی بر شبیه سازی تکامل شبکه بر اساس شبکه‌های واقعی داریم. در این مرحله می‌توان از تکنیک های دیگری نیز برای بهبود و تغییر temporal random walks استفاده کرد.

Discriminator: با بررسی likelihood برای graph context تولید شده بر اساس داده آموزشی بر اساس قیاس توزیع درجه تعیین می‌کند چقد خوب است و مجدد این روند تکرار می‌شود تا با افزودن و حدف های متوالی و کم کم در نهایت به گراف زمینه‌ای مناسب برسیم.

Assembling: مونتاژ گراف با کمک تمام داده‌های اولیه و تولید شده توسط مراحل قبلی و افزودن یال در زمان های مختلف تا رسیدن به چگالی داده‌های اصلی اولیه.

در تولید گراف‌های زمانی که هم ویژگی‌های ساختاری و هم زمانی داده‌های اصلی را حفظ می‌کند، بسیار موفق است. این مدل به خصوص در سیستم‌های دینامیک که تغییرات زمانی در آن‌ها بحرانی است، مانند مجموعه داده BITCOIN، مؤثر است.

Tigger

الگوریتم TIGGER برای حل مشکلات موجود در مدل‌های مولد گراف‌های زمانی طراحی شده است. چالش‌های اصلی که در مدل‌های قبلی وجود داشت شامل:

عدم مقیاس‌پذیری: بسیاری از مدل‌های قبلی نمی‌توانند به‌خوبی با افزایش تعداد نودها یا زمان‌ها مقیاس‌پذیر باشند.

ماهیت ترانسداکتیو: مدل‌های قبلی توانایی انتقال دانش به گراف‌های جدید را نداشتند.

نشت اطلاعات هویت رئوس: اغلب مدل‌ها اطلاعات هویت نودها را از گراف اصلی به گراف تولید شده منتقل می‌کنند که باعث کاهش کیفیت گراف‌های تولیدی می‌شود.

این مدل با کمک شبکه‌های عصبی بازگشتی٬ داده‌های آموزشی را استخراج می‌کند و به صورت پویا تعاملات گره ها و timestamps را پیش بینی می کند و توانایی مدل را برای ثبت پویایی های زمانی افزایش می دهد. تفاوت این مدل با مدل tagGen در افزایش کیفیت گراف های تولیدی و در عین حال کاهش تکرار الگوریتم می‌باشد. مقیاس پذیری بهتری دارد و در مقایسه با سایر الگوریتم ها از خطای کمتری در حفظ ساختار و ویژگی شبکه‌های بزرگ برخوردار است.

تا کنون، مدل‌های مختلف تولید شبکه بررسی شده‌اند و تلاش شده است تا با استفاده از ابزارهای هوش مصنوعی و شبکه‌های عصبی، روند تولید شبکه‌ها بهبود یابد. مدل TagGen به عنوان یک مدل نوآورانه، توانسته است با استفاده از مکانیزم‌های پیشرفته‌ای مانند bi-level self-attention و random walk، شبکه‌هایی با ویژگی‌های نزدیک به شبکه‌های دنیای واقعی تولید کند.

اما در ادامه به سراغ یکی از پیشرفته‌ترین مدل های هوش مصنوعی رفته و به تحلیل بیشتر در این حوزه می‌پردازیم.

مدل های نو ظهور و در حال گسترش :

ظهور مدل‌های زبانی بزرگ (LLMs) انقلابی در حوزه پردازش زبان طبیعی و فراتر از آن ایجاد کرده است. این مدل‌ها با بهره‌گیری از معماری‌های پیچیده شبکه‌های عصبی و آموزش بر روی حجم عظیمی از داده‌های متنی، قادر به انجام طیف گسترده‌ای از وظایف زبانی هستند که تا پیش از این تنها در انحصار انسان بود.

پیش از ظهور LLM ها، مدل‌های زبانی مبتنی بر شبکه‌های عصبی بازگشتی (RNNs) و شبکه‌های عصبی کانولوشنی (CNNs) برای پردازش زبان طبیعی استفاده می‌شدند. با این حال، این مدل‌ها با محدودیت‌هایی مانند مقیاس‌پذیری ضعیف و ناتوانی در پردازش متن‌های طولانی مواجه بودند. معرفی معماری ترانسفورمر (Transformer) در سال 2017 توسط گوگل، انقلابی در این حوزه ایجاد کرد و پایه‌ای برای توسعه LLM ها شد.

Transformer

مقاله Attention Is All You Need با معرفی معماری ترنسفورمر، یک تحول بزرگ در حوزه پردازش زبان طبیعی ایجاد کرد. این مدل به‌ویژه در زمینه پردازش زبان طبیعی (NLP) و ترجمه ماشینی به کار می‌رود و هدف اصلی آن این است که یک مدل بدون استفاده از لایه‌های بازگشتی (RNN) یا کانولوشنی (CNN) معرفی کند که قادر باشد عملکرد بهتری در تبدیل دنباله‌ها، به‌ویژه در ترجمه ماشینی، داشته باشد. در این معماری، تأکید اصلی بر مکانیزم توجه (Attention) به‌عنوان یک ویژگی اصلی در این مدل است.

مکانیزم توجه : در مدل‌های ترانسفورمر، مکانیزم توجه به‌طور خاص نقش کلیدی دارد. برخلاف مدل‌های قبلی که از شبکه‌های بازگشتی استفاده می‌کردند و می‌بایست ورودی‌ها را به‌طور تدریجی پردازش می‌کردند، مدل ترانسفورمر قادر است که به‌طور موازی تمام توکن‌ها را پردازش کند. این امر باعث می‌شود که سرعت آموزش افزایش یابد و از طرفی، مدل قادر باشد وابستگی‌های بلندمدت میان کلمات مختلف را به‌خوبی یاد بگیرد. عملکرد مکانیزم توجه به‌ویژه در شناسایی وابستگی‌های بلندمدت مورد استفادهقرار گرفته است.

توجه چندسر (Multi-Head): یکی دیگر از ویژگی‌های برجسته مدل ترنسفورمر، مولتی هداست. این ویژگیبه مدل این امکان را می‌دهد که هم‌زمان بر روی چندین بخش مختلف از ورودی تمرکز کند. این ویژگی باعث می‌شود که مدل بتواند اطلاعات مختلف را از ابعاد مختلف ورودی استخراج کند و نتایج بهتری در پردازش داده‌ها بدست آورد. به عنوان مثال، در لایه‌های مختلف مدل، توجه مولتی هدمی‌تواند به‌طور هم‌زمان وابستگی‌ها و ارتباطات مختلف میان کلمات را در یک زمانشناسایی کند.

کدگذاری موقعیتی (Positional Encoding): از آنجایی که مدل ترانسفورمر از هیچ نوع شبکه بازگشتی یا کانولوشنی استفاده نمی‌کند، برای حفظ اطلاعات موقعیتی و ترتیبی توکن‌ها در دنباله، از کدگذاری موقعیتی استفاده می‌شود. این کدگذاری به‌طور سینوسی و کسینوسی و با فرکانس‌های مختلف پیاده‌سازی می‌شود. این کدگذاری‌ها به ورودی‌های مدل افزوده می‌شوند و به مدل این امکان را می‌دهند که موقعیت هر توکن در دنباله را تشخیص دهد.

در نتیجه، مدل‌های ترنسفورمر قادرند وابستگی‌های بلندمدت را در یک جمله یا پاراگراف شناسایی کنند. این قابلیت به‌ویژه در پردازش جملات پیچیده که دارای روابط معنایی عمیق هستند، بسیار مفید است. به‌عنوان مثال، مدل می‌تواند بفهمد که در یک جمله مانند او کتاب را روی میز گذاشت و سپس از خانه رفت، کلمه «او» به شخصی خاص ارجاع دارد که به‌طور دقیق‌تری در متن قبلی ذکر شده است.

این مدل در مقایسه با مدل های قبلی سرعت آموزش بالاتر و کیفیت خروجی بهتری طبق نتایج روی دیتاست های مختلف داراست. از دیگر کاربردهای مهم مدل ترانسفورمر می‌توان به تجزیه ساختاری جملات اشاره کرد. این مدل نه تنها در ترجمه ماشینی بلکه در کارهای دیگر مانند تجزیه و تحلیل ساختار جملات نیز عملکرد خوبی از خود نشان داده است. این ویژگی باعث می‌شود که مدل به کارهای مختلف تعمیم یابد و در زمینه‌های مختلف پردازش زبان طبیعی به‌طور مؤثر عمل کند. این مدل با حذف شبکه‌های بازگشتی و استفاده از مکانیزم توجه، علاوه بر بهبود کیفیت مدل‌ها، زمان آموزش را نیز به‌طور قابل توجهی کاهش داد. این معماری به‌عنوان پایه برای مدل‌های پیشرفته‌تر مانند BERT و GPT عمل کرده است و تأثیر زیادی بر تحقیقات و کاربردهای عملی در زمینه هوش مصنوعی داشته است.

مدل‌های زبانی بزرگ (LLMs) مانند GPT (Generative Pre-trained Transformer) و BERT (Bidirectional Encoder Representations from Transformers) از معماری ترنسفورمر برای پردازش و تولید زبان استفاده می‌کنند. مدل GPT به‌طور خودکار متنی را تولید می‌کند که به سوالات و درخواست‌های مختلف پاسخ دهد. این مدل به‌طور معمول از یک معماری مبتنی بر Transformer Decoder استفاده می‌کند که به آن این امکان را می‌دهد تا یک دنباله متنی را به‌صورت تکمیلی تولید کند. مدل BERT نیز برخلاف GPT، از معماری Transformer Encoder بهره می‌برد و به‌طور خاص برای درک و پردازش متن‌های ورودی به‌صورت دوطرفه طراحی شده است. این مدل بیشتر در کاربردهایی مانند پاسخ به سوالاتو دسته‌بندی متنموثر است.

مدل GPT3

هدف اصلی مقاله‌ی Language Models are Few-Shot Learners بررسی قابلیت‌های مدل GPT-3 در یادگیری با تعداد کم نمونه (Few-Shot Learning) و ارزیابی عملکرد آن در شرایط مختلف یادگیری است. این مقاله، که توسط OpenAI منتشر شده، به معرفی و تحلیل GPT-3 پرداخته و نشان می‌دهد که چگونه این مدل می‌تواند بدون نیاز به تنظیم دقیق (Fine-Tuning) در طیف گسترده‌ای از وظایف پردازش زبان طبیعی (NLP) عملکردی عالی از خود نشان دهد. در اینجا، به طور مفصل‌تر و دقیق‌تر به جزئیات این مقاله پرداخته می‌شود.مدل GPT-3 (Generative Pre-trained Transformer 3) ازبزرگ‌ترین و پیشرفته‌ترین مدلهایزبانی است که توسط OpenAI توسعه داده شده و شامل ۱۷۵ میلیارد پارامتر می‌باشد. این مدل بر اساس معماری ترنسفورمر خودرگرسیو ساخته شده که هدف آن تولید پیش‌بینی‌های متنی به ازای ورودی‌های متنی است. این مدل برای آموزش به مجموعه‌های داده‌ بسیار وسیعی از متون وب و دیگر منابع دسترسی پیدا کرده است.
مدل‌های GPT، مانند GPT-3، برخلاف مدل‌های قدیمی‌تر که نیاز به تنظیم دقیق داشتند، قادرند وظایف مختلف را با استفاده از روش یادگیری درون‌متنی (In-Context Learning) انجام دهند. در این روش، مدل می‌تواند با مشاهده‌ی چند نمونه از یک وظیفه، به انجام آن وظیفه بدون نیاز به به‌روزرسانی پارامترها یا آموزش اضافی بپردازد.

مدل‌های زبانی بزرگ (LLMs) به عنوان یکی از مهم‌ترین دستاوردهای هوش مصنوعی در سال‌های اخیر، توانایی‌های بی‌سابقه‌ای در پردازش زبان طبیعی و کاربردهای مرتبط با آن از خود نشان داده‌اند. با وجود پیشرفت‌های چشمگیر، LLM ها هنوز با چالش‌هایی روبرو هستند که باید بر آن‌ها غلبه کرد. با این حال، آینده LLM ها بسیار روشن به نظر می‌رسد و انتظار می‌رود که در سال‌های آینده، شاهد پیشرفت‌های بیشتری در این حوزه باشیم.

کاربردهای LLM ها در تولید شبکه‌های پیچیده:

LLM ها به عنوان ابزاری قدرتمند برای تولید، تحلیل و پیش‌بینی رفتار شبکه‌های پیچیده، کاربردهای گسترده‌ای پیدا کرده‌اند. برخی از این کاربردها عبارتند از:

تحلیل و شبیه‌سازی شبکه‌های پیچیده با داده‌های متنی: مدل‌های LLM می‌توانند به تحلیل و استخراج ویژگی‌های شبکه‌های پیچیده از داده‌های متنی کمک کنند. به‌عنوان مثال، می‌توانند ارتباطات میان گره‌ها را از داده‌های متنی استخراج کرده و ساختار شبکه‌های پیچیده را شبیه‌سازی کنند.

تولید شبکه‌های پیچیده مبتنی بر زبان: مدل‌های مولد زبان می‌توانند شبکه‌های پیچیده‌ای را که ویژگی‌های خاصی دارند (مانند شبکه‌های اجتماعی یا شبکه‌های علمی) تولید کنند. برای این کار، از داده‌های متنی (مثل مقالات علمی، پست‌های شبکه‌های اجتماعی یا گفتگوها) به‌عنوان ورودی استفاده می‌شود تا شبکه‌ای مبتنی بر این اطلاعات تولیدشود.

به‌طور مثال، یک مدل LLM می‌تواند برای شبیه‌سازی شبکه‌های اجتماعی خاص، توضیحات متنی در مورد نوع ارتباطات یا تعاملات میان افراد ایجاد کند و سپس شبکه‌ای پیچیده تولید کند که شبیه به این نوع تعاملات باشد.

مدیریت و تحلیل شبکه‌های اجتماعی: شبکه‌های اجتماعی و تحلیل رفتارهای کاربران در این شبکه‌ها نیازمند مدل‌هایی هستند که بتوانند همزمان با داده‌های متنی و ساختار شبکه‌ای کار کنند. مدل‌های LLM می‌توانند به تحلیل و استخراج اطلاعات از داده‌های متنی موجود در شبکه‌های اجتماعی بپردازند و مدل‌های مولد می‌توانند شبکه‌های جدیدی شبیه‌سازی کنند که ویژگی‌های مشابه شبکه‌های اجتماعی واقعی را دارند.

شبیه‌سازی و مدل‌سازی رفتارهای پیچیده: در بسیاری از مواقع، شبکه‌های پیچیده به‌ویژه در سیستم‌های اقتصادی، زیستی، یا اجتماعی، ویژگی‌هایی دارند که از نظر گراف‌های کلاسیک قابل مدل‌سازی نیستند. ترکیب مدل‌های LLM و مولد شبکه‌های پیچیده می‌تواند به شبیه‌سازی رفتارهای پیچیده انسان‌ها یا تعاملات بین اجزای سیستم‌های بزرگ کمک کند.

شبیه‌سازی شبکه‌های ارتباطی و محاسباتی: در علوم کامپیوتر و مخابرات، مدل‌های مولد می‌توانند برای شبیه‌سازی شبکه‌های پیچیده ارتباطی استفاده شوند. این شبکه‌ها ممکن است برای برنامه‌ریزی زیرساخت‌های اینترنت، پشتیبانی از شبکه‌های ارتباطی پیچیده یا حتی برای بهینه‌سازی کارکردهای شبکه‌های عصبی پیچیده مورد استفاده قرار گیرند.

چالش‌های ترکیب مدل‌های LLM با شبکه‌های پیچیده

تعامل میان ساختارهای گراف و زبان: یکی از چالش‌های اصلی در ترکیب این دو مدل، تعامل میان ساختارهای گراف و زبان است. این به‌ویژه در شبکه‌های پیچیده‌ای که ساختارهای درختی یا پیچیده دارند، مشکل‌ساز است. نیاز به مدل‌هایی است که قادر باشند به‌طور مؤثر داده‌های متنی و گراف‌ها را به‌صورت هم‌زمان پردازش کنند.

بهینه‌سازی منابع محاسباتی: ترکیب مدل‌های LLM با مدل‌های مولد شبکه‌های پیچیده به منابع محاسباتی زیادی نیاز دارد. به‌ویژه در مقیاس‌های بزرگ، این امر می‌تواند چالش‌هایی از نظر زمان پردازش و هزینه‌های محاسباتی ایجاد کند.

دقت در شبیه‌سازی شبکه‌ها: در مدل‌سازی شبکه‌های پیچیده، مهم است که مدل‌های مولد بتوانند ویژگی‌های دقیق و واقعی شبکه‌ها را شبیه‌سازی کنند. از آنجا که شبکه‌های پیچیده ویژگی‌های خاصی دارند (مثل مقیاس‌پذیری، معیارهای مرکزیت، و ساختارهای خوشه‌ای)، تولید شبکه‌هایی که دقیقاً این ویژگی‌ها را داشته باشند، چالش‌برانگیز است.

از دیگر کاربردهای مدل های LLM بهترکیب با ABM می‌توان اشاره کرد. که در این راستا مقاله LLM-Augmented Agent-Based Modelling for Social Simulations: Challenges and Opportunities مورد بررسی قرار می گیرد. هدف اصلی این مقاله بررسی چالش‌ها و فرصت‌های استفاده از مدل‌های زبانی بزرگ (LLM) در شبیه‌سازی‌های اجتماعی است. این مقاله به‌ویژه به چگونگی استفاده از مدل‌های زبانی پیشرفته برای تقویت شبیه‌سازی‌های مبتنی بر عامل (ABM) و نقش آن‌ها در تحلیل سیستم‌های اجتماعی پیچیده و پویای انسانی پرداخته است.

مدل‌های زبانی بزرگ به دلیل توانایی‌های فوق‌العاده‌شان در پردازش زبان طبیعی، در حال تبدیل شدن به ابزاری قدرتمند برای تحلیل سیستم‌های اجتماعی پیچیده‌اند. این مدل‌ها می‌توانند شبیه‌سازی‌های انسانی و اجتماعی را با دقت بالاتری انجام دهند و رفتارهای انسانی، تعاملات اجتماعی و پویایی‌های گروهی را به‌طور واقع‌گرایانه‌تری مدل‌سازی کنند. در شبیه‌سازی‌های اجتماعی، این مدل‌ها به‌عنوان ابزاری برای تولید داده‌های غنی و پیش‌بینی تعاملات میان افراد یا گروه‌ها می‌توانند به‌کار روند.

یکی از بزرگترین چالش‌ها در این زمینه، مفاهیم و فرضیات پایه‌ایبرای ادغام LLMها با مدل‌های مبتنی بر عامل است. این مدل‌ها به‌طور خودکار نتایج و فرضیات را تولید می‌کنند، اما درک و تحلیل آن‌ها در زمینه شبیه‌سازی‌های اجتماعی به دلیل پیچیدگی بالای رفتارها و تعاملات اجتماعی دشوار است. به‌علاوه، یک مشکل اساسی دیگر در این ادغام، عدم توانایی در تحلیل داده‌های پیچیدهاست که LLM‌ها تولید می‌کنند. شبیه‌سازی‌های مبتنی بر عامل معمولاً داده‌های زیادی تولید می‌کنند که تحلیل و تفسیر آن‌ها بسیار پیچیده است.

یکی از مشکلات عمده در شبیه‌سازی‌های اجتماعی، جمع‌آوری داده‌هااست. این فرایند می‌تواند زمان‌بر و هزینه‌بر باشد و همچنین با مسائل مختلفی مانند کیفیت پایین داده‌ها، نبود دسترسی به منابع معتبر و مسائل اخلاقی مواجه است. استفاده از LLMها می‌تواند به بهبود این فرآیندها کمک کند. این مدل‌ها قادرند حجم زیادی از داده‌های متنی و اطلاعات مختلف را پردازش کنند و به تحلیل آن‌ها بپردازند تا مدل‌های دقیق‌تری ایجاد کنند.

نویسندگان مقاله به معماری‌های پیشنهادیبرای بهبود شبیه‌سازی‌ها اشاره می‌کنند. به‌ویژه، معماری‌هایی مانند Retrieval Augmented Generation (RAG) می‌تواند نقش مؤثری در بهبود عملکرد شبیه‌سازی‌ها ایفا کند. در این معماری، داده‌ها به‌صورت قطعات کوچک تقسیم می‌شوند و سپس به‌عنوان ورودی به مدل‌های زبانی بزرگ ارسال می‌شوند. این می‌تواند منجر به شبیه‌سازی‌های دقیق‌تر و بهینه‌تر شود.

مقاله به‌طور کلی نشان می‌دهد که استفاده از مدل‌های زبانی بزرگ در شبیه‌سازی‌های اجتماعی می‌تواند به‌طور چشمگیری کیفیت، دقت و قابلیت پیش‌بینی مدل‌ها را افزایش دهد. با این حال، این رویکرد با چالش‌هایی مواجه است که نیاز به تحقیقات بیشتر برای رفع آن‌ها دارد. با پیشرفت‌های بیشتر در زمینه LLM‌ها، این فناوری می‌تواند به ابزاری تحول‌آفرین در تحلیل و مدل‌سازی سیستم‌های اجتماعی تبدیل شود.

جمع‌بندی و چشم‌انداز آینده

مدل های زبانی بزرگبا وجود پیشرفت‌های چشمگیر، هنوز با چالش‌هایی مانند نیاز به منابع محاسباتی عظیم، سوگیری، عدم درک واقعی، توهم و ملاحظاتیروبرو هستند. با این حال، آینده LLM ها بسیار روشن به نظر می‌رسد و انتظار می‌رود که در سال‌های آینده، شاهد پیشرفت‌های بیشتری در این حوزه باشیم. بدین ترتیب در تولید شبکه‌های پیچیده نیز همواره در حال پیشرفت و بهبود روش‌های قدیمی تر خواهیم بود و با استفاده از LLM ها و بهبود آن‌ها به تولید شبکه‌های واقعی‌تر و نزدیکتر به دنیای واقعی خواهیم رسید.

مراجع

A generative model for time evolving networks

Graph Generation with Recurrent and Graph Neural Networks

GraphRNN: Generating Realistic Graphs with Deep Autoregressive Models

A Survey of Large Language Models

NetGAN: Generating Graphs via Random Walks

A Comprehensive Overview of Large Language Models

A Data-Driven Graph Generative Model for Temporal Interaction Networks

TIGGER: Scalable Generative Modeling for Temporal Interaction Graphs

Language Models are Few-Shot Learners

Generative Pre-trained Transformer: A Comprehensive Review on Enabling Technologies, Potential Applications, Emerging Challenges, and Future Directions

Attention Is All You Need

LLM-Augmented Agent-Based Modelling for Social Simulations: Challenges and Opportunities