مقدمه‌ای بر یادگیری عمیق برای گراف‌ها

محققان دانشگاه پیزا ایتالیا، در مقاله جالب خود، یک راهنمای شفاف و جذاب در مورد مفاهیم اصلی و بلوک‌های سازنده درگیر در معماری شبکه‌های عصبی برای گراف‌ها ارایه کرده‌اند.

گراف‌ها همه جا هستند.برای مثال در علوم شیمی و مواد از آن‌ها برای نشان دادن ساختار مولکولی یک ترکیب، شبکه‌های برهمکنش پروتئین و همچنین ارتباطات بیولوژیکی و بیوشیمیایی استفاده می‌شود. در علوم اجتماعی، شبکه‌های گراف به طور گسترده برای نشان دادن روابط افراد و غیره به کار می‌روند.

به طور کلی، گراف‌ها ابزار قدرتمندی برای نمایش داده‌های غنی و پیچیده تولید شده توسط انواع فرآیندهای مصنوعی و طبیعی هستند. یک گراف می‌تواند به عنوان یک نوع داده ساخت‌یافته در نظر گرفته شود که دارای گره‌ها (ماهیت‌هایی که اطلاعات را نگه می‌دارند) و یال‌ها (اتصالات بین گره‌ها که اطلاعات را نگه می‌دارند) است و بنابراین ماهیت ترکیبی و همچنین ماهیت رابطه‌ای دارد.

مقدار اطلاعاتی که توسط این داده‌ها همراه با افزایش در دسترس بودن مخازن بزرگ به دست می‌آید، باعث افزایش علاقه به مدل‌های عمیق یادگیری شده‌است که می‌توانند گراف‌ها را به شیوه‌ای تطبیقی پردازش کنند.

چالش‌های روش‌شناسی و عملی همچنان باقی مانده‌اند. در حالت ایده‌آل، مدل‌های یادگیری برای گراف‌ها باید قادر به تعمیم به نمونه‌هایی باشند که می‌توانند در اندازه و توپولوژی متفاوت باشند. با این حال محققان دانشگاه پیزا دریافتند که اطلاعات در مورد هویت گره و ترتیب در میان چندین نمونه به ندرت در دسترس است. چالش‌های دیگر عبارتند از محدودیت در تفکیک پذیری گراف‌ها و افزایش بالقوه پیچیدگی مدل که توسط گراف‌هایی با حلقه‌های مشترک آورده شده‌اند.

در کل، برخورد با داده‌های گراف به دلیل پیچیدگی محاسباتی و بیانگری آن چالش برانگیز است. اما در عین حال، محققان می‌گویند که یادگیری عمیق برای گراف‌ها یک زمینه عالی برای امتحان روش‌های جدید شبکه عصبی است.

مقاله کوتر فدریکو ارریکا دانشجوی دکترای دانشگاه پیزا توضیح داد که این مقاله یک ماهیت آموزشی دارد که هدف آن معرفی موضوع یادگیری عمیق برای گراف‌ها با یک بررسی مناسب از متون تاریخی و یک رویکرد از بالا به پایین در نمایش آن است.

«با مطالعه ادبیات، ما به بسیاری از نظرسنجی‌های موجود و بررسی‌های عمیق یادگیری برای گراف‌ها توجه کردیم، اما هیچ یک از آن‌ها ماهیت مقدماتی نداشتند. علاوه بر این، تقریبا همه آن‌ها فاقد ارجاع مناسب به کاره‌ای پیشگام و یکپارچه بودند.»

«ما فکر می‌کردیم که این می‌تواند اولین کار (بهترین دانش ما) از طبیعت آموزشی باشد تا خوانندگان را با مفاهیم اصلی و جنبه‌های معماری روش‌های عمیق یادگیری که بر روی گراف‌ها کار می‌کنند، با توجه ویژه به کارهای بنیادی آشنا کنیم.»

ارریکا توضیح داد که این مقاله بیشتر تکنیک‌های مورد استفاده در مطالعات قبلی را بدون کاوش عمیق در نکات فنی پوشش می‌دهد. روی گراف‌های نامرتب و غیر مکانی تمرکز می‌کند، که در آن هیچ ترتیب کلی تعریف‌شده روی گره‌ها وجود ندارد، و هیچ نگاشت دوبخشی از یال‌ها به مجموعه‌ای از اعداد طبیعی در گراف وجود ندارد. همچنین شامل خلاصه‌ای از ارزیابی تجربی، کاربردها، و راه‌های تحقیقاتی آینده است.

یادگیری عمیق برای گراف تاریخچه دیرپا دارد

یادگیری عمیق برای حوزه گراف‌ها ریشه در شبکه‌های عصبی برای تحقیق گراف‌ها دارد و در اوایل دهه ۱۹۹۰ کارهای مربوط به شبکه‌های عصبی بازگشتی برای داده‌های ساخت‌یافته درختی انجام شد. این روش بعدها در زمینه کاربردهای پردازش زبان طبیعی کشف شد. با شروع با گراف‌های غیر چرخه‌ای جهت‌دار، آن به تدریج به ساختارهای پیچیده‌تر و غنی‌تر بسط داده شده‌است.

مشکل اصلی در گسترش چنین رویکردهایی به گراف‌های عمومی (چرخه‌ای یا غیرچرخه‌ای، جهت‌دار یا غیر جهت‌دار) پردازش چرخه‌ها، به دلیل وابستگی‌های متقابل بین متغیرهای تعریف‌شده در واحدهای بازگشتی عصبی بود. اولین مدل‌های مقابله با این مشکل شبکه عصبی گراف (GNN) و شبکه عصبی برای گراف (NN4G) بودند.

مدل GNN براساس یک سیستم گذار حالت شبیه به RecNN است، اما اجازه می‌دهد تا چرخه‌هایی در محاسبات حالت وجود داشته باشند. NN4G از این ایده مشتق می‌شود که وابستگی‌های متقابل را می توان با استفاده از نمایش لایه‌های قبلی در معماری مدیریت کرد، بنابراین می‌تواند وابستگی‌های بازگشتی گراف را با یک معماری چند لایه‌ای بشکند.

این مدل‌ها با ایجاد پایه و اساس دو رویکرد اصلی برای پردازش گراف، پیشگام این زمینه هستند - رویکردهای بازگشتی توسط GNN و رویکردهای پیش‌خور ارائه‌شده توسط NN4G. مورد دوم به ویژه اکنون به رویکرد غالب - تحت پوشش شبکه‌های کانولوشنال گراف (عصبی)تبدیل شده‌است.

یادگیری نمایشی در گراف‌ها: یک فرمول‌بندی کلی و یک نقشه راه معماری

برای داده‌های مسطح، رویکرد محبوب، شبکه‌های عصبی کانولوشنال (CNN) است. اما برای داده‌های گراف با دامنه‌های ساختار یافته که معمولا حاوی اطلاعات بیشتری نسبت به داده‌های ثابت هستند، پردازش تطبیقی ساختار برای بهره‌برداری از این اطلاعات اضافی مورد نیاز است.

یادگیری نمایشی برای این منظور توجه جامعه پژوهشی را به خود جلب کرده‌است، چرا که به سیستم این امکان را می‌دهد تا به طور خودکار به کشف نمایش مورد نیاز برای تشخیص یا طبقه‌بندی ویژگی از داده خام برای حل یک وظیفه بپردازد. در حالت خاص گراف‌ها، به طور ایده‌آل هیچ فرضی در مورد اندازه یا توپولوژی نباید به منظور اطمینان از کاربرد کلی آن‌ها ایجاد شود، بنابراین روش‌های پردازش گراف باید در غیاب وابستگی‌های علت و معلولی مشخص و ثابت طراحی شوند.

صرف‌نظر از اهداف آموزشی، تقریبا تمام روش‌های یادگیری عمیق روی نمودارها در نهایت نمایش گره یا حالات را تولید می‌کنند. این فرآیند به انجام یک ترانسدوکشن ایزومورفیک گراف اطلاق می‌شود. این بازه‌ها نتیجه دیدن گره‌های گراف به صورت موازی با پیمایش گراف بدون ترتیب گره خاص هستند.

مکانیزم کلی به اشتراک گذاشته شده توسط تمام روش‌های یادگیری گراف، همانطور که در شکل ۲ نشان‌داده شده‌است، به گره‌ها، یال‌ها و وظایف مربوط به گراف می‌پردازد و بسیار مفید است. به عنوان مثال، نمایش یک گراف را می توان به راحتی با جمع‌آوری نمایش گره آن محاسبه کرد. بنابراین کار محققان می‌تواند حول تعریف مدل‌های یادگیری عمیق باشد که به طور خودکار ویژگی‌های مربوطه را از یک گراف استخراج می‌کنند. در این مقاله، به چنین مدل‌هایی به شبکه‌های گراف عمیق (DGN)ها اشاره می‌شود.

شبکه‌های گراف عمیق به زیرمجموعه‌ای از معماری اشاره دارد که نمایش نهایی گره داخلی را تولید می‌کند. اینها را می توان با اتصال تمام نمایش‌های داخلی محاسبه‌شده در هر لایه یا با گرفتن نمایش‌های داخلی تولید شده در آخرین لایه بدست آورد. هر DGN می‌تواند با یک پیش‌بینی‌کننده ترکیب شود که کار را با استفاده از نمایش نهایی گره داخلی به عنوان ورودی حل می‌کند.

مولفان، DGNP ها را به سه دسته کلی تقسیم می‌کنند: شبکه‌های نمودار عصبی عمیق (DNGN ها)، که شامل مدل‌هایی ملهم از معماری‌های عصبی هستند؛ شبکه‌های نمودار بیسین عمیق (DBGN ها)، که نمایندگانشان مدل‌های احتمالی گراف‌ها هستند؛ و شبکه‌های نمودار عمومی عمیق (DGGN ها)، که شامل رویکردهای تولیدی گراف‌ها هستند که می‌توانند هم مدل‌های عصبی و هم مدل‌های احتمالی را تحت‌تاثیر قرار دهند.

به منظور پردازش یکپارچه اطلاعات گراف‌هایی که هم از نظر اندازه و هم از نظر شکل متفاوت هستند، محققان تلاش کردند مدل‌هایی بسازند که به صورت محلی در سطح گره کار کنند تا در سطح گراف - به طوری که تمام مدلی که اهمیت می‌دهد رابطه بین یک گره و همسایگی آن است. تمام رویکردهای تحت این مقولات در این مقاله براساس روابط محلی و پردازش تکراری به زمینه‌های پراکنده گره در سراسر گراف، صرف‌نظر از ماهیت عصبی یا احتمالاتی آن‌ها هستند.

اجزای پایه سازنده برای معماری یادگیری عمیق مدرن برای گراف‌ها

اجزای اصلی مدل‌های یادگیری گراف محلی به طور کلی نوع نمایش‌هایی که یک مدل می‌تواند محاسبه کند را تعیین می‌کنند. بنابراین این مقاله برخی از بلوک‌های اصلی سازنده مشترک با چنین معماری‌هایی را ارایه می‌دهد و بررسی می‌کند که چگونه آن‌ها می‌توانند مونتاژ یا ترکیب شوند تا یک مدل یادگیری موثر برای گراف‌ها ایجاد شود.

روشی که مدل‌ها همسایگان را برای محاسبه نمایش گره مخفی جمع می‌کنند، هسته پردازش گراف محلی است. طرح کلی تجمع همسایگی مستلزم آن است که کمان‌ها نسبت داده نشده یا حاوی اطلاعات مشابه باشند. طبق این مقاله، این فرض به طور کلی مانند کمان‌ها در یک گراف که اغلب حاوی اطلاعات اضافی در مورد ماهیت رابطه است، برقرار نیست، بنابراین مکانیزم‌هایی که برچسب‌های کمان را برای غنی‌سازی نمایش گره استفاده می‌کنند، مورد نیاز هستند. یکی از راه‌حل‌هایی که به ویژه در وظایف مربوط به زبان محبوبیت به دست آورد، مکانیسم‌های توجه است که امتیاز مربوط به هر بخش از ورودی یک لایه عصبی را تعیین می‌کند. توجه به تابع تجمع را می توان زمانی به کار برد که ورودی، ساختار گراف داشته باشد و این منجر به میانگین وزنی همسایگان می‌شود که در آن وزن فردی تابعی از گره و همسایه آن است.

با این حال، هنگامی که گراف‌ها بزرگ و متراکم هستند، انجام تجمع بر روی تمام همسایگان برای هر گره ممکن نیست. بنابراین، استراتژی‌های دیگری مانند نمونه‌برداری همسایگی برای کاهش بار محاسباتی مورد نیاز است.

نویسندگان همچنین روش‌هایی مانند ادغام گراف را معرفی می‌کنند که بعد یک گراف را بعد از یک لایه DGN کاهش می‌دهد و می‌تواند برای کشف جوامع مهم در یک گراف استفاده شود، این دانش را در نمایش‌های آموخته‌شده القا کند، و هزینه‌های محاسباتی را در ساختارهای مقیاس بزرگ کاهش دهد.

نویسندگان روش‌های بهره‌برداری از تعبیه گراف در لایه‌های مختلف را خلاصه می‌کنند. یک روش ساده، استفاده از نمودار تعبیه آخرین لایه به عنوان نماینده کل گراف است، در حالی که استراتژی دیگر، مشاهده تمام نمایش‌های میانی به عنوان یک دنباله است و اجازه می‌دهد که مدل یک گراف نهایی محاط شده به عنوان خروجی یک شبکه حافظه کوتاه‌مدت بر روی دنباله را یاد بگیرد.

تکالیف یادگیری نمایشی گراف

این مقاله تکالیف یادگیری بدون نظارت، تحت نظارت، تولیدی و خصمانه را برای نمایش گراف بررسی می‌کند. به عنوان مثال، هدف پیش‌بینی پیوند ایجاد نمایش گره است که مشابه است اگر یک کمان گره‌های مرتبط را به هم متصل کند و یک از دست دادن بدون نظارت معمول مورد استفاده توسط شبکه‌های عصبی گراف باشد. وظایف یادگیری گراف تحت نظارت در عین حال شامل طبقه‌بندی گره، طبقه‌بندی گراف و رگرسیون گراف است. محققان می‌گویند که یادگیری مولد، یا یادگیری نحوه تولید یک گراف از مجموعه داده‌های نمونه‌های موجود، شامل پیچیده‌ترین وظایف است.

نویسندگان مدل‌های مختلف برای مقابله با این وظایف را با توجه به چهار ویژگی کلیدی - روش انتشار زمینه، چگونگی محاسبه تعبیه، چگونگی ساخت لایه‌ها و ماهیت رویکرد - خلاصه و دسته‌بندی می‌کنند. آن‌ها همچنین شامل ویژگی‌های مدل احتمالی دیگری مانند توانایی کنترل لبه‌ها، انجام ادغام و حضور و همسایگی نمونه هستند.

کاربرد‌ها و آینده

تحویل سنتی داده‌های مسطح یا ترتیبی نمی‌تواند مدل‌های یادگیری عمیق مورد نیاز امروز را به طور کامل برآورده کند - و نمودارها به عنوان راه‌حل ظاهر می‌شوند. نویسندگان بر این باورند که یادگیری گراف می‌تواند در حوزه‌هایی مانند شیمی و طراحی دارو، پردازش زبان طبیعی، پیش‌بینی فضایی - زمانی، امنیت، شبکه‌های اجتماعی، و سیستم‌های توصیه‌گر به طور مفید استفاده شود.

ارریکا و باتچو در یک ایمیل گفتند: « شیمی و طراحی دارو مسلما زمینه‌‌هایی هستند که در آن داده‌های بیشتری وجود دارد و در دسترس خواهد بود، بنابراین ما انتظار داریم که زمینه یادگیری عمیق برای نمودارها بر کشف مولکول‌های معتبر جدید یا شناسایی سریع خواص مولکولی تاثیر بگذارد.»

برای حرکت بیشتر این حوزه به مرحله بلوغ، نویسندگان معتقدند که جنبه‌های خاصی از یادگیری عمیق برای گراف‌ها باید اولویت‌بندی شوند. آن‌ها چالش‌های رسمی کردن مدل‌های مختلف پردازش گراف سازگار را تحت یک چارچوب واحد، و ایجاد مجموعه‌ای از معیارهای قوی برای آزمایش و ارزیابی مدل‌ها در شرایط عادلانه، سازگار و قابل تکرار برجسته می‌کنند.

در صورتی که به این بحث علاقمند هستید می‌توانید نسخه کامل مقاله مورد بحث «A Gentle Introduction to Deep Learning for Graphs» را با کمک مقاله‌خوان ترجمیار همراه با ترجمه فارسی و به صورت رایگان از این لینک مطالعه نمایید.

منتشر‌شده در: syncedreview به تاریخ ۱۵ فوریه ۲۰۲۰
نویسنده: Yuan Yuan
لینک مقاله اصلی: https://medium.com/syncedreview/introduction-to-deep-learning-for-graphs-and-where-it-may-be-heading-75d48f42a322
این مقاله توسط ربات هوشمند ترجمه انگلیسی به فارسی علمی و به صورت خودکار ترجمه شده و می‌تواند به صورت محدود دارای اشکالات ترجمه باشد.