مدل‌های خودتوجه برای ورودی لاتیس

لاتیس‌ها یک روش موثر و کارآمد برای رمز گذاری ابهام سیستم‌های بالادست در وظایف پردازش زبان طبیعی هستند، برای مثال برای درک فشرده فرضیه‌های تشخیص گفتار چندگانه، یا برای نشان دادن تحلیل‌های زبانی چندگانه. کار قبلی شبکه‌های عصبی بازگشتی را برای مدل‌سازی ورودی‌های شبکه گسترش داده و به بهبودهایی در وظایف مختلف دست یافته‌است، اما این مدل‌ها از سرعت محاسبات بسیار کند رنج می‌برند. این مقاله الگوی پیشنهادی اخیر خودتوجهی را برای کنترل ورودی‌های شبکه گسترش می‌دهد. خودتوجهی یک تکنیک مدل‌سازی توالی است که با محاسبه شباهت‌های جفتی، ورودی‌ها را به یکدیگر مرتبط می‌سازد و هم برای نتایج قوی و هم برای کارآیی محاسباتی آن محبوبیت یافته‌است. برای گسترش چنین مدل‌هایی برای رسیدگی به لاتیس‌ها، ما ماسک‌هایی با قابلیت بازیابی احتمالی را معرفی می‌کنیم که ساختار لاتیس را در مدل ترکیب می‌کند و امتیازات لاتیس را در صورت وجود پشتیبانی می‌کند. ما همچنین روشی را برای تطبیق تعبیه موقعیتی در ساختارهای لاتیس پیشنهاد می‌کنیم. ما مدل پیشنهادی را برای یک کار ترجمه گفتار به کار گرفتیم و متوجه شدیم که این کار از تمام سیستم‌های پایه بررسی شده بهتر عمل می‌کند در حالی که محاسبه آن بسیار سریع‌تر از مدل‌های شبکه عصبی قبلی در طول آموزش و استنتاج است. ​

این متن ترجمه‌ای ‌خودکار از چکیده مقاله Self-Attentional Models for Lattice Inputs ارایه شده در ۵۷‌امین کنفرانس سالانه Association for Computational Linguistics است.

برای مطالعه کامل این مقاله به همراه ترجمه‌ آنلاین و رایگان به این لینک مراجعه فرمایید.​