محققان رفتار شگفت‌آور ترجمه ماشینی را کشف می‌کنند

منتشرشده در وبسایت Slator به تاریخ ۳ ژوئن ۲۰۲۰
لینک مقاله اصلی: Researchers Explore Surprising Behavior of Machine Translation

ادعاهایی در سال ۲۰۱۶ مبنی بر این که ترجمه ماشینی به هم‌ارزی نزدیک انسان دست یافته بود با ناباوری مواجه شدند. این فن‌آوری هنوز قادر به تولید کیفیت معادل با کیفیت مترجمان انسانی نبود و این معیارهای ناقص را افراد به سرعت می‌توانستند تشخیص دهند.

ترجمه ماشینی عصبی (NMT)، چه آن را دوست داشته یا از آن متنفر باشید، در سال‌های پس از آن به طور گسترده در صنعت زبان مورد استفاده قرار گرفت. این امر به طور اساسی زنجیره تامین را تغییر داده و روش تعامل انسان با فن‌آوری ترجمه را مختل کرده و دستاوردهای بهره‌وری قابل‌توجهی را برای کاربران ایجاد کرده‌است.

ترجمه ماشینی عصبی در حال حاضر زیر بنای بخش‌هایی از جریان کار ترجمه است، اما اطلاعات کمی در مورد نحوه درک محتوا یا تولید خروجی توسط ماشین و اینکه چرا برخی از مشکلات کیفیتی همچنان باقی می‌مانند، وجود دارد.

در حال حاضر دو محقق درمورد برخی از جنبه‌های عجیب و غریب موجود در خروجی NMT، که به بررسی رفتار غیر منتظره در مدل‌های RNN و Transformer NMT می‌پردازند، به یافته‌هایی رسیده‌اند. در مقاله‌ای که بر روی arXiv در ۲۵ مه ۲۰۲۰ منتشر شد، مرضیه فدایی و کریستف مونز از دانشگاه آمستردام به بررسی «ناپایداری غیر منطقی مدل‌های ترجمه ماشینی عصبی» پرداختند.

شبکه‌های عصبی بازگشتی، یا همان RNNها، نوعی شبکه عصبی مصنوعی هستند، در حالی که Transformer یک مدل یادگیری ماشین عمیق است که توسط محققان گوگل در سال ۲۰۱۷ معرفی شد. مورد دوم معماری جدیدتر و در حال حاضر رایج‌تر مورد استفاده در ترجمه ماشینی و پردازش گفتار است.

فدایی کاندیدای دکترای دانشگاه بود و از آن زمان به یک مهندس تحقیق NLP / ML در آزمایشگاه تحقیق و توسعه یادگیری عمیق Zeta Alpha Vector تبدیل شده‌است. مونز، که همچنان استادیار است، در صفحه لینکداین خود علایق تحقیقاتی‌اش را به عنوان پوشش «بازیابی اطلاعات، خلاصه‌سازی اسناد و ترجمه ماشینی» توصیف می‌کند.

اساس تحقیقات آن‌ها این است که اگرچه NMT به خوبی کار می‌کند اما اینکه مدل‌ها چگونه رفتار می‌کنند عموما درک نمی‌شود. بررسی رفتار غیر منتظره NMT می‌تواند قابلیت‌ها و همچنین کاستی‌های آن را بیشتر آشکار کند.

فدایی و مونز در طول تحقیق خود مشاهده کردند که تغییرات کوچک در جملات مبدا گاهی منجر به «تغییر غیر منتظره در ترجمه» می‌شود که در برخی موارد یک خطای ترجمه را تشکیل می‌دهد. این دو توضیح دادند که چون این مدل‌ها وقتی با جملات منبع مشابه مواجه می‌شوند به طور نامداوم رفتار می‌کنند، آن‌ها «بی‌ثبات» در نظر گرفته می‌شوند.

محققان مجموعه‌ای از آزمون‌ها را برای تحلیل ترجمه‌های جملات اصلاح‌شده منبع و انواع تغییراتی که رخ داده‌است انجام داده‌اند.

نکته مهم این است که تمام جملات منبع، از جمله جملات اصلاح‌شده، به لحاظ معنایی صحیح و برای اهداف آزمایش خود قابل‌قبول بودند. تغییراتی که محققان در مورد جملات مبدا اعمال کردند جزیی و محدود به موارد زیر بود: حذف قیدها، تغییر اعداد (حداکثر به اضافه ۵) و درج کلمات مشترک. آن‌ها ضمایر جنسیتی را نیز تغییر دادند که از تحقیقات قبلی در مورد تبعیض جنسیتی الهام‌گرفته شده بود.

نمونه‌های تغییر جملات

یک آزمون تنها برای تغییر اعداد در جملات مبدا به کار رفت. برای این دسته از تغییرات، امکان تغییرات متعدد از جمله‌ی منبع اصلی وجود داشت (به عنوان مثال، ۱+، ۲+،‌۳+، ۴+ و ۵+). از نظر منطقی، ترجمه‌های جملات تغییر یافته تنها باید برای در نظر گرفتن تغییر در عدد متفاوت باشند، اما محققان مثال‌هایی از «نوسانات بزرگ غیر منتظره» برای هر دو مدل پیدا کردند.

آن‌ها همچنین به انحرافات از ترجمه اصلی نگاه کردند و آن‌ها را به صورت انحرافات بزرگ یا کوچک طبقه‌بندی کردند. نتایج تفاوت‌های عمده‌ای را در ۱۸٪ از ترجمه‌های RNN و ۱۳٪ از ترجمه‌های Transformer نشان داد.

بسیاری از انحرافات (حدود ۷۰٪) «همان طور که انتظار می‌رفت» بودند، به این معنی که آن‌ها با تغییر در جمله اصلی مبدا توجیه می‌شدند، در حالی که تغییرات غیر منتظره شامل زمان‌های مختلف فعل، عبارات مرتب شده، تفسیر، تغییر حرف‌اضافه و غیره بودند. محققان دریافتند: « اکثر تغییرات به دلیل تاویل و حذف کلمات است.» تغییرات غیر منتظره لزوما بر کیفیت ترجمه تاثیر نمی‌گذارند.

کیفیت ترجمه به طور جداگانه از طریق ارزیابی دستی توسط مفسران انسانی مورد آزمایش قرار گرفت. به طور کلی، ۲۶٪ از تغییرات مشاهده‌شده برای مدل RNN در مقایسه با ۱۹٪ از تغییرات مشاهده‌شده برای مدل Transformer بر کیفیت ترجمه تاثیر گذاشت.

در نتیجه، محققان گفتند: «حتی با تغییرات جزیی زبانی در جملات مبدا، ما می‌توانیم به طور موثر موارد شگفت انگیزی را شناسایی کنیم که در آن‌ها ترجمه‌های جملات بسیار مشابه به طرز شگفت‌آوری متفاوت هستند». این بدان معنی است که مدل‌های NMT در برابر کوچک‌ترین تغییر در جمله منبع آسیب‌پذیر هستند، که به دو نقص بالقوه دیگر اشاره دارد: تعمیم و ترکیب پذیری.

تعمیم یعنی زمانی که یک سیستم ترجمه ماشینی قادر به ترجمه جملات طولانی منبع است که قبلا با آن‌ها مواجه نشده است. ترکیب‌پذیری جایی است که یک سیستم ترجمه ماشینی بخش‌های ساده و چندگانه جمله را برای ساخت یک رشته طولانی‌تر و پیچیده‌تر ترکیب می‌کند.

به نظر آن‌ها، «رفتار بی‌ثبات سیستم‌های ترجمه ماشینی در این مقاله یک اثر جانبی از ترکیب‌پذیر نبودن مدل‌های فعلی است» زیرا این سیستم‌ها به وضوح درک خوبی از بخش‌های اصلی جمله نشان نمی‌دهند-اگر این کار را انجام می‌دادند، تناقضات مشاهده‌شده را ایجاد نمی‌کردند.

علاوه بر این، فدایی و مونز گفتند، در حالی که مدل‌های NMT قادر به تعمیم هستند، این کار را بدون ترکیب‌پذیری‌ انجام می‌دهند. به این ترتیب، محققان استدلال کردند که مدل‌های NMT «فاقد قدرت» هستند و ابراز امیدواری کردند که «بینش آن‌ها برای توسعه مدل‌های قوی‌تر NMT مفید باشد».

این متن با استفاده از ربات ترجمه مقاله علمی ترجمه شده و به صورت محدود مورد بازبینی انسانی قرار گرفته است.در نتیجه می‌تواند دارای برخی اشکالات ترجمه باشد.