معرفی معیار ارزیابی ROUGE برای خلاصه‌سازی متون

ابزار ROUGE از جمله معروف‌ترین ابزار‌های ارزیابی در خلاصه‌سازی خودکار می‌باشد. از آن در کاربردهای پردازش زبان طبیعی و بازیابی اطلاعات استفاده شده است. ROUGE مخفف Recall-Oriented Understudy for Gisting Evaluation به "معنای ارزیابی مبتنی بر یادآوری برای خلاصه" می‌باشد. این ابزار معیارهایی برای ارزیابی خلاصه‌سازی خودکار متن‌ها، مثل ترجمه ماشین را دارد. با مقایسه‌ی خلاصه‌های استخراجی (خلاصه‌های تولیدشده به صورت خودکار) و خلاصه‌های چکیده‌ای (خلاصه‌های تولیدشده توسط انسان) ارزیابی انجام می‌شود. مثال‌ برای خلاصه‌‌ استخراجی و خلاصه‌ی چکیده‌ای را در زیر می‌بینیم:

خلاصه‌ی استخراجی:

the cat was found under the bed

خلاصه‌ی چکیده‌ای:

the cat was under the bed

اگر هر کلمه را به تنهایی در نظر بگیریم، در این صورت کلمات مشترک بین خلاصه‌ی استخراجی و خلاصه‌ی چکیده‌ای، ۶ کلمه می‌باشد. اما این کلمات مشترک به تنهایی معیار ارزیابی نمی‌باشد پس بهتر است از معیارهایی مثل Precision و Recall استفاده کنیم.

معیار‌های Precision و Recall در ROUGE

معیار Recall به صورت زیر محاسبه می‌گردد:

محاسبه‌ی Recall برای مثال مطرح شده:

معیار Precision به صورت زیر محاسبه می‌گردد:

محاسبه‌ی Precision برای مثال مطرح شده:

حال اگر برای همین مثال خلاصه‌ی استخراجی به صورت زیر باشد:

the tiny little cat was found under the big funny bed 

دقت به صورت زیر محاسبه می‌شود:

معیار ارزیابی ROUGE-N

این معیار براساس مقایسه‌ی Nتایی مشترک کلمات بین خلاصه‌‌ استخراجی و خلاصه‌ی چکیده‌ای می‌باشد. به عنوان مثال از ROUGE-1 و ROUGE-2 به ترتیب برای مقایسه‌ی یک‌تایی و دوتایی مشترک کلمات بین خلاصه‌‌‌ی استخراجی و خلاصه‌ی چکیده‌ای استفاده می‌شود.

خلاصه‌ی استخراجی با ROUGE-2:

the cat,
cat was,
was found,
forund under,
under the,
the bed

خلاصه‌ی چکیده‌ای با ROUGE-2:

the cat,
cat was,
was under,
under the,
the bed

محاسبه‌ی Precision و Recall با ROUGE-2

براساس دوتایی بالا، Recall به صورت زیر محاسبه می‌شود:

براساس دوتایی بالا، Precision به صورت زیر محاسبه می‌شود: