معیارهای ارزیابی مدل

کمیل آقابابایی_ babaiekomeil@gmail.com

همواره فراگیران علوم داده این سوال را در ذهن خود دارند:

کدام معیار ارزیابی برای مدل من مناسبه؟!!!!

پس از طراحی و ساخت مدل مهمترین اقدام، ارزیابی کارایی (Performance) مدل ساخته شده می‌باشد تا بتوان براساس آن پارامترهای شبکه های به کارگرفته شده برای ساخت مدل را بهینه نمود.

1- ماتریس درهم ریختگی(Confusion Matrix):

به ماتریسی گفته می‌شود که در آن عملکرد الگوریتم‌های مربوطه را نشان می‌دهند.

مثبت صحیح یا True Positive : نمونه عضو کلاس مثبت باشد و عضو همین کلاس تشخیص داده شودTP.

منفی کاذب یا False Negative : نمونه عضو کلاس مثبت باشد و عضو کلاس منفی تشخیص داده شود FN.

منفی صحیح یا True Negative: نمونه عضو کلاس منفی باشد و عضو همین کلاس تشخیص داده شود TN.

مثبت کاذب یا False Positive : نمونه عضو کلاس منفی باشد و عضو کلاس مثبت تشخیص داده شود FP.

2- دقت (Accuracy ): مدل به چه میزان خروجی را درست پیش بینی کرده؟

Accuracy=(TP+TN)/(TP+FP+FN+TN)

کاربرد:

با استفاده از آن می توان در یک نگاه فهمید که کارایی مدل ساخته شده چگونه است یا اینکه مدل درست آموزش دیده یا نه؟

عیب:

اطلاعات جزیی در خصوص کارایی مدل ارئه نمی دهد.

3- صحت(Precision):

Precision=TP/(TP+FP)    

کاربرد:

زمانی که ارزش False Positive بالا باشد ، معیار صحت معیار مناسبی برای ارزیابی می باشد.

مثال:

مدلی برای تشخیص سرطان داشته باشیم و دارای معیار صحت (Precision) پایینی باشد در نتیجه این مدل بسیاری از افراد را مبتلا به سرطان تشخیص می دهد که باعث استرس و آ زمایشات و هزینه زیادی می گردد.

4- فراخوانی(Recal):

Recall=TP/(TP+FN)

کاربرد:

زمانی که ارزش False Negative بالا باشد ، معیار صحت معیار مناسبی برای ارزیابی می باشد.

مثال:

مدلی برای تشخیص بیماری ابولا داشته باشیم و دارای معیار فراخوانی (Recal) پایینی باشد در نتیجه این مدل بسیاری از افراد را که آلوده به این بیماری کشنده هست را سالم تشخیص می دهد که یک فاجعه می باشد.

4- معیار F1 Score:

F1 Score=(2*Precision*Recall)/(Precision+Recall)

کاربرد:

این معیار بسایر معیار مناسبی برای ارزیابی یک آزمایش می باشد به دلیل اینکه هر دو معیار Precision و Recal را باهم در نظر می گیرد که در بهترین حالت یک و در بدترین حالت صفر می باشد.

نتیجه گیری :

در ابتدا می بایست اهداف ساخت مدل کاملا بررسی شود و درجه اهمیت هریک از عناصر ماتریس درهم ریختگی مشخص گردد تا بتوان معیار مناسب را انتخاب نمود.

ولی برای دید کلی از کارایی یک مدل می توان از معیار Accuracy (دقت) و برای داشتن ارزیابی دقیقتر از معیار F1 Score استفاده نمود .