Accuracy

وقتی یک مدل طبقه بندی ساختیم باید ارزیابی کنیم پیش بینی های انجام شده توسط مدل چقدر خوب است.

چند معیار وجود دارد که به ما کمک میکند مدل خود را بهبود ببخشیم.

• مثال : Confusion Matrix را برای یک مشکل طبقه بندی در نظر بگیرید که پیش بینی می کند یک بیمار سرطان دارد یا نه برای 100 بیمار:

معیارهای اساسی برای داده های فوق به شرح زیر است:

• درستی(Precision) : زمانی مفید است که هزینه های مثبت کاذب بالا باشد.

• یادآوری(Recall):معیار موارد مثبت شناسایی شده صحیح از همه موارد مثبت واقعی است. زمانی مهم است که هزینه منفی کاذب بالا باشد.

• دقت (Accuracy):یکی از بارزترین معیارها، معیار همه مواردی است که به درستی شناسایی شده اند. زمانی بیشتر مورد استفاده قرار می گیرد که همه کلاس ها به یک اندازه مهم باشند.

مثال بالا، فرض کنید که فقط 30 بیمار در واقع سرطان دارند. اگر مدل ما 25 نفر از آنها را مبتلا به سرطان تشخیص دهد چه؟

دقت در این مورد = 90% است که عدد کافی برای مدل به عنوان "accurate" در نظر گرفته شود. با این حال، 5 بیمار وجود دارند که واقعاً سرطان دارند و مدل پیش‌بینی کرده است که آنها به سرطان مبتلا نیستند. بدیهی است که این هزینه بسیار بالایی است. مدل ما باید سعی کند این منفی های کاذب را به حداقل برساند.

• امتیاز (F1-score):این میانگین هارمونیک Precision و Recall است و نسبت به Accuracy Metric دقت اندازه گیری بهتری از موارد طبقه بندی نادرست ارائه می دهد.

• اینجا از میانگین هارمونیک استفاده شده زیرا مقادیر شدید را جریمه می کند.

خلاصه تفاوت‌های بین F1-score و accuracy :

یک accuracy زمانی استفاده می‌شود که مثبت‌های واقعی و منفی‌های واقعی مهم‌تر هستند، در حالی کهF1-score زمانی استفاده می‌شود که منفی‌های کاذب و مثبت‌های غلط بسیار مهم هستند.

هنگامی که توزیع کلاس مشابه است می توان از accuracy استفاده کرد در حالی کهF1-score معیار بهتری است وقتی کلاس های نامتعادل مانند مورد بالا وجود دارد.

در اکثر مسائل طبقه بندی واقعی، توزیع کلاس نامتعادل وجود دارد و بنابراین F1-scoreمعیار بهتری برای ارزیابی مدل ما است.

منبع :

https://medium.com/analytics-vidhya/accuracy-vs-f1-score-6258237beca2

منبع تصویر :

https://www.thoughtco.com/thmb/4oLEU_j-T1dZPPf6WvHHocekmmE=/395x0/filters:no_upscale():max_bytes(150000):strip_icc()/GettyImages-84754796-5693f0bd5f9b58eba493964c.jpg