این توابع برآوردی از کارایی مدل پیش بینی‌گر ما می‌دهند. انتخاب هر کدام از این توابع بستگی به طبیعت مسئله ( مسائل رگرسیون یا طبقه بندی) و اهداف مشخص مدل دارند. یک سری از آنها بر اساس مسائل رگرسیون یا طبقه بندی به صورت زیر قرار دارند:
*معیار‌های طبقه بندی
۱. صحت (Accuracy): اندازه گیری کسری از نمونه‌ها که به درستی نسبت به کل داده پیش بینی شده‌اند را بر عهده دارد. یک معیار ارزیابی مرسوم برای مجموعه داده‌های متوازن هست ولی ممکن است برای مجموعه داده‌های نامتوازن مناسب نباشد.
۲. دقت (Precision): کسری از پیش بینی‌های درست را نسبت به تمام پیش بینی‌های مثبت (کلاس صحیح در نظر گرفته شده) در نظر می‌گیرد. زمانی که به دنبال کاهش پیش بینی‌هایی که به اشتباه مثبت در نظر گرفته شده‌اند هستیم این معیار کاربرد دارد. (TP/(TP+FP
۳. میزان حساسیت یا نرخ پیش بینی‌های مثبت درست (Recall): کسری از پیش بینی‌هایی که مثبت درست نسبت به تمام مثبت‌های حقیقی و ذاتی هستند را در نظر می‌گیرد. زمانی که به دنبال کاهش پیش بینی‌هایی که به اشتباه منفی در نظر گرفته شده‌اند هستیم، این معیار کاربرد دارد. TP/(TP+FN)
۴. امتیاز F1: یک میانگین موزون از دقت و میزان حساسیت هست. در واقع یک توازنی بین آنها ایجاد می‌کند و زمانی مناسب هست که کلاس‌های مجموعه داده نامتوازن هستند.
۵. ناحیه زیر منحنی (ROC-AUC): در واقع یک نموداری از مقایسه دو نرخ مقادیری که ذاتی مثبت بوده‌اند و مثبت پیش بینی شده اند و مقادیری که به صورت ذاتی غلط بوده‌اند و به اشتباه مثبت در نظر گرفته شده‌اند هست. این معیار به صورت به خصوصی برای مدل‌های طبقه بند دودویی مناسب هستند.
۶. لگاریتم فقدان (Cross-Entropy): میزان لگاریتم نزدیکی احتمال‌های پیش بینی شده را نسبت به برچسب‌های واقعی در نظر می‌گیرد. برای ارزیابی کارایی مدل‌هایی به کار می‌رود که خروجی آنها احتمال هست.
۷. کوهن کاپا: میزان توافق بین برچسب‌های پیش بینی شده و واقعی با احتساب شانس تصادفی بودن آنها را اندازه گیری می‌کند. اغلب برای برآورد کارایی پایایی ارزیابان مورد استفاده قرار می‌گیرد.
۸. ماتریس درهم ریختگی (Confusion Matrix): جدولی شامل مقادیر مثبت درست، غلط درست، ذاتا غلط ولی به اشتباه درست و ذاتا درست و به اشتباه غلط را در نظر می‌گیرد. از آن می‌توان برای محاسبه‌ی دیگر معیارها استفاده کرد.
