درک ماتریس در هم ریختگی و چگونگی پیاده‌سازی آن در پایتون

منتشرشده در towardsdatascience
لینک مقاله اصلی: Understanding the Confusion Matrix and How to Implement it in Python

مقدمه

هر کسی می‌تواند با چند خط کد یک مدل یادگیری ماشین (ML) بسازد، اما ساخت یک مدل یادگیری ماشین خوب یک داستان کامل دیگر است.

منظورم از یک مدل یادگیری ماشین خوب چیست؟

بستگی دارد، اما به طور کلی، شما مدل یادگیری ماشین خود را براساس برخی معیارهای از پیش تعیین‌شده که تصمیم می‌گیرید از آن‌ها استفاده کنید، ارزیابی خواهید کرد. وقتی بحث ساخت مدل‌های طبقه‌بندی مطرح می‌شود، به احتمال زیاد از یک ماتریس در هم ریختگی و معیارهای مرتبط برای ارزیابی مدل خود استفاده خواهید کرد. ماتریس‌های درهم‌ریختگی نه تنها در ارزیابی مدل، بلکه در پایش مدل و مدیریت مدل نیز مفید هستند!

نگران نباشید، ما اینجا در مورد ماتریس‌های خطی جبر صحبت نمی‌کنیم!

در این مقاله، ما بیان می‌کنیم که یک ماتریس در هم ریختگی چیست، برخی اصطلاحات و معیارهای کلیدی، یک مثال از یک ماتریس ۲×۲ و همه کدهای پایتون مربوطه را نیز برای شما عنوان می‌کنیم!

خب، حالا زمان آن است که وارد مبحث شویم.

ماتریس در هم ریختگی چیست؟

یک ماتریس در هم ریختگی که به عنوان ماتریس خطا نیز شناخته می‌شود، یک جدول خلاصه‌شده برای ارزیابی عملکرد یک مدل طبقه‌بندی است. تعداد پیش‌بینی‌های صحیح و نادرست با مقادیر شمارش خلاصه می‌شوند و بر اساس هر کلاس شکسته می‌شوند.

در زیر تصویری از ساختار یک ماتریس در هم ریختگی ۲×۲ آورده شده‌است. برای مثال، اجازه دهید فرض کنیم که ده نمونه وجود داشتند که در آن‌ها یک مدل طبقه‌بندی «بله» را پیش‌بینی می‌کرد که در آن ارزش واقعی نیز «بله» بود. سپس شماره ده در گوشه سمت چپ بالا در ربع مثبت حقیقی قرار می‌گرفت. این منجر به برخی اصطلاحات کلیدی می‌شود:

• مثبت (P): مشاهده مثبت است. (مثلا: سگ هست)
• منفی (N): مشاهده مثبت نیست. (مثلا: سگ نیست)
• مثبت واقعی (TP) : نتایج زمانی حاصل می‌شوند که مدل به درستی کلاس مثبت را پیش‌بینی می‌کند.
• منفی واقعی (TN) : در جایی که مدل به درستی کلاس منفی را پیش‌بینی می‌کند، نتایج به دست می‌آیند.
• مثبت کاذب (FP) : که همچنین خطای نوع ۱ نیز نامیده می‌شود، نتیجه‌ای که در آن مدل به اشتباه کلاس مثبت را هنگامی که در واقع منفی است، پیش‌بینی می‌کند.
• منفی کاذب (FN) : که همچنین یک خطای نوع ۲ نیز نامیده می‌شود، نتیجه‌ای که در آن مدل به طور نادرست کلاس منفی را وقتی که واقعا مثبت است پیش‌بینی می‌کند.

معیارهای ماتریس در هم ریختگی

حالا که ساختار کلی ماتریس در هم ریختگی و همچنین اصطلاحات کلیدی مرتبط را درک کردید، می‌توانیم به برخی از معیارهای اصلی که می‌توانید از یک ماتریس در هم ریختگی محاسبه کنید، بپردازیم.

نکته: این فهرست جامع نیست-اگر می‌خواهید تمام معیارهایی که می‌توانید محاسبه کنید را ببینید، صفحه ویکی‌پدیا را بررسی کنید.

دقت

این معیار با نسبت پیش‌بینی‌هایی که مدل به درستی طبقه‌بندی کرده‌است برابر است.

صحت

صحت به عنوان ارزش اخباری مثبت نیز شناخته می‌شود و نسبت نمونه‌های مرتبط در میان نمونه‌های بازیابی شده است. به عبارت دیگر، به این پرسش پاسخ می‌دهد که در واقع چه نسبتی از شناسه‌های مثبت درست بودند؟

بازیابی

بازیابی، که به عنوان حساسیت، نرخ ضربه، یا نرخ مثبت واقعی (TPR) نیز شناخته می‌شود، نسبت کل موارد مرتبطی است که در واقع بازیابی شده‌اند. این معیار به این پرسش پاسخ می‌دهد: چه نسبتی از تشخیص‌های مثبت واقعی به درستی شناسایی شده‌اند؟

ویژگی

ویژگی، که به عنوان نرخ منفی واقعی (TNR) نیز شناخته می‌شود، نسبت منفی‌های واقعی که به درستی به این صورت شناسایی می‌شوند را اندازه‌گیری می‌کند. این معیار برخلاف بازیابی است.

امتیاز F1

امتیاز F1 معیاری برای اندازه‌گیری دقت تست است-این میانگین هارمونیک صحت و بازیابی است. این معیار می‌تواند حداکثر امتیاز ۱ (صحت و بازیابی کامل) و حداقل امتیاز ۰ را داشته باشد. به طور کلی، این معیار صحت و دقت مدل شماست.

مثالی از یک ماتریس در هم ریختگی ۲×۲

اگر هنوز هم کامل متوجه این ماتریس نشده‌اید،‌ پس بهتر است که نگاهی به مثال زیر بیندازیم.

تصور کنید که ما یک مدل یادگیری ماشینی ایجاد کرده‌ایم که پیش‌بینی می‌کند بیمار مبتلا به سرطان است یا خیر. جدول سمت چپ، ۱۲ پیش‌بینی که مدل ایجاد کرده و همچنین نتایج واقعی هر بیمار را نشان می‌دهد. با داده‌های جفت شده ما، شما می‌توانید ماتریس در هم ریختگی را با استفاده از ساختاری که در بالا نشان دادم پر کنید.

وقتی این کار انجام شد، ما می‌توانیم چیزهای زیادی در مورد مدل خود یاد بگیریم:

مدل ما پیش‌بینی کرد که ۱۲ /۴ (قرمز + زرد) بیماران مبتلا به سرطان بودند در حالی که در واقع ۳/۱۲ (قرمز + آبی) بیمار مبتلا به سرطان وجود داشت

مدل ما دارای دقت ۹/۱۲ یا ۷۵٪ ((قرمز + سبز) تقسیم بر (کل)) است.

بازیابی مدل ما برابر با ۶۶٪=(۱+۲)/۲ است.

در واقع، شما می‌خواهید بازیابی یک مدل تشخیص سرطان تا حد امکان نزدیک به ۱۰۰٪ باشد. خیلی بدتر است اگر بیماری مبتلا به سرطان بدون سرطان تشخیص داده شود، بر خلاف شرایطی که بیماری که سرطان ندارد تشخیص سرطان داده شود تا تنها با آزمایش بیشتر تشخیص داده شود که مبتلا به سرطان نیست.

کد پایتون

در زیر خلاصه‌ای از کدی که برای محاسبه معیارهای بالا نیاز دارید آورده شده‌است:

سه روش برای محاسبه نمره F1 در پایتون وجود دارد:

نتیجه‌گیری

حالا که شما می‌دانید ماتریس در هم ریختگی چیست و معیارهای مرتبط با آن را نیز می‌دانید، می‌توانید به طور موثر مدل‌های طبقه‌بندی یادگیری ماشین خود را ارزیابی کنید. این همچنین برای درک حتی پس از اتمام توسعه مدل یادگیری ماشین شما ضروری است، چون شما از این معیارها در مراحل نظارت بر مدل و مدیریت مدل چرخه زندگی یادگیری ماشین استفاده خواهید کرد.

این متن با استفاده از ربات ترجمه مقاله علمی ترجمه شده و به صورت محدود مورد بازبینی انسانی قرار گرفته است.در نتیجه می‌تواند دارای برخی اشکالات ترجمه باشد.