آشنایی با مفهوم کم برازش و بیش برازش با وجود داشتن بایاس و واریانس
قبل از ساختن یک مدل یادگیری ماشین، داده‌های خود را به دو بخش تقسیم می‌کنیم، یکی برای آموزش مدل، یعنی داده‌های آموزشی (data train) و دیگری برای نظارت بر دقت مدل بر روی داده‌های ناشناخته، یعنی داده‌های آزمایشی (data test)
بایاس (Bias) چیست؟
خطای کلی مرتبط با داده های آموزشی به عنوان بایاس نامیده می شود. هنگامی که خطای داده های آموزشی افزایش می یابد یا دقت داده های آموزشی کاهش می یابد، به آن بایاس بالا و زمانی که خطای داده های آموزشی کاهش می یابد یا دقت داده های آموزشی افزایش می یابد، به آن بایاس کم گفته می شود.
واریانس (Variance) چیست؟
خطای کلی مرتبط با داده های آزمایشی واریانس نامیده می شود. هنگامی که خطاهای مرتبط با داده های آزمایشی افزایش می یابد یا دقت داده های آزمایشی کاهش می یابد ، به آن واریانس بالا و بالعکس زمانی که خطاهای مرتبط با داده های آزمایشی کاهش می یابد یا دقت داده های آزمایشی افزایش می یابد ، به آن واریانس کم گفته می شود.
توجه
واریانس با داده های آزمایشی مرتبط است و بایاس با داده های آموزشی مرتبط است.
برای فهم بهتر این موضوع به مثال زیر توجه کنید.
دانشجویی به نام میثم را در نظر بگیرید که برای ازمون آیلتس درس می خواند, او در کلاس های آموزشی آیلتس شرکت میکند تا به هدف خود یعنی گرفتن نمره بالا تر از 7 برای رفتن به کشور آلمان دست یابد. میثم یک مربی دارد و در یک سال گذشته با او به خوبی کار کرده است و در آزمون های تمرینی متعدد برای سنجش آمادگی خود شرکت کرده است.این داده آموزشی برای میثم است.
در نهایت پس از یک سال مطالعه بسیار,میثم در آزمون آیلتس شرکت خواهد کرد که به عنوان داده ی آزمایشی عمل میکند,زیرا دقت خروجی میثم را اندازگیری می کند.
فرض کنید که عملکرد او در آزمون تمرینی بسیار عالی باشد, درنتیجه بایاس آن کم زیرا دقت آموزش بالا و خطای آموزش کم است.
حال فرض کنید که میثم در آزمون تمرینی بد عمل کند, در این صورت دقت آموزش کم و خطای آموزش زیاد است در نتیجه بایاس بالا خواهد بود.
اکنون واریانس را در نظر بگیرید که مربوط به داده آزمایشی است. آزمون نهایی آیلتس به عنوان داده آزمایشی برای میثم عمل میکند.
اگر در آزمون نهایی با اعتماد به نفس بالا شرکت کند و نمره بالای کسب کند واریانس کم میشود, زیرا خطای داده ی آزمایشی کم و دقت داده ی آزمایشی زیاد است.
ولی اگر در آزمون نتیجه خوبی کسب نکند خطای داده ی آزمایشی زیاد و دقت داده ی آزمایشی کم است در نتیجه واریانس بالا خواهد بود.
کم برازش با وجود بایاس و واریانس
وقتی دقت داده‌های آموزشی و آزمایشی ضعیف است، یا زمانی که خطای داده‌های آموزش و آزمایش بالا است،کم برازش رخ میدهد. در نتیجه، تعداد بیشتری از خطاها را با داده‌های آموزشی امکان‌پذیر میکند که منجر به یک حالت بایاس بالا میشود. این منجر به یک مدل ضعیف می شود که نمی تواند روی داده های آزمایشی جدید عملکرد خوبی داشته باشد و در نتیجه یک سناریوی واریانس بالا ایجاد می شود.
مطابق شکل زیر
یک بار دیگر سوال میثم را در نظر بگیرید, فرض کنید او همیشه با علی, محمد و امیر سنجیده می شود.میثم در تمام آزمون های تمرینی ضعیف عمل کرد. از آنجایی که هم دقت آموزش به هم دقت آزمایش در این شرایط کم است, به عنوان یک موقعیت بایاس بالا و واریانس بالا در نظر گرفته می شود.
بیش برازش با وجود بایاس و واریانس
زمانی که دقت داده‌های آموزشی بالا و دقت داده‌های تست ضعیف باشد، در این شرایط بایاس کم و واریانس بالا است و بیش برازش رخ میدهد.در این حالت، مدل تمام اطلاعات مربوط به داده‌های آموزشی، از جمله نویز غیرضروری را جمع‌آوری میکند که منجر به دقت مدل بالا برای داده‌های آموزشی، اما شکست برای داده‌های آزمایش جدید میشود.
مطابق شکل زیر
میثم در تمام آزمون های تمرینی خوب عمل کرده بود, اما به دلیل استرس بالا و یا دلایل دیگر عملکرد بدی در آزمون داشت, که منجر به بایاس کم و واریانس بالا بیش برازش می شود.
بهترین مدل
زمانی که دقت آموزش و آزمایش بالا باشد. این به عنوان داشتن بایاس کم و واریانس کم شناخته می شود. این دقیقاً همان وضعیتی است که ما می خواهیم. با آموزش مدل با تنظیم هایپرپارامتر قادر به دستیابی به این مورد خواهیم بود.
شکل زیر وضعیت واریانس کم بایاس کم را نشان می دهد. این مدل نویز موجود در داده‌های آموزشی را ضبط نمی‌کند و برای داده‌های آموزشی و آزمایشی با دقت مناسب عملکرد قابل‌تحسین‌انگیزی دارد.
فرض کنید میثم در تمام آزمون های تمرینی خوب عمل کرده و زمانی که در آرمون نهایی شرکت میکند, بهترین عمکلرد را دارد و نمره بالا 7 میگیرد و این لحظه بسیار برای او لذت بخش است.
