رگرسیون لجستیک: زیان و منظم سازی

مدل های رگرسیون لجستیک همانند مدل های رگرسیون خطی آموزش داده میشوند با ۲ تفاوت اصلی:

• مدل های رگرسیون لجستیک از لگاریتم زیان به عنوان تابع زیان به جای مربع زیان استفاده میکنند.
• منظم سازی برای جلوگیری از برازش بیش از حد ضروری است.

لگاریتم زیان

در رگرسیون خطی از زیان مربع به عنوان تابع زیان استفاده میشود. مربع زیان به خوبی برای یک مدل خطی کار میکند چراکه نرخ تغییر مقادیر خروجی یکسان است. به عنوان مثال در معادله خطی y' = b + 3x1 هر بار که میزان ورودی x1 را به مقدار ۱ افزایش میدهید خروجی y' به مقدار ۳ واحد افزایش پیدا میکند.

با این حال نرخ تغییر یک مدل رگرسیون لجستیک ثابت نیست. منحنی سیگموید مانند یک S میباشد نه یک خط. زمانی که مقدار لگاریتم فردها به صفر نزدیک تر باشد افزایش کوچکی در نتیجه z باعث تفاوت های بسیار بزرگتری به y. میشود.