یادگیری ماشین:‌ رگرسیون خطی

این مقاله مفاهیم رگرسیون خطی را معرفی میکند.

اهداف مقاله:

• توضیح تابع زیان (Loss function)
• تعریف و توضیح اینکه گرادیان کاهشی چگونه پارامتر های بهینه یک مدل را پیدا میکند.
• توضیح اینکه چگونه فراپارامترها تنظیم کنیم برای آموزش بهینه‌تر یک مدل خطی.

رگرسیون خطی یک تکنیک آماری است برای پیدا کردن رابطه بین متغیرها. در یادگیری ماشین، رگرسیون خطی رابطه بین ویژگی ها و برچسب یک نمونه را پیدا میکند.

به عنوان مثال، فرض کنید میخواهیم قیمت راندمان سوخت خود رو را بر اساس این که ماشین چقدر سنگین است بدست بیاوریم. فرض کنید مجموعه داده زیر را داریم:

اگر این نقاط را ترسیم کنیم:

میتوانیم مدل خودمان را با ترسیم بهترین خط در میان نقاط بدست اوریم:

معادله رگرسیون خطی

در جبر، مدل به صورت

y=mx + b

تعریف میشود بطوریکه:

• حرف y مصرف بر حسب مایل بر گالون است - مقداری که میخواهیم پیشبینی کنیم
• حرف m شیب خط است
• حرف x وزن به پاوند است - مقدار ورودی
• حرف b فاصله از مرکز خط در محور y است

در یادگیری ماشین، ما معادله یک مدل رگرسیون خطی را به اینگونه تعریف میکنیم:

y' = b + w1x1

بطوریکه

- حرف y' مقدار پیشبینی است

- حرف b تعصب مدل است. جهت گیری همان مفهوم فاصله از مرکز y در معادلی جبری برای یک خط است. در یادگیری ماشین، تعصب گاهی به عنوان w0 نیز ارجاع داده میشود. تعصب یک پارامتر مدل است و در طول آموزش مدل محاسبه میشود.

• حرف w1. وزن ویژگی است. وزن همان مفهوم مانند شیب در معادله جبری برای یک خط است. وزن یک پارامتر مدل است که در طول آموزش مدل محاسبه میشود.
• حرف x1 نیز یک ویژگی است که ورودی ما است.

در طول یادگیری، مدل وزن و تعصب را محاسبه میکند که باعث تولید بهترین مدل میشود.

در مثال ما ما وزن و تعصب را از خطی که کشیدیم حساب کردیم. تعصب معادل است با ۳۰ (جاییکه خط با محور y مجاورت میکند) و وزن -3.6 است (شیب خط). این مدل به اینگونه تعریف میشود:

y' = 30 + (-3.6)(x1)

و ما میتوانیم استفاده کنیم از این خط برای انجام پیشبینی. به عنوان مثال با استفاده از این مدل یک ماشین با 4هزار پاوند وزن احتمالا بهروری سوخت معادل با 15.6 مایل به ازای هر گالون خواهد داشت.

مدل با چندین ویژگی

با وجود این که در مثال این بخش فقط از یک ویژگی استفاده میکنیم - سنگینی ماشین - یک مدل پیچیده تر ممکن است بر چندین ویژگی اتکا کند که هرکدام یک وزن متفاوت داشته باشند. برای مثال یک مدل که بر ۵ ویژگی متکی است به اسن صورت نوشته میشود:

y' = b + w1x1 + w2x2 + w3x3 + w4x4 + w5x5

به عنوان مثال یک مدل که پیشبینی میکند مصرف بنزین رو ممکن است این ویژگی ها را داشته باشد:

• وزن
• حجم موتور
• شتاب
• تعداد سیلندر ها
• اسب بخار

این معادله به این صورت نوشته میشود:

با رسم برخی از این ویژگی ها میتوانیم ببینیم که این ویژگی ها نیز یک رابطه خطی با برچسب دارند:

حجم ماشین در سانتیمتر مکعب و مصرف هر مایل به ازای هر گالون را در تصویر بالا میتوانید ببینید. موتور ماشین که بزرگتر میشود میزان مایل به ازاه هر گالون کاهش میابد

شتاب یک ماشین و مایل به ازای هر گالون را در تصویر بالا مشاهده میکند. همانطور که شتاب یک ماشین طولانی تر میشود میزان مصرفی مایل به ازای هر گالون افزایش میابد.