ریاضیات برای یادگیری ماشین (1)

یادگیری ماشین که یکی از زیرمجموعه های جدایی ناپذیر از هوش مصنوعی می باشد که امروزه به شدت مورد توجه قرار گرفته است.در دهه گذشته و با پیشرفت سخت افزارها و کارت های گرافیک برای آموزش مدل های مبتنی بر شبکه های عصبی مصنوعی بیش از پیش به این توجه افزوده است. ریاضیات بخش جدایی ناپذیر یادگیری ماشین است و غالب الگوریتم ها و روش ها مبتنی بر ریاضیات می باشند. آمار و جبر خطی پیش نیاز های اصلی این فیلد هستند و به دلیل گستردگی زیاد این دو شاخه ریاضیات، فراگیری مفاهیمی که در یادگیری ماشین مورد استفاده قرار میگیرد را برای اشخاص دشوارتر می کند.

در این سلسله مقالات قصد دارم به مفاهیم جبرخطی و آمار مورد استفاده در یادگیری ماشین بر اساس کتاب Mathematics for Machine Learning بپردازم. در واقع این سلسله مقالات خلاصه ای بر فصول مختلف این کتاب خواهند بود که ممکن است گاهی به میزان گفته شده در کتاب و گاهی نیز کمی بیشتر از حجم کتاب در مقالات مورد بحث قرار گیرد.

نویسندگان کتاب:

Marc Deisenroth

A. Aldo Faisal

Cheng Soon Ong

فهرست کتاب:

Part I: Mathematical Foundations

1. Introduction and Motivation
2. Linear Algebra
3. Analytic Geometry
4. Matrix Decompositions
5. Vector Calculus
6. Probability and Distribution
7. Continuous Optimization

Part II: Central Machine Learning Problems

1. When Models Meet Data
2. Linear Regression
3. Dimensionality Reduction with Principal Component Analysis
4. Density Estimation with Gaussian Mixture Models
5. Classification with Support Vector Machines

References

Index

فصل اول:

1. Introduction and Motivation
1. Finding Words for Intuitions
2. Two Ways to Read This Book
3. Exercises and Feedback

در ابتدای کتاب در مورد انگیزه و نحوه نگارش کتاب و برخی از مفاهیم صحبت شده است که مورد بحث ما نمی باشد. سپس به دو روش پیشنهادی نویسنده برای مطالعه کتاب پرداخته شده است.

روش اول(بالا به پایین): در این روش شما از فصول انتهایی شروع به خواندن میکنید و در صورت نیاز به مفاهیم پایه ای در مفاهیم اولیه کتاب میتوانید رجوع کنید.

روش دوم(پایین به بالا): در این روش شما به مرور با مفاهیم ریاضی آشنا شده و در روند کتاب می توانید کاربردهای هر یک از مفاهیمی که در فصول قبلی خوانده اید را درک کنید.

من روش دوم رو انتخاب کردم و بر پایه همین روش نیز فصل ها رو خلاصه کردم.

در تصویر بالا ابزارهای مورد نیاز برای فراگیری یادگیری ماشین نشان داده شده است که در پارت اول کتاب (فصل 1 الی 7) باکس های پایینی شکل پوشش داده میشوند و در پارت دوم (فصل 8 الی 12) پایه های نگهدارنده یادگیری ماشین مورد بحث قرار میگیرد.

جبرخطی (linear algebra): بازتعریف اطلاعات با استفاده از داده های عددی، بردارها و ماتریس ها را جبر خطی می نامیم و در فصل دوم کتاب به مباحث جبرخطی مورد نیاز در یادگیری ماشین خواهیم پرداخت.

هندسه تحلیلی (analytic geometry): در دنیای واقعی دو بردار معمولا نماینده دو شی یا دو رفتار هستند که ما قصد داریم میزان تشابه این دو بردار یا فاصله این دو از یکدیگر را محاسبه کنیم. در الگوریتم های یادگیری ماشین غالبا ما به دنبال یافتن همین شباهت ها یا فواصل هستیم که ابزارهای انجام چنین کاری و فرموله کردن این بردارها را به عنوان هندسه تحلیلی می شناسیم و در فصل سوم مورد بررسی قرار خواهیم داد.

تجزیه ماتریس (matrix decomposition): در فصل چهارم برخی از عملیات و مفاهیم پایه ای در مورد تجزیه ماتریس ها و عملیات ماتریسی مورد بحث قرار خواهد گرفت که در یادگیری ماشین بسیار پر کاربرد هستند و به ما اجازه تفسیر بهتر داده ها را میدهد.

نظریه احتمال (probability theory): در الگوریتم های یادگیری ماشین معمولا ما با داده هایی و وقایع پر از noise طرف هستیم که تشخیص و تعریف این noise ها بسیار پر اهمیت هستند و باید ابزاری برای تشخیص آنان داشته باشیم. ما همچنین اغلب دوست داریم پیش بینی هایی داشته باشیم که به ما امکان بیان نوعی عدم اطمینان را بدهند ، به عنوان مثال ، برای تعیین کمیت اطمینان نسبت به مقدار پیش بینی در یک نقطه داده آزمون خاص. کمی سازی عدم قطعیت قلمرو نظریه احتمالات است و نظریه احتمالات در فصل 6 آورده شده است.

محاسبات برداری (vector calculus) و بهینه سازی (optimization): برای آموزش مدل های مبتنی بر یادگیری ماشین ما معمولا پارامترهایی را می بابیم که معیاری را بیشینه (maximize) یا کمینه (minimize) میکنند. غالب الگوریتم ها و تکنیک های بهینه سازی به مفاهیم پایه ای گرادیان نیازمند هستند تا به ما جهت حرکت مان را در فضای تابع هزینه برای یافتن بهترین راه حل کمک کنند. ما با استفاده از حساب برداری که در فصل 5 بررسی میکنیم، مفاهیم گرادیان را پوشش میدهیم و در فصل 7 کاربردهای آن در بهینه سازی را مورد بحث قرار خواهیم داد.

رگرسیون خطی (linear regression): در فصل نهم کتاب ما قصد داریم مسئله رگرسیون خطی را مورد تحلیل و بررسی قرار دهیم و برای این امر کتاب در مورد روش های maximum likelihood estimation ، maximum a posteriori estimation و Bayesian linear regression بحث خواهد کرد.

کاهش ابعاد (dimensionality reduction): فصل دهم کتاب متمرکز بر روی مفاهیم و مباحث کاهش ابعاد میباشد که الگوریتم کاهش ابعاد PCA به طور مفصل مورد بحث خواهد بود.

تخمین چگالی (density estimation): در فصل یازدهم کتاب نویسنده در مورد تخمین تابع چگالی احتمال بحث خواهد کرد. هدف اصلی تخمین چگالی یافتن تابع توزیعی ای است که توانایی توصیف دقیقی از دیتا داشته باشد به همین منظور مدل Gaussian mixture models به طور مفصلی مورد بحث خواهند بود.

دسته بندی (classification): به عنوان یکی از انواع مسائل supervised در فصل دوازدهم به توضیح و تعریف مساله دسته بندی به طور مختصر پرداخته خواهد شد و سپس الگوریتم Support Vector Machines SVM بررسی شده و انواع kernel ها معرفی خواهد شد.

لینک دانلود کتاب :

https://mml-book.com

فصل دوم (لینک)

فصل سوم (لینک)

فصل چهارم (لینک)

فصل پنجم (لینک)

فصل ششم (لینک)

فصل هفتم (لینک)

فصل هشتم (لینک)

فصل نهم (لینک)

فصل دهم (لینک)

فصل یازدهم (لینک)

فصل دوازدهم (لینک)