https://virgool.io/feed/@mohsen.shahverdy97 Data Scientist @ Bale. Research interest : Theory of ML fa 2026-06-07 09:59:27 https://files.virgool.io/upload/users/602890/avatar/CqoN1e.jpeg?height=120&width=120 https://virgool.io/@mohsen.shahverdy97 https://virgool.io/baleacademy/%D8%B1%DB%8C%D8%A7%D8%B6%DB%8C%D8%A7%D8%AA-%D8%A8%D8%B1%D8%A7%DB%8C-%DB%8C%D8%A7%D8%AF%DA%AF%DB%8C%D8%B1%DB%8C-%D9%85%D8%A7%D8%B4%DB%8C%D9%86-%D8%AC%D8%A8%D8%B1-%D8%AE%D8%B7%DB%8C-%D9%82%D8%B3%D9%85%D8%AA-%D8%AF%D9%88%D9%85-qgphxzt4pkyy محسن شاهوردی کندریسلام تو این مقاله قصد داریم ادامه مقاله جبر خطی رو داشته باشیم. 2.4)فضاهای برداری (Vector Spaces):به دلیل بازتعریفی دستگاه معادلات خطی به شکل ماتریسی و برداری نیاز است ما فضاهای برداری را نیز بدانیم به همین دلیل این بخش در کتاب قرار داده شده است.2.4.1) گروه ها (groups): گروه ها نفش مهمی را در گرایشات علوم کامپیوتر همانند کدینگ (coding theory) , گرافیک کامپیوتری و رمزنگاری بازی میکند.اگر علاوه بر شروط بالا شرط زیر نیز برقرار باشد این گروه را یک گروه Abelian میگوییم.چند مثال برای گروه ها:2.4.2) فضاهای برداری‌(Vector Spaces): برای تعریف فضاهای برداری ما نیاز به تعریف گروه هایی داریم که در آنان دو عملگر به جای یک عملگر وجود دارد.فضا برداری: یک فضا برداری با مقادیر حقیقی به شکل زیر روی مجموعه تعریف میشود.دقت کنید که (?, +) یک گروه Abelian می باشد.توزیع پذیری‌:انجمنی برای عملگر بیرونی:عضو خنثی برای عملگر بیرونی:به اعضای x زیر مجموعه V بردار گفته میشود. برای مثال بردار صفر : 0 = [0,... , 0]روی بردار ها میتوان چندین گونه از عملگرها و عملیات ها را تعریف کرد برای مثال ضرب عنصر به عنصر, ضرب داخلی و خارجی که همگی به شکل ضرب ماتریسی هستند.در کتاب مثال هایی مطرح شده است که به دلیل شباهت به مثال های بخش ماتریس ها (2.2) به آنان پرداخته نخواهد شد.2.4.3) زیرفضا های برداری (Vector Subspaces): زیرفضاها در یادگیری ماشین بسیار اهمیت دارند به خصوص در فصل دهم کتاب نشان خواهیم داد چگونه با استفاده از زیرفضاها در کاهش ابعاد مسائل را حل خواهیم کرد.زیرفضای برداری: فضای برداری را در نظر بگیرید. آنگاه به U = (?,+,.) یک زیرفضای برداری برای V می گوییم اگر U نیز خود یک فضا برداری با دو عملگر + و . باشد (شروط یک فضا برداری روی آن نیز صادق باشد).دقت کنید که اگر ? زیر مجموعه ? باشد و V نیز یک فضا برداری باشد آنگاه U بسیاری از خواص موجود در V را به ارث خواهد برد.برخی از نکات مهم در مورد زیر فضای U :اگر ? تهی نباشد آنگاه 0 عضوی از ? است.2.5)استقلال خطی‌(Linear Independence): برای معرفی استقلال خطی ابتدا لازم است ترکیب خطی را معرفی کنیم.ترکیب خطی(linear combination): فضابرداری V و تعداد k بردار x1, ... , xk زیر مجموعه V را در نظر بگیرید. آنگاه هر v عضوی از V به شکلاستقلال خطی (Linear Independence): یک فضابرداری V بارا در نظر بگیرید. اگر یک ترکیب خطی وجود داشته باشد(به جز ترکیب خطی با تمامی ضرایب 0 که در بالا ذکر شد) که برقرار باشد مجموعه بردارهای x1, ... , xk مستقل خطی نیستند.اگر تنها یکی از بردارهای مجموعه بردارهای ما برابر با ترکیب خطی بقیه k - 1 بردار ما باشد مجموعه بردارها مستقل خطی نخواهند بود.مثال: 3 بردار زیر را در نظر بگیرید و استقلال خطی آنان را بررسی کنید.راه حل : برای حل باید جواب های معادله زیر را بیابیم.برای بدست آوردن جواب های معادله زیر باید آن را به شکل یک دستگاه معادله نوشته و سپس با روش های ذکر شده در قسمت 2.3 آن را حل کنیم.میتوان از سطر اول این نتیجه گیری را داشت که هیچ جواب دیگری جز 1 = 0, 2 = 0, 3 = 0 برای معادله فوق وجود ندارد.یک فضا برداری V با k بردار مستقل خطی b1, . . . , bk و m ترکیب خطی به شکل زیر:آنگاه ماتریس B را میتوان به شکل B=[b1, . . . , bk ]تعریف کرد که ستون های آن مستقل خطی هستند با برداری ها b1, . . . , bk که آنگاه میتوان به شکل زیر بازنویسی کردبرای یک حالت پیچیده تر, حال میخواهیم استقلال خطی x1, . . . , xmرا بررسی کنیم به همین منظور به شکل مرسوم به بررسی جواب های معادله زیر میپردازیم.سپسمعادله فوق نشان میدهد {x1, . . . , xm}مستقل خطی هستند اگر و تنها اگر بردارهای ستونی مستقل خطی باشند. از معادله فوق میتوان نتیجه گرفت که در فضابرداری V, با m ترکیب خطی و k بردار x1, . . . , xk وابسته خطی هستند اگر m > k.مثال: بردارهای b1, b2, b3, b4 که مستقل خطی هستند را در نظر بگیرید. و استقلال خطی x1, x2, x3, x4 را بر اساس دستگاه زیر بررسی کنید.برای حل این سوال ابتدا بر اساس ضرایب b1, b2, b3, b4بردارهای زیر را میسازیم.حال ماتریس A را مطابق با روابطی که قبل از مثال وجود داشت تشکیل میدهیم و تلاش به یافتن جواب های معادله میکنیم.که ماتریس به شکل زیر نتیجه میشودکه نشان میدهد میتوان x4= -7x1-15x2-18x3 را تشکیل داد به همین دلیل x1, x2, x3, x4 مستقل خطی نیستند.2.6)پایه و رتبه‌ (Basis and Rank): در این قسمت از کتاب به تعریف برخی دیگر از مفاهیم بر روی یک فضابرداری و ماتریس میپردازیم.2.6.1)مجموعه مولد و پایه(Generating Set and Basis): مجموعه مولد و اسپن(generating set and span): یک فضابرداری V = (?,+,.)و مجموعه بردارهای ? = {x1, . . . , xk} زیر مجموعه ? را در نظر بگیرید. اگر هر بردار ?را بتوان با یک ترکیب خطی از x1, . . . , xk ایجاد کرد آنگاه ما به مجموعه ? مجموعه مولد برای فضابرداری ? و به تمامی ترکیب های خطی مجموعه ? اسپن آن مجموعه میگوییم.اگر اسپن مجموعه ? برابر با فضابرداری V باشد میتوانیم بنویسیم : V = span[?] or V = span[x1, . . . , xk]پایه(Basis): فضابرداری V=(?,+,.) و ? زیر مجموعه ? را در نظر بگیرید. یک مجموعه مولد ? را کمینه(minimal) مینامیم اگر هیچ مجموعه کوچکتری وجود نداشته باشد کهکه اسپن آن برابر V باشد. حال به هر مجموعه مولد مستقل خطی ای که minimal نیز باشد یک پایه بر V میگوییم (در واقع یک پایه یک مجموعه مدل کمینه است در حالی که بزرگترین مجموعه مستقل خطی از یک فضابرداری است).فضابرداری V=(?,+,.) , ? زیرمجموعه ?و ? مخالف ∅ را در نظر بگیرید. تمامی گزاره های زیر با هم برابرند:? یک پایه برای V است.? یک مجموعه مولد کمینه است.? یک بزرگترین مجموعه مستقل خطی از بردارها بر روی V است که با افزودن هر بردار دیگری این مجموعه وابسته خطی خواهد بود.هر بردار x عضوی ازV یک ترکیب خطی از بردارهای ? است و هر ترکیب خطی از آن یکتاست.مثال: بردارهای یکه فضابرداری R3یک پایه برای آن است.برخی دیگر از پایه ها برای فضای R3:در این کتاب ما تنها فضابرداری های با ابعاد محدود را مورد مطالعه قرار میدهیم که در این فضاها ابعاد فضای V برابر است با تعداد بردارهای مجموعه پایه V. اگر U زیرمجموعهV یک زیرفضا برای V باشد آنگاه dim(U) کوچکتر مساوی dim(V) و dim(U) = dim(V) خواهد بود اگر و تنها اگر U = V باشد.دقت کنید که ابعاد یک بردار از فضا ارتباطی به اعضای یک بردار ندارد. برای مثال V = span([0 1])یک فضای یک بعدی را نمایش میدهد درحالیکه بردار پایه آن دو عنصر دارد.2.6.2)رتبه (Rank): به تعداد ستون های مستقل خطی ماتریس A عضو Rmn که برابر با تعداد سطرهای مستقل خطی آن است رتبه ماتریس گفته میشود که به شکل rk(A)گفته میشود.2.7)نگاشت خطی(Linear Mapping):تا به اینجا ما بردارها را تعریف کرده ایم به طوری که قابلیت جمع شدن با یکدیگر و ضرب در یک اسکالر را دارند. یک نگاشت حفظ میکند ساختار فضابرداری را اگر:نگاشت خطی(linear mapping): برای هر فضابرداری V و W, یک نگاشت همانند را خطی می نامیم اگر: یک نگاشت را در نظر بگیرید که V و W میتواند مجموعه هایی دلخواه باشند آنگاه به نگاشتیک به یک (Injective): اگر2.7.1) نمایش ماتریس ترکیب خطی(Matrix Representation of Linear Algebra): هر فضابرداری n بعدی یکریخت است(براساس یک قضیه در کتاب). حال بردارهای پایه {b1, . . . , bn}را برای یک فضابرداری n بعدی در نظر بگیرید و دقت کنید که ترتیب این بردارها مهم باشد و آنان را به شکل B = (b1, . . . , bn) بنویسیم آنگاه به دسته n تایی مانند B یک بردار پایه ترتیبی میگوییم.مختصات(Coordinates): فضابرداری V و مجموعه پایه ترتیبی B = (b1, . . . , bn) روی فضابرداری V در نظر بگیرید. به ازای هر x عضو V ما میتوانیم با یک ترکیب خطی مشابه زیر نمایش دهیم:حال به مجموعه ضرایب بالا مختصات x هستند بر روی بردارهای پایه B ویک بردار مختصات یا نمایش مختصاتی از x است بر روی بردارهای پایه B.ماتریس انتقال (Transformation Matrix): فضابرداری های V و W را در نظر بگیرید با بردار های پایه B = (b1, . . . , bn) و C = (c1, . . . , cn)و یک نگاشت خطی از V به W برای j های روی {1, . . . , n}در واقع نگاشت بالا یکتاست بر روی C. اکنون ماتریس m*n تعریف میکنیم (A) که هر درایه آن به شکل زیر است:که به ماتریس بالا ماتریس انتقال گفته میشود.چند مثال دیگر از نحوه کارکرد ماتریس انتقال در تصویر زیر میبینیم که به ترتیب شکل b برای ماتریس انتقال A1, شکل c برای ماتریس انتقال A2و همینطور شکل d برای ماتریس انتقالA3 هستند.2.7.2)تغییر پایه (Basis Change): فرض کنیم نگاشت خطی از V به W بر روی V و W موجود است با بردارهای پایه B و C و حال ما میخواهیم بردارهای پایه را تغییر دهیم و سپس ماتریس انتقال را از روی ماتریس انتقال فعلی محاسبه کنیم.که اثبات میشود (کتاب صفحه 60) ماتریس انتقال جدید از رابطه زیر بدست می آید؛که ماتریس S عضو Rnn یک ماتریس انتقال یک idv بر حسب بردار پایه جدید B بر روی B و همینطور T عضو Rmm برای C.برای اثبات میتوان به کتاب مراجعه کرد.2.7.3) تصویر و هسته (Image and Kernel): روی نگاشت V به W هسته یا فضای پوچی را به شکل زیر تعریف میکنیم:تصویر یا برد (image or range) نیز به شکل زیر تعریف میشود:قضیه رتبه و فضای پوچی(Rank-Nullity Theorem): برای هر فضای حالت V و W و نگاشت خطی رابطه زیر برقرار است :این قضیه یکی از مهم ترین قضایا در جبر خطی میباشد اما اثبات آن در قالب این مقاله جا نمی گیرد و علاقمندان میتوانند در کتاب جبر خطی نوشته شلدون اکسلر فصل 3 قضیه 22 اثبات آن را بیابند.2.8)فضای آفین(Affine Spaces):ما از نزدیک فضاهایی را که از مبدا جابجا می شوند ، خواهیم دید ، یعنی فضاهایی که دیگر زیر فضایی برداری نیستند. علاوه بر این ، ما مختصراً در مورد خصوصیات نگاشت بین این فضاهای وابسته ، که شبیه نگاشت های خطی است ، بحث خواهیم کرد.2.8.1)زیر فضاهای آفین(Affine Subspaces): اگر V یک فضای برداری باشد و x0 عضوV باشد و U زیر مجموعه V یک زیر فضا باشد آنگاه :که به آن زیرفضای آفین روی V میگویند و U را مسیر یا فضای مسیر میگویند.به پایان مباحث جبرخطی از کتاب ریاضیات برای یادگیری ماشین رسیدیم. اگر این نوشته برایتان جذاب بود و خواستار ادامه نگارش چنین مطالبی هستند حتما بهم بگید.باتشکر. Mohsen Shahverdi Mohsen Shahverdi Tue, 26 Oct 2021 11:57:52 +0330 https://virgool.io/baleacademy/%D8%AC%D8%A8%D8%B1%D8%AE%D8%B7%DB%8C-%D9%85%D8%A7%D8%B4%DB%8C%D9%86-%D9%84%D8%B1%D9%86%DB%8C%D9%86%DA%AF-qn86syc1avef محسن شاهوردی کندریاین مقاله مجموعۀ دوم از مقالات ریاضیات برای یادگیری ماشین است (فصل اول). در این مقاله، قصد داریم فصل دوم از کتاب Mathematics for Machine Learning را بررسی کنیم. فصل دوم کتاب به بررسی موضوعات دربارۀ جبر خطی می‌پردازد. در ادامه، عنوان‌های فصل دوم کتاب را می‌بینید و بعد از آن خلاصۀ فصل شروع می‌شود. چون در این فصل تعداد بسیار زیادی فرمول داریم و تایپ تمامی این فرمول‌ها زمان‌گیر است، من از این به بعد از تصاویر کتاب استفاده می‌کنم. امیدوارم این تغییر شما را در روند خواندن مقالات اذیت نکند.در ابتدا، برای فهم بهتر و داشتن دید وسیع‌تری به مباحث این فصل می‌توانید به شکل زیر نگاه کنید که دیدگاهی اولیه به مفاهیم فصل دوم، ارتباط آن‌ها با یکدیگر و ارتباطشان با فصل‌های بعدی ایجاد می‌کند.2.1) سیستم معادلات خطی (Systems of Linear Equations):سیستم معادلات خطی نقش بسیار گسترده و پررنگی در ریاضیات و به‌خصوص مباحث مرتبط به مدل‌سازی و یادگیری ماشین ایفا می‌کنند. به مجموعه‌ای از معادلات به‌شکل زیر یک دستگاه یا سیستم معادلات خطی گفته می‌شود.مجموعۀ جواب‌های معادله به هر مجموعۀ nعضوی مثل (x1, x2, . . . , xn) ∈ Rn گفته می‌شود که در معادلۀ بالا صدق کند.برای مثال مجموعۀ جواب (1، 1، 1) جواب دستگاه معادلۀ زیر است که اگر در مقادیر جای‌گذاری انجام دهید، هر سه معادله نتیجه می‌دهد.شهود حل دستگاه معادلات بالا به ازای (1، 1، 1) این‌گونه است که ۳ صفحۀ بالا در یک نقطه به مختصات (1,1,1) برخورد دارند. برای دو بعدی تصویر زیر کمک‌کننده است.باید دقت کنیم که جواب هر دستگاه معادلات خطی ممکن است یک صفحه، یک نقطه یا حتی یک مجموعۀ تهی باشد. برای مثال، در دستگاه مختصات دو بعدی دو خط با معادله عدد ثابت جوابی ندارند.2.2) ماتریس (matrix):ماتریس‌ها نقشی بسیار حیاتی در جبر خطی دارند و با استفاده از آن‌ها می‌توان بسیاری مسائل را ساده‌تر حل کرد و نوعی ابزار قدرتمند ریاضی هستند. ماتریس در واقع یک چندتایی (tuple) با K عضوی است که K = M * N است و N تعداد ستون‌ها و M تعداد سطرها را نشان می‌دهد و aij, i = 1, ... , m, j=1, ... , n است که به aij ها درایه گفته می‌شود. در زیر مثالی برای ماتریس آورده شده است.2.2.1) ضرب و جمع ماتریس (Matrix Addition and Multiplication): ما بر روی ماتریس‌ها به تعریف عملیات پایه‌ای همچون جمع و ضرب نیاز داریم. عملیات جمع بر روی ماتریس‌ها به‌شکل جمع درایه به درایه تعریف می‌شود. باید دقت کنید که هنگام جمع دو ماتریس با یکدیگر باید ابعاد هر دو ماتریس با هم برابر باشد، در غیر این‌صورت قادر به انجام عمل جمع نخواهیم بود. در شکل زیر جمع دو ماتریس نمایش داده شده است.ضرب دو ماتریس به‌شکل زیر تعریف می‌شود و باید دقت کنید که هنگام ضرب دو ماتریس باید ابعاد همسایه با هم برابر باشند. در ضرب زیرابعاد همسایه k است و چون در دو ماتریس A و B برابر است، ضرب این دو ماتریس ممکن است و ابعاد ماتریس نتیجه برابر با سطرهای ماتریس اول و ستون‌های ماتریس دوم خواهد بود، اما ضرب B در A را به‌دلیل مساوی نبودن n و m نمی‌توان تعریف کرد.مثالی از ضرب دو ماتریس برای نشان دادن اینکه AB ≠ BA برقرار است.ماتریس همانی (Identity Matrix): به ماتریس مربعی (n * n) گفته می‌شود که درایه‌های قطر اصلی آن ۱ و بقیۀ درایه‌ها صفر هستند.cij = 1 if i = j else 0تعریف برخی خاصیت‌های روابط ماتریسی:خاصیت انجمنی (associativity):خاصیت توزیع‌پذیری (Distributivity):ضرب ماتریس در ماتریس همانی:2.2.2) وارون ماتریس و ترانهاده (Inverse and Transpose):ماتریس وارون: ماتریس مربعی A ∈ R n * n را در نظر بگیرید. ماتریس B ∈ R n * n را ماتریس وارون A می‌نامیم، اگر AB = I = BA باشد و آن را به‌طور عمومی با A -1 نمایش می‌دهیم.باید دقت کنید وارون تنها برای ماتریس‌های مربعی تعریف می‌شود و همچنین هر ماتریس A مربعی‌ای نیز وارون ندارد که در آینده دراین‌باره بیشتر صحبت خواهیم کرد. اگر A ماتریسی باشد که وارون داشته باشد، به A ماتریس regular/invertible/nonsingular و در صورت نبود وارون به آن singular/non invertible گفته می‌شود.مثال: برای یک ماتریس ۲ * ۲ تلاش می‌کنیم که ماتریس وارون بیابیم.ماتریس A را به‌شکل زیر فرض کنید.سپس اگر ماتریس 'A به‌شکل زیر تعریف شود،ضرب این دو ماتریس برابر با ماتریس همانی خواهد شد، اگر یک ضریب اسکالر را نیز در نظر بگیریم.پس ماتریس وارون A برابر خواهد بود با:به ضریب ثابتی که در مخرج قرار دارد و در ماتریس بالا ضرب شده است دترمینان گفته می‌شود که در واقع یک نگاشت از درایه‌ها به یک اسکالر است که در فصل‌های آینده بیشتر دراین‌باره صحبت خواهیم کرد، اما باید دقت کنیم ماتریس A در صورتی وارون خواهد داشت که دترمینان آن برابر با صفر نباشد.ترانهاده (transpose): ماتریس A ∈ R m * n را در نظر بگیرید. ماتریس B ∈R n * m با درایه‌های bij = aji را ترانهادۀ ماتریس A می‌نامیم و به‌شکل AT= B نمایش می‌دهیم.برخی خواص وارون و ترانهادۀ ماتریس‌ها:ماتریس متقارن (symmetric matrix): ماتریس A متقارن است اگر A = AT برقرار باشد.اگر A معکوس‌پذیر باشد، آنگاه ترانهادۀ A نیز معکوس‌پذیر است.2.2.3) ضرب ماتریس در اسکالر (Multiplication by a Scalar): ما همچنین می‌توانیم یک عدد را در یک ماتریس ضرب کنیم که به‌شکل زیر تعریف می‌شود.خاصیت انجمنی (Associativity):خاصیت توزیع‌پذیری (distributivity):2.2.4) نمایش فشردۀ سیستم‌های معادلات خطی (Compact Representations of Systems of Linear Equations): از ماتریس‌ها می‌توانیم برای نمایش دستگاه‌های معادلۀ خطی استفاده کنیم. برای مثال، می‌توان دستگاه معادلات زیر را به‌شکل ماتریسی نمایش داد و سپس از خاصیت‌های موجود بر روی ماتریس‌ها استفاده کرد و دستگاه‌های معادلات خطی را حل کرد.شکل ماتریس دستگاه بالا.حال ما یک دستگاه معادلات خطی را به‌صورتAx = b نمایش دادیم که A ماتریس ضرایب است و x ماتریس مجهولات و b نیز ماتریس اعداد ثابت ماست. در قسمت بعدی فصل دو به برخی روش‌های حل دستگاه‌های معادلات خطی می‌رسیم و روش‌های مرسوم را توضیح می‌دهیم و با مثال حل می‌کنیم.2.3) حل سیستم معادلات خطی (Solving Systems of Linear Equations): همان‌گونه که در بخش قبلی مطرح شد، می‌توانیم دستگاه معادلات خطی را به‌صورت معادلۀ ماتریس بازتعریف کنیم. حال قصد داریم در این قسمت از کتاب به بررسی برخی از روشهای حل دستگاه معادلات خطی بپردازیم.2.3.1) جواب خاص و عمومی (Particular and General Solution): به‌طورکلی به جواب‌های معادلۀAx = b جواب خاص دستگاه گفته می‌شود و جواب عمومی یک معادله ترکیب جواب خاص و جواب‌های Ax = 0 است.برای مثال، قصد داریم برای معادلۀ زیر جواب خاص و عمومی را به دست آوریم.برای قسمت راست معادله، می‌توانیم بردار b را به‌شکل زیر بازنویسی کنیم.دقت کنید که در ضرب ماتریس سمت چپ معادله ستون اول ماتریس ضرایب در x1 ضرب می‌شود و ستون دوم در x2 ضرب می‌شود و چون برای x3 و x4 سمت راست معادله مقداری نداریم، می‌توان جواب خاص را به‌شکل[42, 8, 0, 0] نوشت. برای به دست آوردن جواب معادلۀAx = 0 باید ستون سوم ماتریس سمت چپ را در بردار مجهول‌ها ضرب کنیم و برای صفر کردن جواب معادله باید عنصر سوم را منهای یک عدد که معادل جمع باشد و ضریب x4 را نیز برابر صفر بگذاریم تا در این معادله حذف گردد.دقت کنید که در رابطۀ بالا هر ضریبی از 1 می‌تواند یک بردار صفر ایجاد کند. باید همین روال را برای x4 حال تکرار کنیم.همان‌طور که قبلاً گفتیم جواب عمومی برابر است با ترکیب جواب خاص و جواب‌های معادلۀAx = 0 که برای مثال بالا به‌شکل زیر خواهد بود.2.3.2) تغییرات ابتدایی (Elementary Transformations): از روش‌های حس سیستم‌های معادلات خطی است که با انجام چند نوع عملیات سعی در ساده کردن مسئله و حذف برخی متغیرها در معادلات است. در این روش ما مجاز هستیم از سه عمل زیر استفاده کنیم:جابه‌جایی دو معادله؛ضرب یک معادله در یک اسکالر؛جمع دو معادله با یکدیگر.مثال: برایa ∈ R تمامی جواب‌های دستگاه معادلات زیر را به دست آورید.در ابتدا یک ماتریس به‌شکل زیر تشکیل می‌دهیم که در سمت راست خط مقادیر b که سمت راست معادلات بالا هستند قرار می‌گیرد.سپس، سطر اول را با سطر سوم جابه‌جا می‌کنیم و به‌شکل زیر معادلات را در عددی ضرب و با هم جمع می‌کنیم.سپس نتایج به‌دست‌آمده را هماهنگ شکل زیر تغییرات را اعمال می‌کنیم.هنگامی که ماتریس به یک ماتریسی تبدیل شد که تمامی عناصر پایین‌تر از قطر اصلی صفر شد، عملیات ساده کردن را متوقف می‌کنیم.در دستگاه معادلات خطی بالاa = -1 می‌شود و سپس از سه معادلۀ بالا، جواب خاص دستگاه به‌شکل زیر نتیجه می‌شود.که جواب عمومی آن نیز به‌شکل زیر خواهد شد.2.3.3) روش منهای یک (The Minus-1 Trick): این روش به‌دلیل شباهت به روش قبلی بحث‌شده در این مقاله قرار نمی‌گیرد و علاقه‌مندان می‌توانند از روی کتاب این بخش را دنبال کنند.2.3.4) الگوریتم‌هایی برای حل یک سیستم معادلات خطی: در این قسمت به برخی مقالات در این حوزه اشاره شده است.the Richardson method, the Jacobi method, the Gauß-Seidel method, and the successive over-relaxation method, or Krylov subspace methods, such as conjugate gradients, generalized minimal residual, or biconjugate gradients.We refer to the books by Stoer and Burlirsch (2002), Strang (2003), and Liesen and Mehrmann (2015) for further details.همچنین در این بخش از کتاب دربارۀ روش شبه‌وارون (Moore-Penrose pseudo-inverse) نیز صحبت شده است. این روش به‌شکل زیر است:باید دقت شود اگر ماتریس A ماتریس مربعی نباشد، نمی‌توان وارون آن را محاسبه کرد، زیرا ماتریس وارون تنها برای ماتریس‌های مربعی تعریف می‌شود، به همین دلیل دو طرف معادله را در ترانهادۀ A ضرب می‌کنیم. آنگاه حاصل‌ضرب ترانهادۀ A در A یک ماتریس مربعی می‌شود که می‌توان وارون آن را محاسبه کرد (باید دقت کرد اگر دترمینان ضرب ماتریس در ترانهاده‌اش برابر صفر باشد، برخی روش‌های بازگشتی برای حل مسئله موجود است که در قالب این کتاب نمی‌گنجد، شاید در مقاله‌ای جدا برخی از روش‌های بازگشتی برای رفع این مشکل را بنویسم). روش شبه‌وارون در بسیاری از الگوریتم‌های یادگیری ماشین کاربرد دارد، زیرا معمولاً ما با ماتریس‌هایی از جنس نمونه‌ها و ویژگی‌ها طرف هستیم و این ماتریس‌ها غالباً مربعی نیستند و این روشی جاافتاده در بسیاری از الگوریتم‌های یادگیری ماشین همچون رگرسیون است.در این مقاله تا این قسمت از جبرخطی پرداخته شد و در مقاله بعدی قسمت های بعدی کتاب (فضاهای برداری، پایه و رتبه، مجموعه مولد، نگاشت خطی، ماتریس انتقال، تغییر پایه و ...) خواهیم پرداخت. Mohsen Shahverdi Mohsen Shahverdi Sat, 09 Oct 2021 17:03:47 +0330 https://virgool.io/Whitenoise/httpsvirgooliomohsenshahverdy97%D8%B1%DB%8C%D8%A7%D8%B6%DB%8C%D8%A7%D8%AA-%D8%A8%D8%B1%D8%A7%DB%8C-%DB%8C%D8%A7%D8%AF%DA%AF%DB%8C%D8%B1%DB%8C-%D9%85%D8%A7%D8%B4%DB%8C%D9%86-1-aew1mnljck7e یادگیری ماشین که یکی از زیرمجموعه های جدایی ناپذیر از هوش مصنوعی می باشد که امروزه به شدت مورد توجه قرار گرفته است.در دهه گذشته و با پیشرفت سخت افزارها و کارت های گرافیک برای آموزش مدل های مبتنی بر شبکه های عصبی مصنوعی بیش از پیش به این توجه افزوده است. ریاضیات بخش جدایی ناپذیر یادگیری ماشین است و غالب الگوریتم ها و روش ها مبتنی بر ریاضیات می باشند. آمار و جبر خطی پیش نیاز های اصلی این فیلد هستند و به دلیل گستردگی زیاد این دو شاخه ریاضیات، فراگیری مفاهیمی که در یادگیری ماشین مورد استفاده قرار میگیرد را برای اشخاص دشوارتر می کند.در این سلسله مقالات قصد دارم به مفاهیم جبرخطی و آمار مورد استفاده در یادگیری ماشین بر اساس کتاب Mathematics for Machine Learning بپردازم. در واقع این سلسله مقالات خلاصه ای بر فصول مختلف این کتاب خواهند بود که ممکن است گاهی به میزان گفته شده در کتاب و گاهی نیز کمی بیشتر از حجم کتاب در مقالات مورد بحث قرار گیرد.نویسندگان کتاب:Marc DeisenrothA. Aldo FaisalCheng Soon Ongفهرست کتاب:Part I: Mathematical FoundationsIntroduction and MotivationLinear AlgebraAnalytic GeometryMatrix DecompositionsVector CalculusProbability and DistributionContinuous OptimizationPart II: Central Machine Learning ProblemsWhen Models Meet DataLinear RegressionDimensionality Reduction with Principal Component AnalysisDensity Estimation with Gaussian Mixture ModelsClassification with Support Vector MachinesReferencesIndexفصل اول:Introduction and MotivationFinding Words for IntuitionsTwo Ways to Read This BookExercises and Feedbackدر ابتدای کتاب در مورد انگیزه و نحوه نگارش کتاب و برخی از مفاهیم صحبت شده است که مورد بحث ما نمی باشد. سپس به دو روش پیشنهادی نویسنده برای مطالعه کتاب پرداخته شده است.روش اول(بالا به پایین): در این روش شما از فصول انتهایی شروع به خواندن میکنید و در صورت نیاز به مفاهیم پایه ای در مفاهیم اولیه کتاب میتوانید رجوع کنید.روش دوم(پایین به بالا): در این روش شما به مرور با مفاهیم ریاضی آشنا شده و در روند کتاب می توانید کاربردهای هر یک از مفاهیمی که در فصول قبلی خوانده اید را درک کنید.من روش دوم رو انتخاب کردم و بر پایه همین روش نیز فصل ها رو خلاصه کردم.در تصویر بالا ابزارهای مورد نیاز برای فراگیری یادگیری ماشین نشان داده شده است که در پارت اول کتاب (فصل 1 الی 7) باکس های پایینی شکل پوشش داده میشوند و در پارت دوم (فصل 8 الی 12) پایه های نگهدارنده یادگیری ماشین مورد بحث قرار میگیرد.جبرخطی (linear algebra): بازتعریف اطلاعات با استفاده از داده های عددی، بردارها و ماتریس ها را جبر خطی می نامیم و در فصل دوم کتاب به مباحث جبرخطی مورد نیاز در یادگیری ماشین خواهیم پرداخت.هندسه تحلیلی (analytic geometry): در دنیای واقعی دو بردار معمولا نماینده دو شی یا دو رفتار هستند که ما قصد داریم میزان تشابه این دو بردار یا فاصله این دو از یکدیگر را محاسبه کنیم. در الگوریتم های یادگیری ماشین غالبا ما به دنبال یافتن همین شباهت ها یا فواصل هستیم که ابزارهای انجام چنین کاری و فرموله کردن این بردارها را به عنوان هندسه تحلیلی می شناسیم و در فصل سوم مورد بررسی قرار خواهیم داد.تجزیه ماتریس (matrix decomposition): در فصل چهارم برخی از عملیات و مفاهیم پایه ای در مورد تجزیه ماتریس ها و عملیات ماتریسی مورد بحث قرار خواهد گرفت که در یادگیری ماشین بسیار پر کاربرد هستند و به ما اجازه تفسیر بهتر داده ها را میدهد.نظریه احتمال (probability theory): در الگوریتم های یادگیری ماشین معمولا ما با داده هایی و وقایع پر از noise طرف هستیم که تشخیص و تعریف این noise ها بسیار پر اهمیت هستند و باید ابزاری برای تشخیص آنان داشته باشیم. ما همچنین اغلب دوست داریم پیش بینی هایی داشته باشیم که به ما امکان بیان نوعی عدم اطمینان را بدهند ، به عنوان مثال ، برای تعیین کمیت اطمینان نسبت به مقدار پیش بینی در یک نقطه داده آزمون خاص. کمی سازی عدم قطعیت قلمرو نظریه احتمالات است و نظریه احتمالات در فصل 6 آورده شده است.محاسبات برداری (vector calculus) و بهینه سازی (optimization): برای آموزش مدل های مبتنی بر یادگیری ماشین ما معمولا پارامترهایی را می بابیم که معیاری را بیشینه (maximize) یا کمینه (minimize) میکنند. غالب الگوریتم ها و تکنیک های بهینه سازی به مفاهیم پایه ای گرادیان نیازمند هستند تا به ما جهت حرکت مان را در فضای تابع هزینه برای یافتن بهترین راه حل کمک کنند. ما با استفاده از حساب برداری که در فصل 5 بررسی میکنیم، مفاهیم گرادیان را پوشش میدهیم و در فصل 7 کاربردهای آن در بهینه سازی را مورد بحث قرار خواهیم داد.رگرسیون خطی (linear regression): در فصل نهم کتاب ما قصد داریم مسئله رگرسیون خطی را مورد تحلیل و بررسی قرار دهیم و برای این امر کتاب در مورد روش های maximum likelihood estimation ، maximum a posteriori estimation و Bayesian linear regression بحث خواهد کرد.کاهش ابعاد (dimensionality reduction): فصل دهم کتاب متمرکز بر روی مفاهیم و مباحث کاهش ابعاد میباشد که الگوریتم کاهش ابعاد PCA به طور مفصل مورد بحث خواهد بود.تخمین چگالی (density estimation): در فصل یازدهم کتاب نویسنده در مورد تخمین تابع چگالی احتمال بحث خواهد کرد. هدف اصلی تخمین چگالی یافتن تابع توزیعی ای است که توانایی توصیف دقیقی از دیتا داشته باشد به همین منظور مدل Gaussian mixture models به طور مفصلی مورد بحث خواهند بود.دسته بندی (classification): به عنوان یکی از انواع مسائل supervised در فصل دوازدهم به توضیح و تعریف مساله دسته بندی به طور مختصر پرداخته خواهد شد و سپس الگوریتم Support Vector Machines SVM بررسی شده و انواع kernel ها معرفی خواهد شد.لینک دانلود کتاب :https://mml-book.comفصل دوم (لینک)فصل سوم (لینک)فصل چهارم (لینک)فصل پنجم (لینک)فصل ششم (لینک)فصل هفتم (لینک)فصل هشتم (لینک)فصل نهم (لینک)فصل دهم (لینک)فصل یازدهم (لینک)فصل دوازدهم (لینک) Mohsen Shahverdi Mohsen Shahverdi Sun, 04 Jul 2021 01:31:52 +0430