ریاضیات برای یادگیری ماشین (جبر خطی قسمت دوم)

محسن شاهوردی کندری

سلام تو این مقاله قصد داریم ادامه مقاله جبر خطی رو داشته باشیم.

2.4)فضاهای برداری (Vector Spaces):

به دلیل بازتعریفی دستگاه معادلات خطی به شکل ماتریسی و برداری نیاز است ما فضاهای برداری را نیز بدانیم به همین دلیل این بخش در کتاب قرار داده شده است.

2.4.1) گروه ها (groups): گروه ها نفش مهمی را در گرایشات علوم کامپیوتر همانند کدینگ (coding theory) , گرافیک کامپیوتری و رمزنگاری بازی میکند.

اگر علاوه بر شروط بالا شرط زیر نیز برقرار باشد این گروه را یک گروه Abelian میگوییم.

چند مثال برای گروه ها:

2.4.2) فضاهای برداری‌(Vector Spaces): برای تعریف فضاهای برداری ما نیاز به تعریف گروه هایی داریم که در آنان دو عملگر به جای یک عملگر وجود دارد.

فضا برداری: یک فضا برداری با مقادیر حقیقی به شکل زیر روی مجموعه تعریف میشود.

دقت کنید که (?, +) یک گروه Abelian می باشد.

توزیع پذیری‌:

انجمنی برای عملگر بیرونی:

عضو خنثی برای عملگر بیرونی:

به اعضای x زیر مجموعه V بردار گفته میشود. برای مثال بردار صفر : 0 = [0,... , 0]

روی بردار ها میتوان چندین گونه از عملگرها و عملیات ها را تعریف کرد برای مثال ضرب عنصر به عنصر, ضرب داخلی و خارجی که همگی به شکل ضرب ماتریسی هستند.

در کتاب مثال هایی مطرح شده است که به دلیل شباهت به مثال های بخش ماتریس ها (2.2) به آنان پرداخته نخواهد شد.

2.4.3) زیرفضا های برداری (Vector Subspaces): زیرفضاها در یادگیری ماشین بسیار اهمیت دارند به خصوص در فصل دهم کتاب نشان خواهیم داد چگونه با استفاده از زیرفضاها در کاهش ابعاد مسائل را حل خواهیم کرد.

زیرفضای برداری: فضای برداری

را در نظر بگیرید. آنگاه به U = (?,+,.) یک زیرفضای برداری برای V می گوییم اگر U نیز خود یک فضا برداری با دو عملگر + و . باشد (شروط یک فضا برداری روی آن نیز صادق باشد).

دقت کنید که اگر ? زیر مجموعه ? باشد و V نیز یک فضا برداری باشد آنگاه U بسیاری از خواص موجود در V را به ارث خواهد برد.

برخی از نکات مهم در مورد زیر فضای U :

اگر ? تهی نباشد آنگاه 0 عضوی از ? است.

2.5)استقلال خطی‌(Linear Independence): برای معرفی استقلال خطی ابتدا لازم است ترکیب خطی را معرفی کنیم.

ترکیب خطی(linear combination): فضابرداری V و تعداد k بردار x1, ... , xk زیر مجموعه V را در نظر بگیرید. آنگاه هر v عضوی از V به شکل

استقلال خطی (Linear Independence): یک فضابرداری V با

را در نظر بگیرید. اگر یک ترکیب خطی وجود داشته باشد(به جز ترکیب خطی با تمامی ضرایب 0 که در بالا ذکر شد) که

برقرار باشد مجموعه بردارهای x1, ... , xk مستقل خطی نیستند.

اگر تنها یکی از بردارهای مجموعه بردارهای ما برابر با ترکیب خطی بقیه k - 1 بردار ما باشد مجموعه بردارها مستقل خطی نخواهند بود.

مثال: 3 بردار زیر را در نظر بگیرید و استقلال خطی آنان را بررسی کنید.

راه حل : برای حل باید جواب های معادله زیر را بیابیم.

برای بدست آوردن جواب های معادله زیر باید آن را به شکل یک دستگاه معادله نوشته و سپس با روش های ذکر شده در قسمت 2.3 آن را حل کنیم.

میتوان از سطر اول این نتیجه گیری را داشت که هیچ جواب دیگری جز 1 = 0, 2 = 0, 3 = 0 برای معادله فوق وجود ندارد.

یک فضا برداری V با k بردار مستقل خطی b1, . . . , bk و m ترکیب خطی به شکل زیر:

آنگاه ماتریس B را میتوان به شکل B=[b1, . . . , bk ]تعریف کرد که ستون های آن مستقل خطی هستند با برداری ها b1, . . . , bk که آنگاه میتوان به شکل زیر بازنویسی کرد

برای یک حالت پیچیده تر, حال میخواهیم استقلال خطی x1, . . . , xmرا بررسی کنیم به همین منظور به شکل مرسوم به بررسی جواب های معادله زیر میپردازیم.

سپس

معادله فوق نشان میدهد {x1, . . . , xm}مستقل خطی هستند اگر و تنها اگر بردارهای ستونی

مستقل خطی باشند. از معادله فوق میتوان نتیجه گرفت که در فضابرداری V, با m ترکیب خطی و k بردار x1, . . . , xk وابسته خطی هستند اگر m > k.

مثال: بردارهای b1, b2, b3, b4 که مستقل خطی هستند را در نظر بگیرید. و استقلال خطی x1, x2, x3, x4 را بر اساس دستگاه زیر بررسی کنید.

برای حل این سوال ابتدا بر اساس ضرایب b1, b2, b3, b4بردارهای زیر را میسازیم.

حال ماتریس A را مطابق با روابطی که قبل از مثال وجود داشت تشکیل میدهیم و تلاش به یافتن جواب های معادله میکنیم.

که ماتریس به شکل زیر نتیجه میشود

که نشان میدهد میتوان x4= -7x1-15x2-18x3 را تشکیل داد به همین دلیل x1, x2, x3, x4 مستقل خطی نیستند.

2.6)پایه و رتبه‌ (Basis and Rank): در این قسمت از کتاب به تعریف برخی دیگر از مفاهیم بر روی یک فضابرداری و ماتریس میپردازیم.

2.6.1)مجموعه مولد و پایه(Generating Set and Basis): مجموعه مولد و اسپن(generating set and span): یک فضابرداری V = (?,+,.)و مجموعه بردارهای ? = {x1, . . . , xk} زیر مجموعه ? را در نظر بگیرید. اگر هر بردار ?را بتوان با یک ترکیب خطی از x1, . . . , xk ایجاد کرد آنگاه ما به مجموعه ? مجموعه مولد برای فضابرداری ? و به تمامی ترکیب های خطی مجموعه ? اسپن آن مجموعه میگوییم.

اگر اسپن مجموعه ? برابر با فضابرداری V باشد میتوانیم بنویسیم :

V = span[?] or V = span[x1, . . . , xk]

پایه(Basis): فضابرداری V=(?,+,.) و ? زیر مجموعه ? را در نظر بگیرید. یک مجموعه مولد ? را کمینه(minimal) مینامیم اگر هیچ مجموعه کوچکتری وجود نداشته باشد که

که اسپن آن برابر V باشد. حال به هر مجموعه مولد مستقل خطی ای که minimal نیز باشد یک پایه بر V میگوییم (در واقع یک پایه یک مجموعه مدل کمینه است در حالی که بزرگترین مجموعه مستقل خطی از یک فضابرداری است).

فضابرداری V=(?,+,.) , ? زیرمجموعه ?و ? مخالف ∅ را در نظر بگیرید. تمامی گزاره های زیر با هم برابرند:

• ? یک پایه برای V است.
• ? یک مجموعه مولد کمینه است.
• ? یک بزرگترین مجموعه مستقل خطی از بردارها بر روی V است که با افزودن هر بردار دیگری این مجموعه وابسته خطی خواهد بود.
• هر بردار x عضوی ازV یک ترکیب خطی از بردارهای ? است و هر ترکیب خطی از آن یکتاست.

مثال: بردارهای یکه فضابرداری R3یک پایه برای آن است.

برخی دیگر از پایه ها برای فضای R3:

در این کتاب ما تنها فضابرداری های با ابعاد محدود را مورد مطالعه قرار میدهیم که در این فضاها ابعاد فضای V برابر است با تعداد بردارهای مجموعه پایه V. اگر U زیرمجموعهV یک زیرفضا برای V باشد آنگاه dim(U) کوچکتر مساوی dim(V) و dim(U) = dim(V) خواهد بود اگر و تنها اگر U = V باشد.

دقت کنید که ابعاد یک بردار از فضا ارتباطی به اعضای یک بردار ندارد. برای مثال V = span([0 1])یک فضای یک بعدی را نمایش میدهد درحالیکه بردار پایه آن دو عنصر دارد.

2.6.2)رتبه (Rank): به تعداد ستون های مستقل خطی ماتریس A عضو Rmn که برابر با تعداد سطرهای مستقل خطی آن است رتبه ماتریس گفته میشود که به شکل rk(A)گفته میشود.

2.7)نگاشت خطی(Linear Mapping):

تا به اینجا ما بردارها را تعریف کرده ایم به طوری که قابلیت جمع شدن با یکدیگر و ضرب در یک اسکالر را دارند. یک نگاشت

حفظ میکند ساختار فضابرداری را اگر:

نگاشت خطی(linear mapping): برای هر فضابرداری V و W, یک نگاشت همانند

را خطی می نامیم اگر:

یک نگاشت

را در نظر بگیرید که V و W میتواند مجموعه هایی دلخواه باشند آنگاه به نگاشت

یک به یک (Injective): اگر

2.7.1) نمایش ماتریس ترکیب خطی(Matrix Representation of Linear Algebra): هر فضابرداری n بعدی یکریخت است(براساس یک قضیه در کتاب). حال بردارهای پایه {b1, . . . , bn}را برای یک فضابرداری n بعدی در نظر بگیرید و دقت کنید که ترتیب این بردارها مهم باشد و آنان را به شکل B = (b1, . . . , bn) بنویسیم آنگاه به دسته n تایی مانند B یک بردار پایه ترتیبی میگوییم.

مختصات(Coordinates): فضابرداری V و مجموعه پایه ترتیبی B = (b1, . . . , bn) روی فضابرداری V در نظر بگیرید. به ازای هر x عضو V ما میتوانیم با یک ترکیب خطی مشابه زیر نمایش دهیم:

حال به مجموعه ضرایب بالا مختصات x هستند بر روی بردارهای پایه B و

یک بردار مختصات یا نمایش مختصاتی از x است بر روی بردارهای پایه B.

ماتریس انتقال (Transformation Matrix): فضابرداری های V و W را در نظر بگیرید با بردار های پایه B = (b1, . . . , bn) و C = (c1, . . . , cn)و یک نگاشت خطی از V به W برای j های روی {1, . . . , n}

در واقع نگاشت بالا یکتاست بر روی C. اکنون ماتریس m*n تعریف میکنیم (A) که هر درایه آن به شکل زیر است:

که به ماتریس بالا ماتریس انتقال گفته میشود.

چند مثال دیگر از نحوه کارکرد ماتریس انتقال در تصویر زیر میبینیم که به ترتیب شکل b برای ماتریس انتقال A1, شکل c برای ماتریس انتقال A2و همینطور شکل d برای ماتریس انتقالA3 هستند.

2.7.2)تغییر پایه (Basis Change): فرض کنیم نگاشت خطی از V به W بر روی V و W موجود است با بردارهای پایه B و C و حال ما میخواهیم بردارهای پایه را تغییر دهیم و سپس ماتریس انتقال را از روی ماتریس انتقال فعلی محاسبه کنیم.

که اثبات میشود (کتاب صفحه 60) ماتریس انتقال جدید از رابطه زیر بدست می آید؛

که ماتریس S عضو Rnn یک ماتریس انتقال یک idv بر حسب بردار پایه جدید B بر روی B و همینطور T عضو Rmm برای C.

برای اثبات میتوان به کتاب مراجعه کرد.

2.7.3) تصویر و هسته (Image and Kernel): روی نگاشت V به W هسته یا فضای پوچی را به شکل زیر تعریف میکنیم:

تصویر یا برد (image or range) نیز به شکل زیر تعریف میشود:

قضیه رتبه و فضای پوچی(Rank-Nullity Theorem): برای هر فضای حالت V و W و نگاشت خطی رابطه زیر برقرار است :

این قضیه یکی از مهم ترین قضایا در جبر خطی میباشد اما اثبات آن در قالب این مقاله جا نمی گیرد و علاقمندان میتوانند در کتاب جبر خطی نوشته شلدون اکسلر فصل 3 قضیه 22 اثبات آن را بیابند.

2.8)فضای آفین(Affine Spaces):ما از نزدیک فضاهایی را که از مبدا جابجا می شوند ، خواهیم دید ، یعنی فضاهایی که دیگر زیر فضایی برداری نیستند. علاوه بر این ، ما مختصراً در مورد خصوصیات نگاشت بین این فضاهای وابسته ، که شبیه نگاشت های خطی است ، بحث خواهیم کرد.

2.8.1)زیر فضاهای آفین(Affine Subspaces): اگر V یک فضای برداری باشد و x0 عضوV باشد و U زیر مجموعه V یک زیر فضا باشد آنگاه :

که به آن زیرفضای آفین روی V میگویند و U را مسیر یا فضای مسیر میگویند.

به پایان مباحث جبرخطی از کتاب ریاضیات برای یادگیری ماشین رسیدیم. اگر این نوشته برایتان جذاب بود و خواستار ادامه نگارش چنین مطالبی هستند حتما بهم بگید.

باتشکر.