محمدحسین گیوکاشی
محمدحسین گیوکاشی
خواندن ۱ دقیقه·۴ سال پیش

الگوریتم انتشار رو به عقب در شبکه های کانولوشنی (Back Propagation in Convolutional Neural Networks)

اگر اطلاعاتی در مورد back propagation در شبکه های کانولوشنی ندارید در این بخش به توضیح روش انجام back propagation در این شبکه ها می پردازیم.

در تصویر زیر نحوه ی به کارگیری قاعده ی زنجیره ای به وسیله ی computational graphs نشان داده شده

بخش فوروارد در سمت چپ با استفاده از متغیرهای ورودی x و z ، y را به عنوان تابعی (f (x، y محاسبه می کند. سمت راست  انتشار رو به عقب را نشان می دهد. با دریافت dL / dz ، شیب تابع از خطا  تابع ازخطا را می توان با استفاده از قانون زنجیره ای محاسبه کرد ، همانطور که در شکل نشان داده شده است
بخش فوروارد در سمت چپ با استفاده از متغیرهای ورودی x و z ، y را به عنوان تابعی (f (x، y محاسبه می کند. سمت راست انتشار رو به عقب را نشان می دهد. با دریافت dL / dz ، شیب تابع از خطا تابع ازخطا را می توان با استفاده از قانون زنجیره ای محاسبه کرد ، همانطور که در شکل نشان داده شده است



در تصویر زیر حالت دیگری از محاسبه ی گرادیان در Back propagation نشان داده شده است.

Back propagation
Back propagation


ما به بررسی backward در شبکه کانولوشنی تک لایه خواهیم پرداخت ابتدا عملیات فوروارد را انجام میدهیم .سایز ورودی 3*3 ،یک فیلتر 2*2 و stride = 1 در نظر میگیریم.سایز خروجی حاصل 2*2 می باشد در هنگام عملیات فوروارد ماتریس ورودی و وزن های فیلتر را نگه داری می کنیم تا در عملیات Back propagation استفاده کنیم.


Convolution Operation (Forward Pass)
Convolution Operation (Forward Pass)

در بالا انیمیشنی در مورد نحوه ی اعمال فیلتر و تولید خروجی نشان داده شده

در ادامه رابطه های که کار رفته و ابعاد ورودی و فیلتر مشخص شده

در قسمت backward لازم هست ابتدا با نوتیشن زیر آشنا شویم که نحوه ی نمایش گرادیان را به صورت خلاصه شده نشان میدهیم.

اکنون نحوه ی به کارگیری back propagation را برای لایه ی فعلی توضیح می دهیم میخواهیم گرادیان را نسبت به ورودی و وزن های حساب کنیم با محاسبه ی گرادیان نسبت به تابع هزینه و انجام محاسبات طبق روش زیر میتوانیم وزن های مربوط به فیلتر را به روزرسانی کنیم با استفاده از شکل زیر نحوه ی انجام عملیات نشان داده شده است.

Backward pass
Backward pass
نحوه ی محاسبه ی مشتق های نهایی در بک پروپ
نحوه ی محاسبه ی مشتق های نهایی در بک پروپ



Back PropagationConvolutional Neural Networksالگوریتم انتشار رو به عقبشبکه های کانولوشنیcnn
شاید از این پست‌ها خوشتان بیاید