الگوریتم انتشار رو به عقب در شبکه های کانولوشنی (Back Propagation in Convolutional Neural Networks)

اگر اطلاعاتی در مورد back propagation در شبکه های کانولوشنی ندارید در این بخش به توضیح روش انجام back propagation در این شبکه ها می پردازیم.

در تصویر زیر نحوه ی به کارگیری قاعده ی زنجیره ای به وسیله ی computational graphs نشان داده شده

در تصویر زیر حالت دیگری از محاسبه ی گرادیان در Back propagation نشان داده شده است.

ما به بررسی backward در شبکه کانولوشنی تک لایه خواهیم پرداخت ابتدا عملیات فوروارد را انجام میدهیم .سایز ورودی 3*3 ،یک فیلتر 2*2 و stride = 1 در نظر میگیریم.سایز خروجی حاصل 2*2 می باشد در هنگام عملیات فوروارد ماتریس ورودی و وزن های فیلتر را نگه داری می کنیم تا در عملیات Back propagation استفاده کنیم.

در بالا انیمیشنی در مورد نحوه ی اعمال فیلتر و تولید خروجی نشان داده شده

در ادامه رابطه های که کار رفته و ابعاد ورودی و فیلتر مشخص شده

در قسمت backward لازم هست ابتدا با نوتیشن زیر آشنا شویم که نحوه ی نمایش گرادیان را به صورت خلاصه شده نشان میدهیم.

اکنون نحوه ی به کارگیری back propagation را برای لایه ی فعلی توضیح می دهیم میخواهیم گرادیان را نسبت به ورودی و وزن های حساب کنیم با محاسبه ی گرادیان نسبت به تابع هزینه و انجام محاسبات طبق روش زیر میتوانیم وزن های مربوط به فیلتر را به روزرسانی کنیم با استفاده از شکل زیر نحوه ی انجام عملیات نشان داده شده است.