گرادیان نزولی یک روش ریاضی است که به صورت تکرار شونده مقادیر وزن ها و تعصب که مدل را تولید میکنند پیدا مکند با حداقل مقدار میزان زیان.
مدل آموزش را با وزن ها و تعصب های نزدیک به صفر شروع میکند و سپس موارد زیر را تکرار میکند:
طرح زیر مراحل تکرارشونده گرادیان نزول که باعث پیدا کردن وزن ها و میزان تعصب با کمترین میزان زیان میشود را نمایش میدهد:
