در آمار، kullback_leibler divergence یک معیار است برای اینکه متوجه بشویم یک توزیع احتمالی چقدر با یک توزیع احتمالی دیگر اختلاف(تفاوت) دارد.
دو توزیع احتمالی P و Q را در نظر بگیرید. به طور معمول P داده های ما را نشان میدهد(داده هایی که میخواهیم بدانیم چقدر با یک توزیع احتمالی دیگر اختلاف دارد). Q نقش یک مدل یا نمونه را دارد( مثلا Q از توزیع نرمال پیروی میکند و آن را به عنوان مدل قرار میدهیم تا بفهمیم P چقدر با توزیع نرمال اختلاف دارد).
این معیار به معنی تشخیص واگرایی دو توزیع احتمالی از هم است. این معیار relative entropy نیز نامیده میشود که توسط Solomon kullback و Richard Leibler در سال 1951 با عنوان واگرایی جهت دار بین دو توزیع معرفی شد.
مثال: عکس زیر را مشاهده کنید. P شکل سمت چپ است که از توزیع باینومیال پیروی میکند و شکل سمت راست Q است مه از توزیع یکنواخت پیروی میکند.
