Bayesian Decision Theory (1)

نظریه تصمیم گیری بیژین

این نظریه، یک رویکرد آماری در تصمیم‌گیری است و برای طبقه بندی الگوها از آن استفاده می شود.

در این روش بیژین از احتمال طبقه بندی استفاده می کند و ریسک (یعنی هزینه یا loss function) تخصیص ورودی به یک کلاس معین را اندازه می گیرد. در زیر به توضیح یکسری از پارامترهای این نظریه می پردازیم.

1) احتمال قبلی یا Prior Probability:

همانطور که از نامش پیداست مقدار این پارامتر باید باتوجه به رخدادهای قبلی محاسبه شود.فرض کنید شخصی می پرسد که برنده مسابقه آینده بین دو تیم چه کسی خواهد بود. A و B به ترتیب به تیم اول یا دوم برنده اشاره می کند.در 10 بازی اخیر جام حذفی، چهار بار A و شش بار B رخ داده است. بنابراین، احتمال وقوع A در مسابقه بعدی چقدر است؟ بر اساس تجربه (یعنی اتفاقاتی که در گذشته رخ داده است)، احتمال قبلی که تیم اول A در مسابقه بعدی برنده شود عبارت است از:

P(A)=4/10=0.4

اما رویدادهای گذشته ممکن است همیشه ادامه نداشته باشند، زیرا ممکن است موقعیت یا زمینه تغییر کند. به عنوان مثال، تیم A می توانست تنها 4 بازی را ببرد، زیرا تعدادی از بازیکنان مصدوم بودند. وقتی بازی بعدی بیاید، همه این بازیکنان مصدوم بهبود یافته اند. بر اساس شرایط فعلی، تیم اول ممکن است در بازی بعدی با احتمال بیشتری نسبت به آنچه که فقط بر اساس رویدادهای گذشته محاسبه شده است، برنده شود.پس می توان گفت که احتمال قبلی، احتمال اقدام بعدی را بدون در نظر گرفتن مشاهده فعلی (یعنی وضعیت فعلی) اندازه گیری می کند. این مانند پیش بینی این است که یک بیمار فقط بر اساس بازدیدهای قبلی پزشکان به یک بیماری خاص مبتلا است و زمان فعلی را که ممکن است فرد دیگر بیمار نباشد در نظر نمی گیرد.این امر می‌تواند کیفیت ارزش پیش‌بینی را کاهش دهد. این مشکل با استفاده از likelihood حل می شود.

2) احتمال یا likelihood:

برای پاسخ به این سوال likelihood به ما کمک می کند.با توجه به برخی شرایط، احتمال وقوع یک نتیجه چقدر است؟ به صورت زیر مشخص می شود:

P(X∣Ci​)

عبارت بالا به این شکل خوانده می شود "تحت مجموعه ای از شرایط X، احتمال اینکه نتیجه Ci باشد چقدر است؟".جایی که X به شرایط اشاره دارد و Ci به نتیجه اشاره دارد. از آنجا که ممکن است چندین نتیجه وجود داشته باشد، متغیر C زیرنویس i داده می شود.

با توجه به مثال ما در مورد پیش بینی تیم برنده، احتمال وقوع نتیجه A دیگر فقط به رویدادهای گذشته بستگی ندارد، بلکه به شرایط فعلی نیز بستگی دارد. درواقع likelihood وقوع یک نتیجه را به شرایط فعلی در زمان انجام یک پیش بینی مرتبط می کند.

• نکته: یک اشکال استفاده از likelihood این است که تجربه (احتمال قبلی) را نادیده می گیرد که در بسیاری از موارد مفید است ولی ممکن است همیشه هم مفید نباشد. بنابراین، یک راه بهتر برای انجام یک پیش‌بینی، ترکیب هر دوی آنهاست.

3) احتمال قبلی و لایکلیهود (Prior and Likelihood Probabilities)

باتوجه به توضیحات بخش قبل متوجه شدیم که هر کدام از این پارامترها به تنهایی مناسب نیست ولی ترکیبی از اینها که ترکیبی از رخدادهای قبلی و وضعیت فعلی است، نتایج بهتری در پیش بینی به ما خواهد داد.

P(Ci​)P(X∣Ci​)

استفاده از هر دو احتمال قبلی و احتمال با هم گام مهمی در جهت درک نظریه تصمیم بیزی است.

Bayesian Decision Theory

نظریه تصمیم بیژین نتیجه را نه تنها بر اساس مشاهدات قبلی، بلکه با در نظر گرفتن وضعیت فعلی پیش بینی می کند. این قانون معقول ترین اقدامی را که بر اساس مشاهده انجام می شود، توصیف می کند.فرمول آن را در زیر مشاهده می کنیم:

• برای (Ci)p داریم: *prior probability* چند بار است که کلاس Ci مستقل از هر شرایطی (یعنی بدون توجه به ورودی X) رخ داده است.
• برای (X|Ci)p داریم: *likelihood* تحت برخی شرایط X، این چند بار است که نتیجه Ci رخ داده است.
• برای (X)p داریم: *Evidence* تعداد دفعاتی که شرایط X رخ داده است.
• برای (Ci|X)P داریم: *posterior probability * احتمال اینکه نتیجه Ci با توجه به برخی شرایط X رخ دهد.

نظریه تصمیم بیزی پیش بینی های متعادلی را ارائه می دهد، زیرا موارد زیر را در نظر می گیرد:

اولp(X) : شرایط X چند بار رخ داده است؟

دوم p(Ci) : چند بار نتیجه Ci رخ داد؟

سوم p(X|Ci) : هر دو شرایط X و نتیجه Ci چند بار با هم اتفاق افتادند؟

در بخش های بعدی نکاتی را مورد بحث قرار می دهیم.