درختان تصمیم بیزی به دلیل تفسیر احتمالی خود شناخته شده اند با این حال، ساخت آنها گاهی اوقات می تواند پرهزینه باشد. در این مقاله ما یک الگوریتم کلی درخت تصمیم بیزی ارائه می کنیم که برای مسائل رگرسیون و طبقه بندی قابل استفاده است.
این الگوریتم، الگوریتم Monte Carloرا اعمال نمی کند و نیازی به مرحله هرس ندارد. در حالی که امکان ساخت فضای درخت احتمال وزنی وجود دارد، متوجه هستیم که یک درخت خاص، greedy-modal tree (GMT)، بیشتر اطلاعات موجود در مثال‌های عددی را توضیح می‌دهد.
این رویکرد مشابه جنگل‌های تصادفی در مجموعه داده‌ها با معیار مختلف عمل می‌کند. به ویژه، درخت بیزی با استفاده از یک درخت منفرد (نسبتا کم عمق) به دقت مشابهی دست می یابد، که امکان یک تکنیک کاملاً قابل توضیح را فراهم می کند که اغلب پیش نیازی برای کاربردهای مالی یا صنعت پزشکی است.
درخت‌های تصمیم، از تکنیک‌های یادگیری ماشینی محبوبی هستند که برای کارهای طبقه‌بندی و رگرسیون به کار می‌روند. این تکنیک با مدل نتیجه مشخص می شود که به عنوان یک ساختار درختی کدگذاری می شود.
به درختان تصمیم جعبه سفید گفته می شود چون همه گره های یک درخت را می توان مشاهده و درک کرد، علاوه بر این، ساختار درختی می‌تواند خروجی را با محاسبات بسیار کمتری نسبت به سایر تکنیک‌های یادگیری ماشینی پیچیده‌تر بازگرداند.
در این مقاله، به طور صریح کل فرآیند تولید درخت را مدل‌سازی میکنیم، در حالی که تنها امتیاز احتمالی پارتیشن‌های ممکن را ارائه میکنیم. این به ما امکان می دهد به جای تکیه بر یک الگوریتم اکتشافی، جنبه هرس را به صورت احتمالی مشاهده کنیم.
نمای کلی درختان بیزی
ما D = {(x i , y i )}به عنوان مجموعه داده ای از n که مشاهدات مستقل هستند معرفی میکنیم.
x = (x 1 , ..., x d ) در فضای Rdویژگی های هر یک از مشاهدات را توضیح می دهد که y به صورت تصادفی از Yx انتخاب می شود.
توزیع Y x نوع مسئله ای را که ما حل می کنیم تعیین می کند: یک متغیر تصادفی گسسته به یک مسئله طبقه بندی تبدیل می شود در حالی که یک متغیر تصادفی پیوسته به یک مسئله رگرسیونی تبدیل می شود. تابع بتا به ویژه برای محاسبه احتمال نمونه های طبقه بندی در این مقاله مفید خواهد بود
مجموعه داده D از یک فرآیند تولید داده نمونه برداری می شود. ما این فرآیند را به دو مرحله تقسیم می کنیم: اول، یک نقطه x در Rd نمونه برداری می شود. دوم، نتیجه Yx با توجه به x نمونه برداری می شود. در این مقاله ما هیچ دانش قبلی از تولید مکان های x را در نظر نمی گیریم. از این رو، ما بر روی توزیع Yx تمرکز خواهیم کرد.
فرض می شود که این توزیع شرطی در زیر یک ساختار درختی کدگذاری شده است ایجاد شده به دنبال مجموعه ای از قوانین بازگشتی ساده بر اساس {xi}ni=1، یعنی فرآیند تولید درخت: با شروع از ریشه، تعیین می کنیم که آیا این کار را می کنیم گره فعلی را با دو برگ تحت یک احتمال از پیش تعریف شده گسترش دهید
با توجه به فرآیند بالا، واضح است که بلوک ساختمانی درختان تصمیم بیزی در نظر گرفتن پارتیشن‌هایی از Rd است که نتایج را تحت یک رویکرد احتمالی بهتر توضیح می‌دهند. همه نقاط در یک مجموعه از یک پارتیشن Π توزیع نتیجه یکسانی دارند، یعنی Y به x بستگی ندارد. بنابراین، با فرض یک پیش از پارامترهای توزیع Y، می‌توانیم احتمال هر مجموعه را در یک پارتیشن به دست آوریم. از آنجایی که همه مشاهدات مستقل فرض می شوند، احتمال تقسیم کل L(D|Π) با ضرب احتمالات هر مجموعه به دست می آید.
درختان نمودارهای غیر چرخه ای جهت دار هستند که از گره هایی با یک ریشه واحد و حرکت بعدی تشکیل شده اند هر دو گره متصل توسط یک مسیر منحصر به فرد به هم متصل می شوند. طبق طبقه بندی ما گره ها به صورت برگ یا جوانه هستند. در حالی که برگها شامل گره های پایانی هستند اطلاعات مدل، جوانه ها به گره های فرزند اضافی اشاره می کنند. اگر شماره از گره های فرزند همیشه دو است، ما درخت را یک درخت باینری می نامیم. هر جوانه حاوی سوال یا قاعده ای که پاسخ آن به یکی از فرزندانش می انجامد. شروع از ریشه که تنها گره بدون والد است، مسیر درخت را دنبال می کنیم تا به یک برگ می رسیم.
روش GMT پیشنهادی یک درخت تصمیم بیزی است که زمان آموزش را کاهش می دهد با اجتناب از هر گونه نمونه برداری از زنجیره مارکوف مونت کارلو یا مرحله هرس. نتایج مثال عددی GMT دارای قدرت پیش بینی مشابه RF هستند. این رویکرد ممکن است در جایی مفید باشد که توانایی توضیح مدل a نیاز به این دلیل که قابلیت تفسیری مشابه DT را دارد اما عملکردی دارد مشابه RF از این رو، مزایای GMT این است که می تواند به راحتی انجام شود قابل درک است و برای آموزش زمان کمتری نسبت به RF نیاز دارد. علاوه بر این، توانایی تعیین یک احتمال قبلی ممکن است به ویژه برای برخی از مسائل مناسب باشد و راه کارآمدتری برای کشف درختان معنی دار و بهبود کارایی است.
