سلام و وقت بخیر!
متنی که مشاهده می کنید یکی از مقالات سایت paperwithcode هست که بازخوانی و ارائه شده است که لینک آن به صورت زیر می باشد:
www.paperswithcode.com/paper/nbdt-neural-backed-decision-trees
این مقاله انتشار یافته سال 2021 بوده و اثر دکتر آلوین ون و همکاران است.
به طور خلاصه هدف این مقاله به این شرح است:
کاربردهای یادگیری ماشینی مانند امور مالی و پزشکی نیاز به پیش بینی های دقیق و قابل توجیه دارند و اکثر روش های یادگیری عمیق را از استفاده منع می کنند. در پاسخ به این نیاز که سیستم های یادگیری ماشین نمی توانند روشی توجیه کننده برای انسان ها بیاورند و خود به استخراج ویژگی ها می گردارند،قبل ها از ترکیب درخت تصمیم گیری (Decision Tree) با یادگیری عمیق ترکیب مدل‌هایی را به دست می‌آمد که یا (1) تفسیرپذیری را فدای دقت یا (2) دقت را فدای تفسیرپذیری می‌کنند. در این مقاله با بهبود مشترک دقت و تفسیرپذیری درختان تصمیم با پشتوانه عصبی (NBDT) از این معضل جلوگیری می شود. NBDTها لایه خطی نهایی یک شبکه عصبی را با یک توالی متفاوت از تصمیمات و یک ضرر جایگزین می کنند. این کار مدل را مجبور به یادگیری مفاهیم سطح بالا می کند و اتکا به تصمیمات بسیار نامطمئن را کاهش می دهد، و 1- دقت زیادی را به همراه دارد: یعنی NBDT ها مطابق یا بهتر از شبکه های عصبی مدرن در CIFAR، ImageNet عمل می کنند و تا 16% بهتر به کلاس های دیده نشده تعمیم می یابند. علاوه بر این، از دست دادن جایگزین این مدل دقت مدل اصلی را تا 2٪ بهبود می بخشد. NBDTها همچنین 2- قابلیت تفسیر را دارند: بهبود اعتماد انسانی با شناسایی واضح اشتباهات مدل و کمک به اشکال زدایی مجموعه داده ها.
بیان و حل مسئله:
برای تحقق پیشرفت‌هایی که زمینه دقت و تفسیرپذیری روند کاری بیان شد، به جای تطبیق بیش از حد با فضای ویژگی، سلسله مراتب را به شبکه منطبق می‌کنند، اتکای درخت تصمیم را به تصمیم‌های بسیار نامطمئن کاهش می‌دهند و تشخیص دقیق مفاهیم سطح بالا را تشویق می‌کنند. این مزایا در بهبود مشترک دقت و قابلیت تفسیر به اوج خود می رسد.
روش کار:
درختان تصمیم با پشتوانه عصبی (NBDTs) لایه خطی نهایی شبکه را با درخت تصمیم جایگزین می کنند.
برخلاف درخت‌های تصمیم کلاسیک یا بسیاری از طبقه‌بندی‌کننده‌های سلسله مراتبی، NBDTها از احتمالات مسیر برای استنتاج برای کنترل کردن تصمیم‌های میانی بسیار نامطمئن استفاده می‌کنند، سلسله‌مراتبی را از وزن‌های مدل از پیش آموزش‌دیده برای کاهش تطابق بیش از حد(Overfitting)، و آموزش با تلفات سلسله مراتبی برای یادگیری بهتر تصمیمات سطح بالا استفاده می‌کنند.(منظور از تصمیم های سطح بالا تشخیص بین حیوانات و خودروها است)
قوانین زیر برای پیاده سازی روش پیشنهادی است:
1. وزن دهی قاعده تصمیم گیری با وزن شبکه عصبی: یک درخت تصمیم مایل فقط از تصمیمات باینری پشتیبانی می کند و برای هر تصمیم از یک ابر صفحه استفاده می کند. در عوض، ما یک بردار وزنی ni را با هر گره مرتبط می کنیم.
2. محاسبه احتمالات گره: احتمالات برگ های این درخت تصمیم توسط سافت مکس داده می شود.
3. یک برگ را با استفاده از احتمالات مسیر انتخاب می شود.
به عنوان مثال در شکل زیر ، w1 قرمز در A به برگ قرمز در B اختصاص داده شده است. میانگین گیری هر جفت گره برگ برای وزن والدین. به عنوان مثال، w1 و w2 (قرمز و بنفش) در B به طور میانگین به w5 (آبی) در C تبدیل می‌شوند سپس برای هر جد(والد والد)، میانگین وزن گره‌های برگ در زیردرخت آن را متوسط گیری می شود. این میانگین وزن اجداد است. در اینجا، جد ریشه است، بنابراین وزن آن میانگین وزن های برگ w1، w2، w3، w4 است.
تجزیه و تحلیل: شناسایی برچسب های معیوب مجموعه داده
انواع مختلفی از برچسب‌های مبهم وجود دارد مانند شکل زیر که هر یک از آنها می‌تواند به عملکرد مدل برای مجموعه داده‌های طبقه‌بندی تصویر مانند ImageNet آسیب برساند. برای یافتن این تصاویر، از آنتروپی در تصمیم‌گیری‌های NBDT استفاده می‌کنیم، که نشان‌دهنده ابهام بسیار قوی‌تر از آنتروپی در پیش‌بینی شبکه عصبی اصلی است.
نتیجه گیری:
در این مقاله، درخت تصمیم با پشتوانه عصبی را پیشنهاد شده است که 1- دقت بهبود یافته را مشاهده می‌کنند: NBDTهای خارج تعمیم می‌دهند (16%+)، بهبود (2%+)، و مطابقت (0.15%) یا عملکرد بهتر (1%+) وضعیت را دارند. . همچنین 2- تفسیرپذیری بهبود یافته را با ترسیم سلسله مراتبی و استفاده از آنتروپی مسیر برای شناسایی برچسب‌های مبهم . با این کار تضاد بین دقت و قابلیت تفسیر کمرنگ تر شده و راه را برای مدل های مشترک دقیق و قابل تفسیر در استقرار در دنیای واقعی هموار می کند.
