خلاصه مقاله
https://paperswithcode.com/paper/nbdt-neural-backed-decision-trees
چکیده
برنامه های کاربردی یادگیری ماشینی مانند امور مالی و پزشکی نیاز به پیش بینی های دقیق و قابل توجیه دارند و اکثر روش های یادگیری عمیق را از استفاده منع می کنند. در پاسخ، کار قبلی درخت‌های تصمیم‌گیری را با یادگیری عمیق ترکیب می‌کند و مدل‌هایی را به دست می‌دهد که (1) تفسیرپذیری را فدای دقت یا (2) فدای دقت برای تفسیرپذیری می‌کنند. ما با بهبود مشترک دقت و تفسیرپذیری با استفاده از درختان تصمیم با پشتوانه عصبی (NBDT) از این معضل چشم پوشی می کنیم. NBDTها لایه خطی نهایی یک شبکه عصبی را با یک توالی متفاوت از تصمیمات و یک ضرر جایگزین جایگزین می کنند. این مدل را وادار به یادگیری مفاهیم سطح بالا می کند و اتکا به تصمیمات بسیار نامطمئن را کاهش می دهد و دقت (1) را به همراه دارد: NBDT ها مطابق یا بهتر از شبکه های عصبی مدرن در CIFAR، ImageNet عمل می کنند و تا 16% بهتر به کلاس های دیده نشده تعمیم می یابند. علاوه بر این، از دست دادن جایگزین ما دقت مدل اصلی را تا 2٪ بهبود می بخشد. NBDTها همچنین (2) قابلیت تفسیر را دارند: بهبود اعتماد انسانی با شناسایی واضح اشتباهات مدل و کمک به اشکال زدایی مجموعه داده ها.
شکل A : هر گره ، گره فرزند را با بزرگترین محصول داخلی انتخاب می کند و بعد از آن گره را بازدید می کند. این کار را تا رسیدن به یک برگ ادامه دهید.
شکلB: نوع "نرم" است، که در آن هر گره به سادگی احتمالات را به عنوان محصولات داخلی نرمال شده برمی گرداند. هر فرزند برای هر برگ، احتمال مسیر آن به ریشه را محاسبه کنید. برگ را با بیشترین احتمال انتخاب کنید.
شکل c : فرض کنید w4 کلاس صحیح است. با استنتاج سخت، اشتباه در ریشه (قرمز) غیر قابل جبران است با این حال، با استنتاج نرم، تصمیمات بسیار نامطمئن در ریشه و در w2 جایگزین می شوند.
با تصمیم بسیار مطمئن در w3 (سبز). این بدان معناست که مدل با وجود اشتباه هنوز می تواند w4 را به درستی انتخاب کند.در ریشه به طور خلاصه، استنتاج نرم می تواند اشتباهات را در تصمیم گیری های بسیار نامطمئن تحمل کند.
درختان تصمیم با پشتوانه عصبی (NBDTs) لایه خطی نهایی شبکه را با درخت تصمیم جایگزین می کنند.
برخلاف درخت های تصمیم گیری کلاسیک یا بسیاری از طبقه بندی کننده های سلسله مراتبی، NBDT ها از احتمالات مسیر برای تحمل تصمیمات میانی بسیار نامطمئن، ایجاد یک سلسله مراتب از قبل برای کاهش بیش برازندگی و تمرین با کاهش سلسله مراتبی برای یادگیری بهتر تصمیمات سطح بالا
مرحله A. وزنه های نهایی یک مدل از پیش آموزش دیده را به طور کامل بارگذاری کنید.لایه متصل، با ماتریس وزنW ∈ R^D*K
مرحله B. ردیف های wk ∈ W را بردارید و برای هر برگ نرمال کنید.وزن گره به عنوان مثال، w1 قرمز در A به برگ قرمز در B اختصاص داده شده است.
مرحله C. هر جفت برگ را به طور میانگین محاسبه کنید.گره هایی برای وزن والدین به عنوان مثال، w1 و w2 (قرمز و بنفش) در B به طور میانگین به w5 (آبی) درC
مرحله D. برای هر جد، میانگین وزن گره برگ در زیردرخت آن را محاسبه کنید. این میانگین وزن اجداد است.
در اینجا، جد ریشه است، بنابراین وزن آن میانگین وزن های برگ w1، w2، w3، w4 است.
تجزیه و تحلیل: شناسایی برچسب های معیوب مجموعه داده
انواع مختلفی از برچسب های مبهم وجود دارد (شکل 5) که هر کدام می تواند به عملکرد مدل آسیب برساند
برای یک مجموعه داده طبقه بندی تصویر مانند ImageNet. برای یافتن این تصاویر از آنتروپی در NBDT استفاده می کنیم
همه این نمونه ها دارای برچسب های مبهم هستند.
با NBDT (بالا)،قاعده تصمیم گیری تصمیم گیری بین طبقات به همان اندازه قابل قبول، قطعیت پایینی دارد (قرمز، 30-50٪).
همه تصمیمات دیگر قوانین دارای اطمینان بالایی هستند (آبی، 96٪ +).
کنار هم قرار گرفتن قواعد تصمیم گیری با قطعیت بالا و پایین باعث می شود برچسب های مبهم به راحتی قابل تشخیص هستند.
در مقابل، ResNet18 (پایین) هنوز یک کلاس را با احتمال زیاد انتخاب می کند.
(سمت چپ) یک مثال افراطی از "sug" که ممکن است به طور منطقی به دو کلاس تعلق داشته باشد.
(راست) تصویر حاوی دو حیوانات از طبقات مختلف
ما دو مدل آموزش دیده را اجرا می کنیم که یکی با درخت آموزش داده شده است
از دست دادن نظارت (NBDT) و یکی بدون از دست دادن نظارت درختی (ResNet18). ما سلسله مراتب القایی را محاسبه می کنیم
استفاده از هر دو مدل برای یافتن نمونه‌هایی که شبیه‌ترین نمونه‌ها به مفاهیم حیوانات و وسایل نقلیه موتوری است. هر ردیف نشان دهنده یک گره داخلی، و حاشیه های قرمز، تصاویری را نشان می دهد که شامل کلاس های CIFAR10 هستند.
منبع:
https://paperswithcode.com
https://paperswithcode.com/paper/nbdt-neural-backed-decision-trees
