نکاتی در مورد یادگیری‌های تنبل و کوشا در طبقه‌بندی داده

الگوریتم‌های طبقه‌بندی (Classification) را می‌توان از منظر روش یادگیری روی داده‌های آموزشی، به ۲ گروه زیر دسته‌بندی کرد.

یادگیری تنبل (Lazy Learner)
یادگیری کوشا (Eager Learner)

اکثر الگوریتم‌های طبقه‌بندی از روش یادگیری کوشا استفاده می‌کنند. یادگیری کوشا به این صورت عمل می‌کند که با استفاده از داده‌های آموزشی(Train) مدل طبقه‌بندی را می‌سازد، سپس این مدل، برای ارزیابی داده‌های آزمایشی(Test) مورد استفاده قرار می‌گیرد. اگر نتایج ارزیابی رضایت‌بخش باشد، از مدل بدست‌آمده جهت پیش‌بینی طبقه‌بند(classifications) داده‌های ناشناخته ورودی استفاده می‌شود.از این رو یادگیری کوشا پیش از این، بیشتر کار خود را در تدوین مدل انجام داده‌اند.

یادگیری کوشا را می‌توان به این صورت نیز تعریف کرد :

این متدها را چون تعمیم را قبل از مواجهه با نمونه جدید انجام می‌دهند کوشا می‌نامند.

از طرف دیگر یادگیری تنبل هیچ مدلی را قبل از گرفتن داده‌های ناشناخته از ورودی نمی‌سازد و منتظر داده‌های طبقه‌بندی نشده می‌ماند و پس از دریافت شروع به ساخت مدل پیش‌بینی می‌کند.به دلیل اینکه به ازای هر پیش‌بینی داده ورودی باید کل مدل از اول ساخته شود، بنابراین می‌توان گفت یاگیری تنبل زمان زیادی صرف می‌کند.

یادگیری تنبل را می‌توان به این صورت نیز تعریف کرد :

این متدها برای اینکه چگونگی تعمیم روی نمونه‌های آموزشی را به زمانی که نمونه‌ی جدید ارائه می‌شود واگذار می‌کنند، تنبل خوانده می‌شود.

آیا آنچه الگوریتم‌های تنبل می‌توانند یاد بگیرند با آنچه الگوریتم‌های کوشا می‌توانند یاد بگیرند تفاوت چشم‌گیری دارد؟

بیاید ابتدا ۲ نوع تفاوت را مشخص کنیم.

تفاوت در زمان محاسبات
تفاوت در طبقه‌بندهای تولید شده برای نمونه‌های جدید

تفاوت‌های واضحی در زمان محاسبه‌ی الگوریتم‌های یادگیری تنبل و کوشا وجود دارد. برای مثال، متدهای تنبل در طول آموزش محاسبات کمتری لازم دارند. اما در هنگام پیش‌بینی ویژگی هدف برای نمونه‌ی جدید محاسبات زیادی انجام می‌دهند.

سوال اساسی‌تر این است که آیا تفاوت‌های اساسی‌ای در بایاس‌های استقرایی الگوریتم‌های تنبل و الگوریتم‌های کوشا وجود دارد. از این نظر تفاوت‌های زیر بین متدهای تنبل و کوشا وجود دارد.

در متدهای تنبل گاهی تصمیم‌گیری برای چگونگی تعمیم بر روی داده‌های آموزشی به نمونه‌ی آموزشی ارائه شده نیز وابسته می‌شود.
متدهای کوشا این وابستگی را نمی‌توانند داشته باشند، زمانی که یک متد کوشا با یک نمونه جدید مواجه می‌شود، تخمین جهانی را انجام داده است.

نکته کلیدی این است که یادگیری تنبل می‌تواند با ترکیب تخمین‌های موضعی (Local) تابع هدف را یاد بگیرد، در حالی که یادگیر کوشا فقط یک تخمین جهانی (Global) را با توجه به نمونه آموزشی یاد می‌گیرد. این تفاوت بین یادگیری کوشا و تنبل به تفاوت بین تخمین موضعی و جهانی تابع هدف بر می‌گردد.

به طور خلاصه، متدهای تنبل حق انتخاب بین فرضیه‌ها یا تخمین‌های موضعی تابع هدف برای هر نمونه‌ی جدید را دارند. در حالی که متدهای کوشا محدودترند و باید با استفاده از یک فرضیه کل فضای نمونه را پوشش دهند. البته متدهای کوشا نیز می‌توانند از ترکیبی از تخمین‌های موضعی استفاده کنند(مانند شبکه‌های RBF). با این وجود،حتی این ترکیب تخمین‌های موضعی قابلیت کامل متدهای تنبل در تغییر بر اساس نمونه‌ی آموزشی مجهول را به یادگیر کوشا نمی‌دهد.