طاها اکبری·۴ ماه پیشMulti-Query attention و Group-Query attentionیک معماری که توی LLM های اخیر مورد توجه قرار گرفته معماری Group Query attention (GQA) هستش. جریان اینه که در زمان آموزش با توجه به این که ه…
طاها اکبری·۴ ماه پیشیادگیری با استفاده از نمونه های کم با استفاده از SetFitگاهی اوقات در حل مسائل دسته‌بندی تعداد کمی داده از هر کدام از دسته‌ها داریم. (به طور مثال ۸ داده از هر دسته داریم). SetFit روشی برای دسته…
