معماری نرم افزار

عنوان سخنرانی: Getting Evals Right for LLM Applications

سخنران: متخصصان همایش Interrupt

لینک ویدیو: Getting Evals Right for LLM Applications | Interrupt 26 - YouTube

مرور و برداشت من: ارزیابی و تست سیستم‌های غیرقطعی (Non-deterministic) همواره یکی از نقاط کور در طراحی معماری‌های نوین است. به عنوان یک محقق در حوزه نرم‌افزار، به خوبی می‌دانم که تضمین کیفیت سیستم نیازمند سنجه‌های دقیق و تکرارپذیر است. این سخنرانی تمرکز فوق‌العاده‌ای روی این موضوع داشت که چگونه باید فریم‌ورک‌های ارزیابی (Evals) را از همان ابتدا در معماری برنامه‌های مبتنی بر LLM تعبیه کنیم. یاد گرفتم که معماری بخش تست در سیستم‌های خودمختار به اندازه هسته اصلی پردازشی اهمیت دارد و برای داشتن یک سیستم قابل اعتماد، باید بتوان عملکرد ایجنت‌ها را به صورت سیستماتیک و با داده‌های واقعی به طور مداوم مانیتور کرد.

«اين مطلب، بخشي از تمرينهاي درس معماري نرم‌افزار در دانشگاه شهيدبهشتي است»