https://virgool.io/feed/@matinghiasvand برنامه نویس و توسعه دهنده اپلیکیشن های جاوا، محقق و متخصص در مدل های زبانی بزرگ fa 2026-06-18 02:12:00 https://static.virgool.io/images/default-avatar.jpg https://virgool.io/@matinghiasvand https://virgool.io/@matinghiasvand/5-%D8%AA%DA%A9%D9%86%DB%8C%DA%A9-%D8%A8%D8%B1%D8%A7%DB%8C-%D8%A8%D9%87%DB%8C%D9%86%D9%87-%D8%B3%D8%A7%D8%B2%DB%8C-llm%D9%87%D8%A7-hko6jp0apdrp 5 تکنیک برای بهینه‌سازی LLMها:1) LoRA - دو ماتریس کم‌رتبه، A و B، را به همراه ماتریس‌های وزن W که شامل پارامترهای قابل آموزش هستند، بروزرسانی کنید.2) LoRA-FA - در حالی که LoRA به طور قابل توجهی تعداد کل پارامترهای قابل آموزش را کاهش می‌دهد، هنوز هم نیاز به حافظه فعال بالا برای به‌روزرسانی وزن‌های کم‌رتبه دارد. - LoRA-FA (FA مخفف Frozen-A) ماتریس A را قفل می‌کند و فقط ماتریس B را به‌روزرسانی می‌کند.3) VeRA - در LoRA، هر لایه یک جفت متفاوت از ماتریس‌های کم‌رتبه A و B دارد و هر دو ماتریس آموزش داده می‌شوند. - اما در VeRA، ماتریس‌های A و B قفل شده، تصادفی و در تمام لایه‌های مدل مشترک هستند. 4) Delta-LoRA - در اینجا، علاوه بر آموزش ماتریس‌های کم‌رتبه، ماتریس W نیز تنظیم می‌شود اما نه به روش سنتی. - بلکه تفاوت (یا دلتا) بین حاصل‌ضرب ماتریس‌های کم‌رتبه A و B در دو مرحله آموزشی متوالی به W اضافه می‌شود.5) LoRA+ - در LoRA، هر دو ماتریس A و B با همان نرخ یادگیری به‌روزرسانی می‌شوند. - نویسندگان دریافتند که تنظیم نرخ یادگیری بالاتر برای ماتریس B منجر به همگرایی بهینه‌تر می‌شود. Matin Ghiasvand Matin Ghiasvand Sat, 08 Feb 2025 11:44:58 +0330 https://virgool.io/@matinghiasvand/%D8%A2%D8%B4%D9%86%D8%A7%DB%8C%DB%8C-%D8%A8%D8%A7-%D9%85%D8%B9%D9%85%D8%A7%D8%B1%DB%8C-%D9%87%D8%A7%DB%8C-%D8%AA%D9%88%D9%84%DB%8C%D8%AF-%D8%A8%D8%A7-%D8%AA%D9%82%D9%88%DB%8C%D8%AA-%D8%A8%D8%A7%D8%B2%DB%8C%D8%A7%D8%A8%DB%8C-%D8%A7%D8%B7%D9%84%D8%A7%D8%B9%D8%A7%D8%AA-rag-bsnbqq3wmrq1 در دنیای امروز، ترکیب مدل های زبانی با منابع دانش برای ارائه پاسخ‌های دقیق و کاربردی، بسیار حیاتی شده است. اینفوگرافیک زیر انواع معماری‌های RAG را نمایش می‌دهد که مدل‌های زبانی را با پایگاه‌های اطلاعاتی ادغام می‌کنند. 1️⃣ Naive RAG: بازیابی مستقیم اسناد و استفاده از آن‌ها در مدل زبانی برای پاسخ‌دهی.2️⃣ Retrieve-and-Rerank RAG: رتبه‌بندی مجدد اسناد بازیابی شده برای ارائه مرتبط‌ترین اطلاعات.3️⃣ Multimodal RAG: ترکیب داده‌های متنی و چندرسانه‌ای (تصاویر، ویدئوها) برای پاسخ‌دهی.4️⃣ Graph RAG: استفاده از پایگاه داده‌های گرافی برای درک روابط پیچیده بین اطلاعات.5️⃣ Hybrid RAG: ترکیب چندین روش بازیابی برای تقویت دقت و تنوع.6️⃣ Agentic RAG (Router): عوامل هوشمند برای مسیریابی بهتر اطلاعات.7️⃣ Agentic RAG (Multi-Agent): استفاده از منابع متنوع (موتورهای جستجو، پیام‌رسان‌ها، ایمیل) با هماهنگی بین عوامل هوشمند.✨ این معماری‌ها تحول بزرگی در سیستم‌های پاسخ‌دهی ایجاد کرده‌اند. Matin Ghiasvand Matin Ghiasvand Sun, 26 Jan 2025 17:15:42 +0330 https://virgool.io/@matinghiasvand/%D9%81%D9%86%D8%A7%D9%88%D8%B1%DB%8C-rag-%D9%88-%D8%A7%D8%B3%D8%AA%D9%81%D8%A7%D8%AF%D9%87-%D8%AF%D8%B1-%DA%86%D8%AA-%D8%A8%D8%A7%D8%AA-%D9%87%D8%A7-k2mvg294dgx1 امروزه با استفاده از RAG (retrieval-augmented generation) و قدرت مدل‌های زبانی بزرگ، می‌توان چت‌بات‌هایی طراحی کرد که علاوه بر دقت بالا، اطلاعات را مستقیماً از منابع معتبر و به‌روز ارائه می‌دهند. این مزیت به خصوص در بخش‌های پشتیبانی مشتریان، خدمات پزشکی و آموزش آنلاین بسیار کارآمد است. مزایای اصلی استفاده از RAG در چت‌بات‌ها :1- ارائه پاسخ‌های دقیق با استفاده از دیتای واقعی و قابل اعتماد. 2- کاهش احتمال تولید اطلاعات نادرست توسط مدل‌های زبانی. 3- امکان شخصی‌سازی بر اساس نیازهای کاربران و سازمان‌ها. Matin Ghiasvand Matin Ghiasvand Thu, 26 Dec 2024 22:08:13 +0330