https://virgool.io/feed/@m_94159701 Artificial Intelligence Engineer, Area of Expertise machine learning, Specialized field of natural language. fa 2026-06-17 02:38:53 https://files.virgool.io/upload/users/1352971/avatar/l92i4e.jpeg?height=120&width=120 https://virgool.io/@m_94159701 https://virgool.io/@m_94159701/%D8%A7%D8%B4%D8%AA%D8%A8%D8%A7%D9%87-%D8%B4%D9%85%D8%A7%D8%B1%D9%87-%DB%B7-%D9%86%D8%A7%D8%AF%DB%8C%D8%AF%D9%87-%DA%AF%D8%B1%D9%81%D8%AA%D9%86-%D8%A8%D9%87%DB%8C%D9%86%D9%87-%D8%B3%D8%A7%D8%B2%DB%8C-%D8%B9%D9%85%D9%84%DA%A9%D8%B1%D8%AF-%D8%AF%D8%B1-%D8%A7%DB%8C%D8%AC%D9%86%D8%AA-%D9%87%D8%A7%DB%8C-%D9%87%D9%88%D8%B4-%D9%85%D8%B5%D9%86%D9%88%D8%B9%DB%8C-ak8tjlzkc99i یکی از بزرگ‌ترین اشتباهات در ساخت ایجنت‌های هوش مصنوعی، نادیده گرفتن بهینه‌سازی عملکرد است. هیچ‌کس دوست ندارد که برای دریافت یک پاسخ ۲۰ دقیقه صبر کند! مردم انتظار دارند که پاسخ‌ها سریع باشند و اینجاست که پلتفرم‌هایی مثل Groq و Ollama وارد میدان می‌شوند.Groq سرعتی به‌مراتب بالاتر نسبت به Ollama دارد، به لطف معماری Tensor Streaming و کدگذاری پیش‌بینی که باعث افزایش سرعت پردازش از ۲۵۰ توکن در ثانیه به ۱۶۰۰ توکن در ثانیه می‌شود.از طرفی، Ollama از بهینه‌سازی سخت‌افزاری استفاده می‌کند و به‌طور کارآمد از GPUها و CPUها بهره می‌برد، که این امکان پردازش محلی را فراهم می‌کند.💡 نکته: اگر در حال ساخت ایجنت‌های هوش مصنوعی هستید، بهینه‌سازی عملکرد بسیار مهم است. برای سرعت بیشتر از Groq و برای پردازش محلی از Ollama استفاده کنید! این پلتفرم‌ها را دست‌کم نگیرید.🚨 اشتباه شماره ۸: وابستگی بیش از حد به LLMها برای وظایف تکراری 🚨یکی دیگر از اشتباهات وقت‌گیر، استفاده از LLMها برای وظایف تکراری مانند شمارش یا پردازش ریاضیات پایه است. LLMها برای وظایف خلاقانه عالی هستند، اما در انجام کارهای تکراری و منطقی معمولاً دچار حلقه‌های بی‌پایان یا اشتباه می‌شوند.برای مثال، زمانی که در حال ساخت یک ایجنت کنترل گذرنامه برای شبیه‌سازی فرودگاه بودم، از یک حلقه ساده پایتون برای شمارش مسافران استفاده کردم، به جای اینکه به یک LLM وابسته باشم.✅ نکته: برای انجام وظایف تکراری و محاسباتی، از LLMها استفاده نکنید. این کار باعث اشتباه و هدررفت زمان می‌شود! مینا حاجی رضایی مینا حاجی رضایی Thu, 17 Apr 2025 13:54:16 +0330 https://virgool.io/@m_94159701/%D8%B3%D8%A7%D8%AE%D8%AA-%D8%A7%DB%8C%D8%AC%D9%86%D8%AA-%D9%87%D8%A7%DB%8C-%D9%87%D9%88%D8%B4-%D9%85%D8%B5%D9%86%D9%88%D8%B9%DB%8C-%D8%A8%D8%AF%D9%88%D9%86-%D8%A7%D8%B4%D8%AA%D8%A8%D8%A7%D9%87-c3muo4xfpdud در این پست می‌خواهیم به اشتباهات رایج در ساخت ایجنت‌های هوش مصنوعی بپردازیم و نحوه اجتناب از آنها را بررسی کنیم. با یادگیری این نکات، می‌توانید ایجنت‌های هوش مصنوعی قدرتمندتر و کاربردی‌تری بسازید. 🌟🔴 اشتباه شماره ۵: استفاده نادرست از پایگاه‌های داده برداری و embedding هایکی از اشتباهات رایج در ساخت ایجنت‌های هوش مصنوعی، عدم استفاده صحیح از embedding ها و پایگاه‌های داده برداری است. کیفیت embedding و انتخاب پایگاه داده مناسب می‌تواند تأثیر زیادی روی نتیجه نهایی داشته باشد. به عنوان مثال، در برخی از پروژه‌ها متوجه شدم که embedding های Nomic از Olama بهتر از Langchain و Hugging Face عمل می‌کنند. همچنین Chroma DB و FAISS برای بازیابی اطلاعات بسیار مفید هستند. 📚✅ نکته کلیدی: انتخاب اندازه مناسب برای chunks بسیار مهم است. اندازه خیلی کوچک باعث گم شدن اطلاعات و اندازه خیلی بزرگ، موجب اشتباه در تحلیل داده‌ها می‌شود.🔴 اشتباه شماره ۶: انتخاب نادرست LLM یا پلتفرم برای تخصص خاصگاهی اوقات ممکن است برای همه کارها از یک مدل زبان بزرگ (LLM) استفاده کنید، اما این کار همیشه جواب نمی‌دهد! برای مثال، اگر از Mistral برای برنامه‌نویسی استفاده کنید، نتیجه مناسبی نخواهید گرفت چون این مدل بیشتر برای کارهای خلاقانه طراحی شده است.💡 نکته: برای مسائل منطقی و پردازش زبان طبیعی، OpenAI مدل‌های خوبی دارد، و برای تخصص‌های خاص مثل طبقه‌بندی جنسیت، می‌توانید از Hugging Face مدل‌های از پیش آموزش دیده استفاده کنید.🔧 پلتفرم‌های برتر برای ایجنت‌های هوش مصنوعیدر این مسیر، پلتفرم‌های Langgraph، Langchain، Crew AI و Swarm از OpenAI به شما کمک می‌کنند تا ایجنت‌هایی بسازید که به داده‌های مختلف مانند تصاویر، ویدئوها و داده‌های مالی پاسخ بدهند. 🚀اگر می‌خواهید از این اشتباهات اجتناب کنید و پروژه‌های هوش مصنوعی خود را به سطح بالاتری ببرید، به جمع ما بپیوندید و آموزش‌های عملی و بدون حاشیه ما را دنبال کنید.#AI #MachineLearning #DataScience #ArtificialIntelligence #Langgraph #Langchain #CrewAI #HuggingFace #OpenAI #AITraining مینا حاجی رضایی مینا حاجی رضایی Thu, 17 Apr 2025 13:43:38 +0330 https://virgool.io/@m_94159701/%D8%A7%D8%B4%D8%AA%D8%A8%D8%A7%D9%87-%D9%85%D8%B1%DA%AF%D8%A8%D8%A7%D8%B1-%D8%B4%D9%85%D8%A7%D8%B1%D9%87-%DB%B4-%D8%AF%D8%B1-%D8%B3%D8%A7%D8%AE%D8%AA-%D8%A7%DB%8C%D8%AC%D9%86%D8%AA-%D9%87%D8%A7%DB%8C-%D9%87%D9%88%D8%B4-%D9%85%D8%B5%D9%86%D9%88%D8%B9%DB%8C-%D9%86%D8%A7%D8%AF%DB%8C%D8%AF%D9%87-%DA%AF%D8%B1%D9%81%D8%AA%D9%86-%D9%85%D8%AD%D8%AF%D9%88%D8%AF%DB%8C%D8%AA-%D8%AA%D9%88%DA%A9%D9%86-%D9%88-%D9%BE%D9%86%D8%AC%D8%B1%D9%87-%DB%8C-%D9%85%D8%AA%D9%86%DB%8C-context-window-gugytyadmioi یکی از مشکلات رایج هنگام طراحی ایجنت‌های هوش مصنوعی، نادیده گرفتن محدودیت‌های توکن و پنجره متنی است. مدل‌های زبانی مانند GPT ظرفیت محدودی برای پردازش ورودی دارند (مثلاً ۴۰۹۶ یا ۸۱۹۲ توکن). یعنی نمی‌توانیم داده‌های بسیار بزرگ مثل یک کتاب کامل یا دیتابیس وسیع رو به این مدل‌ها بدهیم و انتظار داشته باشیم که همه‌چیز رو بفهمند.چرا این مهمه؟برای مثال، فرض کنید شما می‌خواهید یک ایجنت مشاور مالی بسازید که بر اساس تراکنش‌های مالی یک فرد، وضعیت مالی او را تحلیل کند. اگر دیتای سال‌های گذشته رو یک‌جا به مدل بدهید، به احتمال زیاد مدل دچار مشکل می‌شود و حتی ممکنه خروجی نادرست یا ارور بدهد.راه‌حل چیست؟در چنین مواقعی، بهترین کار این است که داده‌ها را به بخش‌های کوچک‌تر تقسیم کنید و به مدل بدهید. مثلاً می‌توانید داده‌ها را ماه‌به‌ماه خوشه‌بندی (Clustering) کنید و هر بار فقط داده‌های یک ماه را به مدل وارد کنید. این روش به مدل کمک می‌کند که بدون پر شدن پنجره متنی، تحلیل دقیق‌تری انجام دهد.مزایای این روش:✅ پردازش دقیق‌تر✅ جلوگیری از ارورهای مربوط به توکن✅ حفظ انسجام داده‌ها✅ سرعت بالاتر و دقت بیشتراین روش به شما کمک می‌کند که بدون نگرانی از محدودیت‌ها، پروژه‌های واقعی و کاربردی بسازید.اگر در پروژه‌های AI مشغول هستید، حتماً این نکته رو در نظر بگیرید!#AI #LLM #TokenLimit #ContextWindow #AIagents #DataScience #GenerativeAI #LangGraph مینا حاجی رضایی مینا حاجی رضایی Thu, 17 Apr 2025 13:34:15 +0330 https://virgool.io/@m_94159701/%DB%B4-%D8%A7%D8%B4%D8%AA%D8%A8%D8%A7%D9%87-%D9%85%D8%B1%DA%AF%D8%A8%D8%A7%D8%B1-%DA%A9%D9%87-%D8%A7%DB%8C%D8%AC%D9%86%D8%AA-%D9%87%D8%A7%DB%8C-%D9%87%D9%88%D8%B4-%D9%85%D8%B5%D9%86%D9%88%D8%B9%DB%8C-%D8%B4%D9%85%D8%A7-%D8%B1%D8%A7-%D9%86%D8%A7%D8%A8%D9%88%D8%AF-%D9%85%DB%8C-%DA%A9%D9%86%D9%86%D8%AF-%D9%88-%D8%B1%D8%A7%D9%87-%D8%AD%D9%84-%D8%AF%D9%82%DB%8C%D9%82-%D8%A2%D9%86-%D9%87%D8%A7-%D8%A8%D8%B1%D8%A7%DB%8C-%D9%BE%D8%B1%D9%88%DA%98%D9%87-%D9%87%D8%A7%DB%8C-%D9%88%D8%A7%D9%82%D8%B9%DB%8C-hpwxyjyepcyf در مسیر ساخت ایجنت‌های هوش مصنوعی برای پروژه‌های واقعی مثل بیمارستان‌ها، مشاورهای مالی و سیستم‌های تحلیلی، بارها به مشکلاتی برخوردم که همه به چند اشتباه مشترک برمی‌گردن. اینجا می‌خوام مهم‌ترین این اشتباهات و راه‌حل‌هایی که خودم از دل پروژه‌ها یاد گرفتم رو بهتون بگم:🔻 اشتباه ۱: پیچیده‌سازی بیش از حد پرامپت‌نویسی (Prompt Engineering) یکی از رایج‌ترین اشتباه‌ها استفاده از پرامپت‌های طولانی، مبهم و بدون دستورالعمل شفافه. مثلاً به جای گفتن:"تو یه دکتر با تجربه هستی، با بیمار گفتگو کن، علائم رو بپرس و تشخیص بده..."و امید به اینکه مدل خودش همه‌چیزو بفهمه، بهتره پرامپت ساده و ساختاریافته بدیم + داده‌ی واقعی مثل:علائم بیمار از دیتاست‌های معتبر (مثل دیتای Kaggle)یا خروجی مدل بینایی مثل تصویر X-ray✅ نتیجه: مدل به جای "حدس زدن"، بر اساس داده واقعی تصمیم می‌گیره. یعنی همون کاری که یه پزشک واقعی انجام می‌ده.همچنین، برای تحلیل تصویر مثل شناسایی ذات‌الریه می‌تونید از مدل‌های Hugging Face استفاده کنید که مخصوص همین کار آموزش دیدن. LLM فقط همه‌ی این خروجی‌ها رو به هم وصل می‌کنه و تصمیم نهایی رو می‌سازه.🔻 اشتباه ۲: تست نکردن ابزارها و ایجنت‌ها به صورت مجزا یکی دیگه از مشکلات اینه که بدون تست مجزای ابزارها، میایم همه‌چیز رو با هم ترکیب می‌کنیم.راه‌حل: قبل از ساخت گراف نهایی ایجنت‌ها، هر ابزار (مثل تابع Python، مدل تصویری یا جست‌وجوگر وب) رو جدا جدا تست کنید. بعد هر ایجنت مستقل بسازید، و وقتی همه خوب کار کردن، اون‌ها رو در قالب یک ساختار نهایی ترکیب کنید.✅ نتیجه: از اشکالات ناشی از یکپارچگی جلوگیری می‌کنید و توسعه‌پذیری بالا می‌ره.🔻 اشتباه ۳: استفاده نکردن از RAG (Retrieval-Augmented Generation) LLMها ممکنه اطلاعات نادرست (hallucination) تولید کنن یا جواب‌هایی بدن که شفاف نیست از کجا اومدن. RAG راه‌حل این مشکله:اسناد داخلی‌تون رو chunk کنیدembedding بسازیدتوی vector DB ذخیره کنیدو با کوئری‌های چندگانه، دقیق‌ترین پاسخ رو تولید کنیداینطوری می‌تونید:از اسناد داخلی محافظت کنیدبه داده‌های به‌روز دسترسی داشته باشیدخروجی دقیق، مستند و قابل اعتماد بگیرید📎 اگه نیاز به آموزش کامل دارید، من ویدیویی میسازم که ساخت RAG برای مشاور سهام NVIDIA رو قدم‌به‌قدم توضیح می‌ده.🔻 اشتباه ۴: نادیده گرفتن محدودیت توکن و context window خیلی‌ها تصور می‌کنن می‌شه کل دیتابیس یا اسناد طولانی رو به LLM داد. در حالی که این مدل‌ها محدودیت توکن دارن (مثلاً ۴k، ۸k، یا حتی ۱۶k توکن).تو پروژه‌ای که برای مشاوره مالی کار می‌کردم، کل تراکنش‌های بانکی چند ساله‌ی یک فرد رو داشتم. اگه همه‌رو یکجا می‌دادم به مدل، نه تنها نمی‌فهمید بلکه خطا هم می‌داد.✅ راه‌حل: داده‌ها رو بر اساس ماه یا دسته‌بندی‌های مشخص تقسیم کردم و هر بار فقط بخش مربوطه رو دادم به مدل.📌 نتیجه: مدل بهتر می‌فهمه، سریع‌تر پاسخ می‌ده، و خروجی دقیق‌تره.🧠 جمع‌بندی: برای ساخت ایجنت‌های هوش مصنوعی در پروژه‌های واقعی:پرامپت رو ساده و مشخص طراحی کنابزارها رو به صورت جداگانه تست کناز RAG برای اتصال به اسناد واقعی استفاده کنبه محدودیت توکن احترام بذار و داده‌ها رو بخش‌بندی کن📢 حالا نوبت شماست: شما کدوم‌یک از این اشتباهات رو تجربه کردید؟ یا چه راه‌حل دیگه‌ای دارید که تو پروژه‌های واقعی جواب داده؟ بیاید تجربه‌هامون رو به اشتراک بذاریم.#AI #AgenticAI #RAG #PromptEngineering #LangChain #LLM #HealthcareAI #FinanceAI #هوش_مصنوعی #ایجنت_هوشمند مینا حاجی رضایی مینا حاجی رضایی Thu, 17 Apr 2025 13:08:38 +0330 https://virgool.io/@m_94159701/what-is-rag-retrieval-augmented-generation-cvjistuo4zzx فرآیندی است که در آن خروجی یک مدل زبان بزرگ (LLM) به گونه‌ای بهینه‌سازی می‌شود که قبل از تولید پاسخ، به یک پایگاه داده معتبر خارج از منابع داده آموزشی خود مراجعه کند. مدل‌های زبان بزرگ روی حجم وسیعی از داده‌ها آموزش می‌بینند و از میلیاردها پارامتر برای تولید خروجی‌های اصلی برای وظایفی مانند پاسخ به سوالات، ترجمه زبان‌ها و تکمیل جملات استفاده می‌کنند. RAG قابلیت‌های مدل‌های زبان بزرگ را به دامنه‌های خاص یا پایگاه‌های دانش داخلی یک سازمان گسترش می‌دهد، بدون نیاز به آموزش مجدد مدل. این روش، رویکردی مقرون به صرفه برای بهبود خروجی مدل‌های زبان بزرگ است تا پاسخ‌ها در زمینه‌های مختلف مرتبط، دقیق و مفید باقی بمانند.چرا تولید تقویت‌شده با بازیابی مهم است؟مدل‌های زبان بزرگ یک تکنولوژی کلیدی در هوش مصنوعی (AI) هستند که به راه‌اندازی چت‌بات‌های هوشمند و دیگر برنامه‌های پردازش زبان طبیعی (NLP) کمک می‌کنند. هدف این است که چت‌بات‌هایی ساخته شوند که بتوانند به سوالات کاربران در زمینه‌های مختلف پاسخ دهند و منابع معتبر دانش را برای این کار مرجع قرار دهند. متأسفانه، ماهیت تکنولوژی مدل‌های زبان بزرگ باعث بروز پیش‌بینی‌ناپذیری در پاسخ‌های این مدل‌ها می‌شود. علاوه بر این، داده‌های آموزشی مدل‌های زبان بزرگ ایستا هستند و تاریخ برش مشخصی دارند که اطلاعات مدل در آن تاریخ متوقف می‌شود.چالش‌های شناخته‌شده مدل‌های زبان بزرگ عبارتند از:ارائه اطلاعات نادرست زمانی که مدل پاسخی ندارد.ارائه اطلاعات قدیمی یا عمومی زمانی که کاربر انتظار پاسخ خاص و به‌روز دارد.ایجاد پاسخ‌هایی از منابع غیرمعتبر.ایجاد پاسخ‌های نادرست به دلیل سردرگمی در اصطلاحات، جایی که منابع آموزشی مختلف از اصطلاحات مشابه برای اشاره به مفاهیم متفاوت استفاده می‌کنند.شما می‌توانید مدل زبان بزرگ را مانند یک کارمند جدید پرانرژی تصور کنید که حاضر نیست با رویدادهای جدید به‌روز شود اما همیشه با اعتماد به نفس به تمام سوالات پاسخ می‌دهد. متاسفانه، چنین رفتاری می‌تواند تأثیر منفی بر اعتماد کاربر داشته باشد و چیزی نیست که شما بخواهید چت‌بات‌هایتان اینگونه عمل کنند! یکی از روش‌های حل برخی از این چالش‌ها RAG است. این روش مدل زبان بزرگ را به سمت بازیابی اطلاعات مرتبط از منابع معتبر هدایت می‌کند. سازمان‌ها کنترل بیشتری روی خروجی متن تولیدشده دارند و کاربران می‌توانند بینش‌هایی در مورد نحوه تولید پاسخ توسط مدل زبان بزرگ به دست آورند.مزایای تولید تقویت‌شده با بازیابی (RAG)تکنولوژی RAG مزایای متعددی را برای تلاش‌های هوش مصنوعی مولد سازمان‌ها به همراه دارد.1. اجرای مقرون به صرفهتوسعه چت‌بات‌ها معمولاً با استفاده از یک مدل پایه آغاز می‌شود. مدل‌های پایه (Foundation Models - FMs) مدل‌های زبان بزرگی هستند که از طریق API در دسترس قرار دارند و روی داده‌های عمومی و بدون برچسب آموزش دیده‌اند. هزینه‌های محاسباتی و مالی برای آموزش مجدد مدل‌های پایه برای اطلاعات خاص یک سازمان یا دامنه، بسیار بالا است. RAG رویکردی مقرون به صرفه‌تر برای معرفی داده‌های جدید به مدل‌های زبان بزرگ است. این امر باعث می‌شود که تکنولوژی هوش مصنوعی مولد در دسترس و قابل استفاده‌تر باشد.2. اطلاعات به‌روزحتی اگر منابع داده آموزشی اصلی برای یک مدل زبان بزرگ مناسب باشند، حفظ ارتباط آن‌ها با شرایط روز دشوار است. RAG این امکان را به توسعه‌دهندگان می‌دهد که جدیدترین تحقیقات، آمار یا اخبار را به مدل‌های مولد ارائه دهند. آن‌ها می‌توانند از RAG برای اتصال مدل‌های زبان بزرگ به فیدهای زنده رسانه‌های اجتماعی، سایت‌های خبری یا منابع اطلاعاتی که به‌طور مکرر به‌روز می‌شوند، استفاده کنند. مدل زبان بزرگ می‌تواند سپس جدیدترین اطلاعات را به کاربران ارائه دهد.3. افزایش اعتماد کاربران این امکان را به مدل‌های زبان بزرگ می‌دهد که اطلاعات دقیق را با ارجاع به منابع ارائه دهند. خروجی می‌تواند شامل ارجاعات یا منابع باشد. کاربران همچنین می‌توانند برای دریافت توضیحات بیشتر یا جزئیات اضافی، خودشان به مستندات مرجع مراجعه کنند. این امر می‌تواند اعتماد و اطمینان به راه‌حل‌های هوش مصنوعی مولد شما را افزایش دهد.4. کنترل بیشتر برای توسعه‌دهندگانبا استفاده از RAG، توسعه‌دهندگان می‌توانند برنامه‌های چت خود را به‌طور مؤثرتری آزمایش و بهبود دهند. آن‌ها می‌توانند منابع اطلاعاتی مدل‌های زبان بزرگ را کنترل کرده و تغییر دهند تا با الزامات متغیر یا استفاده‌های چندگانه سازگار شوند. توسعه‌دهندگان همچنین می‌توانند بازیابی اطلاعات حساس را به سطوح مختلف مجوز محدود کنند و از اینکه مدل زبان بزرگ پاسخ‌های مناسب تولید کند، اطمینان حاصل کنند. علاوه بر این، آن‌ها می‌توانند مشکلات را شناسایی کرده و اصلاحات لازم را انجام دهند اگر مدل زبان بزرگ به اشتباه به منابع اطلاعاتی نادرست ارجاع دهد. سازمان‌ها می‌توانند با اطمینان بیشتری از تکنولوژی هوش مصنوعی مولد برای دامنه‌های مختلف استفاده کنند.چگونه تولید تقویت‌شده با بازیابی کار می‌کند؟بدون RAG، مدل زبان بزرگ ورودی کاربر را دریافت کرده و پاسخی براساس اطلاعاتی که آموزش دیده است یا آنچه که قبلاً می‌داند، تولید می‌کند. اما با RAG، یک مؤلفه بازیابی اطلاعات معرفی می‌شود که از ورودی کاربر برای اولویت‌بندی و بازیابی اطلاعات از یک منبع داده جدید استفاده می‌کند. سپس ورودی کاربر و اطلاعات مرتبط به مدل زبان بزرگ داده می‌شود. مدل زبان بزرگ از این دانش جدید و داده‌های آموزشی خود برای تولید پاسخ‌های بهتری استفاده می‌کند.1. ایجاد داده‌های خارجیداده‌های جدید خارج از مجموعه داده‌های آموزشی اصلی مدل زبان بزرگ، به‌عنوان داده‌های خارجی شناخته می‌شوند. این داده‌ها می‌توانند از منابع مختلفی مانند API‌ها، پایگاه‌های داده یا مخزن‌های مستندات به‌دست آیند. داده‌ها ممکن است در فرمت‌های مختلفی مانند فایل‌ها، سوابق پایگاه داده یا متن‌های طولانی وجود داشته باشند. تکنیک دیگری در هوش مصنوعی به نام مدل‌های زبان جاسازی‌شده، داده‌ها را به نمایش‌های عددی تبدیل کرده و آن‌ها را در پایگاه داده‌های برداری ذخیره می‌کند. این فرآیند یک کتابخانه دانش ایجاد می‌کند که مدل‌های هوش مصنوعی مولد می‌توانند آن را درک کنند.2. بازیابی اطلاعات مرتبطمرحله بعدی انجام جستجوی مرتبط است. ورودی کاربر به یک نمایش برداری تبدیل شده و با پایگاه داده‌های برداری تطبیق داده می‌شود. به‌عنوان مثال، در نظر بگیرید یک چت‌بات هوشمند که می‌تواند به سوالات منابع انسانی یک سازمان پاسخ دهد. اگر یک کارمند جستجو کند، "چند روز مرخصی سالانه دارم؟" سیستم اسناد سیاست‌های مرخصی سالانه را همراه با سابقه مرخصی گذشته کارمند بازیابی می‌کند. این اسناد خاص به‌دلیل مرتبط بودن بالا با آنچه کارمند وارد کرده است، بازیابی می‌شوند. ارتباط آن‌ها با استفاده از محاسبات ریاضی و نمایش‌های برداری محاسبه و برقرار می‌شود.3. تقویت ورودی مدل زبان بزرگدر مرحله بعد، مدل RAG ورودی کاربر (یا همان درخواست‌ها) را با افزودن داده‌های بازیابی‌شده مرتبط در زمینه تقویت می‌کند. این مرحله از تکنیک‌های مهندسی درخواست برای برقراری ارتباط مؤثر با مدل زبان بزرگ استفاده می‌کند. درخواست تقویت‌شده به مدل زبان بزرگ اجازه می‌دهد تا پاسخ دقیقی به سوالات کاربران تولید کند.4. به‌روزرسانی داده‌های خارجیممکن است سوال این باشد که اگر داده‌های خارجی قدیمی شوند چه باید کرد؟ برای حفظ اطلاعات به‌روز برای بازیابی، اسناد و نمایش‌های برداری اسناد باید به‌طور خودکار و در زمان واقعی به‌روزرسانی شوند یا از پردازش‌های دسته‌ای دوره‌ای استفاده شود. این یک چالش رایج در تحلیل داده‌ها است که روش‌های مختلف علم داده برای مدیریت تغییرات می‌تواند به‌کار گرفته شود.نمودار زیر جریان مفهومی استفاده از RAG با مدل‌های زبان بزرگ را نشان می‌دهد.تفاوت بین تولید تقویت‌شده با بازیابی (RAG) و جستجوی معناییجستجوی معنایی نتایج RAG را برای سازمان‌هایی که می‌خواهند منابع اطلاعاتی خارجی وسیعی را به برنامه‌های مدل زبان بزرگ (LLM) خود اضافه کنند، تقویت می‌کند. شرکت‌های مدرن مقادیر زیادی اطلاعات مانند راهنماها، سوالات متداول، گزارش‌های تحقیقاتی، راهنمای خدمات مشتری و مخازن اسناد منابع انسانی را در سیستم‌های مختلف ذخیره می‌کنند. بازیابی زمینه‌ای در مقیاس بزرگ چالش‌برانگیز است و در نتیجه کیفیت خروجی مولد کاهش می‌یابد.تکنولوژی‌های جستجوی معنایی می‌توانند پایگاه‌های داده بزرگ اطلاعات مختلف را اسکن کرده و داده‌ها را با دقت بیشتری بازیابی کنند. به‌عنوان مثال، می‌توانند به سوالاتی مانند "چقدر برای تعمیرات ماشین‌آلات سال گذشته هزینه شده است؟" پاسخ دهند، با تطبیق سوال با اسناد مرتبط و بازگرداندن متن خاص به جای نتایج جستجو. سپس توسعه‌دهندگان می‌توانند از آن پاسخ برای ارائه زمینه بیشتر به مدل زبان بزرگ استفاده کنند.راه‌حل‌های جستجوی سنتی یا مبتنی بر کلمات کلیدی در RAG برای وظایف دانش‌محور نتایج محدودی تولید می‌کنند. توسعه‌دهندگان همچنین باید با تعبیه کلمات، تقسیم‌بندی اسناد و پیچیدگی‌های دیگر سر و کار داشته باشند، زیرا داده‌های خود را به‌صورت دستی آماده می‌کنند. در مقابل، تکنولوژی‌های جستجوی معنایی تمام مراحل آماده‌سازی پایگاه‌های دانش را انجام می‌دهند تا توسعه‌دهندگان نیازی به انجام این کار نداشته باشند. آن‌ها همچنین گزاره‌های معنایی مرتبط و کلمات نشانه‌گذاری‌شده را به‌طور مرتب از نظر ارتباط با یکدیگر تولید می‌کنند تا کیفیت بار داده RAG را به حداکثر برسانند.چگونه AWS می‌تواند نیازهای شما در زمینه تولید تقویت‌شده با بازیابی (RAG) را پشتیبانی کند؟ یک سرویس کاملاً مدیریت‌شده است Amazon Bedrock، که مجموعه‌ای از مدل‌های پایه با عملکرد بالا را به همراه مجموعه وسیعی از قابلیت‌ها برای ساخت برنامه‌های هوش مصنوعی مولد ارائه می‌دهد، در حالی که توسعه را ساده کرده و حریم خصوصی و امنیت را حفظ می‌کند. با پایگاه‌های دانش برای Amazon Bedrock، می‌توانید مدل‌های پایه را تنها با چند کلیک به منابع داده خود متصل کنید. تبدیل‌های برداری، بازیابی‌ها و بهبود تولید خروجی به‌طور خودکار انجام می‌شود.برای سازمان‌هایی که RAG خود را مدیریت می‌کنند، Amazon Kendra یک سرویس جستجوی سازمانی با دقت بالا است که توسط یادگیری ماشین قدرت‌گیری می‌شود. این سرویس یک API بهینه‌شده برای بازیابی به نام Kendra Retrieve API ارائه می‌دهد که می‌توانید آن را با رنکینگ معنایی دقیق Amazon Kendra به‌عنوان یک بازیاب سازمانی برای گردش‌کارهای RAG خود استفاده کنید. به‌عنوان مثال، با استفاده از API بازیابی می‌توانید:حداکثر 100 گزاره معنایی مرتبط با حداکثر 200 کلمه نشانه‌گذاری شده را بازیابی کرده و بر اساس ارتباط آن‌ها مرتب کنید.از اتصالات پیش‌ساخته به تکنولوژی‌های داده محبوب مانند Amazon Simple Storage Service، SharePoint، Confluence و سایر وب‌سایت‌ها استفاده کنید.از فرمت‌های مختلف اسناد مانند HTML، Word، PowerPoint، PDF، Excel و فایل‌های متنی پشتیبانی کنید.پاسخ‌ها را بر اساس اسنادی که مجوزهای کاربر نهایی اجازه می‌دهند فیلتر کنید. همچنین Amazon گزینه‌هایی برای سازمان‌هایی که می‌خواهند راه‌حل‌های هوش مصنوعی مولد سفارشی‌تری بسازند، ارائه می‌دهد. Amazon SageMaker JumpStart یک مرکز ML با مدل‌های پایه، الگوریتم‌های داخلی و راه‌حل‌های ML پیش‌ساخته است که می‌توانید آن‌ها را تنها با چند کلیک پیاده‌سازی کنید. شما می‌توانید با ارجاع به دفاتر و مثال‌های کد موجود در SageMaker، روند پیاده‌سازی RAG را سرعت بخشید.با ایجاد یک حساب کاربری رایگان امروز می‌توانید کار با تولید تقویت‌شده با بازیابی (RAG) را در AWS آغاز کنید. مینا حاجی رضایی مینا حاجی رضایی Thu, 26 Dec 2024 16:50:39 +0330 https://virgool.io/@m_94159701/%D9%87%D9%88%D8%B4-%D9%85%D8%B5%D9%86%D9%88%D8%B9%DB%8C-nlp-xuz9zmhsmv3z تیم HooshvareLab یکی از بهترین هاکه در حوزه هوش خیلی قوی روی زبان فارسی کار میکننامروز( pipeline('fill-mask' رو تست کردم روی مدل transformer چند زبانه، متاسفانه برای زبان فارسی اصلا خوب عمل نمیکنه اما وقتی مدل ، اين تيم رو استفاده کردم خیلی راضی کننده تر بودنمونه ی تست شده : https://lnkd.in/eRpVrp2V مینا حاجی رضایی مینا حاجی رضایی Wed, 24 Nov 2021 15:14:25 +0330