در حوزهی بهسرعت در حال تحول پردازش زبان طبیعی (NLP) و سیستمهای هوش مصنوعی (AI)، دو روش قدرتمند — تولید تقویتشده با بازیابی (Retrieval-Augmented Generation - RAG) و تولید تقویتشده با دانش (Knowledge-Augmented Generation - KAG) — توجه زیادی را به خود جلب کردهاند. هر دو رویکرد، توانایی مدلهای زبانی را با ادغام منابع دانش خارجی افزایش میدهند، اما در نحوهی دسترسی و استفاده از دانش تفاوت دارند.
RAG چارچوبی است که قدرت مدلهای مبتنی بر بازیابی و مبتنی بر تولید را ترکیب میکند. این روش، اطلاعات مرتبط (معمولاً اسناد یا پاراگرافها) را از یک پایگاه دانش بیرونی بازیابی کرده و از آن برای تولید پاسخهای دقیقتر و غنیتر از نظر بافت به پرسش کاربر استفاده میکند.
بازیابی (Retrieval):
پرسش کاربر از طریق یک سیستم بازیابی عبور داده میشود تا اسناد یا پاراگرافهای مرتبط از منبع دانش خارجی (مانند ویکیپدیا، پایگاه داده شرکت، یا مجموعههای بزرگ اسناد) استخراج شوند.
تولید (Generation):
این متون بازیابیشده به عنوان «زمینه» به یک مدل زایشی (مانند GPT-3، GPT-4 یا BART) داده میشوند تا پاسخی مناسب و ترکیبی تولید کند.
بازیاب (Retriever): مؤلفهای که با استفاده از کوئری، اطلاعات مرتبط را از پایگاه دانش جستجو میکند. این میتواند بر اساس جستجوی برداری و مدلهایی مانند BERT، Dense Retriever یا سیستمهای مبتنی بر embedding عمل کند.
تولیدگر (Generator): پس از بازیابی اطلاعات، این دادهها به مدل زایشی (مثل GPT-2، GPT-3 یا BART) داده میشوند تا خروجی منسجم و مرتبط تولید شود.
دسترسی پویا به دانش: برخلاف مدلهایی که فقط بر دادههای ثابت آموزشی تکیه دارند، RAG میتواند به یک پایگاه دانش پویا متصل شود و به پرسشهای مربوط به رویدادهای اخیر، موضوعات خاص یا اسنادی که در دادههای آموزشی وجود نداشتهاند پاسخ دهد.
پاسخهای بافتمندتر: با بازیابی متون مرتبط و ارائه آنها به عنوان زمینه، پاسخهای تولیدی دقیقتر و آگاهتر از زمینه خواهند بود.
ادغام مؤثر دانش: مدل نیازی ندارد همهی دانش را درون خود رمزگذاری کند، بلکه تنها با تمرکز بر زمینهی خاص هر پرسش عمل میکند.
پیچیدگی بالا: هماهنگی بین مؤلفههای بازیابی و تولید باعث پیچیدگی در آموزش، زمان استنتاج و مصرف منابع میشود.
وابستگی به کیفیت بازیابی: دقت پاسخها مستقیماً به کیفیت مرحلهی بازیابی بستگی دارد. اگر سیستم بازیابی دادهی مناسبی نیابد، خروجی نهایی نیز ضعیف خواهد بود.
KAG نیز رویکردی ترکیبی است که تواناییهای مدلهای زایشی را با ادغام مستقیم دانش ساختیافته — مانند گرافهای دانش (Knowledge Graphs) — در معماری مدل افزایش میدهد. برخلاف RAG که دادههای غیرساختیافته (مانند اسناد متنی) را بازیابی میکند، KAG بر ادغام دانش ساختیافته تمرکز دارد تا کیفیت تولید را بهبود دهد.
ادغام دانش (Knowledge Integration):
از یک پایگاه دانش ساختیافته (مثلاً گرافهای دانشی مانند Freebase، Wikidata یا گرافهای سفارشی دامنهای) برای ارائهی اطلاعات دقیق دربارهی موجودیتها، روابط و حقایق استفاده میشود.
تولید تقویتشده (Augmented Generation):
دادههای ساختیافته مستقیماً از طریق توکنهای خاص، embeddingها یا مهندسی پرامپت در فرایند تولید مدل تزریق میشوند. این کار باعث میشود مدل درک بهتری از حقایق و روابط میان موجودیتها پیدا کند و پاسخهای دقیقتری بسازد.
گراف دانش (Knowledge Graph): نمایش ساختیافتهی دانش در قالب سهتاییها (موضوع - رابطه - مفعول) که حقایق مربوط به موجودیتها و روابطشان را در بر میگیرد.
ادغام مبتنی بر گراف: دادههای گراف بهصورت embedding یا conditioning در فرایند تولید وارد میشوند.
مدل زایشی: مشابه RAG، مدل زایشی (مانند GPT یا T5) وظیفهی تولید خروجی نهایی را بر اساس پرسش و دانش ادغامشده دارد.
دانش ساختیافته و دقیق: برای پرسشهایی که نیازمند اطلاعات واقعی هستند، KAG میتواند پاسخهای بسیار دقیق و مبتنی بر واقعیت ارائه دهد.
دقت بالا در پرسشهای واقعی: با استفاده مستقیم از گرافهای دانش، KAG در پاسخ به پرسشهایی مانند «مدیرعامل تسلا کیست؟» یا «مواد اصلی سالاد سزار چیست؟» عملکردی عالی دارد.
ثبات پاسخها: از آنجا که اطلاعات از یک گراف ساختیافته میآیند، احتمال خطا یا تناقض در پاسخها کمتر است.
محدودیت به دانش موجود: عملکرد KAG به دانشی محدود است که در گراف رمزگذاری شده است؛ اگر گراف ناقص یا قدیمی باشد، پاسخها نیز ناقص خواهند بود.
چالش در مقیاسپذیری: گسترش گرافهای دانش به حوزههای وسیع یا دادههای حجیم کار دشواری است و نیازمند معماری و نمایش دانش پیشرفته میباشد.
وابستگی به کیفیت گراف: دقت و پوشش گراف دانش تأثیر مستقیمی بر کیفیت خروجی دارد. گرافهای ناقص یا مغرضانه میتوانند پاسخهای نادرست تولید کنند.
ویژگیRAG (تولید تقویتشده با بازیابی)KAG (تولید تقویتشده با دانش)نوع دادهدادهی غیرساختیافته (اسناد، پاراگرافها)دادهی ساختیافته (گرافهای دانش، حقایق)منبع دانشجستجوی بیرونی در اسناد یا مجموعههاگرافهای دانش یا پایگاههای داده ساختیافتهروش دسترسیبازیابی پویا از مجموعه اسنادادغام مستقیم دانش ساختیافته در هنگام تولیدموارد کاربردپرسشوپاسخ باز، تولید مبتنی بر واقعیت، خلاصهسازی اسنادپرسشهای مبتنی بر واقعیت، سیستمهای توصیهگر، کارهای مبتنی بر گراف دانشوابستگیبه کیفیت سیستم بازیابیبه کامل بودن و دقت گراف دانشپیچیدگیپیچیدهتر بهدلیل مرحله بازیابیسادهتر در تولید، اما ساخت گراف دشوار استدقتوابسته به کیفیت بازیابیدقت بالا در صورت جامع بودن گراف
موارد استفاده از RAG:
پرسشوپاسخ دامنه باز: زمانی که سیستم باید به پرسشهایی پاسخ دهد که در دادههای آموزشی وجود نداشتهاند (مثلاً «آخرین پیشرفتهای هوش مصنوعی چیست؟»).
خلاصهسازی اسناد: برای خلاصهسازی مجموعهای از متون، RAG میتواند بخشهای مرتبط را بازیابی و ترکیب کند.
ترکیب اطلاعات: هنگامی که پاسخ نیاز به تجمیع دادهها از منابع مختلف دارد.
موارد استفاده از KAG:
پرسشهای واقعی و دقیق: زمانی که پاسخ باید مبتنی بر دادههای ساختیافته باشد (مثل «مدیرعامل اپل کیست؟» یا «پایتخت ژاپن کجاست؟»).
کاربردهای مبتنی بر دانش: مانند سیستمهای توصیهگر یا پاسخ به سؤالات علمی.
شناسایی و استخراج روابط میان موجودیتها: مانند «رابطه برج ایفل با پاریس چیست؟».
هر دو روش RAG و KAG از پیشرفتهترین رویکردها برای افزایش توان مدلهای زایشی هستند، اما برای وظایف متفاوتی مناسباند:
RAG در کارهای دامنه باز و مبتنی بر دادههای پویا و غیرساختیافته برتری دارد.
KAG در کارهایی که نیاز به دانش ساختیافته و دقیق دارند (مثل گرافهای دانش) عملکرد بهتری دارد.
انتخاب میان RAG و KAG بستگی به نوع داده و ماهیت وظیفه دارد:
برای کاربردهای عمومی و مبتنی بر متون گوناگون → RAG
برای کاربردهای دقیق، پایدار و مبتنی بر حقایق → KAG
در نهایت، تلفیق این دو رویکرد میتواند به ایجاد نسل جدیدی از سیستمهای هوش مصنوعی قدرتمندتر و دقیقتر منجر شود.