توضیح پارامتر های تنظیمی هوش مصنوعی

بسم الله الرحمن الرحیم

توضیح مثال محور پارامتر های تنظیمی هوش مصنوعی

1. max_length (حداکثر طول):

توضیح: این پارامتر حداکثر تعداد توکن‌های متن ورودی یا خروجی را که مدل می تواند پردازش کند، مشخص می کند.

تأثیر: افزایش max length امکان پردازش متون طولانی تر را فراهم می کند اما زمان پردازش را بالا برده و نیاز به حافظه رم را بیشتری کند. کاهش max length سرعت پردازش را بالا می برد اما ممکن است متن کامل درک نشده یا خروجی ناقص تولید شود. مناسب است مقدار آن تقریبا برابر مجموع طول متن وارد شد و پیش بینی بالاترین مقدار ممکن پاسخ مدل باشد مثلا در ترجمه چون طول متن ترجمه و متن ورودی تقریبا برابر است پس دو برابر مقدار طول متن ورودی مناسب است. در بخش ترجمه متن بر اساس شکستگی هر خط نرم افزار متن را تکه تکه می کند و جدا به مدل جهت ترجمه می دهد لذا می توانید با تنظیم مقدار پایین مناسب مثلا 1000 متن های بسیار طولانی را به خوبی و با سرعت مناسب ترجمه کنید.

2. temperature (دما):

توضیح: پارامتر temperature (دما) میزان تصادفی بودن (randomness) خروجی را کنترل می کند.

تأثیر: افزایش دما یا temperature خروجی را تصادفی تر (و غیر منتظره تر) می کند، در حالی که کاهش آن خروجی را متمرکز تر و دقیق تر می کند. در واقع این پارامتر از مقدار احتمال انتخاب میان واژه های مناسب با احتمال بالاتر در تولید مقداری می کاهد و از این طریق تولید واژه های متنوع تر اما تا حدودی مناسب تر را بالا می برد و این واژگان متنوع باعث ایجاد متن های با تنوع بالا با ریسک کم کردن مقداری از کیفیت می گردد. در مدل های زبانی با تعداد لایه های کمتر مثل 2b تا 9b بهتر است میزان دما پایین تنظیم گردد زیرا تعداد واژه های مناسب متناسب با سایز متوسط مدل زیاد نبوده و ممکن است خروجی شامل کلمات نامفهوم بشود. در مدل های بزرگتر مانند gemma3 27b می توان گفت تنظیم حدی از دما تغیرات خلاقانه را می تواند تا حد مناسبی به نمایش بگذرد. کاربرد شما از مدل مولد متن اگر نیازمند متن متنوع و خلاقانه باشد مانند سرودن یک شعر آنگاه مقداری از دما یک انتخاب خوب است.

3. top_k (سقف نمونه‌گیری K):

توضیح: این پارامتر باعث محدود کردن نمونه‌گیری به K توکن با بالاترین احتمال می شود و تعداد توکن انتخابی با احتمال بالاتر از نظر مناسب بون را تعین می کند که در مرحله تولید متن توسط مدل نمونه گیری می شود. اگر یک تنظیم شود مدل فقط توکن بسار مناسب را انتب می کند و این پایداری پاسخ را در ر بار پرسش به ارمغان می آورد در مقابل اگر بیشتر تنظیم شود در کنار پارامتر temperature (دما) می تواد باعث تولید متن متنوع و خلاقانه تر در مسائلی مانند سرود شعر بشود.

تأثیر: افزایش top k تنوع خروجی را بیشتر می کند، در حالی که کاهش آن خروجی را متمرکز تر و مطمئن تر در پاسخ تولیدی می کند.

خب تا اینجا کار یه استراحتی کرده و پیشنهاد میکنیم آیه زیبای زیر را دیده و لذت ببرید تا بعد بقیه پارامتر ها را مورد بررسی قرار بدهیم:

4. top_p (نمونه‌گیری هسته‌ای):

توضیح: این پارامتر نمونه‌گیری از کوچک‌ترین مجموعه توکن‌هایی که مجموع احتمالاتشان برابر یا کمتر از p باشد را محدود می کند. در واقع درصد کل احتمالاتی را محدود می کند که در مرحله تولید متن در نظر گرفته می شوند. فرضا اگر p برار 0.9 باشد و احتمالات توکن‌ها نیز [0.5, 0.3, 0.1, 0.05, ...] باشد نمونه‌گیری از ۳ توکن اول (مجموع=۰.۹) فقط انجام میشود.

تأثیر: مانند top k تنوع خروجی را کنترل می کند، اما به جای استفاده از تعداد ثابت کلمات، بر اساس درصد کل احتمالات عمل می کند. اگر top k روی مثلا 40 تنظیم شده باشد مدل نمونه گیری کلمات محتمل مناسب را تا میزانی که مجموع احتمال مناسب بودن آن کلمات به مقدر تنظیمی top p برسد ادامه می دهد هرچند 40 کلمه نشود و روند به میزان لازم تا انتخاب مناسب ترین کلمات پیش می رود لذا با تنظیم top p روی 0.9 مدل تا آنجا کلمه بر اساس احتمالات انتخاب می کند که مجموع جمع جبری احتمال آن کلمات 0.9 شود و ممکن است تعداد 5 کلمه این شرط را کامل کنند و لازم به 40 بار نمونه برداری نباشد.

5. min_p (حداقل احتمال):

توضیح: این پارامتر باعث حذف توکن‌هایی با احتمال کمتر از آستانه مشخص p را باعث می شود. درواقع حداقل احتمالی را مشخص می کند که برای یک کلمه در مرحله تولید متن باید وجود داشته باشد.

تأثیر: افزایش min p خروجی را کمتر تصادفی می کند و فقط کلمات با احتمال بالا را انتخاب می کند. کاربرد آن مثلا هنگامی کارآمد است که مدلی با تعداد پارامتر بالا با میزان دمای بالایی تنظیم شود و با محدود کردن min p ما خروجی متنوع و نیز مناسب را داشته باشیم. در مدل های با پارامتر های کم برای تولیدی مطمئن بهتر است دما پایین و حدود 0 تا 0.2 تنظیم شود.

6. repetition_penalty (جریمه تکرار):

توضیح: این پارامتر کاهش احتمال توکن‌های تکراری را منجر می شود که از طریق تطبیق لگاریتم احتمال new_prob = prob / (1 + penalty) برای توکن‌های تکرارشده مدل را برای تکرار کلمات یا دنباله های واژه ای مشابه در خروجی مقداری جریمه می کند تا خروجی مدل کمتر تکرار پذیر باشد.

تأثیر: افزایش repetition penalty خروجی را متنوع تر و کمتر تکرار پذیر می کند. اما اگر مقدار آن زیاد بالا باشد خروجی در کلمه هایی که باید تکرار بشوند و در عین تکراری بودن معنا را مناسب می رسانند مشکل تولید واژه نامفهوم ممکن است پیدا کند. تنظیم صحیح این پارامترها معمولا بین 1 تا 1.5 است و توجه داشته باشید در حالت برابر بودن با 1 جریمه ای اعمال نمی شود.

7. ساختار خود مدل: توضیح: قطعا ساختار خود مدل هم در نوع تأثیری که تغیر پارامتر های تنظیمی می گذارند مؤثر است مثلا برخی مدل ها اگر مقدار repetition penalty برابر 1 تنظیم گردد ممکن است تولید خروجی به یک توالی تکرار پذیر منجر شود و مدل همینطور یک سری عبارات را پشت سر هم تکرار بکند اما در برخی دیگر ممک است تنظیم repetition penalty روی مقدار 1 یعنی بی تأثیر منجر به تولید خروجی بسیار مناسب بشود.

پیش‌فرض‌های بهینه تنظیم پارامتر:

جهت تولید با قابلیت اطمینان بالا و در نظر گرفتن حداکثر کارایی: در این حالت مدل همواره یک پاسخ به یک سؤال واحد خواهد داد و سعی می کند بهترین نتایج را با در نظر گرفتن توکن ها با بیشترین احتمال همخوانی ارائه دهد البته مشخص است نتایج تولید کاملا به قدرت مدل و دیتایی که روی آن آموزش دیده است بر می گردد. این تنظیم را برای پاسخ‌های پزشکی، محاسبات عددی، استخراج حقایق و ... می توان استفاده کرد. - دما: 0.01 (یک صدم) - Top-K sampling: 1 - Top-P sampling: 0.55 - Min-P sampling: 0.1 - Repeat Penalty: 1.1

دما احتمال توکن های مناسب را کم می کند و این احتمال تولید واژه های خلاقانه و شاید کمی نامناسب از نظر کارایی را افزایش می دهد اینجا چون قرار بوده مدل قابلیت اطمینان بالا در تولید پاسخ داشته باشد دما روی حد خیلی پایین تنظیم شده. Top-K تعداد نمونه گیری در هر مرحله را تعین می کند و مقدار 1 یعنی فقط توکن با بیشترین احتمال را انتخاب کن. پارامتر نمونه گیری Min-P روی مقدار کم 0.1 تنظیم شده تا انتخاب در توکن محدود خیلی کمی اعمال شود تا حتی مدل اگر یک نمونه گیری انجام داد همان پذیرفته شود. Top-P هم روی مقدار 0.55 برای پوشش توکن های مناسب تا نهایت آستانه احتمال 55٪ تنظیم می شود تا مدل مناسب ترین احتمالات را انتخاب کند. تأکید می شود قدرت مدل تعین می کند چقدر پاسخ درست و مناسب باشد اما با این تنظیم سعی داریم استفاه بهتری را از قدرت مدل داشته باشیم.

جهت تولید خلاقانه: این حالت مناسب تولید شعر، ایده‌ پردازی و داستان ‌نویسی است. - دما: 0.6 - Top-K sampling: 30 - Top-P sampling: 0.85 - Min-P sampling: 0.2 - Repeat Penalty: 1.3

تنظیم دمای بالاتر از 1 باعث می شود احتمال نمونه ها با پاسخ بهینه مقدار زیادی کم شود و باعث تولید پاسخ هایی بسیار متنوع و متغیر بشود.

در مدل با پارامتر های بالا مانند برخی مدل های تجاری که به صورت آنلاین ارائه می شود به علت میزان قدرت بالای مدل در پیش بینی توکن های بسیار مناسب تنظیم دمای بالا در پاسخ باعث نامناسب شدن پاسخ نخواهد شد مگر در موارد خاص.

علاوه بر اندازه مدل مهم است سازنده یا سازندگان مدل در زبانی که مدل دارد تولید می کند برای ارائه پاسخ مناسب از دیتای های آموزشی خوب در یادگیری مدلشان استفاده کرده باشند. ممکن است مدل پارامتر های بالایی داشته باشد اما از نظر دیتا هایی که روی آن یادگیری انجام گرفته یا ساختار درونی مدل دارای قدرت لازم برای تولید پاسخ مناسب به نیاز ما نباشد.

برای مطالب بیشتر به کانال ما در روبیکا سر بزنید:

@learn_win_ail

موفق و پیروز در پناه خدا باشید.