بسم اللّه الرحمن الرحیم
با سلام خدمت شما دوستان عزیز
لینک های دانلود نسخه های بوییلد شده llama.cpp برای اجرای سرور محلی یا کامند اجرای مدل های زبانی:
لینک نسخه vulkan برای کارت گرافیک های غیر انویدیا (انویدیا هم می شود):
https://abrehamrahi.ir/o/public/ycNFHod0/
لینک دانلود نسخه بوییلد شده llama.cpp برای cuda12 (مخصوص انویدیا):
https://abrehamrahi.ir/o/public/LlWfXygs/
لینک دانلود نسخه بوییلد شده llama.cpp برای cuda13:
https://abrehamrahi.ir/o/public/qZZ7kTxV/
لینک دانلود cudart12:
https://abrehamrahi.ir/o/public/rjhrxPxL/
لینک دانلود cudart13:
https://abrehamrahi.ir/o/public/3jLMwlTG/
فقط یکی از دوتای بالا مورد نیاز است بستگی دارد تمایل دارید از کدام نسخه از کودارت انویدیا بهره ببرید نسخه 13 جدیدتر است. دقت کنید باید متناسب با نسخه بوییلد شده llama.cpp برای cuda یکی از کودارت ها را دانلود و سه فایل dll درون آن را در محل فایل llama.cpp همون محتویات کنار فایل llama-server.exe گذاشته و بعد llama-server.exe را با کامند اجرا کنید. اگر از قبل نسخه نصبی کودارت را نصب روی سیستم کرده باشید شاید نیاز نباشد.
و در نهایت لینک دانلود نسخه cpu برای عزیزان دارای cpu سرور با چندین رشته فراوان مورد استفاده پژوهشگاه های داخلی:
https://abrehamrahi.ir/o/public/5EboALHm/
جهت اجرا llama-server.exe بعد استخراج محتویات باید در محل محتوای استخراخ شده کلیک راست کنید و گزینه باز کردن شل اسکریپت را بزنید و در خط فرمان دستور زیر را بزنید:
./llama-server.exe --model "L:\Qwen3.6-35B-A3B-UD-Q2_K_XL\Qwen3.6-35B-A3B-UD-Q2_K_XL.gguf" --host 127.2.2.2 --port 18054 --threads 3 --gpu-layers 'all' --temp 0 --top-k 1 --top-p 0.00001 --min-p 0 --repeat-penalty 1.006 --ctx-size 5000 --kv-offload --no-mmap --flash-attn 'on'
توجه کنید به پرچم یا فلگ یا تلفظ انگلیسی flag به معنای پرچم --model که باید جلوی آن آدرس مدل gguf در روی کامپیوتر را بزنید.
پس از اجرای روی آدرس نمایش داده شده در کامند یعنی 127.2.2.2:18054 بزنید براتون رابط وب جذاب برای چت بالا میاد. سایر پارامتر ها برای بالا تر بردن کیفیت پاسخ مدل است آموزشی برای این پارامتر ها در پست ویرگول زیر هم منتشر کردیم می توانید مراجعه کنید:
https://vrgl.ir/7gogi
دست خدا یارو نگهدارتان
