https://virgool.io/feed/@yeye https://xenosyno.blog.ir fa 2026-06-18 19:20:21 https://files.virgool.io/upload/users/4557221/avatar/fzMv0V.jpg?height=120&width=120 https://virgool.io/@yeye https://virgool.io/@yeye/%D8%A8%D8%A7%D9%84%D8%A7-%D8%A2%D9%88%D8%B1%D8%AF%D9%86-llamacpp-%D8%B1%D9%88%DB%8C-linux-%D9%88-%D9%85%D8%AF%D9%84%D8%B4-%D8%B1%D9%88%DB%8C-1050ti-goqqvplfb2lo این روزا ممکنه یه چیزی از ذهنتون پریده باشه، اگه نتونی چیزی رو که می‌خوای توی کامپیوترت یا همین شبکه داخلی پیدا کنی، چون که اینترنت نیست خیلی چاره‌ای نداریم جز این که به این مدلا دست به دامن بشیم ببینیم که چیزی یادشون هست یا نه.یکی از این مدل‌ها openai gpt oss 20b MXFP4 هست که ۴ بیتی هست و از نظر تعداد پارامتر از اونایی که soft98 گذاشته بیشتره (چون 20 میلیارد پارامتر داره). ممکنه که تو بعضی کارا بیشتر بدردتون بخوره. در واقع من مطمئن نیستم که کاراییش تو اکثر کارها از مدل‌های 12b بیشتر باشه، به دلیل اینکه MoE هست و همه پارامترها با هم فعال نیستن (فکر کنم 4 از 32 بود) سریع‌تر هست.من این مدل رو الآن دارم روی لپ‌تاپم میارم بالا که نشون بدم با یه 1050Ti که 4 گیگ داره و 16 گیگ رم هم میشه آوردش بالا، ولی معمولاً روی یه کامپیوتر دیگه میارمش بالا که با لپ‌تاپم بتونم بقیه کارا رو انجام بدم. اولین کاری که برای نصبش باید انجام بدید اینه که برین توی پست قبلی من و اون نسخه کامپایل شده و یا کد منبع (اگه خودتون می‌خواید کامپایل کنید) و مدل رو دانلود کنید. نسخه کامپایل شده با Vulkan هست که سازگاری بالاتری داشته باشه.دومین کاری که می‌کنید اینه که میرید llama.cpp و مدلتون رو میذارید توی یه directory مثل شکل زیر:من اینجا یه چندتا مدل دیگه هم دارم.بعدش میرید توی همون directory این دستور رو می‌نویسید:./llama-server -m ./openai_gpt-oss-20b-MXFP4.gguf --no-mmap --jinja -ngl 5 --ctx-size 7000 --port 1111 --host 0.0.0.0که اینجا یکم باید توضیح بدم. no-mmap که میگه از mmap استفاده نکن، بهتره اگه رم کافی ندارید بازم استفاده نکنید چون که انقدر باعث کندی میشه بازم ارزشش رو نداره. jinja میگه که از قالب jinja استفاده کن که اینجا وقت توضیحش نیست فقط بدونید که اگه بذارید کیفیت خروجی بهتر میشه. ngl میگه چند لایه رو ببرم روی کارت گرافیک هر چی کمتر جای کمتری توی کارت گرافیک اشغال میشه. ctx-size یا c خالی هم می‌تونید جاش بذارید میگه که تا چند تا توکن بتونه در حافظش نگه داره، اگه حافظه کم اومد اینم کمش کنید. اگه خواستید خارج از کامپیوترتون ازش استفاده کنید، باید پورت و هاست (آدرس IP یا سوکت UNIX) مورد نظر خودتون رو بگید. m هم که مکان مدل هست. اگه مشکلی نداشته باشه می‌بینید که مدل داره میاد بالا مثل شکل زیر:مدل داره میاد بالا، حافظه اختصاص داده شده به هر بخش رو می‌بینید.اینجا می‌بینید که 2158 مگابایت از کارت گرافیک و 9377 از رم کامپیوتر داره استفاده میکنه. ولی همش این نیست! ما اونجا context رو هم داشتیم واسه همین مجموع حافظه توی گرافیک این میشه:حافظه مصرف شده در کارت گرافیکاز اونجایی که الآن 80 درصد رم لپ‌تاپم در حال استفاده هست، من خیلی کار زیاد دیگه‌ای نمی‌تونم انجام بدم. ولی می‌تونم یه مرورگر بیارم بالا توی همون آدرسی که می‌بینید و ازش یه سوالایی بپرسم.سوالی ازش پرسیده شد.وقتی ازش سوالی پرسیده بشه، اولش یکم فکر می‌کنه که می‌تونید با زدن دکمه Reasoning ببینیدش. معمولاً ممکنه که همینجا به جوابتون برسید و قطعش کنید.جواب داده شد. اشتباهم هست نیازی به گذاشتن $ نیست.بعد از فکر کردن هم جواب شسته رفتش رو تحویل میده، سرعتشم نسبتا خوبه، 5 توکن بر ثانیه هست. اگر خواستید می‌تونید با ufw یا هر چیز دیگه‌ای که دم دست دارید پورت باز کنید و جاهای دیگه ازش استفاده کنید.بدرود ی. ی. ی. ی. Fri, 16 Jan 2026 15:40:53 +0330 https://virgool.io/@yeye/%D9%85%D8%AF%D9%84-%D9%87%D8%A7%DB%8C%DB%8C-%DA%A9%D9%87-%D9%82%D8%A8%D9%84%D8%A7-%DA%AF%D9%81%D8%AA%D9%85-gxlfkmn91stw من اینجا نوشتم ولی هی ویرگول نمی‌ذاشت پستش کنم واسه همین الآن تو بیان هست. الآن لینکشم نمی‌ذاره واستون بذارم چرا انقدر اذیت می‌کنه. اسم وبلاگ xenosyno هست. از اونجا می‌تونید مدل OpenAI رو دانلود کنید.و الآنم میگه حداقل 300 کاراکتر باشه، برای همین من براتون قصه‌ی ماری رو می‌نویسم که می‌خواست قشنگ باشه.مری، دختری ۱۲ ساله و پر از زندگی، همیشه در دلش آرزو داشت که قشنگ باشد. در هر روز که می‌آمد، برفراشته می‌کرد که در آینه‌ی کوچک در حیاط خانه‌یش، نگاه کند و با لبخند خسته، به خود بگوید: «اگر فقط یکم زیباتر می‌شدم، همه‌ی مردم به من نگاه می‌کردند و من خوشحال می‌شدم.»در یکی از روزهای گرم تابستان، مری تصمیم گرفت به بازار شهر برود تا لباس‌های جدیدی بخرد. او در دل یک کاسه‌ی چای‌ماتری، در حالی که صدای خنده‌ی هم‌کلیه‌ی دوستانش می‌شنید، به فروشگاه‌های لباس رفت. لباس‌های رنگارنگ، شلوارهای کوتاه، و شال‌های زیبا همه‌ی چشم او را به خود جلب می‌کردند، اما هنوز چیزی در دل او کمبود بود. او گم شد در میان ردیف‌های پارچه، در حالی که دلش می‌خواست لباس‌های قشنگ باشد که در آن به خود اعتماد کند.وقتی برگشت به خانه، مادرش در آشپزخانه با یک شیشه‌ی پر از شمع و گلاب، او را دعوت کرد که به یک رقص کوچک بپیوندد. مادر او با دستانی مهربان، شمع‌ها را روشن کرد و گلاب را در فضا پخش کرد. مری، که در دلش هنوز می‌خواست قشنگ باشد، ناگهان احساس کرد که در دلش چیزی جدید است. او بلافاصله می‌پرسد: «مادر، چرا من نمی‌توانم به اندازه‌ی دیگران قشنگ باشم؟» مادر با لبخندی مهربان، پاسخ داد: «قشنگی، دخترم، در دل ماست. اگر در دل‌ات مهربانی، صداقت، و شکرگزاری باشد، دیگر هر چیزی می‌تواند در آینه‌ی زندگی‌ات نشان داده شود.»مری، که در آن لحظه حس کرد که در دلش می‌تواند جادوی زیبایی را پیدا کند، شروع به خواندن کتاب‌های درباره‌ی مهربانی و درک دیگران کرد. او با دوستانش به‌طور صمیمی گفت‌وگو می‌کرد، به‌هم‌کلیه‌اش کمک می‌کرد، و در روزهای سخت، با لبخندی دلنشین، در دلهای دیگران حضور پیدا می‌کرد.با گذر زمان، مری متوجه شد که هر بار که در آینه می‌نگرد، نه تنها لبخندش زیبا می‌شود، بلکه در دلش نیز نور می‌تابد. او فهمید که قشنگی، در واقع، ترکیبی از مهربانی، صداقت، و شکرگزاری است. او دیگر نیازی به لباس‌های پرقیمت یا آرایش‌های گرانقیمت نداشت. او فهمید که قشنگی واقعی در دل است و در دل‌ات می‌تواند نورانی شود.در آخر، مری، در حالی که در آینه‌ی خانه‌اش می‌نگر، با لبخندی دلنشین می‌گوید: «من قشنگ هستم، نه فقط در ظاهر، بلکه در دل و رفتارم. این همان چیزی است که در طول زندگی، همیشه به یاد می‌ماند و همیشه در دل‌ها می‌تابد.»اینم یه نمونه خروجی از مدل بود.همین دیگه ی. ی. ی. ی. Thu, 15 Jan 2026 17:50:41 +0330