هوش مصنوعی محلی، احمق ولی کار راه‌انداز

خب من فرض می‌کنم که از لینوکس و یک توزیع آرچ بیس مثل پارچ لینوکس‌ استفاده می‌کنید.

برای شروع بذارید بگم که بهتره یک گرافیک انویدیایی داشته باشید که از کودا های جدید پشتیبانی کنه و کلیت این عمل اینطوریه که شما نیاز دارید تا مقداری قهوه فراوان به علت سرعت پایین اینترنت نیاز داشته باشید.
اگر گرافیک انویدیا دارید و درایور نصب نکردید می‌تونید با ویکی پارچ جلو برید:

https://wiki.parchlinux.com/fa/use-from-nvidia-in-parch

نصب پیش‌نیازها

خب برای نصب این بزرگواران باید دستورات زیر رو بزنید که حدود ۶ گیگ دانلود داره:

sudo pacman -S cuda cudnn ollama ollama-cuda

بعد از نصب شدن این‌ها، باید یک‌دور ollama serve بزنید تا کلیدها و پوشه‌های مورد نیاز رو بسازه.

برابری و soft98گری

خب تاجایی که دیدم سافت‌۹۸ زحمت کشیده و یک سری مدل ۱۲ بیلیون پارامتری رو قرار داده، که البته این‌ها مدل های سنگینن و هرچقدر رم داشته باشی همونقدر هم مدل می‌خوری! پس اگر ۱۶ گیگ رم دارید توصیه می‌کنم که بیشتر سمت مدل‌های ۸ بیلیون به پایین برید، و خب درنهایت هم برای نصبش مدل رو دانلود می‌کنید و طبق دستورالعملی که خود ollama داره میندازید توی پوشش.

هرچند این‌کارها رو من توی تلگرام بعد از جنگ بارها و بارها گوشزد کردم، چه خودمیزبانی ماتریکس چه خودمیزبانی دلتاچت و چه.....

چه فایده؟ درنهایت هم یک عده می‌آمدند، من و پروژه‌ام را به باد سخره می‌گرفتند و می‌رفتند، الان همون‌ها در پیچ و خم یک بسته و پیام و .... موندن.

درنهایت هم پذیرای صحبت‌با شما عزیزان از طریق ایمیل هستم(ایمیل‌ها رو در یک بازه‌ زمانی خاصی چک می‌کنم):

behdanisohrab@chmail.ir