با توجه به وجود ابهام درباره نحوه نصب و کار با برنامه Ollama (که در این پست به عنوان یک راه استفاده از هوش مصنوعی معرفی شد) تیم فنی Shahab Gem تصمیم گرفت یک پست تکمیلی برای هم میهنان گرامی تدوین نماید.
در این روش کل مدل زبانی بزرگ ( LLM ) را دانلود کرده و روی سیستم خودمان اجرا میکنیم. تفاوت این کار با حالت عادی که اکثرا پیش از این تجربه کرده اید هم عمدتا در همین تفاوت سیستم اجرایی خلاصه می شود. چندین برنامه غیر از Ollama مانند GPT4All و ... وجود دارد که می توان از آن استفاده کرد، ولی فعلا از آنجا که Ollama رابط کاربری ساده ای دارد و تنظیمات گیج کننده در آن یافت نمی شود. این پست به نصب این برنامه تعلق یافته است.
لازم به ذکر است از آنجا که مدل های زبانی عمدتا دارای گراف های بزرگ هستند و پردازش های ماتریسی دارند، برای اجرای هرچه بهتر (به لحاظ سرعت ، دقت و قدرت در پاسخگویی) نیاز است تا سیستم شما کارت گرافیک مناسب و حجم VRAM بیشتری داشته باشد. ما این مدل را روی لپتاپ های شخصی بدون کارت گرافیک (یا همان گرافیک ضعیف امبدد روی برد CPU) اجرا کردیم (به طور دقیق تر گرافیک Intel IrisXe). روی سیستم مذکور هر پاسخ چند دقیقه طول می کشد و جواب ها دلپذیر و مطابق درخواست نیستند. پس اگر از این روش انتظارات و درخواست های سطح بالاتری دارید، حداقل به چند گیگابایت VRAM و نسل مدل گرافیک بعد از 2020 (شروع دوران هوش مصنوعی) نیاز خواهید داشت.
به طور خلاصه مزیت عمده این روش در امنیت و عدم استفاده از اینترنت است. از آنجا که بحث اصلی این پست روش نصب است ادامه این بحث در پستی دیگر برای علاقه مندان منتشر خواهد شد.
لینک سافت 98 که تیم Shahab Gem از این طریق برنامه و مدل را دانلود کرده است:
(گذاشتن این لینک به معنای تایید سالم بودن فایل های دانلود شده نیست، حتما قبل از نصب جوانب احتیاط را رعایت نمایید!)
https://soft98.ir/software/programming/16864-ollama.html
بعد از نصب فایل برنامه و پارت های مدل مد نظرتان در پوشه دانلود، فایل های شما به صورت زیر خواهد بود:
فایل برنامه را با WinRAR باز نمایید (اگر نصب باشد، عموما به صورت خودکار با همین برنامه باز میشود). حالا مانند تصویر 2.1.2 گزینه استخراج را انتخاب نمایید.
اکنون باید محل استخراج و گزینه های استخراج را انتخاب نمایید. در این مرحله محدودیت خاصی نداریم ولی چون برای استخراج فایل های مدل لازم است گزینه های Extract and update files و Keep broken files انتخاب شده باشند، در تصویر 2.1.3 آنها را از همین حالا انتخاب کرده ایم.
حالا رمز فایل را وارد کنید. رمز همه فایل های دانلود شده از سافت 98 یکسان است.
بعد از اتمام استخراج، به محلی که تعیین کرده بودید تا فایل در آنجا استخراج شود بروید. فایلی که پسوند .exe دارد را پیدا کرده و اجرا نمایید. حالا پنجره نصب برنامه برایتان نمایش داده خواهد شد.
بعد از اتمام نصب برنامه را باز کنید. صفحه اول برنامه را در تصویر 2.1.5 نشان داده ایم. به بخش تنظیمات بروید.
در این بخش 2 کار عمده باید انجام دهید. ابتدا آدرس دلخواهی مطابق آنچه در تصویر 2.1.6 نوشته شده از سیستم خود انتخاب نمایید. در اینجا قرار است محتویات مدل که دانلود کردیم و قرار است از فشرده سازی در بیاریم را قرار دهیم.
توجه داشته باشید در مسیر انتخابی، پوشه .ollama و در آن، پوشه models را بسازید.
مثال:
اگر میخواهید در درایو D و پوشه A محتویات را بریزید، به پوشه A رفته و یک پوشه با نام ".ollama" بسازید. سپس پوشه را باز کرده و در آن یک پوشه دیگر با نام "models" بسازید.
حالا آدرسی که باید به برنامه بدهید به صورت زیر خواهد بود:
D:\A\.ollama\models
بعد از انجام این کار گزینه Airplane mode را هم روشن نمایید (اختیاری).
فایل های دانلود شده برای مدل انتخابی (باکس فایل های 2) در تصویر 2.1.1 را به یاد بیاورید. اکنون لازم است همه آن ها را در یک پوشه بریزید. آدرس و نام پوشه در این جا مهم نیست.
اگر از جای دیگری فایل های مدل را دانلود کردید این موارد را حتما بررسی و درصورت نیاز اصلاح کنید:
الف) نام فایل ها باید جز در عدد پارت یکسان باشد. (مانند تصویر 2.2.1)
ب) رمز استخراج همه پارت ها باید یکسان باشد. (اگر نیست فایل ها را جدا گانه استخراج نمایید و مجددا با رمز یکسان فشرده سازی کنید.)
پ) باید همه فایل ها وقتی استخراج می شوند فایلی با اسم یکسان تولید کنند. یعنی درون فایل فشرده همه پارت ها، پوشه اصلی نام یکسانی داشته باشد.
حال همانند آنچه برای استخراج فایل اصلی طی کردیم (تصویر های 2.1.2 تا 2.1.4) را برای تنها پارت 1 دوباره انجام دهید.
- به نوار پیشرفت WinRAR دقت کنید. باید به صورت خودکار استخراج پارت ها را به ترتیب طی کند.
بعد از اتمام استخراج پارت ها، اکنون 1 پوشه خروجی دارید که در آن چند فایل و پوشه است. پوشه های blobs و manifests را انتخاب کرده و به محلی که در برنامه اصلی تعیین کرده بودید، مانند تصویر 2.2.2 انتقال دهید.
مراحل راه اندازی برنامه و مدل اینجا به پایان می رسد. حالا برنامه را ببندید و دوباره باز کنید. مدل احتمالا بصورت خودکار تشخیص داده می شود. در غیر این صورت، از لیست مدل ها، مدلی را که دانلود و جایگذاری کرده بودید انتخاب کرده و از چت کردن با هوش مصنوعی بدون اینترنت لذت ببرید!
💫آدرس ما در بله:
https://ble.ir/shahabgem
