اجرای Llama3.1 روی کامپیوتر شخصی

چندروز پیش متا (فیس‌بوک پیشین) در یکی از مقالاتش، آخرین ورژن از مدل پردازش زبان طبیعی(NLP) خود با حدود ۴۰۵ میلیارد پارامتر را به صورت متن باز(open source) رونمایی کرد.

این بزرگترین مدل زبانی متن باز منتشر شده تا به حال است که در بسیاری از بنچمارک های موجود؛ اگر از GPT4 عملکرد بهتری نداشته باشد حداقل تنه به تنه آن زده است و متن باز بودن آن خیلی هیجان انگیزه.

در حالت کلی مدل Llama 3.1 در قالب سه ورژن کلی؛ ۸ میلیارد پارامتری و ۷۰ میلیارد پارامتری و ۴۰۵ میلیارد پارامتری منتشر شده است.

1. Llama 3.1 8B:

• CPU: A modern CPU with at least 8 cores.
• GPU: Requires at least one powerful GPU, ideally from the Nvidia RTX 3000 series or higher, with CUDA architecture support.
• RAM: Minimum of 16 GB.
• Download Size: 4.7 GB

2. Llama 3.1 70B:

• CPU: Similar to the 8B model, an 8-core modern CPU.
• GPU: Requires multiple powerful GPUs for efficient processing.
• RAM: At least 32 GB, with higher being beneficial.
• Download Size: 40 GB

3. Llama 3.1 405B:

• CPU: Highly robust, modern CPU setups, likely requiring a server-grade CPU setup for best performance.
• GPU: Multiple high-end GPUs, such as the Nvidia A100 or similar, are crucial to manage the massive computational load.
• RAM: Significant memory, likely in the range of 64 GB or more, depending on the specific implementation and use case.
• Download Size: 231 GB

اجرای مدل روی کامپیوتر شخصی:

ساده ترین راه برای اجرای مدل Llama و برخی دیگر از مدل های معروف روی کامپیوتر میتوانید از نرم افزار Ollama به عنوان رابط استفاده کنید.

ابتدا نرم افزار Ollama که روی هر سه سیستم عامل ویندوز؛ لینوکس و مک قابل اجراست رو دانلود و نصب کنید.

بعد از نصب از طریق ترمینال به کامند ollama دسترسی دارید. که میتوانید با کامند زیر مدل 7B را با حجم حدودی ۴.۷ گیگابایت دانلود و اجرا کنید.

ollama run llama3.1

در صورتی که نیاز به ورژن های مختلف Llama 3.1 دارید میتوانید در قالب تگ آنها را مشخص کنید.
ollama run llama3.1:70b
ollama run llama3.1:405b

بعد از دانلود مدل شما از طریق cli میتوانید به صورت interactive با مدل چت کنید.

تا اینجا کار شما به سادگی میتوانید مدل را اجرا کنید و با آن تعامل کنید. اگر این محیط برای شما جذاب نیست در ادامه همراه باشید.

پروژه متن باز Open Web UI (لینک گیتهاب)‌ وجود دارد که میتوانید از طریق داکر آن را اجرا کنید.

برای اجرای OpenWebUI به صورت لوکال برای ارتباط با Ollama میتوانید کامند زیر را اجرا کنید:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

در نهایت با اجرای http://localhost:3000 میتوانید تجربه مشابه ارتباط به GPT را با Llama 3.1 در محیط لوکال بدون اینترنت داشته باشید.

اگر این مطلب براتون مفید بود خوشحال میشم با دوستانتون به اشتراک بذارید.

منابع:

https://llamaimodel.com/requirements

https://www.geeky-gadgets.com/llama-open-source-ai-model

https://ai.meta.com/blog/meta-llama-3-1/