حدود یک ماه پیش، نیاز داشتم از سرویس Ollama استفاده کنم؛ اما متأسفانه متوجه شدم که کارت گرافیک AMD RX 5700 XT 8GB موجود در سیستم من از این سرویس پشتیبانی نمیکند. به همین دلیل، جستوجوی راهکاری برای انتقال بار پردازشی مدلهای زبانی به GPUرا آغاز کردم. خوشبختانه، به نتیجه مطلوبی دست یافتم که از نظر عملکرد تا حد زیادی قابل قبول بود.
با توجه به شرایط نامناسب اقتصادی و دشواری بسیاری از افراد در تهیهی یک کارت گرافیک قدرتمند، خرید چنین سختافزاری شاید برای برخی کاربران Ollama منطقی نباشد. از این رو، استفاده از کارت گرافیکی که بتواند تا حد زیادی کندی اجرای نسخهی محلی Ollama را کاهش دهد، گامی مؤثر به سمت بهینهسازی عملکرد محسوب میشود.
در ابتدا، به بررسی کارتهای گرافیکی AMD که بهطور رسمی توسط Ollama پشتیبانی میشوند، خواهیم پرداخت. سپس، گزینههایی را که میتوان بهصورت غیررسمی برای اجرای Ollama فعال کرد، مورد ارزیابی قرار خواهیم داد.
در تصویر شماره ۱ مشاهده میکنید که کدام کارتهای گرافیک قابلیت اجرای مدلهای زبانی را بهصورت محلی دارند. این بدان معناست که کاربران میتوانند با استفاده از این کارتهای گرافیکی AMD، مدلهای زبانی را بدون نگرانی و با سرعتی قابل قبول بهصورت محلی اجرا کنند.
اکنون به بررسی کارتهای گرافیکی خواهیم پرداخت که امکان فعالسازی غیررسمی آنها در Ollama وجود دارد و میتوانند عملکرد بهتری نسبت به پردازش مبتنی بر CPU ارائه دهند.
این دسته از کارتهای گرافیکی، هرچند بهطور رسمی توسط Ollama پشتیبانی نمیشوند، اما با تنظیمات خاص و استفاده از روشهای جایگزین میتوان آنها را برای اجرای مدلهای زبانی بهینهسازی کرد. بهرهگیری از این گزینهها میتواند به کاربران کمک کند تا سرعت پردازش را افزایش دهند و تجربهی روانتری در اجرای مدلهای محلی داشته باشند:
در جدول شماره ۲، میتوانید مشاهده کنید که آیا GPU یا APU شما بهصورت غیررسمی قابلیت راهاندازی در Ollama را دارد یا خیر.
در این جدول، منظور از dGPU همان کارت گرافیک مستقل است که بهعنوان یک واحد پردازشی مجزا در سیستم عمل میکند. همچنین، APU به پردازندههای گرافیکی یکپارچهای اطلاق میشود که در CPU تعبیه شدهاند و معمولاً تحت عنوان «آنبرد» شناخته میشوند.
همچنین لازم است به این نکته توجه داشته باشید که بهدلیل بهروزرسانیهای مداوم و عدم تعهد تیم توسعهی Ollama نسبت به پشتیبانی از کارتهای گرافیکی غیررسمی، احتمال دارد که برخی از این پردازندههای گرافیکی در نسخههای آینده دیگر قابل راهاندازی نباشند. این تغییرات میتوانند بهواسطهی اصلاحات در نرمافزار، تغییرات در معماری پردازش، یا بهینهسازیهای جدید رخ دهند.
بنابراین، کاربران باید این احتمال را در نظر بگیرند و در صورت استفاده از سختافزارهای غیررسمی، آمادگی مواجهه با محدودیتهای احتمالی در نسخههای آتی را داشته باشند. بررسی تغییرات و اطلاع از بهروزرسانیهای جدید میتواند به تصمیمگیری بهتر شما کمک کند.
در تجربهی شخصی خود، پس از راهاندازی کارت گرافیک RX 5700 XT با حافظهی ۸ گیگابایتی، بهبود چشمگیری در سرعت اجرای مدلهای زبانی بهصورت محلی مشاهده کردم. این تفاوت به اندازهای محسوس بود که پس از پردازش روی GPU، عملکرد کند CPU دیگر برایم قابل تحمل نبود.
بهعنوان مثال، مدل Gemma3 با ۱ میلیارد پارامتر و حجم تقریبی ۸۰۰ تا ۹۰۰ مگابایت، هنگام پردازش روی CPU بهشدت کند و همراه با تأخیر عمل میکند. همچنین، اجرای مدلهای بزرگتر با ۴ میلیارد یا ۸ میلیارد پارامتر تأثیر منفی بیشتری بر تجربهی کاری خواهد داشت. برای من، مدل Gemma3 با ۱۲ میلیارد پارامتر روی CPU بهطور کامل اجرا نشد.
نکتهی مهم دیگری که باید در نظر گرفته شود، تأثیر مستقیم حجم رم سیستم و رم کارت گرافیک بر سرعت اجرای مدلها است. بهعنوان نمونه، کارت گرافیک ۸ گیگابایتی من توانایی اجرای مدلهای ۸ میلیارد پارامتر و بالاتر را دارد، اما با مقداری کندی مواجه میشود. البته، در مدل Gemma3 با ۱۲ میلیارد پارامتر، این کاهش سرعت تا حدی قابل تحمل است. بنابراین، برای داشتن تجربهی پردازشی روانتر، پیشنهاد میشود از کارت گرافیکی با ۱۲ گیگابایت رم یا بیشتر استفاده شود.
اگر قصد دارید Ollama را روی کارت گرافیکی اجرا کنید که بهصورت رسمی پشتیبانی نمیشود، میتوانید مقالهای را که پیشتر در این زمینه نوشتهام، مطالعه کنید. در این مقاله، روشهایی برای فعالسازی غیررسمی کارتهای گرافیکی و بهینهسازی عملکرد آنها ارائه شده است.
برای دسترسی به این مقاله، میتوانید از لینک زیر استفاده کنید:
با مطالعهی این مقاله، اطلاعات جامعی دربارهی نحوهی راهاندازی Ollama روی کارتهای گرافیکی غیررسمی کسب خواهید کرد.
امیدوارم که این مقاله بتواند به شما در پیشبرد اهدافتان در زمینهی هوش مصنوعی کمک کرده باشد، اگر این مطلب برای شما مفید بود، خوشحال میشوم من را در کافیته یا دارمت به یک قهوه مهمان کنید و به من برای تولید محتوای بهتر و قویتر انگیزه دهید.
