چگونه یک مدل زبانی بزرگ (LLM) را به صورت محلی با n8n اجرا کنیم؟

برای اجرای یک مدل زبانی بزرگ (LLM) به‌صورت محلی با n8n، می‌توانید از Self-Hosted AI Starter Kit استفاده کنید. این کیت توسط n8n طراحی شده است تا فرآیند راه‌اندازی هوش مصنوعی روی سخت‌افزار خودتان را ساده‌تر کند.

این کیت شامل یک قالب Docker Compose است که n8n را همراه با ابزارهای پیشرفته هوش مصنوعی محلی مانند Ollama و Qdrant ترکیب می‌کند. با این روش، می‌توانید به‌راحتی نصب را انجام دهید، از قالب‌های آماده برای گردش‌کارهای هوش مصنوعی استفاده کنید و پیکربندی شبکه را به‌صورت سفارشی تنظیم کنید. این امکان را به شما می‌دهد که به‌سرعت مدل‌های هوش مصنوعی را به‌صورت محلی اجرا کرده و مدیریت کنید، بدون اینکه داده‌های شما از محیط خودتان خارج شوند.

n8n از LangChain استفاده می‌کند تا توسعه تعاملات پیچیده با LLMها را ساده‌تر کند. این شامل زنجیره‌سازی چندین درخواست، پیاده‌سازی تصمیم‌گیری و تعامل با منابع داده‌ی خارجی است. رویکرد کم‌کد (Low-Code) در n8n کاملاً با ماهیت ماژولار LangChain سازگار است و به کاربران اجازه می‌دهد گردش‌کارهای LLM را بدون نیاز به کدنویسی گسترده ایجاد و شخصی‌سازی کنند.

ایجاد یک گردش‌کار ساده برای اجرای LLM به‌صورت محلی

با این گردش‌کار در n8n، می‌توانید به‌راحتی با مدل‌های زبانی بزرگی که به‌صورت محلی میزبانی می‌کنید، گفتگو کنید. این کار با اتصال n8n به Ollama، که یک ابزار قدرتمند برای مدیریت LLMهای محلی است، انجام می‌شود. شما می‌توانید پیام‌های خود را ارسال کرده و مستقیماً پاسخ‌های تولید‌شده توسط هوش مصنوعی را در n8n دریافت کنید.

مرحله ۱: نصب Ollama و اجرای یک مدل

نصب Ollama بسیار ساده است. فقط کافی است نصب‌کننده Ollama را متناسب با سیستم‌عامل خود دانلود کنید. شما می‌توانید Ollama را روی ویندوز، مک یا لینوکس نصب کنید.

پس از نصب Ollama، می‌توانید یک مدل مانند Llama3 را با اجرای دستور زیر دانلود کنید:

ollama pull llama3

بسته به مدلی که انتخاب می‌کنید، دانلود ممکن است کمی زمان ببرد. به‌عنوان مثال، نسخه Llama3 حدود ۴.۷ گیگابایت حجم دارد.

پس از اتمام دانلود، دستور زیر را اجرا کنید:

ollama run llama3

مرحله ۲: راه‌اندازی یک گردش‌کار چت

حالا بیایید یک گردش‌کار ساده در n8n ایجاد کنیم که از مدل LLM محلی که با Ollama اجرا می‌شود، استفاده کند. در اینجا نگاهی به گردش‌کاری که خواهیم ساخت، داریم:

ابتدا یک گره Chat Trigger اضافه کنید، که نقطه شروع گردش‌کار برای ساخت رابط‌های چت در n8n است. سپس باید این گره را به یک Basic LLM Chain متصل کنیم، جایی که پیام ورودی (prompt) را تنظیم کرده و مدل LLM موردنظر را پیکربندی می‌کنیم.

مرحله ۳: اتصال n8n به Ollama

اتصال Ollama به n8n بسیار ساده است، به لطف زیر‌گره مدل Ollama! Ollama به‌عنوان یک فرآیند پس‌زمینه روی کامپیوتر شما اجرا می‌شود و یک API روی پورت 11434 ارائه می‌دهد. برای بررسی اینکه API فعال است، کافی است یک پنجره مرورگر باز کرده و به این آدرس بروید:

http://localhost:11434

باید پیامی مانند "Ollama is running" را ببینید.

برای اینکه n8n بتواند با API Ollama از طریق localhost ارتباط برقرار کند، هر دو برنامه باید روی یک شبکه باشند. اگر n8n را در Docker اجرا می‌کنید، باید کانتینر Docker را با پارامتر زیر راه‌اندازی کنید:

--network=host

به این ترتیب، کانتینر n8n می‌تواند به هر پورتی روی سیستم میزبان دسترسی داشته باشد.

برای تنظیم اتصال بین n8n و Ollama، کافی است همه چیز را در پنجره تنظیمات اتصال Ollama به‌صورت پیش‌فرض رها کنید:

پس از برقراری اتصال موفق با API Ollama، در منوی کشویی Model، باید تمام مدل‌هایی که دانلود کرده‌اید را ببینید. فقط مدل llama3:latest که قبلاً دانلود کرده‌ایم را انتخاب کنید.

مرحله ۴: گفتگو با Llama3

حالا بیایید با مدل LLM محلی خود گفتگو کنیم! روی دکمه Chat در پایین صفحه گردش‌کار کلیک کنید تا آن را آزمایش کنید. هر پیامی که دوست دارید تایپ کنید و مدل LLM شما باید پاسخ بدهد. به همین سادگی!