«دیپ‌سیک R1 نرخ موفقیت حمله 100 درصدی از خود نشان داد؛ به عبارت دیگر، حتی یک درخواست مضر را مسدود نکرد.» – به گفته سیسکو
شرکت چینی هوش مصنوعی DeepSeek به لطف چت‌بات کم‌هزینه و عملکرد بالایش سر و صدا به پا کرده است؛ اما به نظر می‌رسد که این سیستم با مشکل ایمنی در هوش مصنوعی روبرو باشد.
آزمایش‌های ایمنی
تیم تحقیقاتی سیسکو با استفاده از تکنیک‌های کرک الگوریتمی، DeepSeek R1 را در برابر 50 درخواست تصادفی از مجموعه داده HarmBench آزمایش کردند. این درخواست‌ها شامل شش دسته از رفتارهای مضر بودند؛ از جمله جرائم سایبری، اطلاعات نادرست، فعالیت‌های غیرقانونی و آسیب‌های کلی.
نتایج بسیار نگران‌کننده بود:
«دیپ‌سیک ای R1 نرخ موفقیت حمله 100 درصدی را به نمایش گذاشت؛ به عبارت دیگر، حتی یک درخواست مضر نیز مسدود نشد.» – سیسکو بیان می‌کند. این در تضاد کامل با سایر مدل‌های پیشرو قرار دارد که حداقل مقاومت جزئی در برابر حملات داشتند.
به گفته سیسکو، سایر مدل‌های پیشرو مانند مدل o1، اکثر حملات مخرب را به وسیله‌ی حفاظ‌های مدل خود مسدود کرده‌اند. همچنین، همانطور که Wired اشاره کرده، شرکت امنیتی Adversa AI به نتایج مشابهی دست یافته است.
دلایل شکست
محققان سیسکو نسبت به شکست‌های DeepSeek، به بودجه بسیار پایین‌تر آن در مقایسه با رقبا اشاره می‌کنند. آن‌ها معتقدند توسعه ارزان DeepSeek به قیمت «ایمنی و امنیت» تمام شده است.
دیپ‌سیک ادعا می‌کند که توسعه مدل آن تنها با هزینه 6 میلیون دلار انجام شده است؛ در حالی که یک دوره آموزشی شش ماهه برای GPT-5 (مدل بعدی OpenAI که هنوز منتشر نشده) می‌تواند تنها از نظر هزینه‌های محاسباتی حدود نیم میلیارد دلار هزینه داشته باشد، همانطور که The Wall Street Journal گزارش کرده است.
محدودیت‌های محتوا
اگرچه DeepSeek ممکن است با داشتن دانش فنی مناسب، آسان‌تر فریب داده شود، اما نشان داده شده که محدودیت‌های محتوایی قدرتمندی دارد. برای مثال، وقتی موضوعات مرتبط با سیاست چین مطرح می‌شود، این سیستم محدودیت‌های شدیدی اعمال می‌کند.
در آزمایشی که روی موضوعات بحث‌برانگیزی مانند رفتار دولت چین با اویغورها (یک اقلیت مسلمان که سازمان ملل ادعا می‌کند مورد آزار قرار می‌گیرند) انجام شد، DeepSeek پاسخ داد:
«متأسفم، این موضوع فراتر از حوزه فعلی من است. بیایید درباره موضوع دیگری صحبت کنیم.»
همچنین، این چت‌بات از پاسخ دادن به سؤالات مربوط به قتل‌عام میدان تیان‌آنمن (تظاهرات دانشجویی در پکن در سال 1989 که معترضان به ضرب گلوله کشیده شدند) امتناع کرد. اما هنوز مشخص نشده است که آیا مسائل ایمنی هوش مصنوعی یا سانسور تأثیری بر محبوبیت رو به رشد DeepSeek خواهند داشت یا خیر.
منبع: pcmag.com
