حملات مسمومیت داده یا Data poisoning چیست؟

حملات مسمومیت داده زمانی اتفاق می‌افتد که مهاجم داده‌های آموزش مدل های AI را دستکاری می‌کند تا باعث شود مدل‌ هوش مصنوعی به شیوه‌ای نامطلوب رفتار کند.

مسمومیت داده، همانطور که از نامش پیداست، شامل آلودگی عمدی و مخرب داده ها برای به خطر انداختن عملکرد سیستم های هوش مصنوعی و ML است. برخلاف سایر تکنیک‌های متخاصم که مدل را در طول استنتاج هدف قرار می‌دهند (به عنوان مثال، Adversarial Perturbations)، حملات مسمومیت داده‌ای در مرحله آموزش ضربه می‌زنند.

در واقع Data Poisoning نوعی حمله سایبری است که  می تواند عواقب جدی داشته باشد، مانند ایجاد تصمیمات نادرست بر اساس داده های دستکاری شده.

چگونه از مسمومیت داده پیشگیری کنیم:

اعتبارسنجی و تأیید داده ها:

اطمینان حاصل کنید که داده های آموزشی قبل از استفاده برای آموزش مدل به طور کامل بررسی و تایید شده اند. با پیاده سازی بررسی های اعتبارسنجی داده ها و استفاده از چندین لیبل داده برای تأیید صحت برچسب گذاری داده ها اعتبارسنجی به درستی انجام خواهد.

ذخیره سازی امن داده ها:

داده های آموزشی را با به کارگیری شیوه های امن همانند رمزگذاری، پروتکل های امن انتقال داده و فایروال ها ذخیره کنید.

جداسازی داده ها:

داده های آموزشی را از داده های تولید جدا کنید تا احتمال به خطر افتادن داده های آموزشی را کاهش دهید.

کنترل دسترسی:

پیاده سازی کنترل‌های دسترسی ، برای محدود کردن دسترسی افراد به داده‌های آموزشی و همینطور مدت زمان دقیق دسترسی .

• کنترل دسترسی به شبکه (NAC) چیست؟
• کنترل دسترسی امن به شبکه با FortiNAC
• پروتکل SSH – ورود امن از راه دور و انتقال فایل

مانیتورینگ و ممیزی:

نظارت منظم داده های آموزشی برای هر گونه ناهنجاری و اجرای ممیزی ها برای تشخیص هرگونه دستکاری داده ها انجام شود .

اعتبارسنجی مدل:

اعتبار مدل را با استفاده از یک مجموعه اعتبار سنجی جداگانه که در طول آموزش استفاده نشده است، تأیید کنید. اعتبارسنجی می تواند به شناسایی هرگونه حمله مسمومیت داده ای که ممکن است بر داده های آموزشی تأثیر گذاشته باشد کمک کند.

Model ensembles :

مدل های چندگانه را برای استفاده از زیر مجموعه های مختلف داده های آموزشی و همچنین استفاده از مجموعه ای از این مدل ها برای پیش بینی آموزش دهید. بدین ترتیب تأثیر حملات مسمومیت داده کاهش می یابد، زیرا مهاجم برای دستیابی به اهداف خود باید چندین مدل را به خطر بیاندازد.

Model ensembles به تکنیک ترکیب چندین مدل یادگیری ماشین برای بهبود عملکرد کلی و بالابردن دقت یک مدل پیش‌بینی اشاره می‌کنند. این اغلب با آموزش چندین مدل بر روی یک مجموعه داده و سپس تجمیع پیش‌بینی‌های آنها برای پیش‌بینی نهایی انجام می‌شود.مدل پیش‌بینی کننده یا Predictive Model، یک مدل ریاضیاتی است که با استفاده از دیتا و الگوهای گذشته، رویدادهای آینده را پیش‌بینی می‌کند. مدل پیش‌بینی کننده زیرمجموعه‌ای از تحلیل‌های پیش‌بینی کننده (predictive analysis) و تحلیل دیتا (data analysis) محسوب می‌شود. در همه این نوع تحلیل‌ها، تلاش می‌شود تا با استفاده از دیتای موجود، فعالیت‌ها، رفتارها و ترندهای آینده پیش‌بینی شود.