مهدی فولادگر
مهدی فولادگر
خواندن ۶ دقیقه·۶ ماه پیش

هوش مصنوعی و امنیت

هوش مصنوعی را می‌توان یکی از مهم‌ترین فناوری‌های انقلابی در چندسال اخیر دانست و من در حاشیه جشنواره ملی امنیت فضای تبادل اطلاعات به بررسی تلاقی هوش مصنوعی و امنیت سایبری پرداختم. در این ارائه توضیح دادم که هوش مصنوعی را می‌توان ابزاری برای دفاع، ابزاری برای حمله و هدفی برای حمله دانست. در این مقاله تلاش‌ کرده‌ام بخشی از ارائه را با اهالی ویرگول نیز در میان بگذارم.

هوش مصنوعی؛ ابزار دفاع

استفاده از هوش مصنوعی به عنوان ابزاری برای دفاع شاید اولین کاربردی باشد که برای هوش مصنوعی به ذهن متخصصان رسیده‌است و شاید به عنوان اولین قدم بتوانیم هوش مصنوعی را به عنوان دستیاری برای بهبود فرایندهای مدیریت امنیت در سازمان‌ها بدانیم.

هوش مصنوعی در مدیریت امنیت سازمان‌ها

بر طبق آمارهای جهانی، ۶۸ درصد از نشت‌های امنیتی در سازمان‌ها به واسطه‌ی یک عامل انسانی بوده‌است و حدود ۱۶ درصد از آن‌ها به واسطه‌ی انتشار ناصحیح سامانه‌هایی که نباید منتشر می‌شده‌اند اتفاق اتفاده است. در راستای جلوگیری از این حملات می‌توان از چت‌بات‌ها برای آموزش و توانمندسازی کارشناسان و متخصصان امنیت استفاده کرد.

ارتباط هوش مصنوعی و متخصص برای آموزش و توانمندسازی متخصصان امنیت
ارتباط هوش مصنوعی و متخصص برای آموزش و توانمندسازی متخصصان امنیت

کاربرد دیگر هوش مصنوعی در مدیریت امنیت، اولویت‌بندی خودکار تهدیدها و کمک به تدوین استراتژی‌های کاهش ریسک است. جالب آن‌جاست که بدانیم در ۸۰ درصد نشت‌هایی که در سال ۲۰۲۳ در سازمان‌ها اتفاق افتاده‌ است، سازمان هدف یک ابزار برای دفاع در مقابل حمله‌ی مذکور داشته است اما به دلیل تنظیم ناصحیح و مشخص نبودن نقاط ضعف سازمان برای کارشناسان امنیت، ابزار موفق به جلوگیری از حمله نشده‌است. با این تفسیر، استفاده از موتورهای هوشمندی که بتوانند از میان انبوده رویدادهای مشکوک تنها تمرکز متخصصین را به تهدیدهای بالقوه معطوف کنند، بسیار کاربردی خواهد بود. همچنین، مشخص کردن محتمل‌ترین ریسک‌های سازمان از جمله دیگر کاربردهای هوش مصنوعی در افزایش تمرکز کارشناسان و متخصصان سازمان‌ها به بخش‌های پر ریسک شبکه در سازمان است.

علاوه بر موارد ذکر شده، در بسیاری از ابزارهای لبه‌ دانش در سال‌های اخیر، ردپای هوش مصنوعی در تولید خودکار حوادث برای ارزیابی تجهیزات امنیتی مورد استفاده در سازمان و صحت تنظیم آن‌ها دیده شده‌است. از این رو، ابزارهای هوشمندی توسعه یافته‌اند که بر اساس مختصات شبکه‌ی سازمان‌ها تلاش می‌کنند حملاتی را تولید کنند که ابزارهای مورد استفاده در سازمان‌ها را به چالش بکشد. خصوصا، در سال‌های اخیر و با مدل‌های جدید Generative AI انتظار می‌رود ابزارهای هوشمند بتوانند با ترکیب حملات موجود، حملات خلاقانه‌ی جدیدی را تولید کنند.

استفاده از هوش مصنوعی برای تولید خودکار حوادث به منظور ارزیابی تجهیزات امنیتی
استفاده از هوش مصنوعی برای تولید خودکار حوادث به منظور ارزیابی تجهیزات امنیتی

از آنجایی که در ۲۰۲۴، در دنیا بیش از ۳٫۵ میلیون جایگاه شغلی حوزه‌ی امنیت پر نشده‌اند؛ ۷۵درصد متخصصان حوزه‌ی امنیت معتقند که هوش‌مصنوعی می‌تواند وظایف تکراری آن‌ها را بر عهده بگیرد تا این متخصصان بتوانند بر مسائل پیچیده‌‌تر در سازمان خود بپردازند و نیازمندی سازمان‌ها به تیم‌های امنیتی بزرگ‌ کاهش یابد. به همین دلیل، در دنیا ابزارهایی تلاش می‌کنند به صورت خودکار حادثه‌هایی که در سازمان‌ها رخ می‌دهند را تحلیل کرده و پیش‌نویس گزارش رسیدگی‌ به حادثه را تدوین کنند.

هوش مصنوعی در ابزارهای تشخیص حمله

ابزارهای SIEM همیشه تلاش کرده‌اند از روش‌هایی هوشمند برای تحلیل رخدادهای امنیتی سازمان‌ها و تشخیص هم‌بستگی میان آن‌ها استفاده کنند و از این رو انتظار می‌رود پیشرفت چشمگیر الگوریتم‌های هوش مصنوعی، تاثیری شگرف در این محصولات داشته باشد. جالب آنجاست که اکثر محصولات مطرح در حوزه به جای آن‌که محصولات قبلی خود را به روش‌های مبتنی بر هوش مصنوعی مدرن تجهیز کنند، تصمیم گرفته‌اند تا محصولات جدیدی به صورت هوش‌پایه طراحی و پیاده‌سازی کنند. همچنین، بسیاری از ابزارهای موجود SIEM تلاش کرده‌اند برای دور نماندن از رقابت تنگاتنگ با ابزارهای دیگر حداقل ویژگی‌هایی را برای فیلتر کردن و اولویت‌بندی هوشمند هشدارها در ابزار خود پیاده‌سازی نمایند.

استفاده از هوش مصنوعی در فیلترکردن و اولیت‌بندی هوشمند هشدارهای ابزارهای SOC
استفاده از هوش مصنوعی در فیلترکردن و اولیت‌بندی هوشمند هشدارهای ابزارهای SOC


از دیگر کاربردهای هوش مصنوعی در ابزارهای تشخیص حمله، می‌تواند به تحلیل رفتار کاربران برای تشخیص تهدیدهای داخلی (insider) و حساب‌های کاربری در اختیار مهاجم (compromised accounts) اشاره کرد. در سال ۲۰۲۳، تعداد ۸۵۱ نشت اطلاعات در دنیا به واسطه‌ی سوء استفاده از دسترسی‌های کاربران داخلی اتفاق افتاده است؛ از این رو، ابزارهای هوشمندی که رفتارهای کاربران سازمان‌ها می‌شناسند و در صورت بروز سوء رفتار می‌توانند به سرعت به متخصصان و کارشناسان گزارش دهند می‌تواند چنین حملاتی را خنثی کند.

در ادامه، اخیرا انتشار مدل‌های Generative قدرت‌مندتر و پر استفاده‌شدن مدل‌های GPT، احتمال استفاده از هوش مصنوعی در تحلیل خودکار حملات و بهبود خودکار Playbookهای SOAR برای جلوگیری از این حملات در آینده را تقویت کرده‌است.

هوش مصنوعی؛ ابزار حمله

هوش مصنوعی‌های هکر!!
هوش مصنوعی‌های هکر!!

همگام با متخصصان و پژوهشگران امنیت، حمله‌کنندگان به سازمان‌ها نیز در پی استفاده از هوش مصنوعی برای بهبود روش‌های حمله‌ی خود هستند. به این منظور، برخی به احتمال استفاده از هوش ‌مصنوعی برای تولید حملات ماحی‌گیری (فیشینگ) هدفمندتر اشاره می‌کنند. همچنین، استفاده از هوش مصنوعی برای تولید خودکار بدافزارها چه از طریق ترکیب بدافزارهای قدیمی‌تر و کوچک‌تر و چه از طریق تولید بدافزارهای کاملا نو و مستقل از طریق هوش مصنوعی‌های Generative قابل احصا به نظر می‌رسد. علاوه بر این موارد، به زودی شاهد هوش‌های مصنوعی مبتنی بر چت‌بات هستیم که از طریق تماس تلفنی و یا پیام‌های متنی به اجرای حملات مهندسی اجتماعی علیه کاربران می‌پردازند. این ابزارها می‌توانند به شدت هزینه حملات مهندسی اجتماعی را کاهش دهند و همچنین از طریق بررسی سابقه و شبکه‌های اجتماعی قربانیان خود، این حملات‌ را هدفمندتر و موفق‌تر دنبال کنند.

هوش مصنوعی؛ هدف حمله

با پر استفاده‌شدن ابزارهای مبتنی هوش مصنوعی و آن‌که بسیاری از کاربران فضای مجازی اطلاعات مهمی را با این ابزارها به اشتراک می‌گذارند؛ حمله به الگوریتم‌های هوش مصنوعی به جدیدتر علاقه‌مندی هکرها تبدیل شد‌ه‌است.

تولید مثال‌های خصمانه (Adverserial)

اولین نوع از حملات که علیه ابزارهای هوش‌مصنوعی انجام شد، تلاش برای تولید ورودی‌هایی بود که این الگوریتم‌های هوشمند را به خطا بیاندازد. به عنوان مثال، تحقیقاتی تلاش کرده‌اند تا با تولید تی‌شرت‌هایی الگوریتم‌های تشخیص انسان را به چالش بکشند و یا یک با قرارداد یک شی در کنار اشیاء مد نظر خود منجر به تشخیص اشتباه Classifierهای مبتنی بر هوش مصنوعی شوند.

تولید تی‌شرت‌هایی که شما را نامرئی می‌کند!
تولید تی‌شرت‌هایی که شما را نامرئی می‌کند!

این مثال‌های خصمانه می‌توانند، استفاده الگوریتم‌های هوش‌مصنوعی را در ابزارها و محصولاتی که با ایمنی کاربران خود سروکار دارند، مختل کنند. در این خصوص؛ ماشین‌های خودرانی را تصور کنید که در مواجهه با یک شی که یک حمله‌کننده در کنار جاده قرارداده است، مسیر جاده را اشتباه تشخیص‌ داده و از مسیر منحرف شوند.

تولید ابزارهای برای به اشتباه‌ انداختن هوش مصنوعی
تولید ابزارهای برای به اشتباه‌ انداختن هوش مصنوعی

مسموم‌کردن (Posisoning) داده‌ها

در این نوع از حمله، حمله‌کننده تلاش می‌کند داده‌های مسمومی به الگوریتم‌های یادگیری ماشین تحمیل کند که منجر به یادگیری مدلی نادقیق شود. این مدل‌ها، ممکن است در تمام حالات رفتار درست و دقیقی داشته‌ باشند، اما به دلیل وجود داده‌های مسموم، تنها در موارد مد نظر حمله‌کننده خروجی غلط داشته باشند.

این روش‌ از حمله، می‌تواند توسط مجموعه‌هایی که مجموعه‌داده‌های خود را منتشر می‌کنند اتفاق افتاده و یا در الگوریتم‌های یادگیری برخط (Online Learning) در گذر زمان و با وارد کردن داده‌های مسموم توسط حمله‌کنند بروز کند.

مسموم‌کردن (Posisoning) داده‌ها در الگوریتم‌های یادگیری ماشین
مسموم‌کردن (Posisoning) داده‌ها در الگوریتم‌های یادگیری ماشین

استخراج/سرقت مدل

بسیاری از پژوهشگران حوزه هوش مصنوعی، تلاش می‌کنند الگوریتم‌های خود را که دارای دقت بالا هستند به عنوان سرویس در اختیار کاربران تجاری قراردهند تا امکان استفاده از این الگوریتم‌ها و کسب درامد وجود داشته باشند. در چنین شرایطی؛ حمله‌کننده‌ها تلاش می‌کنند از طریق تولید پرس‌وجوهای زیاد و ارسال آن‌ها برای سرویس ارائه‌شده مدل آموزش دیده را تخمین‌زده و مشابه آن را تولیدکنند. این حمله می‌تواند با دو هدف تشخیص نقاط ضعف مدل و یا نقض کپی‌رایت کاربران اتفاق بیافتد.

استخراج/سرقت مدل‌های یادگیری ماشین
استخراج/سرقت مدل‌های یادگیری ماشین
سخن آخر: تاثیر هوش مصنوعی بر آینده ما انسان‌ها غیرقابل چشم‌پوشی است؛ اما توجه به آن در کاربردهای امنیتی نهایتا می‌تواند منجر به بهبود امنیت سازمان‌ها شده و در عین‌حال استفاده از الگوریتم‌های هوش مصنوعی در کاربردهای ایمنی-بحرانی (Safety Critical) را واقع‌گرایانه‌تر کند.
هوش مصنوعیامنیت
مدیر نوآوری شرکت پیام‌پرداز، دانشجوی دکتری کامپیوتر - دانشگاه تهران
شاید از این پست‌ها خوشتان بیاید