هوش مصنوعی توضیح پذیر چیست و چگونه کار می کند؟

محمد اصولیان (ورودی ۹۹)

هوش مصنوعی که ازش با عنوان "الکتریسیته جدید" یاد میشه، این روزا همه چیز رو متحول کرده. از صنعت خودرو و بهداشت و درمان و بانکداری بگیر، تا کاربردش در کارای روزمره مثل سنسورهای تشخیص چهره گوشی و انتخاب پست‌ها و تبلیغاتی که هر روز در شبکه‌های اجتماعی می‌بینیم. اما آیا تا حالا دوست داشتید بفهمید که هوش مصنوعی دقیقا چطور کار میکنه؟ مثلا از اینستاگرام بپرسید که از کجا فهمیدی من به این پست علاقه‌ دارم؟ متاسفانه فعلا چنین کاری ممکن نیست. اما در آینده؟ احتمالا!

مدل‌های هوش مصنوعی دقیقا چه‌طور کار می‌کنند؟

هوش مصنوعی از اول هم اینقدر پیچیده نبوده، از مدل‌های ساده با یک یا دو پارامتر شروع شد و امروز شاهد مدل‌هایی هستیم که میلیاردها پارامتر دارن! در واقع با معرفی یادگیری عمیق (Deep Learning) و از طرف دیگه فراهم شدن داده‌های آموزشی بزرگ با شروع عصر اینترنت، مدل‌های هوش مصنوعی بزرگ‌تر و پیچیده‌تر شدن. این پیچیدگی باعث شد که درک منطق مدل‌ها سخت‌تر بشه و به مرور، مدل‌ها اصطلاحا تبدیل به یک جعبه سیاه (Black Box) شدن که فقط ورودی و خروجی‌شون مشخصه و هیچ کسی از محاسباتی که درون مدل با میلیاردها پارامتر انجام میشه سر در نمیاره. در واقع پاسخ سوال اینه که امروز، حتی سازنده‌های این مدل‌ها هم دقیقا نمیدونن مدل‌ها چطور کار میکنن و خروجی‌ها بر چه اساسی تولید میشن. XAI اما، سعی داره پاسخ این سوال رو پیدا کنه.

ایکس‌ای‌آی (XAI) چیست؟

ایکس‌ای‌آی (XAI) مجموعه‌ای از متدها و الگوریتم‌هاست که به انسان‌ها کمک می‌کنه تا ساختار مدل رو درک کنن و علت تصمیم‌های هوش مصنوعی رو بهتر متوجه بشن. XAI مخفف Explainable AI به معنای هوش مصنوعی توضیح پذیره. توضیح پذیری (Explainability) در هوش مصنوعی به این معناست که مدل، بتونه علت تصمیم‌ها و رفتار خودش رو برای کاربر توضیح بده و خودش رو توجیه کنه. اما شاید فکر کنید که چیزی که ما از یک مدل انتظار داریم دقت بالا و تصمیم‌های درسته. پس توضیح پذیری مدل چه سودی می‌تونه برای ما داشته باشه؟

مزایای XAI

بین برنامه‌نویس‌ها یه ضرب‌المثل هست که میگه "کدی که کار میکنه، بهش دست نزن". اما متاسفانه مهندسین هوش مصنوعی به این ضرب‌المثل اعتقادی ندارن. مسئله فقط درست کار کردن مدل نیست، مسئله درک چگونگی کار کردن مدله. شاید بشه گفت مهم‌ترین مزیتی که XAI داره "شفافیت" هست. XAI می‌تونه مدل رو از حالت یک جعبه سیاه خارج کنه و نقاط ابهام رو برطرف کنه. سایر مزایای XAI ریشه در شفافیت مدل دارن:

• ارتقای مدل: یکی از مشکلات مدل‌های بزرگ اینه که در صورتی که پیش‌بینی اشتباهی انجام بدن، توسعه دهنده هیچ ایده‌ای نداره که علت این خطا چیه و چطور می‌تونه برطرفش کنه. در این شرایط، مدل‌های مبتنی بر XAI کافی هست تا علت این پیش‌بینی رو توضیح بدن تا توسعه دهنده بتونه ایراد رو پیدا کنه. در واقع این مدل‌ها خودشون به دیباگ کردن و بهبود خودشون کمک می‌کنن.
• ارتباط بهتر با کاربر: توضیحاتی که مدل می‌تونه در کنار خروجی خودش ارائه بده باعث انعطاف پذیری بیشتر مدل میشه و مدل رو از حالت خشک آزمایشگاهی خارج می‌کنه و برای دنیای واقعی آماده‌تر می‌کنه.
• افزایش اعتماد: گاهی اوقات در هوش مصنوعی در شرایط حساسی استفاده می‌شه که تصمیم اشتباهش می‌تونه منجر به خسارات مالی بزرگ بشه. در صورتی که مدل قادر باشه برای تصمیمش توضیحات و دلیل ارائه کنه، احتمال خطا و خسارت به شدت کاهش پیدا می‌کنه.

دسته‌بندی متُدهای XAI

برای ایجاد یک مدل توضیح پذیر، متدهای زیاد و متنوعی وجود داره. متاسفانه هنوز طبقه‌بندی جامع و دقیقی که مورد تایید جوامع علمی باشه برای متدهای XAI ارائه نشده اما بعضی مقالات ملاک‌هایی رو برای دسته‌بندی مطرح کردن که می‌تونه به درک بهتر خواص این متدها و تفاوت‌هاشون با هم کمک کنه.

مقیاس (Scope)

متدهای XAI رو از نظر مقیاس میشه به دو دسته سراسری (Global) و محلی (Local) تقسیم کرد. متدهای سراسری، روی خود مدل تمرکز دارن و می‌تونن ساختار مدل و فرایند تصمیم‌گیری مدل رو تشریح کنن. در حالی که متدهای محلی روی داده‌ها تمرکز دارن و می‌تونن خروجی‌های مدل رو تفسیر کنن و علت پیش‌بینی‌های مدل رو برای هر ورودی به صورت جداگانه توضیح بدن.

اعمال پذیری (Applicability)

اعمال پذیری به معنای کاربرد متد برای مدل‌های متخلف هست. بعضی از متدها، مستقل از مدل (Model-Agnostic) هستن؛ یعنی از این متدها میشه برای همه مدل‌های هوش مصنوعی استفاده کرد و مهم نیست که خود این مدل چه ساختاری داره. اما بعضی متدهای دیگه، وابسته به مدل (Model-Specific) هستن؛ یعنی تنها برای دسته‌ای خاص از مدل‌ها مثلا فقط برای شبکه‌های عصبی (Neural Networks) یا فقط برای درخت تصمیم (Decision Tree) طراحی شدن.

مرحله (Stage)

یک سری از متدها، بعد از این که فرایند آموزش مدل به اتمام رسید، روی مدل اعمال میشن و بهش خاصیت توضیح پذیری میدن. در واقع یک مدل AI رو به یک مدل XAI تبدیل میکنن. به این متدها تعقیبی(Post-hoc) میگن. اما بعضی متدهای دیگه هستن که در حین آموزش روی مدل اعمال میشن. در واقع این متدها خودشون بخشی از فرایند یادگیری مدل هستن و برای همین بهشون متدهای ذاتی(Intrinsic) میگن. متدهای ذاتی، از همون ابتدا یک مدل توضیح پذیر رو ایجاد می‌کنن. ممکنه در یک دسته بندی ریزتر، اسم‌های توضیح‌پذیری پیش از مدل (Pre-model Explainability)، توضیح پذیری در مدل (In-model Explainability) و توضیح پذیری پس از مدل (Post-model Explainability) رو هم بشنوید که همین مفهوم رو دارن.

البته همچنان در مقاله‌های جدیدتر، دسته‌بندی‌های جدیدتری ارائه می‌شه. مثلا دسته‌بندی بر اساس شیوه ارائه توضیحات (متن، تصویر، نمودار، ...) یا دسته‌بندی بر اساس نوع مسئله‌ (رگرسیون، دسته‌بندی، ...) که مدل حل می‌کنه، اما بررسی همشون توی این یادداشت نمی‌گنجه.

اگر دوست داشتید در مورد متدهای XAI مثل LIME، SHAP، LRP، ... اطلاعات بیشتری پیدا کنید، توی این لینک می‌تونید ویدیوهای خیلی خوبی پیدا کنید.

کاربردهای XAI

با تمام توصیفات و مزایایی که از XAI گفتم می‌تونید حدس بزنید که احتمالا XAI هم مثل خود AI توی همه حوزه‌ها می‌تونه کاربرد داشته باشه اما چندتا از موارد مهم‌تر اینا هستن:

بهداشت و درمان

در حال حاضر هم مدل‌های هوش مصنوعی‌ای وجود دارن که با تشخیص بیماری می‌تونن به پزشکان در درمان بیماری‌ها کمک کنن، اما این مدل‌ها، تنها وجود یا عدم وجود بیماری رو تشخیص میدن و اطلاعات بیشتری در مورد بیماری ارائه نمیدن. اما مدل‌های مبتنی بر XAI می‌تونن علاوه بر تشخیص بیماری، علت این تشخیص و حتی سریع‌ترین راه درمان رو هم توضیح بدن.

ماشین‌های خودران

ماشین‌های خودران یکی از محصولاتی هستن که روی مرز فناوری بشری قرار دارن. از هوش مصنوعی در سرتاسر این خودروها استفاده شده و این یک فرصت برای XAI هست که این محصولات رو یک قدم دیگه به جلو ببره. اما مهم‌ترین تاثیر XAI در ماشین‌های خودران، مربوط به فعالیت‌های با ریسک بالا مثل هدایت فرمان و ترمز هست. به کمک XAI میشه علت خطاهای احتمالی رو در مرحله تولید بررسی و برطرف کرد و محصولی رو وارد بازار کرد که ایمن و مطمئنه.

بانکداری

با کمک هوش مصنوعی در سیستم بانکداری، میشه حساب‌های مشتریان و تراکنش‌های مالی رو بررسی کرد و موارد مشکوک به جرائم مالی رو گزارش داد، اما بررسی تمام این موارد به دنبال اثبات جرم، هزینه زیادی نیاز داره. XAI می‌تونه با ارائه توضیحات و علت مشکوک شناخته شدن حساب، فرایند کشف جرم رو سریع‌تر کنه و سیستم بانکی امن‌تری ایجاد کنه.

به جز این موارد، XAI می‌تونه در داروسازی، سیستم قضایی، رباتیک، شرکت‌های بیمه و انواع صنایع دیگه موثر باشه.

آینده XAI

هوش مصنوعی هر روز بیشتر در زندگی ما نفوذ میکنه و جای پاش رو محکم تر میکنه. اما برای این که بتونه به یک عضو قابل اعتماد از زندگی ما تبدیل بشه نیاز داره که شفاف و قابل درک باشه. سپردن تصمیمات مهم و خطرآفرین، به مدل‌هایی که هیچ کس از منطق پشتشون خبر نداره و هیچ توضیحی هم برای تصمیماتشون ارائه نمیدن کار عاقلانه ای نیست. برای همینه که XAI میتونه با برداشتن موانع، بین انسان و هوش مصنوعی اعتماد به وجود بیاره و راه رو برای پیشرفت هوش مصنوعی و به دنبالش، بهتر شدن زندگی انسان‌ها هموار کنه.

منابع

What is explainable AI? | IBM

What is Explainable AI? (cmu.edu)

What is Explainable AI (XAI)? | Definition from WhatIs (techtarget.com)

Explainable Deep Learning Methods in Medical Diagnosis: A Survey