توضیحات من- محمد حسین روزبهانی: در مقطع کارشناسی ارشد، 13-14 سال پیش، اولین تلاش هایم برای بکارگیری هوش مصنوعی در مهندسی مکانیک رو با استفاده از شبکه های عصبی مصنوعی اغاز کردم. آن روزها خیلی از اساتید و داوران سوالات زیادی درباره اینکه شبکه عصبی مصنوعی چگونه پیش بینی می کند، چگونه آموزش می بیند داشتند، پس رفتم و تا اولین مقاله معرفی شبکه های عصبی مصنوعی که یک استاد مهندسی برق از الگوهای زیستی موفق به مدلسازی ریاضیاتی شده بود تا خیلی منابع دیگر و بروز تر را مطالعه کردم و هر اندازه من به خیال خود توضیح خیلی روانی می دادم اما افراد همچنان می گفتند این هم یک روش میانگین یابی یا برون یابی بیش نیست! و اصل مسئله زیر سوال می رفت. بعدها متوجه شدم از اساس یک گنگی و نامشخصی در اینکه چرا چنین مکانیزم عمکلردی بین وزن ها و توابع مثلا سیگموئیدی وجود دارد. اصلا برای همین است که این روش ها در یادگیری ماشین و هوش مصنوعی به بلک باکس معروف شده اند. به لحاظ فلسفی و اخلاقی این الگوی اعتماد به هوش مصنوعی جعبه سیاه بابت دقت بالایش چالشی شده است که از دانشگاه MIT گرفته تا مایکروسافت و شرکت های بزرگ دیگر را در چند سال اخیر به خود مشغول داشته است. چیزی که متاسفانه در عشق و سودای هوشمند شدن سازمان ها و شهر ها در ایران کمتر به آن توجه می شود. من اما می خواهم تلاش کنم تا در آزمایشگاه دوقلوی دیجیتال مون تا حد ممکن این مباحث را دنبال کرده و در صورت امکان همگام با پیشرفت های جهانی در این موضوع از روش های تفسیر پذیر در هوش مصنوعی خود استفاده کنیم البته این به معنای فدا کردن دقت و به طور کل کنار گذاشتن مسیر طی شده در دهه اخیر فعالیت های علمی خودم نیست. به هر صورت مثل محصولات کشاورزی -غذایی ارگانیک است. فکر نمی کنم به این سادگی و در دو سه سال آتی بتوانیم این مسئله را حل کنیم. اما آگاهی بر مسیری که داریم توسعه می دهیم کمک کننده خواهد بود.
در سال 2018، یک چالش برجسته در هوش مصنوعی (AI) اتفاق افتاد، یعنی چالش یادگیری ماشینی تفسیر پذیر. هدف از این مسابقه ایجاد یک مدل جعبه سیاه پیچیده برای مجموعه داده و توضیح نحوه عملکرد آن بود. یک تیم قوانین را رعایت نکرد. آنها به جای ارسال در جعبه سیاه، مدلی ایجاد کردند که کاملاً قابل تفسیر بود. این منجر به این سوال می شود که آیا دنیای واقعی یادگیری ماشین شبیه چالش یادگیری ماشینی قابل توضیح است، جایی که مدل های جعبه سیاه حتی زمانی که نیازی به آنها نیست استفاده می شود.
•جعبه سفید مدلی است که منطق درونی، مراحل کار و برنامه نویسی آن شفاف است و بنابراین فرآیند تصمیم گیری آن قابل تفسیر است. •درخت‌های تصمیم ساده رایج‌ترین نمونه مدل‌های جعبه سفید هستند در حالی که نمونه‌های دیگر مدل‌های رگرسیون خطی، شبکه‌های بیزی و نقشه‌های شناختی فازی هستند. این روش ها قابلیت پیش‌بینی کمتری را ارائه می‌کنند و همیشه قادر به مدلسازی پیچیدگی ذاتی مجموعه داده (یعنی تعاملات ویژگی) نیستند. با این حال، توضیح و تفسیر آنها بسیار آسان تر است.
•مدل‌های جعبه سیاه مانند شبکه‌های عصبی، مدل‌های تقویت گرادیان (gradient Boosting models) یا مجموعه‌های پیچیده (Complicated ensembles) اغلب دقت بالایی ارائه می‌کنند. درک عملکرد درونی این مدل‌ها سخت‌تر است و تخمینی از اهمیت هر ویژگی در پیش‌بینی‌های مدل ارائه نمی‌دهند، همچنین درک نحوه تعامل ویژگی‌های مختلف آسان نیست.
•مرجع تعریف جعبه سیاه و سفید "اینجا"
در دسامبر 2018، صدها دانشمند کامپیوتر، مهندسان مالی و مدیران برتر در کنفرانس سالانه سیستم‌های پردازش اطلاعات عصبی (NeurIPS) خود را در اتاقی در مرکز کنوانسیون مونترال جمع کردند تا نتایج چالش یادگیری ماشین توضیح‌پذیر را بشنوند، رقابتی معتبر. با همکاری Google، شرکت Fair Isaac Corporation (FICO)، و دانشگاهیان در برکلی، آکسفورد، امپریال، UC Irvine و MIT سازماندهی شد. این اولین مسابقه علم داده بود که نیاز به درک نتایج محاسبه شده توسط مدل های جعبه سیاه را که بر تصمیم گیری مبتنی بر یادگیری ماشین مسلط هستند، منعکس می کرد.
در چند سال گذشته، پیشرفت‌ها در یادگیری عمیق برای بینایی کامپیوتری منجر به این باور گسترده شده است که دقیق‌ترین مدل‌ها برای هر مشکل علم داده باید ذاتاً غیرقابل تفسیر و پیچیده باشند. این باور از استفاده تاریخی از یادگیری ماشین در جامعه سرچشمه می گیرد: تکنیک های مدرن آن برای تصمیم گیری های کم خطر مانند تبلیغات آنلاین و جستجوی وب که در آن تصمیمات فردی عمیقاً بر زندگی انسان تأثیر نمی گذارد متولد و پرورش یافته است.
در یادگیری ماشینی، این مدل‌های جعبه سیاه مستقیماً از داده‌ها توسط یک الگوریتم ایجاد می‌شوند، به این معنی که انسان‌ها، حتی کسانی که آنها را طراحی می‌کنند، نمی‌توانند بفهمند که چگونه متغیرها برای پیش‌بینی ترکیب می‌شوند. حتی اگر لیستی از متغیرهای ورودی داشته باشیم، مدل‌های پیش‌بینی جعبه سیاه می‌توانند آنقدر توابع پیچیده متغیرها باشند که هیچ انسانی نمی‌تواند بفهمد که چگونه متغیرها به طور مشترک با یکدیگر مرتبط هستند تا به یک پیش‌بینی نهایی برسند.
مدل‌های قابل تفسیر، که از نظر فنی، جایگزینی مشابه، اما احتمالاً اخلاقی‌تر برای مدل‌های جعبه سیاه ارائه می‌کنند، متفاوت هستند. در واقع آنها برای ارائه درک بهتری از نحوه پیش‌بینی‌ها محدود هستند. در برخی موارد، می توان به خوبی مشخص کرد که چگونه متغیرها به طور مشترک برای تشکیل پیش بینی نهایی مرتبط هستند، جایی که شاید تنها چند متغیر در یک عبارت منطقی کوتاه ترکیب می شوند، یا با استفاده از یک مدل خطی، که در آن متغیرها وزن شده و با هم جمع می شوند. گاهی اوقات مدل‌های قابل تفسیر از مدل‌های ساده‌تر در کنار هم (قابل تجزیه) تشکیل می‌شوند، یا محدودیت‌های دیگری بر روی مدل قرار می‌گیرند تا سطح جدیدی از بینش را اضافه کنند. با این حال، اکثر مدل‌های یادگیری ماشین با محدودیت‌های تفسیرپذیر طراحی نشده‌اند. آنها فقط به گونه ای طراحی شده اند که پیش بینی کننده های دقیقی در یک مجموعه داده ایستا باشند که ممکن است نشان دهنده نحوه استفاده از مدل در عمل باشد یا نباشد.
این باور که باید دقت را فدای تفسیرپذیری کرد، نادرست است. این به شرکت‌ها اجازه می‌دهد تا مدل‌های جعبه سیاه اختصاصی یا پیچیده را برای تصمیم‌گیری‌های پرمخاطره زمانی که مدل‌های قابل تفسیر بسیار ساده برای کارهای مشابه وجود دارد، به بازار عرضه کرده و بفروشند. به این ترتیب، به سازندگان مدل اجازه می دهد تا بدون در نظر گرفتن پیامدهای مضر برای افراد آسیب دیده، سود ببرند. تعداد کمی از این مدل ها سؤال می کنند زیرا طراحان آنها ادعا می کنند که مدل ها برای دقیق بودن باید پیچیده باشند. چالش یادگیری ماشین قابل توضیح 2018 به عنوان یک مطالعه موردی برای در نظر گرفتن معاوضه ترجیح دادن مدل‌های جعبه سیاه نسبت به مدل‌های قابل تفسیر عمل کرد.
قبل از اعلام برندگان چالش، از مخاطبان - متشکل از بازیگران قدرتمند در حوزه‌های مالی، رباتیک و یادگیری ماشین - خواسته شد تا در یک آزمایش فکری شرکت کنند که در آن آزمایش فرض می شد شرکت کنندگان سرطان دارند در نتیجه برای برداشتن تومور، به جراحی نیاز داشتند. به تمامی شرکت کنندگان دو تصویر روی صفحه، نمایش داده شد. یکی از تصاویر یک جراح انسانی را نشان می‌داد که می‌توانست هر چیزی را در مورد جراحی توضیح دهد، اما 15 درصد احتمال داشت که در حین جراحی باعث مرگ شود. تصویر دیگر بازوی رباتیکی را نشان می‌دهد که می‌توانست عمل جراحی را تنها با احتمال 2 درصد شکست انجام دهد. این ربات به منظور شبیه سازی رویکرد جعبه سیاه به هوش مصنوعی (AI) بود. در این سناریو، اعتماد کامل به ربات مورد نیاز بود. هیچ سوالی از ربات نمی‌توان پرسید، و هیچ درک خاصی از نحوه تصمیم‌گیری ربات ارائه نمی‌شد. سپس از حضار خواسته شد تا دست خود را بلند کنند تا به کدام یک از این دو عمل جراحی نجات بخش رای دهند. همه به جز یک دست به ربات رای دادند.
در حالی که ممکن است بدیهی به نظر برسد که احتمال مرگ و میر 2 درصد بهتر از احتمال مرگ 15 درصد است، چارچوب بندی ریسک های سیستم های هوش مصنوعی به این شکل، ملاحظات اساسی و جالب تر را پنهان می کند: چرا ربات باید یک جعبه سیاه باشد؟ آیا ربات توانایی خود را برای انجام جراحی دقیق از دست می دهد اگر توانایی توضیح خود را داشته باشد؟ آیا برقراری ارتباط بهتر بین ربات و بیمار یا یک پزشک، مراقبت از بیمار را به جای کاهش آن بهبود نمی بخشد؟ آیا نیازی نیست که بیمار بتواند قبل از جراحی به ربات توضیح دهد که دچار اختلال انعقاد خون شده است؟
این احتمال که ربات نیازی به جعبه سیاه بودن نداشته باشد، به عنوان یک گزینه ارائه نشد و تنها انتخاب بین جعبه سیاه دقیق و جعبه شیشه ای نادرست به مخاطبان کارگاه داده شد. به مخاطبان گفته نشد که چگونه دقت نتایج جراحی اندازه‌گیری می‌شود (در چه جمعیتی 2% و 15% اندازه‌گیری شد؟) و همچنین در مورد نقص‌های احتمالی در مجموعه داده‌ای که برای آموزش ربات استفاده می‌شود به آنها گفته نشد. با فرض اینکه دقت باید به قیمت تفسیرپذیری تمام شود (توانایی درک اینکه چرا جراح کاری را که انجام می‌دهد)، این آزمایش ذهنی در نظر نداشت که تفسیرپذیری ممکن است به دقت آسیبی نرساند. تفسیرپذیری حتی ممکن است دقت را بهبود بخشد، زیرا به درک اینکه چه زمانی مدل، در این مورد یک جراح رباتیک، ممکن است نادرست باشد، اجازه می‌دهد.
از شما خواسته می شود یک ماشین دقیق یا یک انسان قابل درک انتخاب کنید یک دوگانگی نادرست است. درک آن به این صورت به ما کمک می کند تا مشکلات ناشی از استفاده از مدل های جعبه سیاه برای تصمیم گیری های پرمخاطره در سراسر جامعه را تشخیص دهیم. این مشکلات در امور مالی، اما همچنین در مراقبت های بهداشتی، عدالت کیفری و فراتر از آن وجود دارد.
