چرا پرسش از هوش مصنوعی برای توضیح خودش، کار را خرابتر میکند؟

روزی روزگاری آپول احسان(Upol Ehsan)، جهت اهداف آزمایشی، سوار یکی از ماشین های خودران اوبر شد. مسافران در این ماشین به جای حس اضطراب ناشی از تماشای جای خالی راننده، با دیدن یک صفحه نمایش از سیستم خودران ماشین دلگرم میشدند. در این نمایشگر مناطق خطرناک با رنگ قرمز و نارنجی، و نقاط امن با رنگ آبی علامت گذاری شده بود. برای احسان که علم تعامل انسان با هوش مصنوعی را در مؤسسه فناوری جورجیا خوانده بود پیام این حرکت مشخص بود؛ "وحشت نکنید؛ با توجه به تصویر نمایشگر، ماشین در حال انجام کاری است که باید انجام دهد." ولی نمای تخیلی ماشین از وضعیت راه به جای تداعی حس اطمینان بیشتر تداعی کننده یک تجربه عجیب بود. و همین موضوع احسان را به فکر انداخت: "چه میشود اگر ماشین خودران واقعا بتواند خودش را توضیح دهد؟"

بهترین شبکه های عصبی طوری تنظیم و سازگار می‌شوند که به مدل های بهتری تبدیل شوند

موفقیت شبکه های عصبی به خاطر توانایی آن در تنظیم شدن و تطبیق پذیری میباشد، بهترین شبکه های عصبی طوری تنظیم و سازگار می‌شوند که به مدل های بهتری تبدیل شوند و در نتیجه آن نتایج عملی پا را فراتر از نظریه‌های تئوری گذاشته‌اند. به همین دلیل درک ما از یک مدل آموزش داده شده (trained model) معمولا نامشخص است. ما اسم آن را جعبه سیاه گذاشته‌ایم. البته این موضوع در اکثر مواقع هیچ مشکلی ایجاد نمی‌کند، مانند مواقعی که هوش مصنوعی قرار است GO بازی کند یا به ترجمه یک متن بپردازد. ولی اگر هوش مصنوعی برای اجرای قانون یا سیستم ماشین‌های خودران استفاده شود ما نیاز داریم تا متوجه شویم سیستم با چه استدلالی به یک تصمیم رسیده است، و اشتباهات آن را اصلاح کنیم.

آیریس هاولی (Iris Howley) یک دانشمند کامپیوتر از کالج ویلیامز گفته است: "مردم برای رد کردن تصمیمی که به صورت اتوماتیک گرفته شده نیاز به قدرت دارند. شما میتوانید این موضوع را در مورد سیستم های تشخیص چهره مشاهده کنید." بدون این قدرت، آنها از فناوری روی برمیگرداند.

احسان جزو گروهی از محققان است که سعی میکنند هوش مصنوعی را در توضیح دادن خودش بهتر کنند تا بالاخره بتوانیم نگاهی به درون این جعبه ی سیاه بیندازیم. به این تکنیک، هوش مصنوعی قابل تفسیر یا قابل توضیح (XAI) گفته میشود. این علم در تلاش است تا متوجه شود که یک شبکه عصبی دقیقا چه چیزی از دیتا را یاد میگیرد تا متوجه شود آیا این مدل به طور دقیق و بیطرفانه آموزش داده شده یا نه.

یکی از روش‌های ساخت همچین شبکه عصبی ای به نام جعبه شیشه‌ای (متضاد کلمه جعبه سیاه) شناخته میشود. جعبه شیشه ای یک مدل به شدت ساده شده یک هوش مصنوعی است که در آن ردگیری تاثیرات دیتا بر قسمت های مختلف مدل راحت‌تر است.

علم در تلاش است تا متوجه شود که یک شبکه عصبی دقیقا چه چیزی از دیتا را یاد میگیرد

جنیفر وردتمن یک دانشمند کامپیوتر در قسمت تحقیقات ماکروسافت میگوید: "برخی افراد در جامعه وجود دارند که حامی استفاده از جعبه شیشه ای در هر شرایط پر‌ریسک هستند. من به شدت با این موضوع موافق هستم." جعبه های شیشه ای ساده میتوانند همان کار شبکه‌های عصبی پیشرفته را برای نوع خاص دیتا مانند جداول آماری انجام دهند. برای یک سری از سیستم‌ها این تمام چیزی است که شما به آن نیاز دارید.

ولی این موضوع وابسته به دامنه کار است. اگر ما بخواهیم دیتا‌های پیچیده و نامنظم مانند عکس یا متن را آموزش دهیم، چاره‌ای به جز استفاده از شبکه‌های عمیق، و در نتیجه غیر‌شفاف، نداریم. توانایی استخراج ویژگی‌های معنادار از میان ویژگی‌های بسیار زیاد در داده‌های پیچیده، وابسته به پیچیدگی شبکه عصبی مورد استفاده است.

حتی در اینجا هم یادگیری ماشین شیشه‌ای می تواند کمک کند. یکی از روش ها این است که که دو مرحله عملیات بر روی دیتا انجام داده شود، آموزش یک مدل جعبه شیشه‌ای غیرکامل (imperfect) به عنوان مرحله اشکال زدایی، جهت پیدا کردن اشکالات احتمالی که ممکن است بخواهید اصلاحشان کنید. و بعد از اصلاح و پاکسازی داده ها، یک مدل دقیق از جعبه سیاه می‌توان آموزش داد.

با این که این یک روش زیرکانه است ولی شفافیت زیاد میتواند باعث سربار اطلاعات شود. در یک مطالعه در سال 2018 با بررسی چگونگی تعامل کاربران غیر‌متخصص با ابزارهای یادگیری ماشین ، واگان (Vaughan) دریافت که مدل های شفاف در واقع می‌توانند تشخیص و تصحیح اشتباهات مدل را سخت‌تر کنند.

شفافیت زیاد میتواند باعث سربار اطلاعات شود

روش دیگر به تصویر کشیدن قسمت‌هایی از بخش‌های اصلی مدل و داده‌های مرتبط با آن است. ایده این عمل از اینجا آمده است که شما می توانید با یک نگاه مشکلات جدی را تشخیص دهید. به عنوان مثال، مدل شما ممکن است بر روی داده‌‍‌های خاصی تمرکز کند که منجر به جانبداری آن شود.

ابزار‌های تصویر‌سازی اطلاعات (visualizations) در مدت زمان کوتاهی پس از عرضه به شدت معروف شدند. اما آیا آنها واقعا تاثیر مثبتی دارند؟ در اولین سری مطالعات درباره این موضوع، وگان و تیمش شروع به تحقیق در این مورد کردند، و این تحقیق مشکلات بسیار جدی‌ای را نمایان کرد.

تیم از دو مدل معروف تفسیر اطلاعات (interpretability tools) استفاده کرد که دیدگاهی کلی از مدل را توسط نمودار‌ها و تصویرسازی اطلاعات به نمایش میگذارند و اطلاعاتی که بیشترین تاثیر در آموزش مدل دارند را مشخص میکنند. ۱۱ نفر از متخصصان هوش‌ مصنوعی مایکروسافت که از نظر آموزش، موقعیت شغلی و تجربه کاری متفاوت بودند، استخدام شدند تا با مدل یادگیری ماشینی که بر اساس داده‌های سرشماری سال ۱۹۹۴ تهیه شده بود، تعامل کنند. آنها در یک تعامل تقلیدی با مدل یادگیری ماشینی که براساس داده های درآمد ملی تهیه شده از سرشماری سال 1994 ایالات متحده درست شده بود، شرکت کردند. این آزمایش به طور ویژه طراحی شده بود تا شیوه‌ی استفاده‌ی دانشمندان از ابزارهای تفسیر اطلاعات در کارهای معمولی که با آنان روبه رو می‌شوند را تقلید کند.

آنچه تیم پیدا کرد قابل توجه بود. درست است که این ابزارها بعضا به افراد كمک می كنند مقادیر گمشده در داده ها را پیدا كنند، اما این سودمندی تحت الشعاع "تمایل به اعتماد بیش از حد" و "سوء‌ برداشت" از اطلاعات تصویری (visualizations) قرار گرفته است. در بعضی موارد ، کاربران حتی نمی توانستند آنچه را که داده های تصویری نشان می دهد توصیف کنند. این امر منجر به فرضیات نادرست درباره مجموعه دیتا‌ها (data set)، مدل ها و خود ابزارهای تفسیر اطلاعات شد. و باعث ایجاد اعتماد به نفس کاذب نسبت به ابزارهایی شد که کاربران را بیشتر مشتاق پیاده سازی(deploy) مدل میکنند، حتی وقتی که احساس می کردند که مشکلی در اینکار وجود دارد. این موضوع، به طور نگران کننده ای، حتی در مواقعی که خروجی دستکاری شده بود تا نتایج بی معنی تولید کند، صادق بود.

در بعضی موارد ، کاربران حتی نمی توانستند آنچه را که داده های تصویری نشان می دهد توصیف کنند

برای تایید بیشتر داده های یافته شده، محققات سپس همین آزمایش را بر روی 200 نفر از متخصصان هوش مصنوعی در سطح اینترنت انجام دادند. آنها همان اعتماد به نفس کاذب و سردگمی افراد قبلی را در این افراد مشاهده کردند.

بدتر اینکه بسیاری از شرکت کنندگان خوشحال بودند که از تصویر سازی اطلاعات (visualizations) برای پیاده سازی مدل استفاده کرده‌اند با اینکه به اقرار خودشان قادر به درک ریاضیات به کار رفته در پشت آن نبودند. هارمنپرت کور (Harmanpreet Kaur) از دانشگاه میشیگان، یکی از محققین در این تحقیق، می گوید: "دیدن اینکه مردم با ساختن داستان، این ابهام در داده ها را توجیه میکنند تعجب آور بود. این تعصب نسبت به اتوماسیون، یکی از فاکتور های مهم بود که ما آن را در مشاهدات خود لحاظ نکرده بودیم"

تعصب نسبت به اتوماسیون یا به زبان دیگر رغبت مردم نسبت به اعتماد به کامپیوتر ها پدیده جدیدی نیست. تحقیقات نشان میدهد که مردم نسبت به تصمیمات سیستم های اتوماتیک مانند بررسی کننده های غلط املایی (spell checkers) اعتماد دارند حتی اگر آنها به صورت محسوسی در اشتباه باشند. بدترین جنبه ای این پدیده زمانی است که این اتفاق در مورد ابزار های اتفاق می‌افتد که ساخته شده اند تا همین اشتباه را اصلاح کنند.

مردم نسبت به تصمیمات سیستم های اتوماتیک مانند بررسی کننده های غلط املایی (spell checkers) اعتماد دارند حتی اگر آنها به صورت محسوسی در اشتباه باشند

این همان موضوعی است که احسان در هنگام نشست در ماشین خودران اوبر به آن پی برد. درک این مسئله که یک سیستم اتوماتیک چه کاری انجام می دهد، و مشاهده اینکه چه زمانی این اشتباه را انجام می دهد ساده است به شرطی که مانند انسان برای اعمال خود دلیل بیاورد. احسان و همکارش مارک ریدل در حال ساختن یک سیستم یادگیری ماشینی هستند که بطور خودکار چنین استدلال هایی را به زبان طبیعی(natural language) تولید میکند. در نمونه ی اولیه این دونفر یک شبکه عصبی آموزش داده بودند که یاد گرفته بود چگونه بازی قدیمی Frogger را بازی کند و برای هر حرکت خود یک دلیل بیآورد.

برای انجام این کار آنها مثال هایی زیاد از انسان هایی به مدل نشان دادند که در حین بازی کردن با صدای بلند کاری که قرار است انجام بدهند را به زبان می آورند. آنها سپس یک شبکه عصبی برای ترجمه بین دو زبان طبیعی را به نحوی تطبیق دادن که اعمال انجام شده در بازی را به منطق پشت سر آن، به زبان طبیعی ترجمه کند. . اکنون وقتی شبکه عصبی عملی را در بازی مشاهده می کند آن را به "توضیح" ترجمه می کند. نتیجه آن یک بازی هوش مصنوعی Frogger است که هر بار حرکت می کند چیزهایی مانند "من در حال حرکت به سمت چپ برای ماندن در پشت کامیون آبی هستم" میگویید.

کار احسان ریدل فقط یک آغاز است. برای مثال، مشخص نیست که آیا یک سیستم یادگیری ماشین همواره قادر به ارائه یک دلیل طبیعی برای اقدامات خود خواهد بود؟ هوش مصنوعی که برای بازی کردن بازی های تخته‌ای طراحی شده است، آلفا-زرو (AlphaZero)، را در نظر بگیرید. یکی از قابل توجه ترین ویژگی های این نرم افزار توانایی آن در انجام حرکات پایانی (winning move) است که به فکر بیشتر بازیکنان انسانی نمیرسد تا آن را امتحان کنند.

به گفته احسان دلیل آوردن یک فرایند کمک کننده است، چه منجر به درک هوش مصنوعی شود چه نشود. به گفته او هوش مصنوعی انسان محور تنها برای ایجاد اعتماد بین کاربر و تصمیمات اتوماتیک نیست بلکه همچنین برای "به تفکر انداختن" میباشد. ریدل پخش زنده مسابقه بین DeepMind's AI و لی سدول، قهرمان جهان در بازی GO، را به یاد می آورد. گزارشگران در مورد آنچه آلفاگو(AlphaGo) میبیند و فکر میکند حرف میزدند. ریدل میگوید: "آلفاگو آنگونه که آنها فکر می کردند کار نمیکرد. اما احساس کردم این گزارشگری برای درک آنچه اتفاق می افتد ضروری است."

آنچه این موج جدید محققان XAI در مورد آن اتفاق نظر دارند این است که اگر قرار باشد سیستم های هوش مصنوعی توسط افراد بیشتری مورد استفاده قرار گیرند، این افراد باید از ابتدا بخشی از طراحی آن باشند و همچنین نکته مهم در این زمینه این است که افراد متفاوت نیاز به توضیحات متفاوت دارند. (این موضوع در تحقیق جدیدی از هاولی و همكارانش تأیید شده است كه نشان می دهد توانایی افراد در درک اطلاعات تصویری(visualization)، بستگی به میزان تحصیلات آنها دارد.) احسان می گوید: "به یک هوش مصنوعی مبتلا به سرطان فکر کنید. شما می خواهید توضیحی که به پزشک معالج ارائه می شود با توضیحی که به بیمار داده میشود بسیار متفاوت باشد."

در نهایت ، ما می خواهیم هوش مصنوعی خود را نه تنها به دانشمندان علم داده و پزشکان، بلکه به افراد معمولی مانند معلمان، دانش آموزان و افسران پلیس که از آن آن برای تحلیل داده های خود استفاده میکنند، توضیح دهد. ریدل می گوید: "ما همیشه می دانیم كه مردم به فناوری بیش از حد اعتماد دارند، و این به ویژه در مورد سیستم های هوش مصنوعی صادق است. هرچه که بیشتر بگوییم آنها باهوشند، مردم بیشتر اطمینان می یابند که آنها باهوش تر از آنچه که به نظر می‌آید هستند."

مطالب مرتبط از لاجیسیا

این متن ترجمه مقاله Why asking an AI to explain itself can make things worse با اندکی دخل و تصرف است.