راه طولانی به سوی الگوریتم‌های عادلانه‌تر

چاپ‌شده در: مجله Nature به تاریخ ۴ فوریه ۲۰۲۰
نویسندگان: Matt J. Kusner و Joshua R. Loftus
لینک مقاله اصلی: https://www.nature.com/articles/d41586-020-00274-3

این مقاله توسط ربات ترجمیار و به صورت خودکار ترجمه شده و می‌تواند به صورت محدود دارای اشکالات ترجمه باشد.

الگوریتمی که در سرتاسر ایالات‌متحده به کار گرفته شده‌است، اکنون برای دست‌کم گرفتن نیازهای سلامت بیماران سیاه‌پوست شناخته شده‌است.این الگوریتم از هزینه‌های بهداشت و درمان به عنوان یک پروکسی برای نیازهای بهداشت و درمان استفاده می‌کند.اما هزینه‌های مراقبت بهداشتی بیماران سیاه‌پوست از نظر تاریخی کم‌تر بوده‌است زیرا نژادپرستی سیستماتیک مانع دسترسی آن‌ها به درمان شده‌است - نه به این دلیل که آن‌ها سالم‌تر هستند.

این مثال نشان می‌دهد که چگونه یادگیری ماشین و هوش مصنوعی می‌توانند عدم برابری را حفظ و تقویت کنند.بیشتر الگوریتم‌ها از همبستگی خام در داده‌ها استفاده می‌کنند. با این حال، این همبستگی‌ها اغلب محصولات فرعی روابط اجتماعی برجسته تری هستند (در مثال مراقبت بهداشتی، درمانی که طبق تعریف غیرقابل‌دسترس است)، یا اتفاقات تصادفی که تکرار نخواهند شد.

برای شناسایی و کاهش روابط تبعیض‌آمیز در داده‌ها، ما به مدل‌هایی نیاز داریم که مسیرهای سببی که آن‌ها را ایجاد می‌کنند را ضبط یا توضیح دهند. در اینجا ما آنچه را که برای ساخت مدل‌هایی مورد نیاز است که به ما اجازه بررسی موضوعات اخلاقی تحت تحلیل‌های به ظاهر عینی را می‌دهد، خلاصه می‌کنیم. تنها با آشکار کردن دلایل واقعی تبعیض می‌توانیم الگوریتم‌هایی بسازیم که برای آن‌ها درست باشد.

مدل‌های سببی

مدل‌هایی که مسیرهای علّی را در نظر می‌گیرند سه مزیت دارند. این «مدل‌های علّی» عبارتند از: متناسب با داده‌های موجود؛ به ما اجازه می‌دهد تا مقادیری را که مشاهده نشده اند به حساب آوریم؛ و به کاستی‌ها در مفاهیم فعلی انصاف بپردازیم (به «انصاف به چهار روش» نگاه کنید).

انصاف به چهار روش

موجی از کار، عدالت را به تصویر می‌کشد.در اینجا برخی از محبوب‌ترین، و روش‌هایی که در آن‌ها مدل‌های علی گزینه‌های دیگری را ارایه می‌دهند، آورده شده‌است.

عدالت از طریق بی‌اطلاعی: این روش با حذف هر داده‌ای که در نگاه اول ناعادلانه تلقی می‌شوند، کار می‌کند. به عنوان مثال، برای یک الگوریتم مورد استفاده توسط قضات در تصمیم‌گیری‌های مشروط، انصاف از طریق عدم آگاهی می‌تواند دیکته کند که داده‌های مربوط به منشا قومی باید در هنگام آموزش این الگوریتم حذف شوند، در حالی که داده‌های مربوط به تعداد تخلفات قبلی می‌تواند مورد استفاده قرار گیرد. اما بیشتر داده‌ها جانبدارانه هستند. به عنوان مثال، تعداد جرایم قبلی می‌تواند مهر تعصب نژادی تاریخی در پلیس را تحمل کند، همانطور که می‌تواند موجب استفاده از چانه‌زنی در دادگاه باشد (مقصر دانستن بیشتر احتمال دارد که حکم را کاهش دهد تا استدلال درباره بی‌گناهی). این می‌تواند محققان را با یک انتخاب دشوار تنها بگذارد: یا تمام داده‌ها را حذف کنید یا به داده‌های مغرضانه ادامه دهید.

متناسبا، مدل‌های علّی می‌توانند به طور مستقیم تعیین کنند که چگونه داده‌ها جانبدارانه هستند.

برابری جمعیتی: یک الگوریتم پیش‌بینی اگر به طور متوسط پیش‌بینی‌های مشابهی را برای گروه‌های مختلف ارایه دهد، برابری جمعیتی را ارضا می‌کند. برای مثال، یک الگوریتم پذیرش دانشگاه، برابری جمعیتی برای جنسیت را برآورده می‌کند اگر ۵۰ % از پیشنهادهایش به زنان و ۵۰ % به مردان برود. در حال حاضر در قانون عادی است که برابری جمعیتی را کاهش دهیم به طوری که پیش‌بینی‌ها لزوما برابر نباشند، اما بیش از حد نامتعادل نیستند. به طور خاص، کمیسیون فرصت شغلی برابر آمریکا بیان می‌کند که اشتغال منصفانه باید قانون ۸۰ % را برآورده کند: میزان پذیرش برای هر گروه نباید کم‌تر از ۸۰ درصد از حداکثر پذیرفته شدگان باشد. برای مثال، اگر ۲۵ % از زنان شغل داشته باشند، و این بالاترین نرخ پذیرش است، پس حداقل ۲۰ % از مردان باید شغل پیشنهاد دهند. یک انتقاد از برابری جمعیتی این است که ممکن است استفاده از آن در شرایط خاصی منطقی نباشد، مانند نرخ بازداشت منصفانه برای جرایم خشونت‌آمیز (مردان به طور قابل‌توجهی بیشتر به ارتکاب خشونت تمایل دارند).

در عوض، فرد می‌تواند نیاز داشته باشد که نسخه‌های ضد واقعی یک فرد باید همان پیش‌بینی را داشته باشند.

برابری فرصت: این اصل ارائه پیش‌بینی‌های مفید یک‌سان به افراد در هر گروه است. یک الگوریتم پیش‌بینی را در نظر بگیرید که تنها به افرادی وام می‌دهد که وام‌های قبلی خود را بازپرداخت کرده‌اند. این قانون «برابری مبتنی بر معلولیت فرصت» را ارضا می‌کند اگر به همان درصد از افرادی که هم بازپرداخت می‌کنند و هم معلولیت دارند وام بدهد همان طور که به کسانی که بازپرداخت می‌کنند و ناتوانی ندارند. با این حال، توانایی بازپرداخت وام در وهله اول می‌تواند تحت‌تاثیر تعصب قرار گیرد: کارفرمایان تبعیض‌آمیز ممکن است احتمال کمتری برای استخدام فردی با معلولیت داشته باشند، که می‌تواند بازپرداخت وام را برای آن فرد دشوارتر کند.این بی‌عدالتی اجتماعی از طریق برابری فرصت‌ها بدست نمی‌آید.

یک مدل علت و معلول می‌تواند برای کمی کردن گرایش و برآورد یک نسخه بی طرفانه از بازپرداخت وام مورد استفاده قرار گیرد.

عدالت فردی: این مفهوم بیان می‌کند که افراد مشابه باید پیش‌بینی‌های مشابهی داشته باشند. اگر دو نفر به جز جهت گیری جنسی خود شبیه به هم باشند، مثلا الگوریتمی که تبلیغات شغلی را نمایش می‌دهد باید مشاغل یک‌سان را به هر دو نشان دهد. مساله اصلی این مفهوم چگونگی تعریف مشابه است. بنابراین تعریف تشابه سخت است، که استفاده از انصاف فردی را در عمل دشوار می‌سازد.

در مدل‌سازی علی، ضد واقعی‌ها یک روش طبیعی برای تعریف یک فرد مشابه ارایه می‌دهند.

یک مدل علّی نشان می‌دهد که چگونه داده‌ها تولید می‌شوند، و چگونه متغیرها ممکن است در پاسخ به مداخلات تغییر کنند. این را می توان به صورت یک گراف نشان داد که در آن هر متغیر یک گره است و پیکان‌هایی ارتباطات علی بین آن‌ها را نشان می‌دهند. برای مثال، یک سری اطلاعات در مورد این که چه کسی برای کار در یک کشور ویزا می‌گیرد را در نظر بگیرید. اطلاعاتی در مورد کشوری که هر فرد از آن می‌آید، کاری که انجام می‌دهد، مذهب آن‌ها و اینکه آیا ویزا گرفته‌اند یا خیر وجود دارد.

این مدل می‌گوید که کشور مبدا به طور مستقیم بر مذهب فرد و دریافت ویزا تاثیر می‌گذارد؛ بنابراین، دین و نوع کار را نیز اثر دارند. داشتن یک مدل علّی به ما اجازه می‌دهد تا به سوالات مربوط به اخلاق بپردازیم، مانند این که آیا مذهب بر فرآیند ویزا تاثیر می‌گذارد؟

اما از آنجا که بسیاری از مدل‌های علی مختلف می‌توانند به یک مجموعه داده مشاهده‌شده خاص منجر شوند، به طور کلی شناسایی مدل علّی درست از آن مجموعه داده به تنهایی ممکن نیست. به عنوان مثال، بدون هیچ فرض اضافی، داده‌های ایجاد شده از نمودار علت و معلولی توصیف‌شده در اینجا می‌تواند مشابه آن‌هایی به نظر برسد که در آن مذهب دیگر به ویزای اعطا شده متصل نیست. بنابراین یک مدل باید از آزمایش‌ها و دانش تخصصی و فرضیات جستجو استفاده کند.

آزمایش‌ها می‌توانند به شناسایی عواملی که بر انصاف تاثیر می‌گذارند کمک کنند. برای مثال، یک فرد مایل به بررسی این موضوع است که آیا قومیت بر توصیه‌های درمانی که متخصصان مراقبت بهداشتی بصورت آنلاین انجام می‌دهند تاثیر می‌گذارد یا خیر، می‌تواند دو پروفایل بیمار ایجاد کند که تنها از نظر قومیت با هم تفاوت دارند. برای مثال، یک پروفایل می‌تواند یک نام مشترک برای آمریکایی‌ها با نژاد چینی و دیگری یک نام مشترک برای آمریکایی‌ها با نژاد آفریقایی داشته باشد. اگر توصیه‌های درمانی یک‌سان باشند، نام می‌تواند به عنوان یک منبع جهت گیری رد شود، و مدل می‌تواند به روش دیگری تحت فشار قرار گیرد.

جنبه‌های کمی از یک مفهوم عمیق و چند وجهی را می توان به راحتی تغییر نام آزمایش کرد. این بدان معنی است که شواهد تجربی می‌توانند اثرات تبعیض را دست‌کم بگیرند. یکپارچه‌سازی دانش تخصصی، به ویژه از علوم اجتماعی و از جمله روش‌های کیفی، می‌تواند به غلبه بر این محدودیت‌ها کمک کند. این دانش را می توان برای مثال برای آگاه کردن مدل متغیرهایی که ممکن است تاثیرگذار اما مشاهده نشده باشند (حلقه‌های سبک‌تر در مدل‌های علت و معلولی، در زیر)یا برای تعیین محل قرار دادن فلش استفاده کرد.

فرضیات در مورد متغیرهای مشاهده نشده که ممکن است پیش‌بینی‌های یک مدل را تغییر دهند باید به وضوح بیان شوند. این امر به ویژه زمانی اهمیت دارد که آزمایش‌ها نمی‌توانند اجرا شوند یا دانش کارشناسی دقیق تری در دسترس نباشد.

برای مثال، اگر «دسترسی به خدمات بهداشتی» در مدلی که سعی در پیش‌بینی «نیاز بهداشتی» دارد مشاهده نشود، آنگاه شناسایی هر گونه تاثیر بالقوه ای که ممکن است بر "هزینه‌های بهداشتی" داشته باشد و نیز چگونگی تاثیر آن بر «قومیت» بسیار مهم است.

این نیاز به بافت و فراداده، ساخت مدل‌های علّی را سخت‌تر از مدل‌های غیر علّی می‌کند. هم چنین می‌تواند آن‌ها را به روشی قدرتمندتر برای کشف سوالات اخلاقی تبدیل کند.

آزمایش سه‌گانه

مدل‌های سببی می‌توانند انصاف الگوریتم های پیش‌بینی را به سه روش تست کنند.

ضد و نقیض: یک مدل علی به ما اجازه می‌دهد تا سوالاتی مانند این را بپرسیم: «اگر گذشته متفاوت بود، حال یا آینده تغییر می‌کرد؟» در مثال ویزا، جهت گیری های الگوریتمی را می توان با تغییر دادن بخش‌هایی از مدل برای کشف، به عنوان مثال: «اگر شخص X مسیحی بود، آیا این الگوریتم به آن‌ها ویزا می‌داد؟» سپس یک محقق می‌تواند مشخص کند که یک الگوریتم از چه بخش‌هایی از اطلاعات می‌تواند برای دستیابی به استدلال خلاف واقع استفاده کند: خروجی الگوریتم بدون در نظر گرفتن مذهب فرد تغییر نخواهد کرد. به عنوان مثال، اگر الگوریتم فقط کار کند و نه کشور مبدا یا مذهب، عادلانه بودن خلاف واقع را ارضا کند.

حساسیت: در بسیاری از تنظیمات، ناشناس‌ها دانش را تغییر می‌دهند - داده‌هایی که می‌توانیم مشاهده کنیم تحت‌تاثیر داده‌هایی هستند که نمی‌توانیم. یک مدل علّی را برای یک محیط آزمایشی در نظر بگیرید.

این مدل نشان می‌دهد که چگونه دو مجموعه مستقل از مقادیر مشاهده نشده، نژاد پرستی ساختاری و نژاد پرستی هیات‌منصفه می‌توانند به طور ناعادلانه منجر به یک حکم گناهکار شوند. اگرچه محققان اغلب نمی‌توانند به طور دقیق متغیرهای مشاهده نشده را شناسایی کنند، اما می‌توانند دلیل بیاورند که یک مدل چقدر برای آن‌ها حساس است. به عنوان مثال، آن‌ها می‌توانند کشف کنند که برآورد ما از ارتباط علت و معلولی بین نمایندگی قانونی و حکم مجرم تا چه حد نسبت به سطوح مختلف هیات‌منصفه نژادپرستی حساس است. شبیه‌سازی‌های سناریوهای تعصب بدترین حالت (که در آن نژادپرستی هیات‌منصفه بالاترین است) می‌تواند برای تغییر انتخاب هیات‌منصفه برای به حداقل رساندن تعصب استفاده شود.

تکانه‌ها: تصمیمات برگرفته از داده می‌توانند پیامدهای بلند مدت و اثرات سرریز داشته باشند. این تاثیرات ممکن است آشکار نباشند، به خصوص در الگوی استاندارد یادگیری ماشین در پیش‌بینی یک نتیجه کوتاه‌مدت. اما مدل‌های علّی با دقت طراحی‌شده می‌توانند به محققان کمک کنند تا از «مداخلات» برای بررسی اثرات موج‌دار تصمیمات در آینده استفاده کنند. برای مثال، این مدل‌ها می‌توانند به سازمان‌های نظارتی کمک کنند تا بفهمند چگونه تغییر یک الگوریتم تحقیق بر روی کسانی که در دانشکده حقوق پذیرفته می‌شوند، تاثیر می‌گذارد. در این مثال، یک والد ممکن است به یک بورس تحصیلی نیاز داشته باشد تا بتواند ساعات مورد نیاز برای گذراندن کار را کاهش دهد و زمان بیشتری را برای مطالعه به آن‌ها بدهد. این کار نمرات آن‌ها را افزایش می‌دهد و بنابراین بر شانس آن‌ها برای پذیرفته شدن در مدرسه حقوق تاثیر می‌گذارد. این زنجیره پیچیده را می‌توان با استفاده از مدل‌های علّی بررسی کرد.

پنج قدم

مدل‌های سببی ابزارهای قدرتمندی هستند، اما باید به درستی مورد استفاده قرار گیرند. آن‌ها تنها مدل‌ها هستند و در نتیجه نمی‌توانند جنبه‌های مهم دنیای واقعی را درک کنند. در اینجا چند دستورالعمل برای استفاده عاقلانه از آن‌ها ارائه می‌کنیم.

در زمینه‌های مختلف هم‌کاری کنید. محققان آمار و یادگیری ماشین باید در مورد علل بی‌عدالتی در جامعه بیشتر بدانند. آن‌ها باید با رشته‌های حقوق، علوم اجتماعی و علوم انسانی هم‌کاری نزدیک داشته باشند. این امر به آن‌ها کمک خواهد کرد تا زمینه داده‌های مورد استفاده برای آموزش الگوریتم ها را با هم ترکیب کنند. برای مثال، محققان باید در کارگاه‌ها و کنفرانس‌های میان رشته‌ای ملاقات کنند. یکی از این موارد کنفرانس سال آینده انجمن محاسبات و ماشین‌آلات (ACM)در مورد انصاف، پاسخگویی و شفافیت برای استخراج مجموعه‌ای از مدل‌های علی برای تعیین قیمت وثیقه و برای تصمیمات مهاجرت است.

یک نمونه عالی از چنین هم‌کاری‌های بین دانشمند اطلاعات سولون باروکاس در دانشگاه کورنل در ایتاکا، نیویورک، و وکیل اندرو سلبت در موسسه تحقیقات جامعه پژوهش داده در نیویورک است. آن‌ها توضیح دادند که چگونه قانون فعلی قادر به مقابله با بایاس الگوریتمی نیست. تا حدی در پاسخ به این کار، محققان یادگیری ماشین یک زیر حوزه بزرگ را راه‌اندازی کرده‌اند، که به عنوان عدالت الگوریتمی شناخته می‌شود، که به دنبال راه‌هایی برای حذف تعصب از داده‌ها است. و ما و دیگر محققان اکنون از مدل‌های علّی برای کمی کردن تبعیض ناشی از داده‌ها استفاده می‌کنیم.

شراکت با سهامداران. الگوریتم های پیشگویانه باید با افرادی که به احتمال زیاد تحت‌تاثیر قرار می‌گیرند، توسعه داده شوند. سهامداران به بهترین وجه برای ارایه اطلاعات در مورد سوالات دشوار اخلاقی و زمینه تاریخی قرار می‌گیرند. یک مثال کار متخصص آمار کریستین لوم در گروه تحلیل داده‌های حقوق بشر در سان‌فرانسیسکو، کالیفرنیا است که الگوریتم های جنایی - عدالت را بررسی می‌کند.چنین الگوریتم‌هایی تصمیم می‌گیرند که آیا افراد دستگیر شده را بازداشت کنند یا آزاد کنند و اینکه چقدر می‌توانند وثیقه خود را تنظیم کنند، با این حال مشخص است که آن‌ها جانبدارانه عمل می‌کنند. لوم از افرادی که تحت‌تاثیر چنین تصمیماتی قرار گرفته‌اند دعوت کرده‌است تا در کنفرانس‌های دانشگاهی با حضور افرادی که در مورد این الگوریتم ها تحقیق می‌کنند صحبت کنند. این منجر به هم‌کاری نزدیک‌تر، از جمله برنامه آموزشی "درک زمینه و عواقب بازداشت پیش از محاکمه" ارائه‌شده در کنفرانس ACM سال ۲۰۱۸ در مورد انصاف، پاسخگویی و شفافیت در نیویورک شده‌است. تاکنون بیشتر افراد ذی‌نفع بر روی عدالت جنایی متمرکز شده‌اند. محیط دیگری که از آن سود خواهد برد وام مسکن است.

ما پیشنهاد می‌کنیم که یک پانل بین رشته‌ای چرخان از سهام داران اثرات تصمیمات الگوریتمی را بررسی می‌کند، برای مثال به عنوان بخشی از یک موسسه نظارتی بین‌المللی جدید.

نیروی کار را عادلانه کنید. زنان و افراد گروه‌های اقلیت در زمینه‌های آمار و یادگیری ماشینی کم‌تر حضور دارند. این امر به طور مستقیم به ایجاد الگوریتم‌های ناعادلانه کمک می‌کند. برای مثال، اگر نرم‌افزار تشخیص چهره تلاش کند تا چهره افراد را تشخیص دهد، این احتمال وجود دارد که الگوریتم به طور گسترده بر روی داده‌های افراد سفید پوست آموزش‌دیده باشد. ابتکارهایی مانند سیاهان در هوش مصنوعی و همچنین زنان در یادگیری ماشینی گام‌های مثبتی هستند.

و ما می‌توانیم فراتر برویم. مدل‌های سببی خودشان می‌توانند به حل مشکل «خط لوله» این حوزه کمک کنند، از طریق شناسایی اینکه کجا بی‌عدالتی وارد فرآیند می‌شود و چه مداخله‌ای می‌تواند مشارکت گروه‌های تحت نماینده را بدون انتقال بار به کار اضافی برای مدل‌های نقش در آن گروه‌ها افزایش دهد. موسسات دانشگاهی باید این مدل‌ها را برای پذیرش منصفانه تر در زمینه‌های مربوط به هوش مصنوعی ارزیابی و استفاده کنند.

شناسایی زمانی که الگوریتم‌ها نامناسب هستند. آمار و یادگیری ماشین همه قوی نیستند. برخی مشکلات را نباید با گسترش قابلیت‌های جمع‌آوری داده و تصمیم‌گیری خودکار حل کرد. برای مثال، یک مدل دقیق‌تر برای پلیس پیش‌بین بسیاری از نگرانی‌های اخلاقی مربوط به سیستم حقوقی جنایی را حل نخواهد کرد. در واقع، این روش‌ها می‌توانند مسائل ساختاری را پوشش دهند، از جمله این واقعیت که بسیاری از همسایگان توسط مردمی که در آن‌جا زندگی نمی‌کنند، تحت مراقبت قرار می‌گیرند. این قطع ارتباط به این معنی است که افسران پلیس ممکن است در جامعه‌ای که پلیس می‌کنند یا افرادی که دستگیر می‌کنند سرمایه‌گذاری نکنند.

پرچم‌های قرمزی وجود دارند که وقتی جمعیت‌شناسی، مانند منشا قومی، تقریبا بر هر بخش از اطلاعات در یک نمودار علت و معلولی تاثیر می‌گذارد، یا زمانی که تلاش‌های قبلی برای پرداختن به یک جهت گیری شکست‌خورده است زیرا مردم رفتار خود را در پاسخ به طور استراتژیک تغییر داده‌اند. در این موارد، یک راه‌حل الگوریتمی بر روی سیستمی که نیاز به تغییر اساسی دارد، نوشته می‌شود.

انتقاد شوم. یک فرهنگ پویا از بازخورد ضروری است. محققان باید به طور مستمر مدل‌ها، تکنیک‌های ارزیابی و فرضیات خود را زیر سوال ببرند. با اینکه مدل‌های علی مفید هستند، اما باید به شدت مورد توجه قرار گیرند: مدل‌های بد می‌توانند تبعیض را بدتر کنند. حداقل، یک دانشمند باید بررسی کند که آیا یک مدل داده‌های درستی برای ادعاهای علی دارد یا خیر، و چه مقدار از این ادعاها در زمان تعدیل فرضیات تغییر خواهند کرد.

الگوریتم ها به طور فزاینده‌ای برای تصمیم‌گیری‌های در حال تغییر بالقوه زندگی در مورد مردم استفاده می‌شوند.با استفاده از مدل‌های علی برای رسمی کردن درک خود از تبعیض، ما باید این الگوریتم ها را ایجاد کنیم تا به استانداردهای اخلاقی مورد نیاز تصمیم گیرندگان انسانی احترام بگذاریم.

این مقاله توسط ربات ترجمیار و به صورت خودکار ترجمه شده و می‌تواند به صورت محدود دارای اشکالات ترجمه باشد.