تعیین اهداف منصفانه با کتابخانه بهینه‌سازی مقید تنسورفلو

منتشرشده در: وبلاگ هوش‌مصنوعی گوگل به تاریخ ۲۱ فوریه ۲۰۲۰
نویسنده: Andrew Zaldivar
لینک مقاله اصلی: http://ai.googleblog.com/2020/02/setting-fairness-goals-with-tensorflow.html

بسیاری از فناوری‌هایی که از یادگیری ماشین با نظارت استفاده می‌کنند، تاثیر مثبت فزاینده‌ای بر زندگی روزمره مردم دارند، از علایم اولیه بیماری گرفته تا فیلتر کردن محتوای نامناسب. با این حال، نگرانی رو به رشدی وجود دارد که مدل‌های آموخته‌شده، که به طور کلی نیاز محدود به به حداقل رساندن یک تابع زیان منفرد را برآورده می‌کنند، ممکن است در پرداختن به مسایل گسترده‌تر اجتماعی مانند عدالت، که به طور کلی نیازمند تبادل ملاحظات رقابتی متعدد است، دچار مشکل شوند. حتی زمانی که چنین عواملی در نظر گرفته می‌شوند، این سیستم‌ها ممکن است هنوز قادر به برآورده کردن الزامات طراحی پیچیده نباشند، برای مثال یک منفی کاذب ممکن است "بدتر" از یک مثبت کاذب باشد، یا اینکه مدل آموزش‌دیده باید "مشابه" یک مدل از قبل موجود باشد.

کتابخانه بهینه‌سازی محدود شده تنسورفلو (TFCO) پیکربندی و آموزش مشکلات یادگیری ماشین براساس چندین معیار مختلف را آسان می‌کند (به عنوان مثال میزان دقت در مورد اعضای گروه‌های خاص، میزان واقعی مثبت در مورد ساکنان کشورهای خاص، یا میزان فراخوان تشخیص‌های سرطان بسته به سن و جنسیت). در حالی که این معیارها از نظر مفهومی ساده هستند، با ارائه توانایی به کاربر برای به حداقل رساندن و محدود کردن ترکیبات دل‌خواه آن‌ها، TFCO فرمول‌بندی و حل بسیاری از مشکلات مورد علاقه به طور خاص جامعه انصاف (مانند شانس برابر شده و برابری قابل‌پیش‌بینی) و جامعه یادگیری ماشین را به طور کلی آسان‌تر می‌سازد.

چگونه TFCO با اصول هوش مصنوعی ما ارتباط برقرار می‌کند؟

انتشار TFCO اصول هوش مصنوعی ما را در عمل قرار می‌دهد، کمک بیشتری به هدایت توسعه اخلاقی و استفاده از هوش مصنوعی در تحقیقات و در عمل می‌کند. با قرار دادن TFCO در دست سازندگان، ما قصد داریم آن‌ها را بهتر تجهیز کنیم تا مشخص کنیم که مدل‌های آن‌ها کجا می‌توانند خطرناک و مضر باشند، و محدودیت‌هایی ایجاد کنیم که مدل‌های آن‌ها به نتایج مطلوب برسند.

اهداف چه هستند؟

با قرض گرفتن یک مثال از هاردت و همکاران، وظیفه یادگیری یک طبقه‌بندی کننده را در نظر بگیرید که تصمیم می‌گیرد که آیا یک فرد باید یک وام (یک پیش‌بینی مثبت) دریافت کند یا نه (منفی)، براساس مجموعه داده‌های افرادی که یا قادر به بازپرداخت یک وام (یک برچسب مثبت) هستند یا خیر (منفی). برای پیکربندی این مشکل در TFCO، ما یک تابع هدف را انتخاب می‌کنیم که به مدل برای اعطای وام به افرادی که آن‌ها را بازپرداخت خواهند کرد پاداش می‌دهد، و همچنین محدودیت‌هایی را تحمیل می‌کند که از انکار ناعادلانه وام‌ها به گروه‌های خاصی از افراد حفاظت شده‌است. در TFCO، هدف به حداقل رساندن، و اعمال محدودیت‌ها، به صورت عبارات جبری (با استفاده از عملگرهای معمولی پایتون) از نرخ‌های پایه ساده نشان داده می‌شوند.

ایجاد TFCO برای به حداقل رساندن نرخ خطای کلی طبقه‌بندی کننده یاد گرفته‌شده برای یک مدل خطی (بدون محدودیت انصاف)، ممکن است منجر به یک محدوده تصمیم‌گیری شود که به این شکل است:

این یک طبقه‌بندی کننده خوب است، اما در برخی کاربردهای خاص، می توان آن را ناعادلانه در نظر گرفت. برای مثال، نمونه‌های آبی دارای برچسب مثبت به احتمال زیاد پیش‌بینی‌های منفی بیشتری نسبت به نمونه‌های نارنجی دارای برچسب مثبت دریافت می‌کنند، که اصل "فرصت برابر" را نقض می‌کنند. برای اصلاح این مساله، فرد می‌تواند محدودیت فرصت برابر را به لیست محدودیت‌ها اضافه کند. این طبقه‌بندی کننده نتیجه چیزی شبیه به این خواهد بود:

چگونه بدانیم چه محدودیت‌هایی باید وضع شوند؟

انتخاب محدودیت‌های "درست" به اهداف سیاسی یا نیازمندی‌های مساله شما و کاربرانتان بستگی دارد. به همین دلیل، ما تلاش کرده‌ایم تا از مجبور کردن کاربر به انتخاب از لیست محدود شده مشکلات "شکسته - در" جلوگیری کنیم. در عوض، ما تلاش کردیم تا انعطاف‌پذیری را با قادر ساختن کاربر به تعریف طیف گسترده‌ای از مشکلات ممکن، با ترکیب و دستکاری نرخ‌های پایه ساده، به حداکثر برسانیم.

این انعطاف‌پذیری می‌تواند جنبه منفی داشته باشد: اگر فرد مراقب نباشد، ممکن است تلاش کند محدودیت‌های متناقض را تحمیل کند، که منجر به یک مساله مقید بدون راه‌حل خوب می‌شود. در چارچوب مثال بالا، فرد می‌تواند نرخ‌های مثبت کاذب (FPR ها) را محدود کند تا برابر باشند، علاوه بر نرخ‌های مثبت واقعی (TPR ها)(یعنی "احتمالات برابر"). با این حال، ماهیت بالقوه متناقض این دو مجموعه از محدودیت‌ها، همراه با نیاز ما به یک مدل خطی، می‌تواند ما را مجبور به یافتن یک راه‌حل با دقت بسیار پایین کند.برای مثال:

با یک مدل به اندازه کافی انعطاف‌پذیر، FPR های هر دو گروه برابر، اما بسیار بزرگ (همانطور که در مورد بالا نشان‌داده شده‌است)، یا TPR ها برابر، اما بسیار کوچک (نشان داده نشده)خواهند بود.

آیا ممکن است شکست بخورد؟

توانایی بیان بسیاری از اهداف عادلانه به عنوان محدودیت‌های نرخ می‌تواند به پیشرفت در توسعه مسیولانه یادگیری ماشین کمک کند، اما همچنین نیاز به توسعه دهندگان دارد تا به دقت مشکلی را که سعی در حل آن دارند در نظر بگیرند. برای مثال، فرض کنید که یکی از آن‌ها آموزش را محدود می‌کند تا دقت یکسانی برای چهار گروه داشته باشد، اما طبقه‌بندی یکی از این گروه‌ها بسیار سخت‌تر است. در این مورد، می توان گفت که تنها راه برآورده کردن محدودیت‌ها کاهش دقت سه گروه آسان‌تر است، به طوری که آن‌ها با دقت پایین گروه چهارم مطابقت دارند. این احتمالا نتیجه مطلوب نیست

یک جایگزین "امن‌تر" محدود کردن هر گروه برای ارضای مستقل برخی از معیارهای مطلق است، برای مثال با الزام به هر گروه برای رسیدن به حداقل ۷۵ % دقت. استفاده از چنین محدودیت‌های مطلق به جای محدودیت‌های نسبی به طور کلی گروه‌ها را از پایین کشیدن یکدیگر باز می‌دارد. البته، ممکن است درخواست حداقل دقت ممکن باشد که دست‌یافتنی نباشد، بنابراین برخی از وظیفه‌شناسی هنوز مورد نیاز است.

نفرین نمونه‌های کوچک

یکی دیگر از چالش‌های رایج با استفاده از بهینه‌سازی مقید این است که گروه‌هایی که این محدودیت‌ها به آن‌ها اعمال می‌شود ممکن است در مجموعه داده‌ها کم‌تر نمایش داده شوند. در نتیجه گرادیان تصادفی که ما در طول آموزش محاسبه می‌کنیم بسیار نویزدار خواهد بود که منجر به هم‌گرایی آهسته می‌شود. در چنین سناریویی، توصیه می‌کنیم که کاربران محدودیت‌ها را بر روی یک مجموعه داده بازبالانس شده مجزا اعمال کنند که شامل نسبت‌های بالاتر از هر گروه است و از مجموعه داده اصلی تنها برای به حداقل رساندن هدف استفاده کنند.

به عنوان مثال، در مثال مسمومیت ویکی، ما می‌خواهیم پیش‌بینی کنیم که آیا یک نظر بحث پست شده در صفحه بحث ویکی سمی است (یعنی حاوی محتوای "بی‌ادب، بی‌احترامی یا غیر منطقی" است). تنها ۱.۳٪ از نظرات به واژه "جنسیت" اشاره می‌کنند و بخش بزرگی از این نظرات سمی قلمداد می‌شوند. از این رو، آموزش یک مدل سی ان ان بدون محدودیت در این مجموعه داده منجر به این باور می‌شود که جنسیت یک شاخص قوی از سمیت است و منجر به نرخ مثبت کاذب بالایی برای این گروه می‌شود. ما از TFCO برای محدود کردن نرخ مثبت کاذب برای چهار موضوع حساس (جنسیت، هویت جنسیتی، مذهب و نژاد) استفاده می‌کنیم تا در حدود ۲ % باشد. برای رسیدگی بهتر به اندازه‌های گروه‌های کوچک، از یک مجموعه داده "دوباره متوازن" برای اعمال محدودیت‌ها و مجموعه داده اصلی تنها برای به حداقل رساندن هدف استفاده می‌کنیم. همانطور که در زیر نشان‌داده شده‌است، مدل مقید می‌تواند به طور قابل‌توجهی نرخ‌های مثبت کاذب در چهار گروه موضوع را کاهش دهد، در حالی که تقریبا همان دقت مدل بدون محدودیت را حفظ می‌کند.

تعاملی بودن - چالش گروه‌های زیبا

همپوشانی محدودیت‌ها می‌تواند به ایجاد تجربیات عادلانه برای دسته‌های چندگانه به حاشیه رانده شدن تاریخی و گروه‌های اقلیت کمک کند. با گسترش فراتر از مثال بالا، ما همچنین یک مثال از کلبی را ارایه می‌دهیم که یک مدل بینایی کامپیوتری را برای تشخیص لبخندها در تصاویری که می‌خواهیم در میان چندین گروه حفاظت‌شده غیر متقابل به خوبی عمل کنیم، بررسی می‌کند. نرخ مثبت کاذب در اینجا می‌تواند یک معیار مناسب باشد، زیرا کسری از تصاویر را اندازه‌گیری می‌کند که دارای چهره خندان نیستند که به طور نادرست با لبخند برچسب زده می‌شوند. با مقایسه نرخ‌های مثبت کاذب براساس گروه‌های سنی (جوان و مسن)یا جنسی (مرد و زن)، می‌توانیم جهت گیری مدل نامطلوب را بررسی کنیم (به عنوان مثال، آیا تصاویر افراد مسن‌تر که لبخند می‌زنند به این صورت تشخیص داده نمی‌شوند).

درون الگوریتم

محدودیت‌های مربوط به نرخ کنترل صحیح، چالش برانگیز است زیرا با نوشتن بر حسب شمارش (به عنوان مثال، نرخ دقت تعداد پیش‌بینی‌های درست است، تقسیم‌بر تعداد مثال‌ها)، توابع محدودیت غیرقابل تمایز هستند. به طور الگوریتمی، TFCO یک مساله مقید را به یک بازی دو نفره غیر مجموع صفر تبدیل می‌کند (ALT "۱۹، JMLR" ۱۹). این چارچوب را می توان برای کنترل رتبه‌بندی و تنظیمات رگرسیون، معیارهای پیچیده‌تر مانند معیار F، یا برای بهبود عملکرد تعمیم (ICML" ۱۹) مورد استفاده قرار داد.

اعتقاد ما بر این است که کتابخانه TFCO در آموزش مدل‌های یادگیری ماشین مفید خواهد بود که عوامل اجتماعی و فرهنگی لازم برای برآورده کردن نیازهای دنیای واقعی را در نظر می‌گیرد. مثال‌های ارائه‌شده ما (طبقه‌بندی سمیت و تشخیص لبخند) تنها سطح را خراش می‌دهند. ما امیدواریم که انعطاف‌پذیری TFCO شما را قادر سازد تا نیازهای منحصر به فرد مشکل خود را حل کنید.

این مقاله توسط مترجم متن‌ تخصصی و علمی ترجمیار و به صورت کاملا خودکار ترجمه شده و با حداقل ویرایش و بازبینی انسانی منتشر شده است. مقالات لینک‌شده در این مقاله را می‌توانید با کمک مقاله‌خوان ترجمیار به رایگان و فارسی بخوانید