نگاهی به ملاحظات اخلاقی در طراحی و استفاده از ابزار «ادراکات شخصیتی» یا Personality Insights شرکت IBM

اصل متن توسط رویا پاکزاد و به زبان انگلیسی نوشته شده است. با تشکر از پ. برای ترجمه.

من اصلا از تست‌های­ شخصیت‌شناسی خوشم نمیاد!

مهم نیست که چیزی که درباره‌­ت میگن درست باشه یا غلط، دوست ندارم درک مردم از من به چهار حرف، یا پنج عدد، یا چند نشونه خلاصه بشه. اگر بخوام می­تونم صفحه­‌ها راجع به این بنویسم که چطور این «درک» سرسری و بی­‌دقت از شخصیت آدم­‌ها می­تونه منجر به تبعیض در محل کار، قضاوت­‌های اشتباه، یا تجاوز به حریم شخصی اون­‌ها بشه، اما هدف این پست این نیست - هر چند که همین موضوع انگیزه‌­ی نوشتن این مطب بوده.

در اینجا، روی یکی از اشکال جدید تست شخصیت تمرکز می­کنم که بر اساس یادگیری ماشین ساخته شده. تست مورد نظر من متعلق به شرکت IBM Watson هست با نام ادراکات شخصیتی (Personality Insights). اونطور که سایت IBM مدعی شده، این ابزار «از تحلیل­گرهای زبانی استفاده می­کند تا ویژگی­‌های شخصیتی ذاتی فرد، شامل پنج اصل (یا O.C.E.A.N)، نیازها و ارزش‌هایش را از طریق ارتباطات دیجیتال مانند ایمیل، پیام­‌های متنی، توییت­‌ها،‌ و پست­‌های فروم‌­ها، استخراج کند.»

بذارین بهتون بگم این یعنی چه: من محتوای توییترم رو وارد این ابزار کردم و به عنوان خروجی نتیجه‌ی زیر رو دریافت کردم که فرضا قراره نشون­‌دهنده‌­ی ویژگی­‌های شخصیتی، نیازهای مصرفی و ارزش­‌های من باشه:

اگه به فایل خروجی که اینجا در دسترسه دقت کنید می­‌بینید که، براساس نتیجه­‌گیری این ابزار من آدمی هستم که احتمالا «هنگام خرید محصول تحت تاثیر تبلیغات آنلاین قرار می­گیرم.» علاوه بر این، احتمالا آدمی هستم که دغدغه­‌های محیط زیستی دارم و به دیدن مستند علاقه دارم و احتمال اینکه فیلم­‌های موزیکال رو دوست داشته باشم کمتره (اعتراض: راستش یکی از سریال‌های مورد علاقه‌­ی این روزام Crazy Ex-Girlfriend هست که اتفاقا موزیکاله).

بعد از دیدن این نتایج، ذهن منفی­‌بافم سریع رفت سمت شرکت Cambridge Analytica،‌ شرکتی که از فعالیت­‌های شبکه­‌های اجتماعی افراد استفاده کرده بود تا شرح حال روانی و ترجیحات سیاسی‌شون رو حدس بزنه و بر اساس اون رفتارشون تو انتخابات رو پیش‌­بینی کنه.

بنابراین به عنوان یک محقق در زمینه‌­ی تکنولوژی و حقوق بشر، تصمیم گرفتم که در مورد این ابزار تحقیق بیشتری کنم.

اول، بیاید ببینیم که ابزار ادراکات شخصیتی (Personality Insights) چطور کار میکنه:

در اینجا یه مرور کلی خواهیم داشت که بخشی از اون بر اساس صفحه­‌ی GitHub ادراکات شخصیتی IBM و یک سری مستندات منتشر شده‌­ی دیگه­‌ست:

? ورودی: ادراکات شخصیتی توییت‌­ها، ایمیل­­­­­­‌ها، پیام­‌های متنی،‌ پست­‌های وبلاگی، و/یا هرچیزی که فردی که شخصیتش قراره مورد ارزیابی قرار بگیره رو دریافت می­کنه. این ابزار در حال حاضر زبان­‌های انگلیسی، اسپانیایی، ژاپنی، کره‌­ای، و عربی رو طبق گفته‌­ی وبسایتش پشتیبانی می­کنه،‌ نتایج این ابزار برای زبان­‌های عربی و کره­‌ای اونقدر خوب نیست و نمی­شه روش حساب کرد. کمترین میزان کلمه‌­ای که می­تونین وارد ابزار کنید تا نتیجه بگیرید ۱۰۰ کلمه­‌ست،‌ البته، برای اینکه نتیجه دقت لازم رو داشته باشه حدود ۳۰۰۰ کلمه برای متن ورودی لازم دارید. (demo و مستندات IBM جزییات بیشتری از نوع داده‌­ی قابل قبول ارائه کرده‌­ان.)

? خروجی: بعد از پردازش داده‌­های ورودی، ابزار نتیجه‌­ی کامل رو ارائه می­کنه ( با فرمت JSON یا CSV) که ۵۲ ویژگی شخصیتی شما به ترتیب امتیازی و همچنین رفتار مصرفی شما رو نشون میده. امتیاز بر اساس درصدی از جامعه­‌ی نمونه بیان میشه. مثلا، اگه ویژگی «ماجراجویی» من براساس چیزهایی که می­نویسم امتیاز ۰.۲۵ گرفته باشه به این معنیه که من از ۲۵٪ جامعه نمونه ماجراجو‌ترم و از ۷۵٪ اون­ها کمتر ماجراجو هستم.

نکته: جامعه‌ی نمونه از کاربران توییتری تشکیل شده که اطلاعات خودشون رو برای تحلیل در اختیار ابزار ادراکات شخصیتی شرکت IBM گذاشته بودن. جامعه­­‌ی نمونه برای زبان انگلیسی یک میلیون کاربر، برای زبان عربی و ژاپنی صد‌هزار کاربر و برای زبان اسپانیایی هشتاد‌هزار کاربره.
شاخصه‌های فردی جامعه‌ی نمونه، مثل سن، جنسیت، سطح سواد و غیره، جایی عنوان نشده بود.

ابزار یه امتیاز خام هم در اختیار شما قرار میده که می­تونید اگه خواستید برای مقایسه­‌ی خودتون با جامعه نمونه­‌ی دلخواه خودتون ازش استفاده کنید ( برای مثال امتیاز شما در مقایسه با کارکنان شرکتی که توش کار می­کنید).

برای کسب اطلاعات بیشتر راجع به فرمت خروجی و تفسیرش به اینجا و اینجا مراجعه کنید.

? مدل: روش بنیادی این ابزار بر اساس رویکرد open-vocabulary هست. این روش رو محققان دانشگاه پنسیلوانیا ارائه دادن که روی تحلیل استاتوس­‌های فیسبوک ۷۵۰۰۰ کاربر داوطلب کار می­کردن. بر اساس این تحلیل و اضافه کردن پرسش­نامه­‌های شخصیتی، اون­ها تونستن مدل­‌هایی رو بسازن که بر اساس استاتوس‌ها، سن، جنسیت و شخصیت فرد رو می­تونه پیش­‌بینی کنه.

البته ورژن­‌‌های اولیه­‌ی ابزار ادراکات شخصیتی از تحقیق زبان­‌شناسی و فرهنگ لغت روان‌شناسی-زبانی شمارش واژه (LIWC) استفاده می­کرد. (برای اطلاعات بیشتر درباره‌­ی فرهنگ لغت LIWC میتونین به اینجا مراجعه کنین.)

پژوهشگران IBM برای ساختن ابزار ادراکات شخصیتی،‌ یک سری مطالعات انجام دادن و مدل­‌های یادگیری ماشین متعددی رو ساختن که بتونن رابطه­‌ی بین فعالیت توییتر افراد و ویژگی­‌های شخصیتی‌شون رو درک کنن. برای مثال،‌ با مطالعه­‌ی ۳۵۰۰ کاربر توییتر،‌ متوجه شدن که افرادی که بیشتر ریتوییت میکنن احتمال اینکه به عنوان فردی متواضع، روراست و خودمانی به حساب بیان، بیشتره. ( لینک مطالعات)

به طور خلاصه، ابزار ادراکات شخصیتی از تکنیک تعبیه کلمات GloVe برای ساختن یک جانشین برداری به ازای هر کلمه­‌ی متن ورودی استفاده می­کنه. بعد اون­ها رو وارد یه الگوریتم یادگیری ماشین می­کنه تا تست بشن و روشون کار انجام بشه (توضیح بیشتری درباره­‌ی جزییات این الگوریتم داده نشده؛ گرچه محققین IBM تو مطالعه‌­ای با عنوان ۲۵ توییت تا شناختن شما: مدلی جدید برای پیش­بینی شخصیت بر اساس شبکه­‌های اجتماعی، ویژگی­‌های تکنیک تعبیه کلمات GloVe رو با رگرسیون فرایند گاوسی ترکیب کردن تا ویژگی­‌های شخصیتی رو استخراج کنن.)

? آموزش: این مدل بر اساس پرسش­نامه‌های پخش شده بین هزاران کاربر، به همراه اطلاعات به دست اومده از توییتر اون­ها آموزش داده می­شه. اطلاعات بیشتری راجع به ترکیب جمعیتی اون­ها (سن،‌ جنسیت، زبان، سطح سواد) وجود نداره، اما مطالعات قبلی IBM بیشتر از اطلاعات توییتر و پرسش­نامه‌­هایی که کاربران انگلیسی زبان پر کرده بودن مدل­هاشون رو آموزش داده و تست می­کردن.

⚖️ معیارهای سنجش: برای فهمیدن دقت ابزار ادراکات شخصیتی، شرکت IBM یک مطالعه­‌ی اعتبارسنجی ترتیب داد و پرسش­نامه­‌های پاسخ داده شده­ و فید توییتر ۱۵۰۰ تا ۲۰۰۰ شرکت کننده در همه­‌ی زبان­‌ها رو استفاده کرد. بعد امتیازات به دست اومده از نظرسنجی رو با امتیازات ابزار ادراکات شخصیتی و خطای مطلق میانگین (MAE) و میانگین همبستگی بین دو امتیاز مربوط به موضوعات مختلف ویژگی­‌های شخصیتی مقایسه کردن. (در نظر داشته باشید که MAE عددی بین صفر و یکه، و صفر یعنی امتیاز پیش‌­بینی شده دقیقا مساویه با امتیاز واقعی (پرسش­نامه)، و یک یعنی ماکزیمم خطا. همبستگی عددی بین منفی یک و یکه. در نظر داشته باشید که بهترین همبستگی میانگین عدد ۰.۳۵ هست که خیلی بالا نیست، اما برا اساس چیزی که وبسایت IBM گفته تو ادبیات تحقیق این حوزه، همبستگی­‌های بالای ۰.۲ قابل قبول به حساب میاد.)

چند نکته­‌ی مهم درباره­ ی مدل نهایی Personality Insights:

• مدل­‌هایی که قرار باشه با همه­ ی زبون­‌ها کار کنن به یک شکل ساخته میشن. در مورد متن توییتر،‌ مدل تصور می­کنه که رفتار افراد در توییتر مستقل از زبان/کشورشون هست. در صورتی که میدونیم اینطور نیست، مثلا این مقاله (Do all birds tweet the same?: characterizing twitter around the world) رو نگاه کنید.
• این ابزار شاخصه‌­های فردی کاربرا مثل سن، جنسیت، نژاد و فرهنگ رو در نظر نمی­گیره (برای مطالعه­‌ی بیشتر اینجا رو بخونید). البته این امکان وجود داره که IBM در آینده مد‌ل‌­هایی طراحی کنه که برای شاخصه‌های فردی رفتار بخصوصی داشته باشه. IBM در همکاری با Acxiom مطالعه‌­ای ترتیب داد که در اون بیان شده «به کار گرفتن شاخصه‌­های فردی به همراه ویژگی­‌های شخصیتی معمولا دقت بیشتری رو در پیش­‌بینی رفتار مصرفی افراد در استفاده­‌های بازاریابی به همراه داره».

خب بعد از کسب یه کمی اطلاعات درباره­‌ی روش کار این ابزار، تصمیم گرفتم یه سری آزمایش که در ادامه راجع بهشون حرف می­زنم رو انجام بدم:

آیا می­تونم سیستم رو «بازی» بدم و خودمو کاندیدای شغلی بهتری معرفی کنم؟

فرض کنیم من برای کاری درخواست پر کردم که از الزاماتش وبلاگ نوشتن هم هست. شرکت مربوطه از من می­خواد که نمونه نوشته­‌هام رو براشون بفرستم و من تصمیم میگیرم اونا رو به پست­های قبلی وبلاگم ارجاع بدم. مدیر بخش استخدام هم برنامه‌­ش اینه که با استفاده از ابزار اداراکات شخصیتی یه چیزایی درباره‌­ی من دستگیرش بشه؛ و سه تا از پست­های قبلی وبلاگ منو وارد ابزار میکنه (Swipe Left: Privacy Practices of Online Dating Apps, Tech workers of the world, unite for human rights!, and Announcing the Humane AI newsletter) و نتیجه‌­ش رو می­گیره. بعد متوجه می­شه که با توجه به این ابزار من تو زمینه­‌های «نظم و ترتیب»، «وظیفه­‌شناسی»، و «اجتماعی بودن» افتضاحم! آره دقیقا همون ویژگی­‌های خوبی که رییست میخواد که حتما داشته باشی...

چطوری می­تونم درستش کنم؟ ? ممکنه بخوام توی متن­‌هام یه تغییرات کوچیکی انجام بدم تا نتایج رو تغییر بده و اینطوری خودم رو کاندیدای بهتری برای این شغل معرفی کنم. وقتی بیشتر درباره­‌ی فرهنگ لغت LIWC مطالعه کردم فهمیدم‌ که استفاده­‌ی مکرر از یک سری دسته لغت خاص، با ویژگی­های شخصیتی ارتباط مستقیم داره. بنابراین تصمیم گرفتم که ضمیرهای اول شخص مفرد رو تبدیل به جمع کنم و روی متن اصلی یک سری اصلاحات ریز انجام دادم.

تغییراتی که روی متن اعمال کردم رو در ادامه می­تونید ببینید (که به رنگ سبز کدگذاری شده):

ماموریت با موفقیت انجام شد! فقط با چند تغییر کوچیک (مثل حذف کردن کلماتی که ممکنه منفی یا خودخواهانه به نظر بیان، مثلا «نگران»، «مال من» و «خودم») ویژگی­های شخصیتی‌‌ام رو طوری بهبود دادم که دیگه یه شخص قابل اعتمادتر و وظیفه‌­شناس­‌تر به نظر بیام، ایده‌آل برای استخدام!

یک جایی وسط این تغییرات، علایق احساسی و هنریم رو هم از دست دادم. علاوه بر این، این رو هم در نظر داشته باشید که این نتایج –چه متن اصلی وبلاگم و چه متن تغییر داده شده- با نتایجی که بر اساس توییترم به دست اومده بود (که اول این پست نشون داده بودم) کاملا متفاوتن. فایل­‌های ورودی و خروجی رو می­تونید از اینجا ببینید.

آیا مذهب تاثیر داره؟

تو آزمایش دوم، تصمیم گرفتم سخنرانی­‌های عمومی ایلهان عمر (نماینده‌ی مسلمان مجلس نمایندگان ایالات متحده) رو به عنوان ورودی به ابزار بدم. درست مثل آزمایش قبلی، متن رو طبق چیزی که در ادامه می­‌بینید تغییرات جزیی‌­ای دادم:

و نتیجه این شد که می­بینید. تغییرات خیلی چشمگیر نیستن اما باز هم باعث شد به فکر فرو برم که تو مقیاس بزرگتر ممکنه چه تاثیری داشته باشن! (برای دیدن فایل­‌های ورودی و خروجی اینجا رو ببینید).

با به‌کارگرفتن همچین مثالی، قصد ندارم نتیجه بگیرم که ادراکات شخصیتی IBM علیه گروه مذهبی خاصی رفتار تبعیض‌­آمیز داره. ولی می­خوام نشون بدم که حتما یک متغیر یا ترکیبی از متغیرها یا نوعی الگو درون داده‌­های آموزشی (یا قسمت ارائه­‌ی واژگان GloVe یا مدل نهایی) وجود داره که چنین تفاوت­‌هایی رو ایجاد کرده و درک منطقی که پشت این تفاوت­ها وجود داره، خیلی ارزشمنده.

تا وقتی این مدل مثل یه جعبه سیاه اطلاعاتش نامشخص باشه، نمی­تونیم منطق تغییراتی که توی خروجی به وجود میاد رو تفسیر کنیم. نگرانی من اینه که این عدم شفافیت در روش­‌های تصمیم­‌گیری ابزار، می­تونه برای بعضی گروه­‌های مذهبی آسیب­‌زا باشه. مثلا فرض کنیم که دولت بخواد از این ابزار برای بررسی اپلیکیشن‌ها و درک ویژگی­‌های شخصیتی افراد پناهجو استفاده کنه که تو کشور خودشون بخاطر نوشتن و فعالیت­‌های مذهبی­‌شون محکوم شده باشن.

موارد کاربردی و پیامدهای اخلاقی

میشه آزمایش­‌های زیادی طراحی کرد که باهاش ابزار ادراکات شخصیتی رو تست کنیم. ولی برای من بیشتر پیامدهای اخلاقی و حقوقی این ابزار اهمیت داره. چه موارد کاربردی واقعی‌­ای وجود داره؟ این ابزار روی حق و حقوق اشتغال ما چه تاثیری می­تونه داشته باشه؟ روی حریم خصوصی؟ آزادی بیان و عقیده؟ برای جلوگیری از ریسک پیامدهای مضر احتمالی، IBM چه کارهایی می­تونه انجام بده؟

برای اینکه درک بهتری از پیامدهای اخلاقی و حقوقی این ابزار داشته باشم، از «اصول راهنمای تجارت و حقوق بشر سازمان ملل» یا UN Guiding Principles on Business and Human Rights به‌ عنوان راهنما استفاده کردم که بتونم درک کنم که در موارد مختلف چطور حقوق گروه­‌های آسیب­‌پذیر ممکنه تحت تاثیر قرار بگیره. در اینفوگرافیکی که می­بینید، سعی کردم منظورم‌ رو از UNGP و «سنجش اثرات حقوق بشری» نشون بدم.

شرکت IBM ادعا می­کنه که ابزار ادراکات شخصیتی می­تونه برای اهداف بازاریابی و جذب مشتری، ایجاد ارتباط بین افراد (مثلا زوج­‌یابی، پیدا کردن دکتر و...)، و نوشتن رزومه مورد استفاده قرار بگیره. علاوه براین کاربردهای خاصی هم برای این ابزار وجود داره مثل «پایش و پیش‌­بینی سلامت روانی» و «پایش عناصر رادیکال و نابهنجار از طریق شبکه­‌های اجتماعی» (شناسایی کردن نشانه­‌های زودهنگام رادیکالیزه شدن).

وقتی داشتم پست­های وبلاگ IBM رو درباره­‌ی بعضی مواردی که در اون از ابزار ادراکات شخصیتی استفاده شده مطالعه می­کردم، دو کاربردی که در ادامه میگم نظرم رو جلب کرد.

• شرکت KangoGift ابزارهای مربوط به منابع انسانی (HR) رو به منظور «تصویر کردن، شناسایی، پاداش دادن، و تقویت رفتارها و اعمال کارکنان نمونه» ارائه میده. با کمک IBM Cloud و تحلیل‌گر لحن واتسون و ابزار ادراکات شخصیتی. این شرکت ادعا میکنه که «هزاران مدیر از ۲۰ کشور دنیا از ابزارهای ما برای تشخیص اینکه چه کسی، جه زمانی و چرا باید در محل کار مورد توجه قرار گیرد استفاده می‌کنند.»این شرکت ابزارهای مربوط به منابع انسانی (HR) رو به منظور «تصویر کردن، شناسایی، پاداش دادن، و تقویت رفتارها و اعمال کارکنان نمونه» ارائه میده. با کمک IBM Cloud و تحلیل‌گر لحن واتسون و ابزار ادراکات شخصیتی.

• شرکت MXM از ادراکات شخصیتی IBM برای تصمیم‌­هایی مربوط به استخدام افراد،‌ مدیریت استعدادها، و بهینه کردن بازدهی تیمی استفاده می­کنه. MXM ادعا می­کنه که موسسه‌­های آموزشی هم می­تونن از خدمات اونا برای «کمک به دانشجویان برای انتخاب رشته‌­ی درست» استفاده کنن. همچنین ادعا می­کنه که اون­ها یکی از بهترین ارائه­‌کنندگان خدمات منابع انسانی برزیل هستن. میتونید از اینجا بیشتر راجع بهشون بخونید.

به نظر من، درباره­‌ی موارد اشاره شده در بالا، مهم­‌ترین نگرانی­‌هایی که در مورد حقوق افراد وجود داره این­ها هستند:

حق برابری و آزادی از تبعیض (بند۲ بیانیه‌­ی جهانی حقوق بشر یا UDHR)

حق داشتن شرایط عادلانه و مطلوب کاری و فرصت­‌های شغلی برابر (بند ۲۳ UDHR؛ عنوان هفتم حقوق شهروندی قانون ۱۹۶۴ آمریکا)

شاید براتون سوال باشه که چرا این قطعه از بیانه­‌ی جهانی حقوق بشر به موضوع بحثمون مرتبطه؟ الان با یه مثال براتون میگم:

انگلیسی زبان دوم منه. اگه شما ایرانی باشید - یا دوست­های ایرانی داشته باشید- می­دونید که ما گاهی موقع صحبت کردن و نوشتن به انگلیسی حروف تعریف (a, an, the) رو جا می­ندازیم. بعضی­ وقت­ها هم پیش میاد که he و she رو به جای هم به کار می­بریم چون تو فارسی ضمیرها جنسیتی نیست.

افراد مختلف عادت­‌های نوشتاری و گفتاری متفاوتی دارن. آیا این اشتباهات لپی امتیاز شخصیتی من رو تو ابزار پایین میاره؟ اگه یکی از شرکت­هایی که اسمشون آورده شده بخواد متن مصاحبه‌­ی من یا یکی از نوشته­‌هام رو برای ارزیابی استفاده کنه که تصمیم بگیره من رو استخدام کنه یا بهم ترفیع بده یا نه، در مقابل یه فردی که انگلیسی زبان مادریش هست من چه فرقی خواهم داشت؟

در پروژه­ای به نام «مراقب کلماتت باش» که انجمن ۲۰۱۹ هاروارد/ام‌­آی‌­تی انجام داده بود،‌ محققین نشون دادن که غلط­های املایی و استفاده‌­ی متفاوت از فاصله و ضمایر می­تونه چه تاثیر چشمگیری روی نتیجه‌­­ای که سیستم­‌های پردازنده­‌ی زبانی معمول به ما میدن، داشته باشه. مطالعات دیگری هم وجود داره که روی نابرابری نژادی که سیستم­های NLP بین توییت­‌های انگلیسی آفریقایی-آمریکایی ها و سایر آمریکایی­‌ها قائل میشن، متمرکز شده. بعلاوه، محققین به مشکل بزرگی اشاره کردن بعنوان کلیشه­‌ها و تعصبات جنسیتی در مفهوم کلمات، که ابراز ادراکات شخصیتی خیلی وسیع ازش استفاده می­کنه.

خلاصه اینکه،‌ این فاکتورها باعث می­شن که اگر بخوان کارکنان رو با ابزارهایی مثل ادراکات شخصیتی ارزیابی کنن، حفظ «شرایط کاری عادلانه و مطلوب» کار خیلی سختی باشه.

اما این همه‌­ی ماجرا نیست. موارد بسیار زیاد دیگه­‌ای هم وجود دارن که در اون­ها هم حقوق فردی کارکنان ممکنه تحت تاثیر قرار بگیره و محدود بشه. دو نمونه دیگه از مواردی که ممکنه این ابزار حقوق افراد رو زیر پا بذاره یا محدود کنه هم میگم:

حق آزادی بیان و عقیده (بند ۱۹ UDHR)

حق آزادی گردهمایی و تجمعات صلح­‌آمیز،‌ حق سازماندهی و مذاکره‌­ی جمعی (بند ۲۰ UDHR، بیانیه ILO در مورد قواعد و حقوق اساسی در کار)

بیاین دوباره برگردیم به آزمایشی که رو پست وبلاگم انجام داده بودم. همونطوری که ممکنه یادتون باشه، با یک سری تغییرات جزیی تونستم کاری کنم که کاندیدای شغلی قابل اعتمادتر و وظیفه‌­شناس­‌تری به نظر بیام. پس اگه بدونم که قراره بر‌اساس توییت­‌هام در مورد آینده­‌ی شغلی‌ام تصمیم گرفته بشه، این مساله روی اینکه چی می­نویسم و چطور می­نویسم تاثیر نخواهد گذاشت؟

اگه به دلایل نامشخصی (براساس قوانین نامشخصی که ابزار داره) امتیاز ویژگی «به چالش کشیدن قدرت» من بالا باشه، این باعث می­شه مدیران اون شرکت در مورد من گارد داشته باشن؟

در طول چندسال گذشته،‌ کارکنان حوزه­‌ی تکنولوژی و سازمان­‌های کارگری اعتراضات زیادی برای محکوم کردن نوع فعالیت­‌های شرکت‌­ها انجام دادند و خواستار شفافیت بیشتر شدن. آیا کمپانی­‌هایی مثل Palantir، Amazon، Uber یا هر کمپانی دیگه­‌ای از ابزارهایی مثل ابزار ادراکات شخصیتی استفاده میکنه و امتیاز مربوط به ویژگی «به چالش کشیدن قدرت» رو در کارکنانش براساس ارتباطات ایمیلی، توییت­‌ها یا پست­‌های فروم­‌های عمومی رو از این طریق ارزیابی می­کنه؟ آیا این کار مغایر با حق کارکنان برای آزادی اعتراض صلح آمیز و سازماندهی نیست؟

یه مثال دیگه هم براتون می­زنم:

حق برخورداری از حریم خصوصی (بند ۱۲ UDHR)

شرکت IBM ادعا می­کنه که ابزار ادراکات شخصیتی یه ابزار stateless؛ یعنی «هیچ محتوایی (شامل هرگونه اطلاعات شخصی فرد) در این سرویس ابری ذخیره نمی­شود» این خبر خوبیه، البته به نظر من. اما نگرانی من فقط این نیست که آیا IBM خودش این داد‌ه‌­ها رو ذخیره می­کنه یا نه، بلکه راجع به وجود اون توسعه‌­دهنده­های شخص ثالثی نگرانم که از API ادراکات شخصیتی برای اپلیکیشن­های خودشون استفاده می­کنن. براساس چیزی که IBM میگه «مشتریان مسئولند که در مورد سازگاری مسائل خود با قوانین و مقررات مختلف اطمینان کسب کنند، شامل قانون حفاظت از داده­‌های عمومی اتحادیه اروپا. [...] IBM هیچگونه مشاوره‌­ی حقوقی، حسابداری یا حسابرسی ارائه نمی‌­کند یا گارانتی نمی­‌کند که هیچ­یک از خدمات یا محصولاتش در مورد سازگاری با قوانین یا مقررات برای مشتریان قابل قبول باشد.» (منبع)

طرح Lite شرکت IBM به شما اجازه میده بدون پرداخت هیچ هزینه‌­ای ۱۰۰۰ درخواست API در ماه برای ابزار ادراکات شخصیتی داشته باشید.خلاصه اینکه،‌ هرکسی به هر دلیلی، می­تونه از ابزار ادراکات شخصیتی استفاده کنه و شخصیت شما رو بر اساس نوشته­‌های عمومی­‌تون، یا ارتباطات ایمیلی­‌تون یا فعالیت­‌های شبکه­‌های اجتماعی‌­تون نتیجه‌­گیری کنه- بدون اینکه حتی به شما اطلاع داده بشه.

??‍♀️ حرف پایانی

اون­چه که من تو این پست نوشتم فقط نمونه‌­ای از خروارها سیستم‌های یادگیری ماشین جعبه-سیاه ماننده که اخیرا به سرعت در حال تکثیرن – شرکت IBM Watson به‌هرحال یکی از هزاران مورده- که می­تونن عواقب ناخواسته‌­ای داشته باشن. درسته، شکی نیست که موارد استفاده­‌ی معتبری برای این ابزار و ابزارهای دیگه مثل این وجود داره. اما به نظر میاد که اثرات بالقوه‌­ی اون به خوبی در نظر گرفته نشده بود: چطور می­تونیم اطمینان کسب کنیم که فواید چنین ابزاری از آسیب­‌های احتمالی که برای ضعیف‌­ترین اقشار جامعه ممکنه داشته باشه بیشتره؟

اگه شما یک توسعه دهنده هستید که میخواید از هرگونه سرویس‌های ML مبتنی بر فضای ابری برای اپلیکیشن شخصی خودتون استفاده کنید، بهتون قویا توصیه می­کنم که مستندات اون سرویس رو زیر و رو کنید و مسائل مربوط به اخلاقیات و حقوق فردی و اجتماعی رو بررسی کنید. سناریو‌های فرضی بسازید و قبل از اینکه بخواید ازش استفاده کنید ابزار رو با اون­ها تست کنید و ببینید چه تاثیری ممکنه روی افراد و گروه‌های مختلف مثل اقلیت‌های جنسی و جنسیتی، کودکان، اقلیت‌های مذهبی، پناهجویان، و غیره میتونه داشته باشه. ببینید که هر چند‌وقت یه بار سرویس‌­ها و مستنداتشون رو آپدیت می­کنن. و همیشه به تاثیرات و کاربردهای بزرگتر فکر کنید. (ممکنه روش کاری که تو این دو پست استفاده شده به دردتون بخوره: تعصب جنسیتی و نژادی در APIهای احساسات مبتنی بر فضای ابری NLP، از بین رفتن کیفیت: تکامل ضمنی سرویس­های بینشی کامپیوتری).

و در آخر، در مورد خود شرکت IBM، فقط یه درخواست دارم.

این «فکت شیت» که کارکنان خودتون در تیم تحقیقاتی IBM پیشنهاد کردن رو پر کنید و به طور عمومی منتشرش کنید: فکت شیت­‌ها: اعتماد فزاینده به سرویس­های AI از طریق سند تضمین اعتبار از سوی تهیه کننده. اگه نمی­تونید ساختن ابزارهای جعبه سیاه مانند رو متوقف کنید، حداقل به پیشنهاد کارکنان خودتون عمل کنید و یه «فکت شیت» منتشر کنید. شفاف عمل کنید و نشون بدید می­تونید یه نمونه‌­ی خوب از کاربرد یادگیری ماشین باشید، نه یه نمونه‌­ی بد.