https://virgool.io/feed/@taraaz صفحه‌ای برای انتشار مطالبی در مورد مسئولیت‌‌های شرکت‌های فناوری، توسعه‌دهندگان و برنامه‌نویسان در قبال حقوق کاربران. https://taraazresearch.org fa 2026-06-10 14:46:58 https://files.virgool.io/upload/users/333732/avatar/94GyBZ.png?height=120&width=120 https://virgool.io/@taraaz https://virgool.io/@taraaz/%D8%B1%D8%A7%D9%87%D9%86%D9%85%D8%A7%DB%8C-%D8%B1%D8%B9%D8%A7%DB%8C%D8%AA-%D8%AD%D9%82%D9%88%D9%82-%D8%AF%DB%8C%D8%AC%DB%8C%D8%AA%D8%A7%D9%84-%DA%A9%D8%A7%D8%B1%D8%A8%D8%B1%D8%A7%D9%86-%D8%A8%D8%B1%D8%A7%DB%8C-%D8%B4%D8%B1%DA%A9%D8%AA-%D9%87%D8%A7%DB%8C-%D9%81%D9%86%D8%A7%D9%88%D8%B1%DB%8C-ki9mrptqrwhx تهیه شده برای شرکت‌های فناوری نوپا، بر اساس شاخص رتبه بندی حقوق دیجیتال Ranking Digital Rights Corporate Accountability Indexسال گذشته با همکاری گروه فیلتربان گزارشی تهیه کردیم در رابطه با حقوق دیجیتال کاربران و مسئولیت شرکت‌های فناوری. تو اون گزارش از شاخص رتبه بندی حقوق دیجیتال Ranking Digital Rights و اصول راهنمای تجارت و حقوق بشر سازمان ملل استفاده کردیم تا عملکرد بعضی از شرکت‌های پیام‌رسان ایرانی و غیر‌ایرانی رو در رابطه با میزان شفافیت و احترام‌شون به حقوق کاربران بررسی کنیم. میتونید گزارش رو تو این صفحه بخونید. ولی جدا از اون گزارش و تمرکزش رو شرکت‌های پیام‌رسان، یه دفترچه‌ی راهنما هم درست کردیم و توصیه‌هایی ارائه دادیم که تقریبا قابل تعمیم به اکثر شرکت‌های نرم‌افزاری ارائه‌ی سرویس و تولید محتوا هم میشه. تو این پست ویرگول تصمیم گرفتیم خلاصه‌ای از کارمون رو بنویسیم.این مطلب به دو بخش تقسیم شده، بخش اول یه‌سری توصیه‌ی کلی رو در رابطه با حقوق دیجیتال و مسئولیت شرکت‌های فناوری ارائه میده. بخش دوم این پست میگه که چه‌طور این توصیه‌ها رو عملی کنید. برای مثال یه دفترچه‌ی راهنمایی درست کردیم که شامل راهنمای برگزاری ورکشاپ حقوق دیجیتال و سه گوگل شیت مربوط به حریم خصوصی، آزادی بیان و سیاست‌‌‌گذاری‌های شرکت میشه. در آخر هم مثالی از همین پلتفرم ویرگول آورده شده که بهتون میگه چه‌طور این گوگل‌شیت‌ها رو در طول ورکشاپ تکمیل کنید. ? توصیه‌هایی برای شرکت‌های فناوریشفافیت در سیاست‌های حفظ حریم خصوصیسیاست‌های حفظ حریم خصوصی باید به زبانی ساده و غیرتخصصی نوشته شوند. این سیاست‌ها باید روی وب‌سایت‌ شرکت‌ها و فروشگاه‌های اپلیکیشن به‌راحتی در دسترس باشند.هر موقع شرکت‌ها سیاست‌های حفظ حریم خصوصی خود را به‌روزرسانی می‌‌کنند، می‌بایست با فرستادن پیام، ایمیل یا notification کاربران را از این تغییرات مطلع ساخته و آرشیو تغییرات را روی وبسایت خود نگه دارند.شرکت‌ها باید به صورت علنی اعلام کنند که چه نوع داده‌هایی جمع‌آوری‌ می‌شود، به چه دلیل جمع‌آوری می‌شوند، به چه صورت ذخیره می‌شوند، و برای چه مدتی نگه داشته می‌شوند.شرکت‌ها باید در بخش سیاست‌های حفظ حریم خصوصی و داده‌ها، درباره روش‌های به اشتراک‌گذاری داده با شرکت‌های تبلیغاتی و کارگزاران داده، چگونگی استفاده از کوکی‌ها و همینطور سیاست‌های عرضه‌ی APIهای خود، شفافیت داشته باشند.طراحی بر مبنای حفظ حریم خصوصی و امنیت دیجیتال کاربرانشرکت‌ها، برای سرویس‌هایی که نیازمند ساخت حساب کاربری هستند، می‌بایست از کاربران بخواهند تا رمز عبور قوی و مطمئن انتخاب کنند. اگر شرکتی به اطلاعات حساس افراد مانند نام، شماره تلفن، نشانی و غیره دسترسی دارد، باید حتماً گزینه‌ی تصدیق حساب چند مرحله‌ای (Multi-factor Authentication) را برای کاربران خود فراهم کند.شرکت‌ها می‌بایست جمع‌آوری اطلاعات کاربران خود را به میزانی که فقط برای ارائه‌ی صحیح سرویس ضروری است محدود کنند. بسته به نوع سرویس، جمع‌آوری، پردازش، و ذخیره‌ی اطلاعات حساس کاربران باید از روش‌های مخفی نگه داشتن هویت، مانند مستعارسازی (pseudonymization)، ناشناس سازی (anonymization) و غیره استفاده شود. اصول privacy by design را مطالعه و پیاده‌سازی کنید. شرکت‌ها می‌بایست برای رمزنگاری داده‌ها از الگوریتم‌های قوی و مورد تایید پژوهشگران حریم خصوصی استفاده کنند تا اطلاعات کاربران را در زمان انتقال و همینطور تا زمانی که این داده‌ها ذخیره می‌شوند، حفاظت کنند. رمزنگاری قوی باید به صورت پیش‌فرض (by default) تعبیه شود. در جایی که این امکان وجود داشته باشد، از جمله اپلیکیشن‌های پیام‌رسان و سرویس‌های VoIP، باید رمزگذاری سرتاسری (End to End Encryption) پیاده‌سازی شود. گزارش‌های فنی که شامل توضیحات درباره الگوریتم‌های رمزنگاری هستند، باید به صورت علنی روی صفحات آنلاین رسمی هر شرکت -- برای مثال صفحه‌ی گیتهاب، در دسترس عموم و بالاخص پژوهشگران حریم خصوصی و امنیت سایبری قرار بگیرند. شرکت‌ها می‌بایست یک تیم داخلی مخصوص امنیت سایبری داشته باشند - که بتوانند شیوه‌های مرسوم امنیت سایبری مانند تشکیل تیم قرمز و آبی (red and blue teaming) یا مدل‌سازی تهدیدهای سایبری (threat modeling) را برای سرویس‌های شرکت پیاده‌سازی کنند - این تیم‌ها باید پیش از عرضه یک محصول، ‌تست‌های مختلف امنیت سایبری را روی آن محصول اجرا کنند. علاوه بر این، شرکت‌ها باید پذیرای دریافت گزارش بررسی از محققان امنیت و حریم خصوصی نیز باشند؛ این محققان سعی می‌کنند نقاط ضعف و باگ‌های امنیتی را پیدا ‌کنند، روشی متداول که باگ باونتی (bug bounty) نامیده می‌شود. علاوه بر این، هنگام طراحی و کدنویسی یک نرم افزار، شرکت‌ها باید بهترین روش‌های امنیتی را، از جمله پرهیز استفاده از کتابخانه‌های ناامن، بکار گیرند. برای دریافت اطلاعات بیشتر در زمینه روش‌های حفظ امنیت و حریم خصوصی در طراحی و کدنویسی برای خدمات خود به منابعی چون the Digital Standards و OWASP Security Testing Guide رجوع کنید.طراحان UX/UI، هنگام طراحی یک اپلیکیشن باید دسترسی به تنظیمات مربوط به حریم خصوصی و امنیت را تا حدی ساده طراحی کنند که افراد با سطوح مختلف سواد دیجیتالی و همینطور افراد با توانایی‌های متفاوت جسمانی و بینایی نیز بتوانند این تنظیمات را متوجه شده و از آنها استفاده کنند. پیشنهاد میدهیم از این چک‌لیست استفاده کنید.روش‌های طراحی به کار گرفته شده به منظور حفظ حریم خصوصی و امنیت، مانند گزارش‌ها و جزییات فنی، کدهای متن-باز و غیره باید روی وبسایت (وبلاگ رسمی، شبکه‌های چندرسانه‌ای و پلتفرم‌های میزبانی نرم‌افزار مانند GitHub و صفحات کدنویسان و سوالات متداول)، برای عموم در دسترس باشد.شفافیت در شرایط و ضوابط استفاده از خدمات و چگونگی اعمال این ضوابطبا ایجاد ضوابطی شفاف و قابل دسترس عموم-- تحت عنوان شرایط و ضوابط استفاده از خدمات--، شرکت‌ها باید نوع محتوا و فعالیت‌های مجاز و غیرمجاز بر روی سرویس خود را اعلام کنند.شرکت‌ها باید به صورت شفاف اعلام کنند که چطور شروط لازم برای کاربری و ضوابط استفاده از خدمات را اعمال می‌کنند. باید اعلام کنند که از چه شیوه‌های خودکار یا غیرخودکاری برای نظارت و کنترل فعالیت‌ها و محتوای منتشر شده استفاده می‌کنند، و اگر این ضوابط زیر پا گذاشته شوند، با آن کاربر یا محتوای منتشر شده چه برخوردی می‌کنند. در صورت زیر پا گذاشتن ضوابط، اگر شرکتی بخواهد محتوای منتشر شده را حذف کند یا دسترسی آن کاربر را به خدمات شرکت محدود کند، باید پیش از این اقدام کاربر را مطلع سازد و به صورت شفاف دلیل این کار را توضیح دهند.شرکت‌ها می‌بایست ضوابط استفاده از API و بات‌های اینترنتی خود را به صورت شفاف برای توسعه‌دهندگان و برنامه‌نویسان مشخص کنند. همچنین باید اطلاعاتی درباره روش‌های مبتنی بر اصول امنیت سایبری خود برای جلوگیری از سوء استفاده از APIها، در نظر بگیرند.گزارش شفافیتشرکت‌ها می‌بایست بر روی وبسایت خود سامانه شفافیت داشته باشند. در سامانه شفافیت، شرکت‌ها می‌بایست گزارش‌های خود را به صورت متناوب (هر شش ماه یا هر یک سال یک‌بار) منتشر کرده و با اعلام علنی موارد زیر، درباره عملکرد خود شفاف‌سازی کنند:▫️ تعداد پست‌ها، اکانت و یا صفحات کاربری که حذف شده‌اند، چه به صورت خودکار و چه به صورت غیرخودکار.▫️ تعداد درخواست‌های دریافت شده از نهادهای دولتی و مقامات قضایی برای حذف محتوا یا اکانت و صفحات کاربری و درخواست دسترسی به اطلاعات آنها، افزون بر اینکه چه تعداد از این درخواست‌ها پذیرفته شده و چه تعداد رد شده است.▫️ تعداد درخواست‌های دریافت شده از نهادهای غیردولتی (طرفین ثالث، شرکت‌های دیگر، کاربران و غیره) برای حذف محتوای سایر کاربران و درخواست دسترسی به اطلاعات آنها، افزون بر اینکه چه تعداد از این درخواست‌ها پذیرفته و چه تعداد رد شده است.▫️ طبقه‌بندی محتوا، صفحات و حساب‌های کاربری، و بات‌های حذف شده بر اساس نوع تخطی در ضوابط استفاده از خدمات (برای مثال: مطالب مربوط به سوءاستفاده و آسیب جنسی به کودکان، زیر پا گذاشتن قانون کپی‌رایت، پورنوگرافی، اقدام تروریستی، و غیره)▫️ شرکت‌ها باید سامانه‌‌ی مخصوصی برای درخواست‌های نهادهای دولتی، مقامات قضایی و انتظامی برای دسترسی به اطلاعات کاربران و یا حذف محتوا، داشته باشند. شرکت‌ها در این سامانه، می‌بایست خط قرمزهای خود و روند رسمی مرحله به مرحله‌ی خود را برای دریافت چنین درخواست‌هایی از مقامات و چگونگی بررسی آنها ارائه دهند. همچنین باید نمونه‌های فرضی از درخواست موجه و غیرموجه را نیز در این سامانه اضافه کنند.برای جزییات بیشتر می‌توانید «قواعد سانتا کلارا درباره شفافیت و پاسخگویی» را مطالعه کنید و نمونه‌های مختلف گزارش‌های شفافیت را در این وبسایت مرور کنید.در مصور‌سازی اطلاعات مربوط به گزارش شفافیت می‌بایست از استفاده از عبارات دوپهلو و روش‌های مصور‌سازی گمراه کننده اجتناب شود. روند دریافت و بررسی درخواست‌های تجدیدنظر و کانال‌های دریافت نظر و پیشنهادشرکت‌ها می‌بایست روندی ساده و قابل فهم برای درخواست‌های تجدیدنظر فراهم کنند. کاربری که محتوا یا صفحه او محدود یا مسدود شده است، باید به راهی دسترسی داشته باشد که بتواند درخواست تجدیدنظر کند و یا توضیحات واضح شرکت در مورد این تصمیم را جویا شود.شرکت‌ها می‌بایست آدرس ایمیل، شماره تلفن برای خدمات مشترکین، شبکه‌های رسانه‌ اجتماعی، فرم‌های آنلاین و پرسشنامه داشته باشند تا بین خود، کاربران و هر گروه دیگری که در عملکرد این شرکت سهیم است، امکان ارتباط و دریافت نظرها و پیشنهادها را فراهم کنند.شفافیت در مالکیت و ساختار حکمرانی شرکتشرکت‌ها می‌بایست روی وبسایت خود، بخش «درباره ما» داشته باشند. در این صفحه باید با شفافیت درباره اینکه این شرکت متعلق به چه سازمان یا شخصی است و اینکه آیا از سوی یک شرکت مادر اداره می‌شود توضیح دهند. همچنین اعلام کنند که اسم شرکت مادر چیست، آیا وابسته به نهادی دولتی یا حکومتی است یا خیر.در صورت وقوع هرگونه نشت اطلاعاتی‌‌، شرکت‌ها موظف هستند تا عموم را از طریق نشر اطلاعیه‌ی عمومی و فرستادن ایمیل به کاربران، از ابعاد و نحوه‌ی ایجاد این نشت مطلع سازند. علاوه بر این، تمام این اطلاعات را باید در گزارش شفافیت خود که به صورت متناوب منتشر می‌شود، درج کنند.شرکت‌ها می‌بایست از «اصول راهنمای تجارت و حقوق بشر سازمان ملل» جهت ارزیابی اثرات حقوق بشری — که به سبب ارائه خدمات و فعالیت‌های شرکت در آن دخیلند— استفاده کنند. آنها باید به صورت علنی اعلام کنند که از طریق عضویت در طرح‌های چند-ذینفعی با جامعه مدنی — بالاخص با نهادهایی که با گروه‌های آسیب‌پذیر جامعه مانند کودکان، اقلیت‌های قومی، جنسی و جنسیتی، مذهبی و پناهجویان کار می‌کنند— مشاوره می‌گیرند. برای حصول اطمینان از این موضوع که کارکنان یک شرکت با مسائل مربوط به حقوق دیجیتال آشنایی دارند، آن شرکت می‌بایست برای کارکنان خود (از مدیران عالی‌رتبه گرفته تا کارشناسان فنی، و گروه‌های حقوقی، فروش، منابع انسانی) مطالب و ورکشاپ‌های آموزشی فراهم کند تا کارکنان بدانند چطور باید از آسیب‌های احتمالی به حقوق کاربران در فعالیت‌های مرتبط با حرفه‌ی خود جلوگیری کرده یا آن‌ها را محدود کنند.شرکت‌ها باید در روند قانونگذاری کشور، در جایی که مرتبط با حوزه‌ی تکنولوژی است، با کمیسیون‌های مجلس و نهاد‌های دولتی گفتگو داشته باشند، نگرانی‌های خود را اعلام کنند و از حقوق دیجیتال کاربران خود پشتیبانی کنند. اتحادهای میان-شرکتی، نوشتن نامه‌های سرگشاده به مسئولان، گفتگو با رسانه‌ها و مطبوعات از جمله راهکارهایی است که به تحقق این امر کمک می‌کند.? دفترچه‌ی راهنمای رعایت حقوق کاربران این دفترچه راهنما برای چه کسانی تهیه شده است؟ مخاطب این دفترچه شرکت‌های فناوری نوپا در ایران میباشد که میخواهند ارزش‌های حقوق دیجیتال را از همان قدمهای اول در تمامی فعالیتهای مربوط به طراحی و توسعه‌ی محصولشان اجرا کنند.چطور میتوانید از این دفترچه‌ی راهنما استفاده کنید؟ ما پیشنهاد میکنیم که ورکشاپ‌های یک روزه یا دو روزه‌ای ترتیب دهید تا زیرمولفه‌ یا سنجه‌های مختلف این دفترچه راهنما را با دقت مرور کنید.مقدمات ورکشاپیکی از اعضای تیم مدیریتی/اجرایی باید برای ترتیب دادن یک ورکشاپ پیش‌قدم شود. این شخص، پیش از هر چیز، باید این گزارش و دیگر منابع از جمله اصول راهنمای تجارت و حقوق بشر سازمان ملل را مطالعه کند، سپس این منابع را بین اعضای تیم پخش کند. فرد متصدی می‌بایست اعضای بخش‌هایی که در زیر فهرست شده‌اند را برای شرکت در این ورکشاپ دعوت کند:وسایل مورد نیاز ورکشاپفعالیت‌های ورکشاپ فرد متصدی، ورکشاپ را با ارائه یک پرزنتیشن کوتاه درباره اصول راهنمای تجارت و حقوق بشر سازمان ملل و شاخص رتبه‌بندی مسئولیت شرکت‌ها در قبال حقوق دیجیتال - RDR آغاز خواهد کرد. پس از آن به اهداف و دلایل برگزاری ورکشاپ می‌پردازد. شخص برگزار کننده همچنین میبایست فعالیت‌های ورکشاپ را توضیح داده و یک نفر را برای یادداشت‌برداری و یک داوطلب را برای جمع‌آوری یادداشتها و کمک در بهتر برگزار شدن گفتگو، برگزیند.جدول مولفه‌ها به دفترچه راهنمای اکسل‌ یا گوگل‌شیت مراجعه کنید و فایلهای اکسل حریم خصوصی، آزادی بیان و سیاست‌گذاری‌های شرکت را دانلود کنید یا کپی کنید. فایل مربوط به مولفه‌های حریم خصوصیفایل مربوط به مولفه‌های آزادی بیانفایل مربوط به مولفه‌های حکمرانی شرکتگفتگوی گروهیفرد برگزار‌کننده‌ ورکشاپ، هر یک از مولفه‌ها در دفترچه راهنما را میخواند و گروه،گفتگو را با پاسخ دادن به این سوالات آغاز میکند:مثالی از «ویرگول»این کلیپ کوتاه بهتون میگه که گوگل‌شیت‌ها رو چه‌طور تکمیل کنید. ما از مثال سیاست‌های حریم خصوصی ویرگول -- که اینجا قابل دسترسه https://virgool.io/privacy -- استفاده کردیم.لینک ویدیو YouTubeلینک مربوط به مولفه‌های حریم خصوصیلینک مربوط به مولفه‌های آزادی بیانلینک مربوط به مولفه‌های حکمرانی شرکت اینم یه gif اگر حوصله‌ی ویدیو دیدن رو ندارید:https://www.youtube.com/watch?v=KYO6KnDTJswمسئولیت انتشار این مطلب روی پلتفرم «ویرگول» بر عهده‌ی موسسه‌ی تراز می‌باشد. برای تماس با ما و یا اطلاع بیشتر از فعالیت‌های ما به وبسایت‌ https://taraazresearch.org/ مراجعه کنید. Taraaz - تراز Taraaz - تراز Thu, 29 Jul 2021 00:13:19 +0430 https://virgool.io/@taraaz/%D8%B1%D8%A7%D9%87%D9%86%D9%85%D8%A7%DB%8C-%D8%A7%D8%B3%D8%AA%D9%81%D8%A7%D8%AF%D9%87-%DB%8C-%D9%85%D8%B3%D8%A6%D9%88%D9%84%D8%A7%D9%86%D9%87-%D8%A7%D8%B2-api%D9%87%D8%A7%DB%8C-%DB%8C%D8%A7%D8%AF%DA%AF%DB%8C%D8%B1%DB%8C-%D9%85%D8%A7%D8%B4%DB%8C%D9%86-dpnu7di1ef7v اصل متن توسط رویا پاکزاد و به زبان انگلیسی نوشته شده است. با تشکر از پ. برای ترجمه.ماه پیش، دوستی استوری‌­ا‌ی در اینستاگرامش منتشر کرد. استوری درباره­‌ی تحریم خرید یک محصول روشن­‌کننده‌­ی پوست در هندوستان بود با اسم تجاری «روشن و دوست­داشتنی» (Fair and Lovely). هدف تحریم چی بود؟ اینکه افکار عمومی رو با مساله‌­ی مهم­‌تری به نام رنگ گرایی (colorism) در هندوستان آشنا کنه.درسته من هندی نیستم، اما پیام این کمپین برام یادآور خاطرات مشابهی در ایران بود. بین فامیل هم با چنین محصولات «زیبایی»‌ای که ادعا می­‌کنه پوست مصرف کننده رو روشن­‌تر می­کنه روبه‌­رو شده بودم. سنم کم بود و فکر نمی­‌کردم واقعا چیز مهمی باشه. اما این روزها، مطرح شدن جنبش سیاهان در ایالات متحده (Black Lives Matter) باعث شده همه‌­ی کسانی که تو کشور خودشون با نوعی نژادپرستی یا رنگ­‌گرایی مواجه شده بودن هم به فکر فرو برن.ترجمه توییت دکتر لوکر: حذف کلمه‌­ی «روشن» از «روشن و دوست­‌داشتنی» و تولید دوباره­‌ی اون با نام جدید چیزی رو عوض نمی­کنه چون در نهایت باز هم این محصول به عنوان روشن کننده و به قیمت تحقیر شدن افراد با رنگ پوست­های متفاوت به فروش می­رسه.وقتی داشتم توییت‌­های مربوط به این کمپین رو میخوندم، به این فکر افتادم که شرکت سازنده‌‌‌ی کرم روشن‌کننده‌ی پوست، یعنی ‌‌یونیلور، برداشت و برخوردش با این توییت‌­ها چیه؟ آیا از ابزارهای تحلیل­گر رسانه‌­های مجازی –مبتنی بر تکنولوژی تشخیص احساسات– استفاده میکنه که بتونه درک سریعی از بازخورد مردم داشته باشه؟ چون میدونم جدیدا خیلی مرسومه که شرکت‌ها از ابزارهای تحلیل­گر متن استفاده کنن تا با توجه به چیزهایی که در رسانه­‌های مجازی مطرح می­شه رضایت مشتریان رو تخمین بزنن.من یک پژوهشگر امور تکنولوژی و حقوق بشر هستم. کار من درک تاثیرات اجتماعی و حقوق بشری تکنولوژی‌های دیجیتاله. به همین دلیل بود که تصمیم گرفتم از قضیه‌ی کمپین «روشن و دوست­‌داشتنی» برای بررسی APIهای معمول تحلیل­گر احساس استفاده کنم. به خصوص، این موضوع برام سوال بود که مثبت بودن عبارت «روشن و دوست­داشتنی» (Fair & Lovely) از نظر احساسی، تا چه حدی ممکنه ابزار تحلیل احساس را گمراه کنه و منجر به اشتباه در دسته‌­بندی احساس جمله­‌ها بشه، حتی اگه جمله از لحاظ احساسی اصلا بار معنایی مثبتی هم نداشته باشه.این سوال باعث شد که این پست رو بنویسم، مخصوصا برای توسعه­‌دهندگانی که از تکنولوژی­‌های یادگیری ماشین به عنوان خدمات (MLaaS) استفاده می­کنن و همینطور برای همکارانم که به تاثیرات اجتماعی و حقوق بشری تکنولوژی علاقه­‌مندن.من API تحلیل­گر لحن IBM (IBM Tone Analyzer API) و API تحلیل­گر احساس متن ParallelDots (ParallelDots Text Analysis Emotion API) رو انتخاب کردم و نتایجشون رو روی توییت­‌های مربوط به محصول «Fair & Lovely» شرکت یونیلور امتحان کنم. در ادامه توضیح می­دم که ارائه دهندگان این APIها چه سیاست­‌های حفظ حریم خصوصی‌ای دارن، شرایط خدمات اون­‌ها به چه صورته، چه مستنداتی از مدل‌های یادگیری ماشین‌شون ارایه میدن و در آخر بهتون می­گم که برای انتخاب API چه معیارهایی باید داشته باشین.خب، فرض می­کنیم شما یک توسعه­‌دهنده یا تحلیل­گر رسانه­‌های مجازی هستید، و شرکت یونیلور سراغتون اومده تا احساس مشتریاش رو از محتویات رسانه‌­های مجازی تحلیل کنید. چیکار می‌­کنید؟فرض می­‌کنیم شما مهارت، اطلاعات و داده‌ی لازم برای ساختن مدل یادگیری ماشین مخصوص این موضوع رو ندارید و نمی­‌خواید از مدل­های از پیش ساخته شده (pre-trained) هم استفاده کنید. در عوض ساده ­ترین مسیر رو انتخاب می­کنید: استفاده از API تحلیل­گر احساس حاضر و آماده که مدل اصلی‌اش توسط یه شرکت دیگه ساخته شده. حالا اگر شما جزو دسته‌ی آخر هستید، برای انتخاب و بکارگیری مسئولانه­‌ی این APIها چه معیاری دارید؟ای-پی-آی ها (API) قانونی دارند -- و قدرتی!اول از پایه شروع می­کنیم. رابط برنامه­‌نویسی کاربردی (API) به نرم­‌افزارهای مختلف کمک می­کنه با هم ارتباط برقرار کنن. API اجازه می­ده که یک اپلیکیشن درخواستی ارائه بده (درخواست دسترسی به داده یا خدمات) و یک اپلیکیشن دیگه به این درخواست پاسخ بده و اون دسترسی رو میسر کنه. برای مثال، اگه شما یک شرکتی مثل توییتر هستید و از پژوهشگران می­خواید که از داده­‌های شما برای کار پژوهش­ی‌شون استفاده کنن، با یک API اجازه‌­ی دسترسی به این داده‌­ها رو در اختیارشون میذارید یا مثلا اگر بخواید با استفاده از اینترنت اشیا (IoT) وسایل هوشمند خونه‌تون رو به هم متصل کنید تا با هم ارتباط برقرار کنن (مثلا لامپ هوشمند‌تون به رویدادهای سالنامه‌­ی گوگل‌­تون واکنش نشون بده) باید این خدمات رو از طریق API به هم مرتبط کنید.اما مثل هر جور تعاملی، باید بین این سرویس‌ها قبل از شروع تعامل قوانینی وجود داشته باشه. این قوانین از طریق سیاست­های API، سیاست­های مرتبط با توسعه‌­دهنده‌­ها و شرایط خدمات شرکت ارائه دهنده‌ی API وضع می­شه. اما این تعاملات و سیاست‌هایی که گاهی شامل دسترسی به اطلاعات شما هم میشه چی هستن؟ اصلا چرا باید مهم باشن؟ این مثال‌‌ها نشون میده که چرا همچین چیزی مهمه.１) داستان کمبریج آنالتیکا و فیسبوک رو یادتونه؟ (محض یادآوری، اطلاعات ۸۷ میلیون کاربر در اختیار کمبریج آنالتیکا قرار گرفت که با استفاده از اون رفتار و علایق سیاسی کاربران فیسبوک رو تحلیل کنه و در نهایت رو انتخاب‌های سیاسی‌شون تاثیر بذاره). خلاصه اینکه، دلیل اصلی این شکل تجاوز به حریم کاربران و اشتراک داده­‌ها، سواستفاده از APIهای دسترسی به داده‌‌های فیسبوک بود. نتیجه این شد که بعد از داستان کمبریج آنالتیکا فیسبوک دسترسی توسعه دهنده­‌ها به داده‌­ها رو با ایجاد تغییراتی در سیاست­‌های APIهاش محدود کرد.２) موقع استفاده از APIهای یادگیری ماشین به عنوان خدمات تحلیل­گر هم نگرانی­‌هایی وجود داره. در چنین موردی قضیه برعکس مثال بالاست. توسعه­‌دهنده­‌ها داده‌­هایی در اختیارشون هست و از شرکت­های بزرگ فناوری می­خوان که با دادن دسترسی به APIهای یادگیری ماشین، این داده‌­ها رو براشون تحلیل کنن (MLaaS). تحقیقات جوی بولاموینی (Joy Buolamwini) و تیمنیت گبرو (Timnit Gebru) روی مطالعات جنسیتی نشون داد که بسیاری از مدل‌‌های یادگیری ماشین تشخیص چهره تبعیض نژادی و جنسیتی قائل می­شن. در نتیجه‌­ی این مطالعات، شرکت­های بزرگ فناوری خدمات API شون رو برای سازمان­های آمریکایی محدود کردن (اما کسی نمیدونه که هنوز چه روابط تجاری با سایر کشورها دارن... ??‍♀️).اما مسئولیت­ توسعه‌­دهنده‌­هایی که می­خوان از این APIهای یادگیری ماشین شرکت‌­های فناوری استفاده کنن چیه؟ آیا راهنمایی وجود داره که بهشون کمک کنه APIهای یادگیری ماشین را برای حوزه­‌های خاص خودشون یه‌کمی مسئولانه‌تر و بادقت‌تر انتخاب کنن و به کار بگیرن؟تحلیل­ احساس: تحلیل­گر لحن IBM (IBM Tone Analyzer API) یا تحلیل­گر احساس ParallelDots (ParallelDots Text Analysis Emotion API)خب، برای اینکه از APIهای یادگیری ماشین مبتنی بر فضای ابری که حی و حاضر و به‌ وفور موجوده استفاده کنید، چه‌کار میکنید؟ یک حساب کاربری می­سازید و دسترسی به API به شما داده می­شه. داده­‌های ورودی رو وارد می­کنید، خدمات­‌دهنده‌ی ابری «جادو»ش رو روی اون­‌ها اجرا میکنه، و نتایج به عنوان داده خروجی در اختیار شما قرار می­گیره. خیلی راحت!‌ حتی لازم نیست دانشی از علوم داده و یادگیری ماشین داشته باشید تا بتونید این API رو با محصولتون تلفیق کنید. یا حداقل می­شه گفت این ادعاییه که شرکت­ها می­کنن تا خدماتشون رو در بازار ارائه کنن، مثل تصویر زیر:?ولی از شوخی گذشته، به‌ عنوان یک توسعه‌دهنده شما یک سری معیار برای انتخاب یک سرویس دارید: معیارهایی مثل دقت، هزینه، و سرعت. اما اگه بخواید بر اساس معیارهای دیگه‌­ای مثل حریم خصوصی، امنیت، عادلانه بودن، و شفافیت یه سرویس یادگیری ماشینی رو انتخاب کنید چطور؟ چه روندی رو طی می­کنید؟ چه چیزهایی رو چک می­کنید؟بیاید برگردیم به توییت­‌های «Fair & Lovely». من با فرض اینکه خودم یک توسعه‌دهنده باشم، چند صدتا توییت درباره­‌ی «Fair & Lovely» به زبان انگلیسی رو به کمک Twint جمع­‌آوری کردم. بعد رفتم سراغ RapidAPI که پلتفرمیه که به توسعه‌دهنده­‌ها کمک می­کنه APIهای مختلف رو مقایسه و انتخاب کنن، و تحلیل‌گر لحن IBM (IBM Tone Analyzer API) و تحلیل­‌گر متن ParallelDots (ParallelDots Text Analysis Emotion API) رو به عنوان بهترین گزینه­‌ها انتخاب کردم. هر دو سرویس تعهد می­دن که احساساتی مثل ترس، عصبانیت، لذت، شادی و غیره رو از توییت‌­ها برداشت کنن.بعد توی هر دو سرویس ثبت­‌نام کردم و اعتبار لازم برای حساب کاربر توسعه دهنده رو دریافت کردم. حساب کاربری رایگان IBM آی-بی-ام ۲۵۰۰ درخواست API در ماه رو می­پذیره، و ParallelDots برای ۱۰۰۰ درخواست در روز رایگانه.در نهایت، آزمایش زیر رو اجرا کردم. نتایج زیر از نوشته­‌های توییت­‌های «روشن و دوست­داشتنی» به عنوان داده ورودی و جمع‌­آوری خروجی API ها بدست اومده. که می­تونید توی این spreadsheet هم ببینیدش.لطفا به تفاوت چشمگیر نتایج بین دو سرویس توجه کنین.منبعهمچنین عبارت «Fair & Lovely» را به عبارت­های خنثی­‌تری مثل «your product» و «this product» تغییر دادم. نتیجه­‌ی خروجی تغییر کرد! هر چند که بر مبنای تحلیل آدمی‌زادی عملا این جمله‌ها و احساس ‌پشتشون یکی ‌هستن.منبعاگر من جای توسعه‌دهنده‌ی فرضی‌ داستانمون بودم با این نتایج غلط و غلوط دیگه از این ابزار­ها برای این مورد خاص استفاده نمیکردم. شما بگین که آیا جمله­‌ی «یونیلور، Fair & Lovely را متوقف کن، دادخواست را امضا کنید!» شاد و سرخوش به نظر می­رسه؟ ??‍♀️اما بیاین فرض کنیم توسعه‌­دهنده‌­ی فرضی ما هنوز فکر می­کنه استفاده از این ابزارها مفیده. در این صورت باید موارد زیر رو در نظر بگیریم. این رو هم بگم که این لیست خیلی ابتداییه و به هیچ وجه لیست کاملی نیست. اما حداقل به شما نشون می­ده به عنوان یک توسعه دهنده موقع تصمیم‌­گیری برای استفاده از یک ابزار دنبال چه چیزی بگردید.ثبت نام: سیاست­های حریم خصوصی (Privacy Policies) و شرایط خدمات‌­دهی (Terms of Service)موقع ثبت­‌نام برای دریافت حساب کاربری توسعه دهنده،‌ همیشه شرایط خدمات‌­دهی (ToS) و سیاست­های حریم خصوصی رو به طور کامل مطالعه کنید. به طور خاص، در مورد اینکه اطلاعات خودتون و اطلاعاتی که به عنوان داده­‌های ورودی به شرکت می­دین چطور استفاده می­شه به خوبی کنجکاو باشید. سرویسی به نام Polisis وجود داره که به شما کمک می­کنه سیاست­‌های خدمات­‌دهنده­‌های مختلف رو باهم مقایسه کنید (عالی نیست اما می­تونه بهتون کمک کنه).سیاست­های حریم خصوصی توسعه دهنده و سیاست­های مختص به هر محصول رو مطالعه کنید تا بفهمید این شرکت چه اطلاعاتی از شما --به عنوان دارنده‌­ی حساب کاربری-- جمع­‌آوری می­کنه، چطور از این اطلاعات محافظت می­کنه؟ آیا داده‌­­های در حال سکون و در حال حرکت رمزگذاری می­شن؟ آیا منظورشون از metadata رو درست تعریف کردن؟ آیا داده­‌هایی که شما به عنوان ورودی به اون­‌ها می­دین رو نگه­داری می­کنن؟ برای چه مدت؟ آیا فایل­های ورودی ذخیره می­شن؟در اینجا مقایسه­‌ای بین سیاست­های دو سرویس مورد نظر خواهیم داشت. (از اینجا به بعد، مقایسه‌­های من بین جزییات تحلیل­گر لحن IBM (IBM Tone Analyzer API) و تحلیل­گر متن ParallelDots (ParallelDots Text Analysis Emotion API در باکس‌­های خاکستری مانند زیر نشون داده میشه) تحلیل­گر لحن IBM (IBM Tone Analyzer API): وقتی حساب کاربر توسعه دهنده­‌تون رو می­سازید، IBM سیاستهای حریم خصوصی‌­اش رو به شما نشون می­ده که از بازدید وبسایت گرفته تا خدمات ابری رو شامل می­شه. بعضی از چیزایی که میگن یک مقدار مبهمه. برای مثال:«IBM ممکن است اطلاعات شخصی شما را با شرکای منتخب مطرح کند تا به کمک آن­ها به شما سرویس ارائه...» اما شرکاشون چه کسانی هستن؟یا «ما اطلاعات شخصی شما را بیش از زمانی که لازم باشد که به اهداف مورد نظر برسیم نگه­داری نمی­کنیم». «بیش از زمانی که لازم باشد» یعنی چه‌قدر؟ اگه می­خواین اطلاعات مخصوص به جمع‌­آوری داده و نگهداریشون توسط API تحلیل­گر لحن رو بدونید به قسمت مستندات (document page) مراجعه کنید. بعضی اطلاعات مفیدی که دادن این­هاست:. لیست­ درخواست­ها (request loggings) در تحلیل­گر لحن غیرفعال شده.. این سرویس داده­‌های مربوط به درخواست­‌ها و پاسخ­‌ها رو لیست­‌بندی یا ذخیره نمی­کنه. . این سرویس «اطلاعات کاربران را پردازش می­کند اما آن را ذخیره نمی­کند. کاربران تحلیل­گر لحن نیازی به احراز هویت، حفاظت و یا حذف اطلاعات خود از این سرویس ندارند». ParallelDots: وب سایت ParallelDots ادعا می­کنه این مجموعه «از داده­‌های شما محافظت می­کند و مفاد قرارداد GDPR را کلمه به کلمه اجرا می­کند». ولی توضیح بیشتری داده نشده. کدوم داده‌­ها؟ ابرداده‌­ها (metadata) یا اطلاعات توسعه دهنده یا اطلاعات کاربری؟ شرایط استفاده از خدمات ParallelDots می­گه «شما نمی­توانید از این سرویس به هدف مانیتورینگ،‌ بازدهی یا کارایی یا دیگر اهداف مقایسه­‌ی شرکت­ها با یکدیگر و رقابت استفاده کنید». این خیلی برای من عجیبه. این یعنی من همین الان با نوشتن این پست شرایط استفاده از خدماتشون رو نقض کردم؟مستندسازیاگه شرکتی مستنداتی مانند Model Card for Model Reporting رو برای یک مدل یادگیری ماشین به­‌خصوص تهیه کرده باشه، قبل از استفاده­‌ی سرویس اون رو مطالعه کنید. مستندات API رو مطالعه کنید و دنبال اطلاعات درباره‌­ی امنیت API، تحقیقات پیش-زمینه‌­ای، داده­‌های آموزشی، معماری و الگوریتم‌­ها و معیارها‌ی سنجش مدل بگردید.? امنیت APIدر چند سال گذشته مثال­‌های زیادی از درز اطلاعات استفاده شده در APIهای ناامن اتفاق افتاده. این وظیفه‌­ی تامین­‌کننده‌­ی API هست که نقاط ضعف امنیتی رو برطرف کنه، درخواست­های مشکوک رو شناسایی کنه و مخابره‌ها رو رمزگذاری کنه. حتما مطمئن بشید که تامین کننده­‌ی API این مسائل امنیتی رو رعایت کرده باشه- برای اطلاعات بیشتر درباره‌­ی امنیت APIها اینجا رو بخونید.در زیر مقایسه‌­ی دیگری بین امنیت API ها برای دو سرویس مورد نظرمون انجام شده:تحلیل‌گر متن IBM: پیشنهاد IBM به توسعه دهندگان اینه که از IBM Cloud Activity Tracker with LogDN برای مانیتورینگ فعالیت‌هایی که در حساب کاربری ابری اتفاق می‌افته استفاده کنند و فعالیت‌های مشکوک رو بررسی کنند. برای افتتاح حساب از شما خواسته میشه پسورد قوی‌ای انتخاب کنید و برای شما یک کد تایید فرستاده می‌شه تا به حساب کاربری توسعه دهنده‌تون تایید بشه. ParallelDots: اطلاعاتی راجع به امنیت API در صفحه مستنداتش موجود نیست. توسعه دهندگان موقع ثبت نام لازم نیست پسورد قوی‌ای انتخاب کنند،‌ البته ParallelDots برای شما یک ایمیل تاییدیه می‌فرسته تا حساب کاربری¬تون رو تایید کنه.? مدل دقیق و جامع.. اما برای چه گروهی؟ در داستان «روشن و دوست­داشتنی» زبان نقش بسیار مهمی رو ایفا میکنه. توییت­‌هایی که فقط به زبان انگلیسی نوشته شده نمی­تونه درک درستی از گفتگوهای مربوط به این کمپین که در هندوستان اتفاق افتاده به ما بده چون این محصول منحصر به یک زبان نیست.مستندات API مدنظرتون رو چک کنید و ببینید زبان دیگری رو پشتیبانی می­کنه یا خیر. اگه جواب مثبته، میزان دقتش برای زبان­های مختلف به چه شکله؟ سرویس دهنده­‌ها معمولا ادعا می‌­کنند که زبان­‌های مختلفی رو پشتیبانی می­کنند اما اطلاعاتی راجع به دقت مدل و معیارهای محاسبه برای هر زبان به‌خصوص رو ارائه نمی­دن. مستندات API و تحقیقات زمینه­‌ای رو زیر و رو کنید، تا بفهمید معیارهاشون برای هر زیرگروه چیه.در مورد موضوع مدنظرمون من این موارد رو پیدا کردم:تحلیل‌گر لحن IBM: این شرکت ۱۱ زبان پشتیبانی شده رو لیست کرده. البته،‌ هیچ اطلاعات دقیق‌تری راجع به دقت یا معیارهای دیگه‌ی محاسبه برای زبان‌های مختلف ارائه نشده. ParallelDots: این شرکت هم ۱۴ زبان پشتیبانی شده رو لیست کرده. و هیچ اطلاعات بیشتری درباره‌ی دقت یا معیارهای محاسبه برای زبان‌های مختلف ارائه نکرده.❗️باید و نباید‌های استفاده از مدل بعضی از شرکت­‌ها شما رو درباره­‌ی کاربردهای پیشنهادی خدماتشون راهنمایی می­کنند، مثلا میگن این محصول به درد آنالیز کامنت‌ها و ریووهای مربوط به محصولتون یا بازاریابی میخوره.‌ اما بعضی وقت­ها این کاربردها خطرناک یا غیراخلاقی اند و منجر به تبعیض بین گروه‌های اجتماعی مختلف، تجسس بیجا و نقض حریم خصوصی میشن. این شرکت­ها باید در مورد مواردی که توسعه دهنده نباید از خدمات اون‌­ها استفاده کنه هم شفاف عمل کنند (هر چند که این موضوع باید و نباید‌ها پیچیدگی‌های زیادی داره...)تحلیل‌گر متن IBM: موارد پیشنهادی استفاده ایناست: بررسی رضایت مشتری در فروم‌های پشتیبانی؛ بررسی رضایت مشتری در پاسخ‌های توییتر؛ پیش‌بینی و جفت کردن کسانی که در اپلیکیشن‌های زوج‌یابی آنلاین شرکت میکنن؛ پیش‌بینی احساسات و تشویق‌ها در سخنرانی‌های TED. چیزی درباره‌ی موارد عدم استفاده گفته نشده.سرویس ParallelDots: دو مورد پیشنهادی استفاده از این سرویس وجود داره: «شناسایی منتقدین و بدگویان به منظور بهبود خدمات برای آن‌ها» و «زیرنظر داشتن برند». چیزی درباره‌ی موارد عدم استفاده گفته نشده.⚖️ سوگیری و برابری در چند سال گذشته محققین و متخصصان راجع به به سوگیری‌ها و پیامدهای تبعیض‌­آمیز سیستم­های یادگیری ماشین هشدارهایی دادند. متخصصین این حوزه که معمولا روی fairness, accountability, and transparency in machine learning کار میکنن جعبه‌­ابزارهای (Toolkit) بیشماری ارائه کردن تا شرکت­‌ها بتونن موارد مربوط به حقوق کاربران رو در محصولات مبتنی بر یادگیری ماشین‌شون ارزیابی کرده و در مورد ریسک‌­های اجتماعی ممکن شفاف عمل کنند. در اینجا یه لیستی درست کردم از جعبه‌­ابزارها،‌ مقالات و نوآوری‌­های موجود در زمینه‌ی سوگیری و عدالت.تحلیل­گر متن IBM: IBM یک سری اطلاعات راجع به تحقیقات پیش‌­زمینه‌ای، روند جمع­‌آوری داده (داده‌­ی توییتر)،‌و روش تفسیر داده‌­ها در اختیار شما می­ذاره. البته اشاره‌­ای به پیامدهای تبعیض‌­آمیز محتمل نمی­کنه و هیچ اطلاعات دقیق­‌تری راجع به ساختار جمعیتی و اندازه‌­گیری بر اساس زیرگروه‌­های متفاوت (زبانی، جنسیتی، سنی و غیره) به ما نمی­ده. نکته­‌ی جالب: محققین IBM خودشون یکی از پیشگامان ارائه‌­ی جعبه ابزارهای fairness هستن (سری به IBM 360 بزنین). مثلا یکی از پیشنهادات خودشون این بوده که برای هر مدل ML از فکت­‌شیت استفاده بشه تا منبع داده‌ها ، جزییات مدل­‌ها، و موارد استفاده مشخص بشه. اما وقتی مدل و محصول خودشون رو می­‌بینی نشانی از همچین اطلاعاتی در صفحات محصول نیست. این داستان من رو یاد این شعر نظامی انداخت: عیب کسان منگر و احسان خویش دیده فرو کن به گریبان خویش ParallelDots: هیچ اطلاعاتی درباره‌­­ی سوگیری و رعایت عدالت پیدا نکردم.? نگهداری و به روز رسانیتحلیل‌گر متن IBM: این شرکت به طور مداوم خدمات خودش رو به روز رسانی می‌کنه و اطلاعاتی درباره‌ی آپدیت‌ها در اختیار شما می‌ذاره. البته در بعضی آپدیت‌ها از جملات مبهم و کلی‌ای مثل «همچنین در این آپدیت تغییرات داخلی انجام شد و بهبود یافت» استفاده شده، این تغییرات داخلی چی هستن؟ ParallelDots: نتونستم اطلاعاتی درباره‌ی به روز رسانی و نگهداری پیدا کنم.? فروم‌های توسعه‌­دهندگان فروم‌های توسعه دهندگان (در Slack Workspace، Stack Overflow، GitHub،‌ و غیره) به توسعه‌دهنده‌ها کمک می­کنند تا بازخوردها رو باهم به اشتراک بگذارن، با همدیگه و خدمات دهنده ارتباط برقرار کنن،‌ و راجع به مسائل مختلفی مثل حریم خصوصی،‌ امنیت،‌ سوگیری و عدالت، توضیح­‌پذیexplainabilitylity) یک محصول مشخص و در یک حوزه‌­ی خاص با هم مباحثه کنند.تحلیل‌گر متن IBM: IBM Watson یه Slack Workspace داره و فروم توسعه‌دهندگان Stack Overflow. صفحه‌ی GitHub تحلیل‌گر لحن رو می‌تونید اینجا ببینید. ParallelDots: این شرکت هم یک صفحه‌ی GitHub داره.پیشنهاداتپیشنهاداتی به توسعه دهندگان از APIهای یادگیری ماشین کورکورانه استفاده نکنید، مخصوصا وقتی سازوکارشون شفاف نیست. علاوه بر معیارهایی چون هزینه،‌ سرعت، و دقت معیارهای مربوط به سوگیری و عدالت، حریم خصوصی، امنیت و شفافیت و explainability و interoperability رو هم در نظر بگیرید. اگه در بخش مستندات چیزی راجع به سوگیری پیدا نکردید از سرویس­‌دهنده بخواین که اگر مدل رو بر اساس معیار‌های سوگیری ارزیابی کردن، مدارکش رو در اختیارتون بذارن. وظیفه‌­ی اون­هاست که این اطلاعات رو به صورت آنلاین منتشر کنن یا جزییاتش رو در اختیارتون بذارن. از قدرتتون در جایگاه توسعه‌دهنده و خریدار سرویس استفاده کنید، حتما توجه می­کنن!به موضوعی که می­خواین برای اون از ابزار استفاده کنید فکر کنید. چه کسی ممکنه از پیامدهای استفاده از اون API یادگیری ماشین برای محصول مورد نظر آسیب ببینه؟ به جنسیت، نژاد، مذهب، سن، زبان، لهجه،‌کشور، موقعیت اجتماعی-اقتصادی­شون فکر کنید (برای مطالعه­‌ی بیشتر درباره‌­ی گروه‌­های آسیب­‌پذیری که تحت حفاظت پیمان­‌نامه­‌های حقوق بشری هستند اینجا رو مطالعه کنید). در اینجا ابزارهای ارزیابی ML رو به روز رسانی می­کنم؛ ممکنه این لیست به روند ارزیابی شما کمک کنه.به دنبال مجموعه داده­‌ها و benchmark‌هایی باشید که بتونید از اون‌ها برای ارزیابی پیامدهای تبعیض‌­آمیز پروژه‌­های ML استفاده کنید (برای مثال Equity Evaluation Corpus یک مجموعه ­داده‌­ی نشان­‌شده است که برای سنجش وجود تبعیض در سیستم­های تحلیل احساس استفاده می­شه). با افرادی که در ساخت چنین benchmark هایی نقش دارن ارتباط بگیرید و از اون­ها برای بررسی مدل مد نظرتون در حوزه­ای که کار می‌کنید کمک بگیرید. برای پیدا کردن افرادی که روی این مسائل کار می­کنند به FAccT conference مراجعه کنید.وقتی متوجه شدید که سرویس API یادگیری ماشینی که باهاش کار می­کنید در حوزه‌­ی کاری بخصوص شما از نظر اخلاقی مشکلاتی داره، از طریق ساخت یک زیرگروه یا issue در صفحه‌­­ی GitHub اون شرکت،‌ یا Stack Overflow، و یا صفحات اجتماعی مختص توسعه‌دهندگان و پرداختن به موضوع مورد نظرتون،‌ توسعه‌­دهنده­‌های دیگه رو هم از این موضوع با خبر کنید. تقریبا تمام سرویس­‌دهندگان چنین پلتفرم­‌هایی دارن که توسعه­‌دهنده‌­ها بتونن اونجا مسائل‌شون رو باهم به اشتراک بگذارن. سرویس‌دهندگان معمولا میگن امتحان و بررسی ابزارهاشون برای تک تک حوزه­‌های مورد استفاده عملا غیر ممکنه، چون خدماتشون ابزاری با استفاده‌­ی عامه (general purpose). اما شما می­تونید بهشون اطلاع بدید که چه مشکلات اخلاقی‌ای حین استفاده از این ابزار تو حوزه‌­ی خاص شما وجود داشته. و با انتشار عمومی این اطلاعات می‌تونید به بقیه­‌ی توسعه‌­دهنده‌­هایی که می­خوان از این سرویس استفاده کنند هم کمک کنید.اگه تو نرم‌افزارتون از یک API یادگیری ماشین شرکت ثالث هم استفاده میکنید، در سیاست حریم خصوصی و شرایط خدمات این قضیه رو ذکر کنید. به ذکر جمله­‌ی «ما از خدمات دیگر شرکت­‌ها هم استفاده می­کنیم» بسنده نکنید. اطلاعاتی درباره­‌ی اون خدمات ثالث هم بدین. در مورد این که حضور این سرویس‌دهنده‌­ی ثالث چه تاثیری بر پردازش داده­‌ها داره به صورت شفاف توضیح بدین.پیشنهاداتی به سرویس­‌دهندگان API یادگیری ماشیندرسته که تمرکز این مقاله روی توسعه‌­دهندگان شخص ثالثه و نه روی سرویس‌دهندگان. اما برای اینکه بدونیم مسئولیت­‌های مهم سرویس‌­دهندگان در قبال اطلاع رسانی به توسعه دهندگان چیه، می­شه گفت:مستندسازی کنید و شفاف باشید!‌ معیارهای مربوط به سوگیری و عدالت رو در لا‌به‌لای یک کتابچه‌ی ۵۰۰ صفحه‌­ای پنهان نکنید. از زبان ساده‌تر و UI شفاف و با کارکرد آسان استفاده کنید که توسعه ­دهندگان رو حین مطالعه‌ی معیارهای مربوط به عدالت و حریم خصوصی راهنمایی کنه، اون هم قبل از اینکه در سرویس شما ثبت نام کنن.در صفحات اجتماعی و پورتال­‌های توسعه‌­دهندگان‌تون زیرگروه­‌هایی درباره­‌ی سوگیری، امنیت و حریم خصوصی API تون ایجاد کنید. اجازه بدین توسعه دهندگان از طریق این پورتال­‌ها درباره­‌ی این مسائل بحث کنن (برای مثال ایجاد یک Slack channel مخصوص در workspace توسعه دهندگان) و از توسعه‌­دهندگان بخواید تجربیاتشون رو در مورد مسائلی مثل تبعات اخلاقی و اجتماعی، سوگیری و عدالت، امنیت، و حریم خصوصی حین استفاده از سرویس شما به اشتراک بگذارن (بعضی نمونه­‌های خوب عبارتند از IBM 360 Slack Channel, Salesforce UI warnings ). هر نوع حساب کاربری توسعه دهنده (رایگان،‌ استاندارد، ویژه) میزان مسئولیت متفاوتی رو برای شما ایجاد می­کنه. برای نظارت سواستفاده‌­های احتمالی از سرویستون،‌ حفاظت حریم خصوصی‌اش رو ارتقا بدین. این مقاله چند راه حل امکان­‌پذیر رو بهتون ارائه می­ده: نظارت مسئولانه‌­ی سواستفاده از «هوش مصنوعی به عنوان یک خدمات».پیشنهاداتی به منتقدین ML و فعالان حوزه­‌ی حقوق بشر و تکنولوژیحرف­های زیادی درباره‌­ی دموکراتیزه کردن فناوری­های دیجیتال به گوش می­رسه. همینطور درباره‌­ی تعامل متقابل (interoperability) خدمات دیجیتال. این­ها خیلی خوبه. اما به همراهش نوع جدیدی از تعاملات،‌ جریان اطلاعات، و مالکیت و تسلط بر داده به وجود میاد.هدف این مقاله ایجاد آگاهی درباره­‌ی اهمیت این ارتباطات و نقش‌­آفرین­‌هاییه که معمولا نادیده گرفته می­شن. برای توسعه­‌دهنده‌­ها، که قبل از اینکه این APIها رو با نرم‌افزار خودشون تلفیق کنن،‌ به مسئولیت­‌های این کار فکر کنن. همینطور برای محققین سیاست‌گذاری‌های تکنولوژی که این مسائل را تشریح کنن و یک راهنمای عملی برای کمک به بازیگران به ظاهر کوچک این دنیای ­­داده-محور تهیه کنن.وقتی یک سرویس/محصول به خصوص رو نقد می­‌کنید با دقت روابط شخص ثالث رو بررسی کنید و پیامدهایی که ممکنه حقوق کاربران رو خدشه دار کنه شناسایی و ارزیابی کنید. حین کارتون توجه بیشتری به مسائلی مثل زنجیره­‌ی تامین داده و محصول داشته باشید و نقش و مسئولیت­‌های نقش‌­آفرینان مختلف اکوسیستم فناوری­‌های دیجیتال رو با دقت بررسی کنید.کار من تحقیق روی تاثیرات اجتماعی و حقوق بشری فناوری‌های جدیده. اگر سوالی داشتید برای من ایمیل بفرستید (rpakzad@taraazresearch.org) یا تو توییتر پیام بدید. خوشحال میشم باهاتون صحبت کنم. آدرس وبسایت ما هم اینجاست: taraazresearch.org Taraaz - تراز Taraaz - تراز Thu, 25 Mar 2021 05:17:12 +0430 https://virgool.io/@taraaz/%D9%86%DA%AF%D8%A7%D9%87%DB%8C-%D8%A8%D9%87-%D9%85%D9%84%D8%A7%D8%AD%D8%B8%D8%A7%D8%AA-%D8%A7%D8%AE%D9%84%D8%A7%D9%82%DB%8C-%D8%AF%D8%B1-%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D9%88-%D8%A7%D8%B3%D8%AA%D9%81%D8%A7%D8%AF%D9%87-%D8%A7%D8%B2-%D8%A7%D8%A8%D8%B2%D8%A7%D8%B1-%D8%A7%D8%AF%D8%B1%D8%A7%DA%A9%D8%A7%D8%AA-%D8%B4%D8%AE%D8%B5%DB%8C%D8%AA%DB%8C-%DB%8C%D8%A7-personality-insights-%D8%B4%D8%B1%DA%A9%D8%AA-ibm-albz7qi5g2aj اصل متن توسط رویا پاکزاد و به زبان انگلیسی نوشته شده است. با تشکر از پ. برای ترجمه.من اصلا از تست‌های­ شخصیت‌شناسی خوشم نمیاد!مهم نیست که چیزی که درباره‌­ت میگن درست باشه یا غلط، دوست ندارم درک مردم از من به چهار حرف، یا پنج عدد، یا چند نشونه خلاصه بشه. اگر بخوام می­تونم صفحه­‌ها راجع به این بنویسم که چطور این «درک» سرسری و بی­‌دقت از شخصیت آدم­‌ها می­تونه منجر به تبعیض در محل کار، قضاوت­‌های اشتباه، یا تجاوز به حریم شخصی اون­‌ها بشه، اما هدف این پست این نیست - هر چند که همین موضوع انگیزه‌­ی نوشتن این مطب بوده.در اینجا، روی یکی از اشکال جدید تست شخصیت تمرکز می­کنم که بر اساس یادگیری ماشین ساخته شده. تست مورد نظر من متعلق به شرکت IBM Watson هست با نام ادراکات شخصیتی (Personality Insights). اونطور که سایت IBM مدعی شده، این ابزار «از تحلیل­گرهای زبانی استفاده می­کند تا ویژگی­‌های شخصیتی ذاتی فرد، شامل پنج اصل (یا O.C.E.A.N)، نیازها و ارزش‌هایش را از طریق ارتباطات دیجیتال مانند ایمیل، پیام­‌های متنی، توییت­‌ها،‌ و پست­‌های فروم‌­ها، استخراج کند.»بذارین بهتون بگم این یعنی چه: من محتوای توییترم رو وارد این ابزار کردم و به عنوان خروجی نتیجه‌ی زیر رو دریافت کردم که فرضا قراره نشون­‌دهنده‌­ی ویژگی­‌های شخصیتی، نیازهای مصرفی و ارزش­‌های من باشه:اگه به فایل خروجی که اینجا در دسترسه دقت کنید می­‌بینید که، براساس نتیجه­‌گیری این ابزار من آدمی هستم که احتمالا «هنگام خرید محصول تحت تاثیر تبلیغات آنلاین قرار می­گیرم.» علاوه بر این، احتمالا آدمی هستم که دغدغه­‌های محیط زیستی دارم و به دیدن مستند علاقه دارم و احتمال اینکه فیلم­‌های موزیکال رو دوست داشته باشم کمتره (اعتراض: راستش یکی از سریال‌های مورد علاقه‌­ی این روزام Crazy Ex-Girlfriend هست که اتفاقا موزیکاله).بعد از دیدن این نتایج، ذهن منفی­‌بافم سریع رفت سمت شرکت Cambridge Analytica،‌ شرکتی که از فعالیت­‌های شبکه­‌های اجتماعی افراد استفاده کرده بود تا شرح حال روانی و ترجیحات سیاسی‌شون رو حدس بزنه و بر اساس اون رفتارشون تو انتخابات رو پیش‌­بینی کنه.بنابراین به عنوان یک محقق در زمینه‌­ی تکنولوژی و حقوق بشر، تصمیم گرفتم که در مورد این ابزار تحقیق بیشتری کنم.اول، بیاید ببینیم که ابزار ادراکات شخصیتی (Personality Insights) چطور کار میکنه:در اینجا یه مرور کلی خواهیم داشت که بخشی از اون بر اساس صفحه­‌ی GitHub ادراکات شخصیتی IBM و یک سری مستندات منتشر شده‌­ی دیگه­‌ست:? ورودی: ادراکات شخصیتی توییت‌­ها، ایمیل­­­­­­‌ها، پیام­‌های متنی،‌ پست­‌های وبلاگی، و/یا هرچیزی که فردی که شخصیتش قراره مورد ارزیابی قرار بگیره رو دریافت می­کنه. این ابزار در حال حاضر زبان­‌های انگلیسی، اسپانیایی، ژاپنی، کره‌­ای، و عربی رو طبق گفته‌­ی وبسایتش پشتیبانی می­کنه،‌ نتایج این ابزار برای زبان­‌های عربی و کره­‌ای اونقدر خوب نیست و نمی­شه روش حساب کرد. کمترین میزان کلمه‌­ای که می­تونین وارد ابزار کنید تا نتیجه بگیرید ۱۰۰ کلمه­‌ست،‌ البته، برای اینکه نتیجه دقت لازم رو داشته باشه حدود ۳۰۰۰ کلمه برای متن ورودی لازم دارید. (demo و مستندات IBM جزییات بیشتری از نوع داده‌­ی قابل قبول ارائه کرده‌­ان.)? خروجی: بعد از پردازش داده‌­های ورودی، ابزار نتیجه‌­ی کامل رو ارائه می­کنه ( با فرمت JSON یا CSV) که ۵۲ ویژگی شخصیتی شما به ترتیب امتیازی و همچنین رفتار مصرفی شما رو نشون میده. امتیاز بر اساس درصدی از جامعه­‌ی نمونه بیان میشه. مثلا، اگه ویژگی «ماجراجویی» من براساس چیزهایی که می­نویسم امتیاز ۰.۲۵ گرفته باشه به این معنیه که من از ۲۵٪ جامعه نمونه ماجراجو‌ترم و از ۷۵٪ اون­ها کمتر ماجراجو هستم.نکته: جامعه‌ی نمونه از کاربران توییتری تشکیل شده که اطلاعات خودشون رو برای تحلیل در اختیار ابزار ادراکات شخصیتی شرکت IBM گذاشته بودن. جامعه­­‌ی نمونه برای زبان انگلیسی یک میلیون کاربر، برای زبان عربی و ژاپنی صد‌هزار کاربر و برای زبان اسپانیایی هشتاد‌هزار کاربره. شاخصه‌های فردی جامعه‌ی نمونه، مثل سن، جنسیت، سطح سواد و غیره، جایی عنوان نشده بود.ابزار یه امتیاز خام هم در اختیار شما قرار میده که می­تونید اگه خواستید برای مقایسه­‌ی خودتون با جامعه نمونه­‌ی دلخواه خودتون ازش استفاده کنید ( برای مثال امتیاز شما در مقایسه با کارکنان شرکتی که توش کار می­کنید).برای کسب اطلاعات بیشتر راجع به فرمت خروجی و تفسیرش به اینجا و اینجا مراجعه کنید.? مدل: روش بنیادی این ابزار بر اساس رویکرد open-vocabulary هست. این روش رو محققان دانشگاه پنسیلوانیا ارائه دادن که روی تحلیل استاتوس­‌های فیسبوک ۷۵۰۰۰ کاربر داوطلب کار می­کردن. بر اساس این تحلیل و اضافه کردن پرسش­نامه­‌های شخصیتی، اون­ها تونستن مدل­‌هایی رو بسازن که بر اساس استاتوس‌ها، سن، جنسیت و شخصیت فرد رو می­تونه پیش­‌بینی کنه.زیرساخت تحلیل زبان Open Vocabulary (منبع)البته ورژن­‌‌های اولیه­‌ی ابزار ادراکات شخصیتی از تحقیق زبان­‌شناسی و فرهنگ لغت روان‌شناسی-زبانی شمارش واژه (LIWC) استفاده می­کرد. (برای اطلاعات بیشتر درباره‌­ی فرهنگ لغت LIWC میتونین به اینجا مراجعه کنین.)پژوهشگران IBM برای ساختن ابزار ادراکات شخصیتی،‌ یک سری مطالعات انجام دادن و مدل­‌های یادگیری ماشین متعددی رو ساختن که بتونن رابطه­‌ی بین فعالیت توییتر افراد و ویژگی­‌های شخصیتی‌شون رو درک کنن. برای مثال،‌ با مطالعه­‌ی ۳۵۰۰ کاربر توییتر،‌ متوجه شدن که افرادی که بیشتر ریتوییت میکنن احتمال اینکه به عنوان فردی متواضع، روراست و خودمانی به حساب بیان، بیشتره. ( لینک مطالعات)به طور خلاصه، ابزار ادراکات شخصیتی از تکنیک تعبیه کلمات GloVe برای ساختن یک جانشین برداری به ازای هر کلمه­‌ی متن ورودی استفاده می­کنه. بعد اون­ها رو وارد یه الگوریتم یادگیری ماشین می­کنه تا تست بشن و روشون کار انجام بشه (توضیح بیشتری درباره­‌ی جزییات این الگوریتم داده نشده؛ گرچه محققین IBM تو مطالعه‌­ای با عنوان ۲۵ توییت تا شناختن شما: مدلی جدید برای پیش­بینی شخصیت بر اساس شبکه­‌های اجتماعی، ویژگی­‌های تکنیک تعبیه کلمات GloVe رو با رگرسیون فرایند گاوسی ترکیب کردن تا ویژگی­‌های شخصیتی رو استخراج کنن.)? آموزش: این مدل بر اساس پرسش­نامه‌های پخش شده بین هزاران کاربر، به همراه اطلاعات به دست اومده از توییتر اون­ها آموزش داده می­شه. اطلاعات بیشتری راجع به ترکیب جمعیتی اون­ها (سن،‌ جنسیت، زبان، سطح سواد) وجود نداره، اما مطالعات قبلی IBM بیشتر از اطلاعات توییتر و پرسش­نامه‌­هایی که کاربران انگلیسی زبان پر کرده بودن مدل­هاشون رو آموزش داده و تست می­کردن.⚖️ معیارهای سنجش: برای فهمیدن دقت ابزار ادراکات شخصیتی، شرکت IBM یک مطالعه­‌ی اعتبارسنجی ترتیب داد و پرسش­نامه­‌های پاسخ داده شده­ و فید توییتر ۱۵۰۰ تا ۲۰۰۰ شرکت کننده در همه­‌ی زبان­‌ها رو استفاده کرد. بعد امتیازات به دست اومده از نظرسنجی رو با امتیازات ابزار ادراکات شخصیتی و خطای مطلق میانگین (MAE) و میانگین همبستگی بین دو امتیاز مربوط به موضوعات مختلف ویژگی­‌های شخصیتی مقایسه کردن. (در نظر داشته باشید که MAE عددی بین صفر و یکه، و صفر یعنی امتیاز پیش‌­بینی شده دقیقا مساویه با امتیاز واقعی (پرسش­نامه)، و یک یعنی ماکزیمم خطا. همبستگی عددی بین منفی یک و یکه. در نظر داشته باشید که بهترین همبستگی میانگین عدد ۰.۳۵ هست که خیلی بالا نیست، اما برا اساس چیزی که وبسایت IBM گفته تو ادبیات تحقیق این حوزه، همبستگی­‌های بالای ۰.۲ قابل قبول به حساب میاد.)خطای مطلق میانگین و همبستگی میانگین بر اساس زبان در ادراکات شخصیتی IBM (منبع)چند نکته­‌ی مهم درباره­ ی مدل نهایی Personality Insights:مدل­‌هایی که قرار باشه با همه­ ی زبون­‌ها کار کنن به یک شکل ساخته میشن. در مورد متن توییتر،‌ مدل تصور می­کنه که رفتار افراد در توییتر مستقل از زبان/کشورشون هست. در صورتی که میدونیم اینطور نیست، مثلا این مقاله (Do all birds tweet the same?: characterizing twitter around the world) رو نگاه کنید.این ابزار شاخصه‌­های فردی کاربرا مثل سن، جنسیت، نژاد و فرهنگ رو در نظر نمی­گیره (برای مطالعه­‌ی بیشتر اینجا رو بخونید). البته این امکان وجود داره که IBM در آینده مد‌ل‌­هایی طراحی کنه که برای شاخصه‌های فردی رفتار بخصوصی داشته باشه. IBM در همکاری با Acxiom مطالعه‌­ای ترتیب داد که در اون بیان شده «به کار گرفتن شاخصه‌­های فردی به همراه ویژگی­‌های شخصیتی معمولا دقت بیشتری رو در پیش­‌بینی رفتار مصرفی افراد در استفاده­‌های بازاریابی به همراه داره».خب بعد از کسب یه کمی اطلاعات درباره­‌ی روش کار این ابزار، تصمیم گرفتم یه سری آزمایش که در ادامه راجع بهشون حرف می­زنم رو انجام بدم:آیا می­تونم سیستم رو «بازی» بدم و خودمو کاندیدای شغلی بهتری معرفی کنم؟فرض کنیم من برای کاری درخواست پر کردم که از الزاماتش وبلاگ نوشتن هم هست. شرکت مربوطه از من می­خواد که نمونه نوشته­‌هام رو براشون بفرستم و من تصمیم میگیرم اونا رو به پست­های قبلی وبلاگم ارجاع بدم. مدیر بخش استخدام هم برنامه‌­ش اینه که با استفاده از ابزار اداراکات شخصیتی یه چیزایی درباره‌­ی من دستگیرش بشه؛ و سه تا از پست­های قبلی وبلاگ منو وارد ابزار میکنه (Swipe Left: Privacy Practices of Online Dating Apps, Tech workers of the world, unite for human rights!, and Announcing the Humane AI newsletter) و نتیجه‌­ش رو می­گیره. بعد متوجه می­شه که با توجه به این ابزار من تو زمینه­‌های «نظم و ترتیب»، «وظیفه­‌شناسی»، و «اجتماعی بودن» افتضاحم! آره دقیقا همون ویژگی­‌های خوبی که رییست میخواد که حتما داشته باشی...چطوری می­تونم درستش کنم؟ ? ممکنه بخوام توی متن­‌هام یه تغییرات کوچیکی انجام بدم تا نتایج رو تغییر بده و اینطوری خودم رو کاندیدای بهتری برای این شغل معرفی کنم. وقتی بیشتر درباره­‌ی فرهنگ لغت LIWC مطالعه کردم فهمیدم‌ که استفاده­‌ی مکرر از یک سری دسته لغت خاص، با ویژگی­های شخصیتی ارتباط مستقیم داره. بنابراین تصمیم گرفتم که ضمیرهای اول شخص مفرد رو تبدیل به جمع کنم و روی متن اصلی یک سری اصلاحات ریز انجام دادم.تغییراتی که روی متن اعمال کردم رو در ادامه می­تونید ببینید (که به رنگ سبز کدگذاری شده):قطعه‌ای از پست وبلاگم، ورودی ابزار ادراکات شخصیتی (عبارت‌های تغییرداده شده به رنگ سبز)ماموریت با موفقیت انجام شد! فقط با چند تغییر کوچیک (مثل حذف کردن کلماتی که ممکنه منفی یا خودخواهانه به نظر بیان، مثلا «نگران»، «مال من» و «خودم») ویژگی­های شخصیتی‌‌ام رو طوری بهبود دادم که دیگه یه شخص قابل اعتمادتر و وظیفه‌­شناس­‌تر به نظر بیام، ایده‌آل برای استخدام!نتیجه¬ی ابزار ادراکات شخصیتی روی پست وبلاگم (متن¬های اصلی و تغییرداده شده؛امتیازات به درصد)یک جایی وسط این تغییرات، علایق احساسی و هنریم رو هم از دست دادم. علاوه بر این، این رو هم در نظر داشته باشید که این نتایج –چه متن اصلی وبلاگم و چه متن تغییر داده شده- با نتایجی که بر اساس توییترم به دست اومده بود (که اول این پست نشون داده بودم) کاملا متفاوتن. فایل­‌های ورودی و خروجی رو می­تونید از اینجا ببینید.آیا مذهب تاثیر داره؟تو آزمایش دوم، تصمیم گرفتم سخنرانی­‌های عمومی ایلهان عمر (نماینده‌ی مسلمان مجلس نمایندگان ایالات متحده) رو به عنوان ورودی به ابزار بدم. درست مثل آزمایش قبلی، متن رو طبق چیزی که در ادامه می­‌بینید تغییرات جزیی‌­ای دادم:قطعه‌ای از سخنرانی ایلهان عمر، نماینده‌‌ی مسلمان مجلس نمایندگان ایالات متحده (کلمات سخنرانی اصلی به رنگ مشکی و تغییرات به رنگ سبز)و نتیجه این شد که می­بینید. تغییرات خیلی چشمگیر نیستن اما باز هم باعث شد به فکر فرو برم که تو مقیاس بزرگتر ممکنه چه تاثیری داشته باشن! (برای دیدن فایل­‌های ورودی و خروجی اینجا رو ببینید).نتایج ابزار ادراکات شخصیتی روی سخنرانی ایلهان عمر (متن‌های اصلی و تغییر‌داده شده؛امتیازات به درصد)با به‌کارگرفتن همچین مثالی، قصد ندارم نتیجه بگیرم که ادراکات شخصیتی IBM علیه گروه مذهبی خاصی رفتار تبعیض‌­آمیز داره. ولی می­خوام نشون بدم که حتما یک متغیر یا ترکیبی از متغیرها یا نوعی الگو درون داده‌­های آموزشی (یا قسمت ارائه­‌ی واژگان GloVe یا مدل نهایی) وجود داره که چنین تفاوت­‌هایی رو ایجاد کرده و درک منطقی که پشت این تفاوت­ها وجود داره، خیلی ارزشمنده.تا وقتی این مدل مثل یه جعبه سیاه اطلاعاتش نامشخص باشه، نمی­تونیم منطق تغییراتی که توی خروجی به وجود میاد رو تفسیر کنیم. نگرانی من اینه که این عدم شفافیت در روش­‌های تصمیم­‌گیری ابزار، می­تونه برای بعضی گروه­‌های مذهبی آسیب­‌زا باشه. مثلا فرض کنیم که دولت بخواد از این ابزار برای بررسی اپلیکیشن‌ها و درک ویژگی­‌های شخصیتی افراد پناهجو استفاده کنه که تو کشور خودشون بخاطر نوشتن و فعالیت­‌های مذهبی­‌شون محکوم شده باشن.موارد کاربردی و پیامدهای اخلاقیمیشه آزمایش­‌های زیادی طراحی کرد که باهاش ابزار ادراکات شخصیتی رو تست کنیم. ولی برای من بیشتر پیامدهای اخلاقی و حقوقی این ابزار اهمیت داره. چه موارد کاربردی واقعی‌­ای وجود داره؟ این ابزار روی حق و حقوق اشتغال ما چه تاثیری می­تونه داشته باشه؟ روی حریم خصوصی؟ آزادی بیان و عقیده؟ برای جلوگیری از ریسک پیامدهای مضر احتمالی، IBM چه کارهایی می­تونه انجام بده؟برای اینکه درک بهتری از پیامدهای اخلاقی و حقوقی این ابزار داشته باشم، از «اصول راهنمای تجارت و حقوق بشر سازمان ملل» یا UN Guiding Principles on Business and Human Rights به‌ عنوان راهنما استفاده کردم که بتونم درک کنم که در موارد مختلف چطور حقوق گروه­‌های آسیب­‌پذیر ممکنه تحت تاثیر قرار بگیره. در اینفوگرافیکی که می­بینید، سعی کردم منظورم‌ رو از UNGP و «سنجش اثرات حقوق بشری» نشون بدم.خلاصه‌ای از حقوق بشر جهان‌شمول، اصول راهنمای تجارت و حقوق بشر سازمان ملل و لیست کنوانسیون‌ها شرکت IBM ادعا می­کنه که ابزار ادراکات شخصیتی می­تونه برای اهداف بازاریابی و جذب مشتری، ایجاد ارتباط بین افراد (مثلا زوج­‌یابی، پیدا کردن دکتر و...)، و نوشتن رزومه مورد استفاده قرار بگیره. علاوه براین کاربردهای خاصی هم برای این ابزار وجود داره مثل «پایش و پیش‌­بینی سلامت روانی» و «پایش عناصر رادیکال و نابهنجار از طریق شبکه­‌های اجتماعی» (شناسایی کردن نشانه­‌های زودهنگام رادیکالیزه شدن).وقتی داشتم پست­های وبلاگ IBM رو درباره­‌ی بعضی مواردی که در اون از ابزار ادراکات شخصیتی استفاده شده مطالعه می­کردم، دو کاربردی که در ادامه میگم نظرم رو جلب کرد.شرکت KangoGift ابزارهای مربوط به منابع انسانی (HR) رو به منظور «تصویر کردن، شناسایی، پاداش دادن، و تقویت رفتارها و اعمال کارکنان نمونه» ارائه میده. با کمک IBM Cloud و تحلیل‌گر لحن واتسون و ابزار ادراکات شخصیتی. این شرکت ادعا میکنه که «هزاران مدیر از ۲۰ کشور دنیا از ابزارهای ما برای تشخیص اینکه چه کسی، جه زمانی و چرا باید در محل کار مورد توجه قرار گیرد استفاده می‌کنند.»این شرکت ابزارهای مربوط به منابع انسانی (HR) رو به منظور «تصویر کردن، شناسایی، پاداش دادن، و تقویت رفتارها و اعمال کارکنان نمونه» ارائه میده. با کمک IBM Cloud و تحلیل‌گر لحن واتسون و ابزار ادراکات شخصیتی. https://www.ibm.com/blogs/client-voices/high-tech-ai-solution-boosts-employee-engagement/شرکت MXM از ادراکات شخصیتی IBM برای تصمیم‌­هایی مربوط به استخدام افراد،‌ مدیریت استعدادها، و بهینه کردن بازدهی تیمی استفاده می­کنه. MXM ادعا می­کنه که موسسه‌­های آموزشی هم می­تونن از خدمات اونا برای «کمک به دانشجویان برای انتخاب رشته‌­ی درست» استفاده کنن. همچنین ادعا می­کنه که اون­ها یکی از بهترین ارائه­‌کنندگان خدمات منابع انسانی برزیل هستن. میتونید از اینجا بیشتر راجع بهشون بخونید.به نظر من، درباره­‌ی موارد اشاره شده در بالا، مهم­‌ترین نگرانی­‌هایی که در مورد حقوق افراد وجود داره این­ها هستند:حق برابری و آزادی از تبعیض (بند۲ بیانیه‌­ی جهانی حقوق بشر یا UDHR)حق داشتن شرایط عادلانه و مطلوب کاری و فرصت­‌های شغلی برابر (بند ۲۳ UDHR؛ عنوان هفتم حقوق شهروندی قانون ۱۹۶۴ آمریکا)شاید براتون سوال باشه که چرا این قطعه از بیانه­‌ی جهانی حقوق بشر به موضوع بحثمون مرتبطه؟ الان با یه مثال براتون میگم:انگلیسی زبان دوم منه. اگه شما ایرانی باشید - یا دوست­های ایرانی داشته باشید- می­دونید که ما گاهی موقع صحبت کردن و نوشتن به انگلیسی حروف تعریف (a, an, the) رو جا می­ندازیم. بعضی­ وقت­ها هم پیش میاد که he و she رو به جای هم به کار می­بریم چون تو فارسی ضمیرها جنسیتی نیست.افراد مختلف عادت­‌های نوشتاری و گفتاری متفاوتی دارن. آیا این اشتباهات لپی امتیاز شخصیتی من رو تو ابزار پایین میاره؟ اگه یکی از شرکت­هایی که اسمشون آورده شده بخواد متن مصاحبه‌­ی من یا یکی از نوشته­‌هام رو برای ارزیابی استفاده کنه که تصمیم بگیره من رو استخدام کنه یا بهم ترفیع بده یا نه، در مقابل یه فردی که انگلیسی زبان مادریش هست من چه فرقی خواهم داشت؟در پروژه­ای به نام «مراقب کلماتت باش» که انجمن ۲۰۱۹ هاروارد/ام‌­آی‌­تی انجام داده بود،‌ محققین نشون دادن که غلط­های املایی و استفاده‌­ی متفاوت از فاصله و ضمایر می­تونه چه تاثیر چشمگیری روی نتیجه‌­­ای که سیستم­‌های پردازنده­‌ی زبانی معمول به ما میدن، داشته باشه. مطالعات دیگری هم وجود داره که روی نابرابری نژادی که سیستم­های NLP بین توییت­‌های انگلیسی آفریقایی-آمریکایی ها و سایر آمریکایی­‌ها قائل میشن، متمرکز شده. بعلاوه، محققین به مشکل بزرگی اشاره کردن بعنوان کلیشه­‌ها و تعصبات جنسیتی در مفهوم کلمات، که ابراز ادراکات شخصیتی خیلی وسیع ازش استفاده می­کنه.خلاصه اینکه،‌ این فاکتورها باعث می­شن که اگر بخوان کارکنان رو با ابزارهایی مثل ادراکات شخصیتی ارزیابی کنن، حفظ «شرایط کاری عادلانه و مطلوب» کار خیلی سختی باشه.اما این همه‌­ی ماجرا نیست. موارد بسیار زیاد دیگه­‌ای هم وجود دارن که در اون­ها هم حقوق فردی کارکنان ممکنه تحت تاثیر قرار بگیره و محدود بشه. دو نمونه دیگه از مواردی که ممکنه این ابزار حقوق افراد رو زیر پا بذاره یا محدود کنه هم میگم:حق آزادی بیان و عقیده (بند ۱۹ UDHR)حق آزادی گردهمایی و تجمعات صلح­‌آمیز،‌ حق سازماندهی و مذاکره‌­ی جمعی (بند ۲۰ UDHR، بیانیه ILO در مورد قواعد و حقوق اساسی در کار)بیاین دوباره برگردیم به آزمایشی که رو پست وبلاگم انجام داده بودم. همونطوری که ممکنه یادتون باشه، با یک سری تغییرات جزیی تونستم کاری کنم که کاندیدای شغلی قابل اعتمادتر و وظیفه‌­شناس­‌تری به نظر بیام. پس اگه بدونم که قراره بر‌اساس توییت­‌هام در مورد آینده­‌ی شغلی‌ام تصمیم گرفته بشه، این مساله روی اینکه چی می­نویسم و چطور می­نویسم تاثیر نخواهد گذاشت؟اگه به دلایل نامشخصی (براساس قوانین نامشخصی که ابزار داره) امتیاز ویژگی «به چالش کشیدن قدرت» من بالا باشه، این باعث می­شه مدیران اون شرکت در مورد من گارد داشته باشن؟در طول چندسال گذشته،‌ کارکنان حوزه­‌ی تکنولوژی و سازمان­‌های کارگری اعتراضات زیادی برای محکوم کردن نوع فعالیت­‌های شرکت‌­ها انجام دادند و خواستار شفافیت بیشتر شدن. آیا کمپانی­‌هایی مثل Palantir، Amazon، Uber یا هر کمپانی دیگه­‌ای از ابزارهایی مثل ابزار ادراکات شخصیتی استفاده میکنه و امتیاز مربوط به ویژگی «به چالش کشیدن قدرت» رو در کارکنانش براساس ارتباطات ایمیلی، توییت­‌ها یا پست­‌های فروم­‌های عمومی رو از این طریق ارزیابی می­کنه؟ آیا این کار مغایر با حق کارکنان برای آزادی اعتراض صلح آمیز و سازماندهی نیست؟یه مثال دیگه هم براتون می­زنم:حق برخورداری از حریم خصوصی (بند ۱۲ UDHR)شرکت IBM ادعا می­کنه که ابزار ادراکات شخصیتی یه ابزار stateless؛ یعنی «هیچ محتوایی (شامل هرگونه اطلاعات شخصی فرد) در این سرویس ابری ذخیره نمی­شود» این خبر خوبیه، البته به نظر من. اما نگرانی من فقط این نیست که آیا IBM خودش این داد‌ه‌­ها رو ذخیره می­کنه یا نه، بلکه راجع به وجود اون توسعه‌­دهنده­های شخص ثالثی نگرانم که از API ادراکات شخصیتی برای اپلیکیشن­های خودشون استفاده می­کنن. براساس چیزی که IBM میگه «مشتریان مسئولند که در مورد سازگاری مسائل خود با قوانین و مقررات مختلف اطمینان کسب کنند، شامل قانون حفاظت از داده­‌های عمومی اتحادیه اروپا. [...] IBM هیچگونه مشاوره‌­ی حقوقی، حسابداری یا حسابرسی ارائه نمی‌­کند یا گارانتی نمی­‌کند که هیچ­یک از خدمات یا محصولاتش در مورد سازگاری با قوانین یا مقررات برای مشتریان قابل قبول باشد.» (منبع) طرح Lite شرکت IBM به شما اجازه میده بدون پرداخت هیچ هزینه‌­ای ۱۰۰۰ درخواست API در ماه برای ابزار ادراکات شخصیتی داشته باشید.خلاصه اینکه،‌ هرکسی به هر دلیلی، می­تونه از ابزار ادراکات شخصیتی استفاده کنه و شخصیت شما رو بر اساس نوشته­‌های عمومی­‌تون، یا ارتباطات ایمیلی­‌تون یا فعالیت­‌های شبکه­‌های اجتماعی‌­تون نتیجه‌­گیری کنه- بدون اینکه حتی به شما اطلاع داده بشه.??‍♀️ حرف پایانیاون­چه که من تو این پست نوشتم فقط نمونه‌­ای از خروارها سیستم‌های یادگیری ماشین جعبه-سیاه ماننده که اخیرا به سرعت در حال تکثیرن – شرکت IBM Watson به‌هرحال یکی از هزاران مورده- که می­تونن عواقب ناخواسته‌­ای داشته باشن. درسته، شکی نیست که موارد استفاده­‌ی معتبری برای این ابزار و ابزارهای دیگه مثل این وجود داره. اما به نظر میاد که اثرات بالقوه‌­ی اون به خوبی در نظر گرفته نشده بود: چطور می­تونیم اطمینان کسب کنیم که فواید چنین ابزاری از آسیب­‌های احتمالی که برای ضعیف‌­ترین اقشار جامعه ممکنه داشته باشه بیشتره؟اگه شما یک توسعه دهنده هستید که میخواید از هرگونه سرویس‌های ML مبتنی بر فضای ابری برای اپلیکیشن شخصی خودتون استفاده کنید، بهتون قویا توصیه می­کنم که مستندات اون سرویس رو زیر و رو کنید و مسائل مربوط به اخلاقیات و حقوق فردی و اجتماعی رو بررسی کنید. سناریو‌های فرضی بسازید و قبل از اینکه بخواید ازش استفاده کنید ابزار رو با اون­ها تست کنید و ببینید چه تاثیری ممکنه روی افراد و گروه‌های مختلف مثل اقلیت‌های جنسی و جنسیتی، کودکان، اقلیت‌های مذهبی، پناهجویان، و غیره میتونه داشته باشه. ببینید که هر چند‌وقت یه بار سرویس‌­ها و مستنداتشون رو آپدیت می­کنن. و همیشه به تاثیرات و کاربردهای بزرگتر فکر کنید. (ممکنه روش کاری که تو این دو پست استفاده شده به دردتون بخوره: تعصب جنسیتی و نژادی در APIهای احساسات مبتنی بر فضای ابری NLP، از بین رفتن کیفیت: تکامل ضمنی سرویس­های بینشی کامپیوتری).و در آخر، در مورد خود شرکت IBM، فقط یه درخواست دارم.این «فکت شیت» که کارکنان خودتون در تیم تحقیقاتی IBM پیشنهاد کردن رو پر کنید و به طور عمومی منتشرش کنید: فکت شیت­‌ها: اعتماد فزاینده به سرویس­های AI از طریق سند تضمین اعتبار از سوی تهیه کننده. اگه نمی­تونید ساختن ابزارهای جعبه سیاه مانند رو متوقف کنید، حداقل به پیشنهاد کارکنان خودتون عمل کنید و یه «فکت شیت» منتشر کنید. شفاف عمل کنید و نشون بدید می­تونید یه نمونه‌­ی خوب از کاربرد یادگیری ماشین باشید، نه یه نمونه‌­ی بد. Taraaz - تراز Taraaz - تراز Wed, 30 Dec 2020 09:17:32 +0330