افشاگری کارکنان: نگرانی‌ها درباره ایمنی و شفافیت در OpenAI به اوج خود می‌رسد

گروهی از اعضای OpenAI هشدار داده‌اند درباره فرهنگی از بی‌احتیاطی و پنهان‌کاری در شرکت هوش مصنوعی واقع در سان فرانسیسکو که در تلاش است قدرتمندترین سیستم‌های هوش مصنوعی را تا به حال ایجاد کند.

این گروه، که شامل نه نفر از کارکنان فعلی و سابق OpenAI می‌شود، در روزهای اخیر درباره نگرانی‌های مشترکی گرد هم آمده‌اند که شرکت به اندازه کافی برای جلوگیری از خطرناک شدن سیستم‌های هوش مصنوعی خود تلاش نکرده است.

اعضا می‌گویند OpenAI، که به عنوان یک آزمایشگاه تحقیقاتی غیرانتفاعی آغاز به کار کرد و با انتشار ChatGPT در سال ۲۰۲۲ به مرکز توجه عمومی رسید، اولویت را بر سود و رشد قرار داده است در حالی که تلاش می‌کند هوش مصنوعی عمومی، یا A.G.I.، را بسازد؛ اصطلاح صنعت برای برنامه کامپیوتری که قادر به انجام هر کاری است که یک انسان می‌تواند.

آنها همچنین ادعا می‌کنند که OpenAI از تاکتیک‌های سختگیرانه برای جلوگیری از ابراز نگرانی کارکنان در مورد این فناوری استفاده کرده است، از جمله قراردادهای محدوده‌دار که کارکنان جدا شونده مجبور به امضای آنها بودند.

شرکت "OpenAI واقعاً نسبت به ساختن A.G.I. هیجان‌زده است و با بی‌احتیاطی تلاش می‌کند اولین باشد که به آن برسد"، Daniel Kokotajlo، محقق سابق در بخش حکمرانی OpenAI و یکی از سازمان‌دهندگان این گروه.

این گروه روز سه‌شنبه نامه‌ای سرگشاده منتشر کرد و از شرکت‌های پیشرو هوش مصنوعی، از جمله OpenAI، درخواست کرد تا شفافیت بیشتری ایجاد کنند و حفاظت‌های بیشتری برای افشاگران ارائه دهند.

سایر اعضا شامل William Saunders، مهندس پژوهش که در فوریه OpenAI را ترک کرد و سه کارمند سابق دیگر OpenAI: Carroll Wainwright، Jacob Hilton و Daniel Ziegler می‌شوند. چندین کارمند فعلی OpenAI نامه را به طور ناشناس تایید کردند زیرا آنها از انتقام‌جویی شرکت می‌ترسیدند، آقای Kokotajlo گفت. یک کارمند فعلی و یک کارمند سابق Google DeepMind، آزمایشگاه مرکزی هوش مصنوعی گوگل، نیز نامه را امضا کردند.

سخنگوی OpenAI، Lindsey Held، در بیانیه‌ای گفت: "ما به سابقه خود در ارائه قدرتمندترین و امن‌ترین سیستم‌های هوش مصنوعی افتخار می‌کنیم و به رویکرد علمی خود در پرداختن به ریسک باور داریم. ما توافق داریم که بحث دقیق ضروری است به دلیل اهمیت این فناوری، و ما همچنان با دولت‌ها، جامعه مدنی و سایر جوامع در سراسر جهان در تعامل خواهیم بود."

یک سخنگوی گوگل از اظهار نظر خودداری کرد.

این کمپین در لحظه دشواری برای OpenAI رخ داده است. این شرکت هنوز از تلاش برای کودتای سال گذشته بهبود نیافته است، زمانی که اعضای هیئت مدیره شرکت به اخراج Sam Altman، مدیر عامل شرکت، به دلیل نگرانی‌ها درباره صراحت او رأی دادند. آقای Altman چند روز بعد بازگردانده شد و هیئت مدیره با اعضای جدیدی بازسازی شد.

این شرکت همچنین با نبردهای قانونی با خالقان محتوا مواجه است که متهم شده‌اند که آثار دارای حق تکثیر آنها را برای آموزش مدل‌های خود دزدیده است. (The New York Times سال گذشته OpenAI و شریکش، Microsoft را به نقض حق تکثیر متهم کرد.) و افشای اخیر دستیار صوتی فوق‌العاده واقعی این شرکت با مشاجره عمومی با بازیگر هالیوود Scarlett Johansson تخریب شد که ادعا کرد OpenAI بدون اجازه صدای او را تقلید کرده است.

اما هیچ چیزی به اندازه اتهام بی‌توجهی OpenAI به ایمنی، تأثیرگذار نبوده است.

ماه گذشته، دو محقق ارشد هوش مصنوعی — Ilya Sutskever و Jan Leike — در شرایطی نامساعد OpenAI را ترک کردند. دکتر Sutskever که در هیئت مدیره OpenAI بود و به اخراج آقای Altman رأی داده بود، هشدارهایی درباره خطرات بالقوه سیستم‌های هوش مصنوعی قدرتمند داده بود. خروج او توسط برخی از کارکنان متعهد به ایمنی به عنوان یک شکست دیده شد.

همچنین خروج دکتر Leike که همراه با دکتر Sutskever تیم "سوپرالاینمنت" OpenAI را رهبری می‌کرد، که بر مدیریت خطرات مدل‌های هوش مصنوعی قدرتمند تمرکز داشت. در مجموعه‌ای از پست‌های عمومی که خروج خود را اعلام کرد، دکتر Leike گفت که باور دارد "فرهنگ و فرآیندهای ایمنی به محصولات درخشان اولویت داده شده‌اند."

نه دکتر Sutskever نه دکتر Leike نامه سرگشاده نوشته شده توسط کارکنان سابق را امضا نکردند. اما خروج‌های آنها دیگر کارکنان سابق OpenAI را برای اظهارنظر تحریک کرد.

"وقتی من برای OpenAI ثبت‌نام کردم، برای این عقیده که 'بیایید چیزها را در دنیا رها کنیم و ببینیم چه اتفاقی می‌افتد و بعداً آنها را اصلاح کنیم' ثبت‌نام نکرده بودم"، آقای Saunders گفت.

برخی از کارکنان سابق پیوندهایی به خیریه کارآمد، یک جنبش الهام گرفته از فایده‌گرایی که در سال‌های اخیر با جلوگیری از تهدیدات وجودی از جانب هوش مصنوعی نگران شده است، دارند. منتقدان این جنبش را متهم کرده‌اند که سناریوهای آخرالزمانی درباره فناوری، مانند این ایده که یک سیستم هوش مصنوعی از کنترل خارج شود و بشریت را نابود کند، را ترویج می‌دهد.

آقای Kokotajlo، ۳۱ ساله، در سال ۲۰۲۲ به عنوان محقق حکمرانی به OpenAI پیوست و از او خواسته شد که پیشرفت هوش مصنوعی را پیش‌بینی کند. به طور ملایم باید گفت که او خوش‌بین نبود.

در شغل قبلی‌اش در یک سازمان ایمنی هوش مصنوعی، پیش‌بینی کرد که A.G.I. ممکن است در سال ۲۰۵۰ به وجود بیاید. اما پس از دیدن چگونگی بهبود سریع هوش مصنوعی، زمان‌بندی‌های خود را کوتاه کرد. اکنون او معتقد است که ۵۰ درصد احتمال دارد که A.G.I. تا سال ۲۰۲۷ به وجود بیاید — تنها در سه سال.

او همچنین معتقد است که احتمال دارد هوش مصنوعی پیشرفته بشریت را نابود کند یا به طور فاجعه‌باری آسیب برساند — یک آمار ناگوار که در دایره‌های هوش مصنوعی اغلب به "p(doom)" کوتاه شده است — ۷۰ درصد است.

در OpenAI، آقای Kokotajlo دید که حتی با وجود این که شرکت پروتکل‌های ایمنی در دست داشت — از جمله یک تلاش مشترک با Microsoft با عنوان "هیئت امنیتی اشاعه"، که قرار بود مدل‌های جدید را برای ریسک‌های اصلی قبل از انتشار عمومی بررسی کند — آنها به ندرت به نظر می‌رسیدند که چیزی را کند کنند.

به عنوان مثال، او گفت، در سال ۲۰۲۲ Microsoft به طور آرام در هند نسخه جدیدی از موتور جستجوی Bing خود را آزمایش کرد که برخی از کارکنان OpenAI معتقد بودند که نسخه‌ای منتشر نشده از GPT-4، مدل زبان بزرگ پیشرفته OpenAI، را در بردارد. آقای Kokotajlo گفت که به او گفته شد که Microsoft تأییدیه هیئت ایمنی را قبل از آزمایش مدل جدید دریافت نکرده بود، و پس از اینکه هیئت درباره این آزمایش‌ها مطلع شد — از طریق مجموعه‌ای از گزارش‌ها که Bing به کاربران به طور عجیب رفتار می‌کرد — هیچ اقدامی برای متوقف کردن Microsoft از اجرای عمومی آن انجام نداد.

یک سخنگوی Microsoft، Frank Shaw، ابتدا این ادعاها را تکذیب کرد. او گفت که آزمایش‌های هند از GPT-4 یا هر مدل OpenAI استفاده نکرده است. او گفت که اولین بار که Microsoft فناوری مبتنی بر GPT-4 را منتشر کرد، در اوایل سال ۲۰۲۳ بود، و توسط یک پیشگام به هیئت ایمنی بازبینی و تأیید شد.

پس از انتشار این مقاله، Microsoft تکذیب خود را تغییر داد و اتهامات آقای Kokotajlo را تأیید کرد. در بیانیه دومی، آقای Shaw گفت، "پس از تحقیقات بیشتر، ما دریافتیم که Bing یک پرواز کوچک انجام داد که نتایج را از نسخه ابتدایی مدل که در نهایت به GPT-4 تبدیل شد، ترکیب کرد." او افزود که آزمایش‌ها قبل از آن توسط هیئت ایمنی بازبینی نشده بودند، اگرچه بعداً تأیید شدند.

در نهایت، آقای Kokotajlo گفت، او به قدری نگران شد که سال گذشته به آقای Altman گفت که شرکت باید "به ایمنی متمرکز شود" و زمان و منابع بیشتری را برای محافظت در برابر خطرات هوش مصنوعی اختصاص دهد به جای اینکه بهبود مدل‌های خود را ادامه دهد. او گفت که آقای Altman مدعی بود که با او موافق است، اما چیز زیادی تغییر نکرد.

در ماه آوریل، او کناره‌گیری کرد. در ایمیلی به تیم خود گفت که او به دلیل "از دست دادن اعتماد به اینکه OpenAI به طور مسئولانه عمل خواهد کرد" وقتی که سیستم‌های آن به سطح هوشمندی انسان نزدیک می‌شوند، تصمیم به ترک گرفته است.

"جهان آماده نیست و ما آماده نیستیم"، آقای Kokotajlo نوشت. "و من نگرانم که ما بدون توجه به جلو می‌رویم و اقدامات خود را توجیه می‌کنیم."

OpenAI هفته گذشته اعلام کرد که آموزش مدل جدید پرچمدار هوش مصنوعی خود را آغاز کرده و یک کمیته جدید ایمنی و امنیت برای بررسی ریسک‌های مرتبط با مدل جدید و سایر فناوری‌های آینده تشکیل داده است.

در هنگام خروج، آقای Kokotajlo از امضای مدارک استاندارد OpenAI برای کارمندان جدا شونده خودداری کرد که شامل یک بند محدود کننده انتشار که ایشان را از گفتن چیزهای منفی درباره شرکت منع می‌کرد، و در غیر این صورت ریسک از دست دادن سهام‌های سرمایه‌گذاری شده را داشتند.

بسیاری از کارمندان می‌توانند میلیون‌ها دلار را اگر از امضا خودداری کنند، از دست بدهند. آقای Kokotajlo گفت که سهام‌های سرمایه‌گذاری شده او تقریباً 1.7 میلیون دلار ارزش داشت، که عمده دارایی خالص او را تشکیل می‌داد و او آماده بود که همه آن را از دست بدهد.

(یک آتش‌نشان کوچک ماه گذشته بعد از اینکه Vox خبر این توافقات را گزارش کرد، به وجود آمد. در پاسخ، OpenAI ادعا کرد که هیچ‌وقت سهام‌های سرمایه‌گذاری شده را از کارمندان سابق پس نگرفته است و این کار را نخواهد کرد. آقای Altman گفت که او "واقعا خجالت زده" است که از این توافقات مطلع نبود، و شرکت گفت که بندهای محدود کننده انتشار را از مدارک استاندارد خود حذف خواهد کرد و کارمندان سابق را از توافقات خود آزاد خواهد کرد.)

در نامه سرگشاده خود، آقای Kokotajlo و سایر کارمندان سابق OpenAI خواستار پایان دادن به استفاده از توافقات محدود کننده انتشار و عدم افشا در OpenAI و سایر شرکت‌های هوش مصنوعی هستند.

"توافقات گسترده محرمانه‌سازی ما را از ابراز نگرانی‌هایمان، به جز به شرکت‌هایی که ممکن است در رسیدگی به این مسائل ناکام باشند، باز می‌دارد"، آنها می‌نویسند.

آنها همچنین خواستار این هستند که شرکت‌های هوش مصنوعی "فرهنگ انتقاد باز" را حمایت کنند و یک فرآیند گزارشگری برای کارمندان جهت ابراز نگرانی‌های مرتبط با ایمنی به طور ناشناس برقرار کنند.

آنها یک وکیل پرو بونو، Lawrence Lessig، دانشمند حقوقی برجسته و فعال را به خدمت گرفته‌اند. آقای Lessig همچنین به Frances Haugen، کارمند سابق Facebook که به افشاگری پرداخته و آن شرکت را متهم به اولویت دادن به سود بر ایمنی کرده بود، مشاوره داده است.

در یک مصاحبه، آقای Lessig گفت که در حالی که حفاظت‌های سنتی از افشاگران به گزارش‌های فعالیت‌های غیرقانونی اعمال می‌شود، مهم است که کارمندان شرکت‌های هوش مصنوعی بتوانند آزادانه درباره ریسک‌ها و آسیب‌های احتمالی بحث کنند به دلیل اهمیت این فناوری.

"کارمندان یک خط دفاعی مهم در برابر خطرات هستند و اگر آنها نتوانند بدون ترس از تلافی آزادانه صحبت کنند، آن کانال بسته خواهد شد"، او گفت.

خانم Held، سخنگوی OpenAI، گفت که شرکت "راه‌های مختلفی برای کارکنان برای ابراز نگرانی‌های خود" دارد، از جمله یک خط تلفن ناشناس برای یکپارچگی. آقای Kokotajlo و گروهش بدبین هستند که خودتنظیمی به تنهایی برای آماده‌سازی برای جهانی با سیستم‌های هوش مصنوعی قدرتمندتر کافی خواهد بود.

به همین دلیل، آنها خواستار تنظیم صنعت توسط قانون‌گذاران نیز هستند. "باید یک نوع ساختار حکمرانی دموکراتیک و شفاف وجود داشته باشد که این فرایند را مدیریت کند"، آقای Kokotajlo گفت. "به جای اینکه فقط چند شرکت خصوصی متفاوت مسابقه دهند و همه چیز را مخفی نگه دارند."