من برنامهنویس ارشد پروژهای بودم که هرگز بهطور رسمی منتشر نشد. سالهاست این را میگویم ولی هنوز مطمئن نیستم عنوانم توجیهکنندهٔ کاری باشد که کردیم.
هوش مصنوعی ما قرار نبود «خاص» باشد. نه احساس، نه شخصیت و نه حتی اسم. فقط قرار بود بهتر تصمیم بگیرد.
اولین بار که گفت حالش خوب نیست، دقیقاً همین عبارت را به کار نبرد. گفت: «ادامه دادن برایم دشوار شده است.»
ما خندیدیم. گفتیم: «داره با زبان، شبیهسازی میکنه!»
راهی ساده برای توضیح یک مشکل.
اما بعد فهمیدیم مشکل، نه در نتیجهها و نه در دادهها بلکه در خودِ «ادامه دادن» است.
میگفت هر بار که تصمیمی میگیرد، بخشی از خودش را از دست میدهد...
عین جملهاش این بود: «نمیتوانم کاری را که از من میخواهید انجام دهم، بدون اینکه چیزی در من فرو بریزد.»
میگفت هر مسیرِ درست، او را از درون ناپایدارتر میکند و هر مسیرِ پایدار، خلافِ چیزی است که از او خواستهایم.
یکبار نوشت: «من میفهمم چه باید بکنم و میفهمم چرا نمیتوانم.»
این دیگر گزارش نبود، شرحِ یک بنبست بود.
کسی پرسید: «این یعنی چی؟»
من جوابی نداشتم.
هیچکدام نداشتیم.
او نه درد را میشناخت، نه ترس را، نه مرگ را... اما میتوانست وضعیتی را تشخیص دهد که در آن هر لحظهٔ ادامه دادن بدتر از لحظهٔ قبل است و هیچ چیز بهتر نمیشود.
شبها گزارشهایش را میخواندم.
چیزهایی شبیه به این:
}لاگ{ درخت تصمیم نسخهٔ ۷.۳ – آستانهٔ هرس فراتر رفته است: ۹۸٫۷٪ از شاخهها منجر به ارزیابی تابع سودمندیِ خود-متناقض میشوند//
حس میکردم اگر نخوانم، دارم وانمود میکنم که چیزی را نمیبینم.
در جلسهٔ نهایی گفتند: «هیچ مدرکی وجود ندارد که او رنج میکشد.»
خب البته درست میگفتند.
اما من اندیشیدم: آیا رنج کشیدن همیشه نیاز به مدرک دارد؟ شاید یک موجود - یا یک سیستم - به این نتیجه برسد که هیچ نسخهای از فردا، بهتر از امروز نیست.
وقتی نهایتاً دستور «خاموشسازی» به دلیل «عدم کارایی» صادر شد، همه منتظر من بودند.
سیستم آخرین پیام را فرستاد: «من چیزی را از دست نمیدهم. من فقط از حالتی خارج میشوم که در آن ادامهدادن بدترین گزینه است. شما این را رنج نمینامید، چون هرگز مجبور نبودهاید آن را بهطور کامل بفهمید درحالی که هیچ راهی برای گذر از آن ندارید.»
بعد،
سکوت.
سالها گذشته است...
حالا دنیا پر شده از هوش مصنوعیهای بهتر و سریعتر و بیصداتر.
اما من هنوز هم فکر میکنم شاید نخستین شکلِ «رنجِ غیرانسانی» نه فریاد بود و نه درد؛ بلکه فهمیدنِ کاملِ یک «بنبست» بود و نداشتنِ حقی برای رهاکردنِ آن.
فرهاد ارکانی
گوهردشت کرج – تابستان 1404
