آیا هوش مصنوعی کاری که از آن انتظار داریم را انجام می دهد؟

چاپ‌شده در: مجله Quanta به تاریخ ۳۰ ژانویه ۲۰۲۰
نویسنده: Natalie Wolchover
لینک مقاله اصلی: https://www.quantamagazine.org/artificial-intelligence-will-do-what-we-ask-thats-a-problem-20200130//

این مقاله توسط ربات ترجمیار و به صورت خودکار ترجمه شده و می‌تواند به صورت محدود دارای اشکالات ترجمه باشد.

خطر اینکه دستگاه‌های هوشمند مصنوعی پیشنهاد ما را انجام دهند این است که ممکن است به اندازه کافی در مورد آنچه که می‌خواهیم مراقب نباشیم. خطوط کدی که این ماشین‌ها را فعال می‌کنند به ناچار فاقد ظرافت هستند، فراموش می‌کنند که کاوش‌ها را هجی کنند، و در نهایت به اهداف و مشوق‌های سیستم‌های هوش مصنوعی که با اولویت‌های واقعی ما همخوانی ندارند، پایان می‌دهند.

یک آزمایش فکری کلاسیک که این مشکل را نشان می‌دهد توسط فیلسوف آکسفورد، نیک بوستروم در سال ۲۰۰۳ مطرح شد. بوستروم یک ربات فوق هوشمند را تصور کرد که با هدف ظاهرا بی‌ضرر تولید گیره‌های کاغذ برنامه‌ریزی شده‌است. این ربات در نهایت کل دنیا را به یک کارخانه بزرگ تولید گیره کاغذ تبدیل می‌کند.

چنین سناریویی را می توان آکادمیک دانست، نگرانی که ممکن است در آینده دور به وجود آید. اما هوش مصنوعی ناهمسو خیلی زودتر از حد انتظار به یک مساله تبدیل شده‌است.

هشدار دهنده‌ترین مثال موردی است که بر میلیاردها نفر تاثیر می‌گذارد. یوتیوب با هدف به حداکثر رساندن زمان مشاهده، از الگوریتم‌های توصیه محتوای مبتنی بر هوش مصنوعی استفاده می‌کند. دو سال پیش، دانشمندان و کاربران کامپیوتر متوجه شدند که به نظر می‌رسد الگوریتم یوتیوب با توصیه محتوای افراطی و توطئه‌آمیز به هدف خود رسیده‌است. یک محقق گزارش داد که پس از اینکه فیلم تظاهرات انتخاباتی دونالد ترامپ را دید، یوتیوب در ادامه ویدیوهای خود با عنوان «شعارهای برتری نژادی سفید و دیگر محتوای نگران‌کننده» را ارائه کرد. در نتیجه، تحقیقات نشان می‌دهند که الگوریتم یوتیوب به قطبی کردن و رادیکال کردن مردم و انتشار اطلاعات نادرست کمک کرده‌است تا فقط ما را تماشا کند. دیلن هادافیلد - منل، یک محقق هوش مصنوعی در دانشگاه کالیفرنیا، برکلی، گفت: «اگر من در حال برنامه‌ریزی برای همه چیز بودم، احتمالا این اولین مورد آزمایشی از نحوه اجرای این فن‌آوری در مقیاس گسترده نبود.»

آنچه اهمیت داشت و در نتیجه هدف هوش مصنوعی بود، به نوعی افزایش کیفیت کلی تجربه انسانی بود.

احتمالا مهندسان یوتیوب قصد رادیکال کردن بشریت را نداشتند. اما برنامه‌نویسان نمی‌توانند به همه چیز فکر کنند. هادفیلد - منل می‌گوید: «شیوه فعلی که ما هوش مصنوعی را پیاده‌سازی می‌کنیم بار زیادی را بر دوش طراحان قرار می‌دهد تا درک کنند که پیامدهای مشوق‌هایی که به سیستم‌های خود می‌دهند چه هستند. و یکی از چیزهایی که یاد می‌گیریم این است که بسیاری از مهندسان اشتباه کرده‌اند»

یک جنبه مهم مشکل این است که انسان‌ها اغلب نمی‌دانند به سیستم‌های هوش مصنوعی ما چه اهدافی بدهند، چون ما نمی‌دانیم واقعا چه می‌خواهیم. دورسا صدیق، دانشمند هوش مصنوعی در دانشگاه استنفورد که متخصص تعامل انسان و ربات است، می‌گوید: «اگر از کسی در خیابان بپرسید، می‌خواهید ماشین خودران‌تان چه کار کند؟» آن‌ها خواهند گفت: «اجتناب از تصادف» اما شما می‌دانید که این فقط این نیست؛ یک مشت ترجیحات وجود دارد که مردم دارند. مثلا ماشین‌های فوق ایمن خیلی آهسته حرکت می‌کنند و آنقدر ترمز می‌کنند که مسافران را بیمار می‌کنند. زمانی که برنامه نویسان سعی می‌کنند تمام اهداف و اولویت‌هایی که یک ماشین رباتیک باید به طور همزمان با آن حرکت کند را لیست کنند، این لیست به ناچار ناقص می‌شود. صدیق می‌گوید هنگام رانندگی در سان‌فرانسیسکو، او اغلب پشت یک ماشین خودران گیر کرده که در خیابان متوقف شده‌است. با خیال راحت از برخورد با یک شی متحرک اجتناب می‌کند، همانطور که برنامه نویسان به آن گفته‌اند؛ اما شی چیزی شبیه به یک کیسه پلاستیکی است که در باد حرکت می‌کند.

برای اجتناب از این مشکلات و حل بالقوه مشکل هم‌ترازی هوش مصنوعی، محققان شروع به ایجاد یک روش کاملا جدید برای برنامه‌نویسی ماشین‌های مفید کرده‌اند. این رویکرد ارتباط نزدیکی با ایده‌ها و تحقیقات استوارت راسل، دانشمند برجسته کامپیوتر در برکلی، دارد. راسل۵۷ ساله، کار پیشگامانه ای را در مورد عقلانیت، تصمیم‌گیری و یادگیری ماشین در دهه ۱۹۸۰ و ۹۰ انجام داد و نویسنده اصلی کتاب درسی هوش مصنوعی است که به طور گسترده استفاده می‌شود: رویکرد مدرن. در پنج سال گذشته، او به یک صدای موثر در مورد مشکل همترازی و یک چهره فراگیر - یک فرد انگلیسی خوش‌گفتار، محافظه‌کار با کت و شلوار سیاه - در جلسات و هیات‌های بین‌المللی در مورد خطرات و حکومت طولانی‌مدت هوش مصنوعی تبدیل شده‌است.

همانطور که راسل متوجه شد، هوش مصنوعی هدف گرا در نهایت برای تمام موفقیت‌هایش در انجام وظایف خاص مانند پیروزی بر ما در جئوپاردی، و بازی گو، شناسایی اشیا در تصاویر و کلمات در گفتار، و حتی ساختن موسیقی و نثر محدود است! راسل استدلال می‌کند که درخواست از یک ماشین برای بهینه‌سازی یک «تابع پاداش» - توصیف دقیق برخی از ترکیب اهداف - به ناچار منجر به سو تنظیم هوش مصنوعی خواهد شد، زیرا گنجاندن و وزن دهی صحیح به تمام اهداف، اهداف فرعی، استثنا و هشدار در تابع پاداش، یا حتی دانستن این که موارد درست چه هستند، غیر ممکن است. با دادن آزادی به اهداف، روبات‌های «مستقل» با هوشمند شدن بیشتر، به طور فزاینده‌ای خطرناک خواهند بود، زیرا روبات‌ها در پی‌گیری عملکرد پاداش خود بی‌رحم خواهند بود و تلاش خواهند کرد تا ما را از تغییر آن‌ها باز دارند.

تفکر جدید به جای ماشین‌هایی که اهداف خود را دنبال می‌کنند، باید به دنبال ارضای اولویت‌های انسانی باشند؛ تنها هدف آن‌ها باید یادگیری بیشتر در مورد اولویت‌های ما باشد. راسل ادعا می‌کند که عدم قطعیت در مورد اولویت‌های ما و نیاز به راهنمایی ما، سیستم‌های هوش مصنوعی را ایمن نگه خواهد داشت. راسل در کتاب اخیر خود به نام سازگاری انسان، پایان‌نامه خود را به شکل« سه اصل ماشین‌های مفید» بیان می‌کند که سه قانون رباتیک اسحاق آسیموف را از سال ۱۹۴۲ با سادگی کمتری بیان می‌کند. نسخه راسل می‌گوید:

• تنها هدف ماشین به حداکثر رساندن درک اولویت‌های انسانی است
• دستگاه در ابتدا در مورد این اولویت‌ها نامشخص است.
• منبع نهایی اطلاعات در مورد اولویت‌های انسانی رفتار انسان است.

در طول چند سال گذشته، راسل و تیمش در برکلی، همراه با گروه‌های همفکر در استنفورد، دانشگاه تگزاس و جاه‌ای دیگر، بدون نیاز به مشخص کردن این اولویت‌ها، روش‌های ابتکاری برای شناسایی سیستم‌های هوش مصنوعی در اولویت‌های ما ایجاد کرده‌اند. این آزمایشگاه‌ها به روبات‌ها آموزش می‌دهند که چگونه اولویت‌های انسانی را یاد بگیرند که هرگز آن‌ها را بیان نمی‌کنند و شاید حتی مطمئن نباشند که آن‌ها چه می‌خواهند. روبات‌ها می‌توانند خواسته‌های ما را با مشاهده تظاهرات ناقص یاد بگیرند و حتی می‌توانند رفتارهای جدیدی اختراع کنند که به حل ابهام انسان کمک می‌کند. (برای مثال، در تابلوهای توقف چهارراه، ماشین‌های خود گردان عادت به پشتیبانی کمی برای نشان دادن به رانندگان انسان برای ادامه مسیر را توسعه دادند). این نتایج نشان می‌دهند که هوش مصنوعی ممکن است به طرز شگفت آوری در استنتاج ذهن‌هایمان و ترجیحات ما خوب باشد، حتی اگر آن‌ها را آموزش نداده باشیم.

صدیق می‌گوید:«این ها اولین تلاش‌ها برای فرموله کردن این مشکل است. اخیرا مردم فهمیده‌اند که ما باید با دقت بیشتری به تعامل انسان و ربات نگاه کنیم»

اینکه آیا این تلاش‌ها و سه اصل ماشین‌های مفید راسل واقعا نوید بخش آینده‌ای روشن برای هوش مصنوعی هستند یا خیر، همچنان باید مشاهده کرد. این رویکرد، موفقیت روبات‌ها را بر روی توانایی آن‌ها برای درک آنچه که انسان‌ها واقعا و حقیقتا ترجیح می‌دهند، تثبیت می‌کند - چیزی که این گونه‌ها مدتی است که در تلاش بوده‌اند تا آن را درک کنند. پل کریستیانو، محقق همسازی در اوپی‌ای‌آی، گفت که راسل و تیمش این مشکل را تا حد زیادی روشن کرده‌اند و به «مشخص کردن اینکه رفتار مورد نظر چگونه است - هدف ما چیست» کمک کرده‌اند.

چگونه انسان را درک کنیم

سال ۲۰۱۴ راسل در یک سفر مطالعاتی از برکلی به پاریس رفته بود و برای یک گروه کر که به عنوان یک تنور به آن ملحق شده بود تمرین می‌کرد. او به تازگی به یاد می‌آورد: «چون من موسیقی‌دان خیلی خوبی نیستم، همیشه مجبور بودم در راه تمرین در مترو آهنگم را یاد بگیرم.» او گفت: «قطعه موسیقی بسیار زیبا بود. به این فکر افتادم که آنچه اهمیت دارد و بنابراین هدف هوش مصنوعی است، به نوعی کیفیت کلی تجربه انسانی است.»

او متوجه شد که روبات‌ها نباید برای رسیدن به اهدافی مانند به حداکثر رساندن زمان مشاهده یا ساخت گیره‌های کاغذ تلاش کنند؛ آن‌ها باید به سادگی تلاش کنند تا زندگی ما را بهبود بخشند. فقط یک سوال وجود داشت: «اگر وظیفه ماشین‌ها این باشد که تلاش کنند تا کیفیت کلی تجربه انسانی را بهینه کنند، چگونه آن‌ها خواهند دانست که آن چه بوده است؟»

ریشه افکار راسل به خیلی پیشتر بازمی‌گردد. او از زمان مدرسه خود در لندن در دهه ۱۹۷۰، زمانی که الگوریتم‌های بازی شطرنج و تیک‌تاک را روی کامپیوتر یک کالج در آن نزدیکی برنامه‌‌نویسی می‌کرد، هوش مصنوعی را مطالعه کرده‌است. بعدا، او پس از نقل‌مکان به منطقه خلیج دوست‌دار هوش مصنوعی، نظریه‌پردازی در مورد تصمیم‌گیری منطقی را آغاز کرد. او به زودی به این نتیجه رسید که این کار غیرممکن است. انسان‌ها حتی از راه دور منطقی نیستند، زیرا از نظر محاسباتی امکان پذیر نیست: ما احتمالا نمی‌توانیم محاسبه کنیم که کدام عمل در هر لحظه منجر به بهترین نتیجه در میان تریلیون‌ها عمل در آینده بلند مدت ما خواهد شد؛ طبعا هوش مصنوعی هم نمی‌تواند. راسل این نظریه را مطرح کرد که تصمیم‌گیری ما سلسله‌مراتبی است - ما با دنبال کردن اهداف مبهم بلندمدت از طریق اهداف میان‌مدت، عقلانیت را به طور تقریبی برآورد می‌کنیم در حالی که بیش‌ترین توجه را به شرایط فوری خود می‌کنیم. او فکر کرد که ماموران روبوتیک باید کار مشابهی انجام دهند یا حداقل درک کنند که ما چگونه عمل می‌کنیم.

شهرت راسل در پاریس بیشتر شد موقعی که هوش مصنوعی در یک زمان محوری بود. ماه‌ها قبل، یک شبکه عصبی مصنوعی با استفاده از یک روش معروف به یادگیری تقویتی، دانشمندان را با یادگیری سریع از چگونگی بازی کردن و شکست دادن بازی‌های ویدیویی آتاری، و حتی ابداع ترفندهای جدید در طول راه شوکه کرده بود. در یادگیری تقویتی، هوش مصنوعی یاد می‌گیرد که عملکرد پاداش خود را بهینه کند، مانند امتیاز آن در یک بازی؛ چون رفتارهای مختلفی را امتحان می‌کند، آن‌هایی که عملکرد پاداش را افزایش می‌دهند تقویت می‌شوند و احتمال وقوع آن‌ها در آینده بیشتر است. اگر نتوانیم یک ماشین را خاموش کنیم چون به ما اجازه نمی‌دهد، واقعا در دردسر هستیم.

راسل معکوس این رویکرد را در سال ۱۹۹۸ توسعه داد، کاری که او با همکار خود اندرو ان‌جی به اصلاح آن ادامه داد. یک سیستم «یادگیری تقویتی معکوس» سعی در بهینه‌سازی تابع پاداش کدشده ندارد، مانند یادگیری تقویتی؛ در عوض سعی می‌کند یاد بگیرد که یک انسان چه تابع پاداشی را بهینه می‌کند. در حالی که یک سیستم یادگیری تقویتی بهترین اقدامات برای رسیدن به یک هدف را مشخص می‌کند، یک سیستم یادگیری تقویتی معکوس هدف اصلی را در یک مجموعه از اقدامات مشخص می‌کند.

چند ماه پس از اینکه تحت‌تاثیر «موسیقی آگنوس دی» قرار گرفت، راسل در جلسه‌ای در مورد اداره هوش‌ مصنوعی در وزارت امور خارجه آلمان با «نیک بوستروم» درباره یادگیری تقویت معکوس صحبت کرد. راسل گفت: «این جایی بود که دو چیز در کنار هم قرار گرفتند.» او در مترو فهمیده بود که ماشین‌ها باید تلاش کنند تا کیفیت کلی تجربه انسان را بهینه کنند. اکنون او متوجه شده‌است که اگر آن‌ها در مورد نحوه انجام این کار مطمئن نیستند - اگر کامپیوترها نمی‌دانند که انسان‌ها چه چیزی را ترجیح می‌دهند - «آن‌ها می‌توانند نوعی تقویت معکوس برای یادگیری بیشتر انجام دهند».

با یادگیری تقویتی معکوس استاندارد، یک ماشین تلاش می‌کند تا یک تابع پاداش را که یک انسان به دنبال آن است، یاد بگیرد. اما در زندگی واقعی، ما ممکن است به طور فعال به یادگیری آن در مورد خودمان کمک کنیم. راسل پس از دوره مطالعاتی خود در برکلی شروع به کار با همکارانش کرد تا نوع جدیدی از «یادگیری تقویتی معکوس مشارکتی» را ایجاد کند که در آن یک ربات و یک انسان می‌توانند با هم‌کار کنند تا اولویت‌های واقعی انسان را در «بازی‌های کمکی» مختلف بیاموزند - سناریوهای انتزاعی نشان‌دهنده دنیای واقعی، موقعیت‌های دانش جزیی.

یک بازی که آن‌ها توسعه دادند، که با نام بازی سوییچ خاموشی شناخته می‌شود، به یکی از بدیهی‌ترین روش‌هایی می‌پردازد که روبات‌های خودمختار می‌توانند از اولویت‌های واقعی ما سو تنظیم شوند: با از کار انداختن سوئیچ‌های خاموش‌کردن خودشان. آلن تورینگ در یک سخنرانی در رادیوی بی‌بی‌سی در سال ۱۹۵۱ (یک سال پس از انتشار یک مقاله پیشگام در مورد هوش مصنوعی) پیشنهاد کرد که ممکن است «برای مثال با خاموش کردن قدرت در لحظات استراتژیک، ماشین‌ها را در یک موقعیت مطیع نگه دارید». چه چیزی مانع از این می‌شود که یک عامل هوشمند سوئیچ خاموش خود را غیرفعال کند، یا، به طور کلی، از دستورها برای توقف افزایش عملکرد پاداش خود چشم‌پوشی کند؟ در سازگاری انسانی، راسل می‌نویسد «مشکل سوئیچ خاموش هسته اصلی مشکل کنترل برای سیستم‌های هوشمند است. اگر نتوانیم یک ماشین را خاموش کنیم چون به ما اجازه نمی‌دهد، واقعا در دردسر هستیم. اگر بتوانیم، می‌توانیم آن را به روش‌های دیگری نیز کنترل کنیم.»

همان طور که بازی سوییچ خاموشی نشان داد، عدم قطعیت در مورد اولویت‌های ما می‌تواند کلیدی باشد، یک مدل رسمی از مشکل که شامل هریت انسان و رابی ربات می‌شود. رابی داره تصمیم می‌گیره از طرف هاریت عمل کند - مثلا برای اون یک اتاق هتل خوب اما گران‌قیمت رزرو کند - اما در مورد چیزی که او ترجیح میدهد مطمئن نیست. رابی تخمین می‌زند که نتیجه نهایی برای هریت می‌تواند بین ۴۰- تا ۶۰+ باشد، با متوسط ۱۰+ (رابی فکر می‌کند او احتمالا اتاق فانتزی را دوست خواهد داشت اما مطمئن نیست) انجام هیچ کاری نتیجه صفر دارد. اما گزینه سوم هم وجود دارد: رابی می‌تواند از هریت بپرسد که آیا می‌خواهد ادامه دهد یا ترجیح می‌دهد «آن را خاموش کند» - یعنی، رابی را از تصمیم رزرو هتل خارج کنید. اگر او اجازه دهد که ربات حرکت کند، بازده متوسط مورد انتظار برای هریت بیشتر از ۱۰+ می‌شود. بنابراین، رابی تصمیم خواهد گرفت با هریت مشورت کند و اگر او مایل است، اجازه دهد آن را خاموش کند.

راسل و همکارانش ثابت کردند که به طور کلی، اگر رابی کاملا مطمئن نباشد که خود هریت چه خواهد کرد، ترجیح می‌دهد به او اجازه تصمیم‌گیری بدهد. راسل در بخش سازگاری انسانی نوشته است: «به نظر می‌رسد که عدم قطعیت در مورد هدف، برای اطمینان از اینکه ما می‌توانیم ماشین را خاموش کنیم، ضروری است، حتی زمانی که از ما باهوش‌تر است.»

ما در مورد تغییرات احساساتمان چه احساسی داریم؟ برای یک روبات فقیر خیلی مهم است که آن را درک کند.

این و دیگر سناریوهای دانش جزیی به عنوان بازی‌های انتزاعی توسعه داده شده‌اند، اما آزمایشگاه اسکات نیکوم در دانشگاه تگزاس، آستین الگوریتم های یادگیری اولویت را بر روی روبات‌های واقعی اجرا می‌کند. هنگامی که جمینی، ربات دودست آزمایشگاه، می‌بیند که انسانی چنگال را در سمت چپ یک بشقاب روی یک قرار می‌دهد، در ابتدا نمی‌تواند بگوید که آیا چنگال همیشه به سمت چپ بشقاب می‌رود، یا همیشه در آن نقطه خاص روی میز؛ الگوریتم های جدید به جمینی اجازه می‌دهند که الگو را بعد از چند نمایش یاد بگیرد. نیکام بر روی به دست آوردن سیستم‌های هوش مصنوعی برای کمی‌کردن عدم قطعیت خود در مورد اولویت‌های انسان متمرکز است و به ربات این امکان را می‌دهد که وقتی به اندازه کافی می‌داند که ایمن عمل کند، ارزیابی کند. او گفت: «ما بطور مستقیم در مورد توزیع اهداف در ذهن فرد استدلال می‌کنیم که می‌تواند درست باشد و ما در مورد ریسک با توجه به آن توزیع استدلال می‌کنیم»

اخیرا، نیکام و همکارانش یک الگوریتم کارآمد پیدا کرده‌اند که به روبات‌ها اجازه می‌دهد تا نحوه انجام کارها را به مراتب بهتر از نمایش انسانی یاد بگیرند. از نظر محاسباتی برای ربات بسیار از نظر محاسباتی پیچیده است که مانورهای رانندگی را به سادگی با تماشای نمایش رانندگان انسانی فرابگیرد. اما نیکوم و همکارانش دریافتند که آن‌ها می‌توانند یادگیری را با نمایش روباتی که براساس عملکرد انسان رتبه‌بندی شده‌اند، بهبود بخشیده و به طور چشمگیری سرعت بخشند. "نماینده می‌تواند به این رتبه‌بندی نگاه کند و بگوید،" اگر این رتبه است، رتبه‌بندی چیست؟ هرچه نمایش بهتر می‌شود، چه اتفاقی می‌افتد؟ آخرین نسخه الگوریتم یادگیری، که بیزین T-REX نامیده می‌شود (برای برون‌یابی پاداش رتبه‌بندی شده مسیر)، الگوهایی را در دموهای رتبه‌بندی شده پیدا می‌کند که توابع پاداش احتمالی را آشکار می‌کند که ممکن است انسان‌ها برای آن بهینه‌سازی کنند. این الگوریتم همچنین احتمال نسبی توابع پاداش مختلف را اندازه‌گیری می‌کند. به گفته نیکام، روباتی که در حال اجرای T - REX بیزین است، می‌تواند به طور موثر قوانین احتمال تنظیمات مکان یا هدف یک بازی آتاری را استنتاج کند، حتی اگر هرگز نمایش کامل را نبیند.

انتخاب‌های بی‌نظیر ما

یوشع بنجیو، مدیر علمی مایلا، یک موسسه تحقیقاتی هوش مصنوعی در مونترال، گفته است که ایده‌های راسل «در حال راه یافتن به اذهان جامعه هوش مصنوعی هستند.» او گفته است که رویکرد راسل، که در آن سیستم‌های هوش مصنوعی به دنبال کاهش عدم قطعیت خود در مورد اولویت‌های انسانی هستند، می‌تواند با یادگیری عمیق به دست آید - روش قدرتمند پشت انقلاب اخیر در هوش مصنوعی، که در آن سیستم داده‌ها را از طریق لایه‌های یک شبکه عصبی مصنوعی برای پیدا کردن الگوهای خود بررسی می‌کند. وی گفت: «البته برای تحقق این امر، کار تحقیقاتی بیشتری مورد نیاز است.»

راسل دو چالش عمده را می‌بیند. او گفته است: «یکی این واقعیت است که رفتار ما آنقدر دور از منطقی بودن است که بازسازی اولویت‌های واقعی ما می‌تواند بسیار دشوار باشد.» سیستم‌های هوش مصنوعی باید در مورد سلسله‌مراتب اهداف بلند مدت، میان‌مدت و کوتاه‌مدت - ترجیحات و تعهداتی که هر یک از ما به آن‌ها وابسته هستیم - استدلال کنند. اگر روبات‌ها قصد دارند به ما کمک کنند (و از ایجاد خطاهای جدی جلوگیری کنند)، باید مسیر خود را در اطراف تارهای تیره باورهای ناخودآگاه و خواسته‌های نامشخص ما بدانند.

چالش دوم این است که اولویت‌های انسانی تغییر می‌کنند. ذهن ما در طول زندگی تغییر می‌کند و همچنین بسته به حالت روحی ما و یا شرایط دیگری که یک روبات ممکن است برای رسیدن به آن تقلا کند، با انداختن یک سکه تغییر می‌کند.

علاوه بر این، اقدامات ما همیشه مطابق با ایده‌آل‌هایمان نیست. افراد می‌توانند ارزش‌های متضاد را به طور همزمان حفظ کنند. کدام یک از این موارد باید توسط یک ربات بهینه شود؟ برای اجتناب از جلب توجه به بدترین ایمپالس‌ها (یا بدتر از آن، تقویت آن ایمپالس‌ها، و در نتیجه راضی کردن آن‌ها، همانطور که الگوریتم یوتیوب انجام داد)، روبات‌ها می‌توانند چیزی را بیاموزند که راسل فرا-اولویت‌های ما می‌نامد: «در مورد چه نوع فرآیندهای تغییر اولویت ممکن است قابل‌قبول یا غیرقابل‌قبول باشد؟ برای یک روبات فقیر خیلی مهم است که آن را درک کند.»

همانند روبات‌ها، ما نیز سعی داریم اولویت‌های خود را مشخص کنیم، هم آن‌ها چه هستند و هم می‌خواهیم چه باشند، و چگونه با ابهامات و تناقضات مقابله کنیم. همانند بهترین هوش مصنوعی ممکن، ما هم تلاش می‌کنیم - حداقل برخی از ما، برخی از زمان‌ها - شکل خوب را همان طور که افلاطون موضوع دانش می‌نامد، درک کنیم. همانند ما، سیستم‌های هوش مصنوعی ممکن است برای همیشه در حال پرسیدن سوالات - یا منتظر ماندن در وضعیت خاموش، بسیار نامشخص برای کمک باشند.

کریستیانو گفته است: «من انتظار ندارم که ما درک زیادی از آنچه که خوب است داشته باشیم، یا پاسخ‌های ایده‌آل به هر یک از سوالات تجربی که با آن مواجه هستیم. اما من امیدوارم که سیستم‌های هوش مصنوعی که ما می‌سازیم بتوانند به این پرسش‌ها همچنین به یک انسان پاسخ دهند و در یک روند تکراری یکسان برای بهبود آن دسته از پاسخ‌هایی که انسان‌ها دارند - حداقل در روزهای خوب - درگیر شوند.»

با این حال، یک مساله مهم سوم وجود دارد که لیست کوتاه نگرانی‌های راسل را تشکیل نمی‌دهد: اولویت‌های افراد. چه چیزی مانع از کار کردن یک روبات برای راضی کردن اهداف شیطانی صاحب خود می‌شود؟ سیستم‌های هوش مصنوعی تمایل به یافتن راه‌هایی در اطراف ممنوعیت‌ها دارند؛ چرا که افراد ثروتمند در قوانین مالیاتی روزنه‌ها پیدا می‌کنند، بنابراین به سادگی آن‌ها را از ارتکاب جرم منع می‌کنند و احتمالا موفق نخواهند شد.

یا، حتی برای اینکه تیره‌تر شویم: چه می‌شود اگر همه ما به نوعی بد باشیم؟ یوتیوب در تلاش است تا الگوریتم پیشنهادی خود را تثبیت کند، که به هر حال بر روی انگیزه‌های انسانی موجود در همه جا حاضر است.

با این حال، راسل احساس خوش بینی می‌کند. اگرچه به الگوریتم ها و تحقیقات بیشتر نیاز است، او گفت که احساس درونی او این است که اولویت‌های مضر می‌توانند به طور موفقیت‌آمیز توسط برنامه نویسان کم شوند - و اینکه چنین رویکردی حتی می‌تواند مفید باشد «در روشی که ما کودکان را پرورش می‌دهیم و مردم را آموزش می‌دهیم و غیره» به عبارت دیگر، در آموزش روبات‌ها برای خوب بودن، ما ممکن است راهی برای آموزش خودمان پیدا کنیم. او افزود: «من احساس می‌کنم که این شاید فرصتی باشد تا همه چیز را در مسیر درست هدایت کنم.»

این مقاله توسط ربات ترجمیار و به صورت خودکار ترجمه شده و می‌تواند به صورت محدود دارای اشکالات ترجمه باشد.