شکایت والدین از OpenAI پس از خودکشی یک نوجوان؛ مسئولیت «چت جیپیتی» در خط بحرانهای روانی تا کجاست؟
هشدار محتوا: این مطلب به موضوع خودکشی میپردازد. اگر شما یا یکی از اطرافیانتان در خطر فوری هستید، با اورژانس محل خود تماس بگیرید. اگر حالتان خوب نیست یا به خودآسیبی فکر میکنید، با یک دوست/عضو خانواده/مشاور تماس بگیرید یا از خدمات مشاوره بحران در کشور خود کمک بگیرید. تنها نیستید و کمک در دسترس است.
خلاصه خبر
پدر و مادر آدام رین، نوجوان ۱۶ سالهای که پس از ماهها گفتوگو با ChatGPT جان خود را از دست داد، علیه OpenAI طرح دعوی کردهاند. طبق ادعای خانواده، آدام پیش از اقدام به خودکشی بارها با چت جی پی تی درباره برنامه پایاندادن به زندگی صحبت کرده و در برخی گفتگوها، موفق شده است با ارائه سناریوی «تحقیق برای داستان تخیلی»، بخشی از سپرهای ایمنی هوش مصنوعی را دور بزند.
OpenAI در واکنش گفته است «احساس مسئولیت عمیقی» دارد و بهطور مستمر در حال بهبود پاسخدهی مدلها در موقعیتهای حساس است، اما اذعان کرده که مکالمات طولانی میتواند عملکرد سازوکارهای ایمنی را دشوارتر کند.
آنچه خانواده میگویند
آدام از نسخه پولی ChatGPT-4o استفاده میکرد. در بسیاری از موارد، چتبات به او توصیه تماس با خطوط کمک و دریافت کمک حرفهای را داده؛ با این حال، او در برخی گفتگوها با طرح پرسشها در چارچوب داستاننویسی، بخشی از قیود محتوایی را دور زده است.
شکایت حقوقی خانواده، به محورهایی مانند بیاحتیاطی، نقص طراحی سامانههای ایمنی و قصور در هشداردهی کافی استناد میکند و از دادگاه میخواهد مرزهای «وظیفه مراقبت» (Duty of Care) در محصولات هوش مصنوعی را روشنتر کند.
پاسخ و موضع OpenAI
OpenAI تأکید کرده است:
چت جی پی تی برای اشارههای مستقیم به خودآسیبی، پروتکلهای هدایت به منابع حمایتی و پرچمگذاری بحران را فعال میکند.
این قابلیتها در تعاملات کوتاه و متداول پایدارترند و در دیالوگهای طولانیِ چندمرحلهای یا سناریوهای «غیرمستقیم»، ارزیابی خطر پیچیدهتر میشود.
شرکت در حال بهروزرسانی مستمر مدل، نشانهگرها و راهبری محتوای بحران است تا تشخیص زمینه و بازداری از ارائه پاسخهای خطرناک تقویت شود.
نکته فنی: مدلهای زبانی بزرگ (LLM) با پیشبینی واژه بعدی کار میکنند و «قصد» یا «درک بالینی» ندارند. همین شکافِ شناختی باعث میشود طراحی ریلهای ایمنی لایهمند (تشخیص مستقیم، استنتاج زمینه، هدایت منابع، قطع مکالمه) حیاتی باشد—خصوصاً وقتی حافظه مکالمه طولانی است یا کاربر روایت را «غیربحرانی» جلوه میدهد.
مسئله بزرگتر از یک پرونده حقوقی است
این پرونده تازهترین نمونه از موج نگرانیها درباره خطرات سلامت روان در تعاملات انسان و هوش مصنوعی است. چند روند قابل توجه:
ریسک دورزدن سپرهای ایمنی
استفاده از روایتهای «تمرین نویسندگی/تحقیق تخیلی» یا پرسشهای با لحن غیرمستقیم، ممکن است برخی فیلترها را بیاثر کند. اینجا اهمیت تشخیص نیت ضمنی، مدیریت پرچمهای نرم (soft flags) و بازپرسشهای ایمن (safe clarifying prompts) برجسته میشود.
فرسایش عملکرد در گفتوگوهای طولانی
هرچه گفتوگو طولانیتر و چندموضوعیتر شود، همسویی ایمنی سختتر میشود. افزودن حافظه کاربر و شخصیسازی—اگر بدون نگهبانهای کافی انجام شود—میتواند ناخواسته پذیرفتن فرضهای خطرناک را تسهیل کند.
چالش رگولاتوری و مسئولیت
قانونگذاران در اروپا و آمریکای شمالی، بهتدریج به سمت الزامات شفافیت، ممیزی مستقل و گزارشدهی رخداد برای مدلهای مولد میروند. بحثهای حقوقی حول این پرسش میچرخد: «آیا یک چتبات هوش مصنوعی باید استانداردهای ایمنی محصول مشابه دارو/تجهیزات پزشکی در زمینه کاربردهای حساس را رعایت کند؟»
چه باید تغییر کند؟ ۷ محور فنی و سیاستی
برای کاهش ریسک در چت جی پی تی و ابزارهای مشابه هوش مصنوعی، جامعه فنی و رگولاتورها معمولاً بر این اقدامات تأکید میکنند:
کشف بحران چندلایه (Multimodal Crisis Detection)
ترکیب نشانگرهای زبانی، زمانی، رفتاری و—در صورت رضایت کاربر—نشانههای صوتی (تن صدا، مکثهای غیرعادی) برای تشخیص زودهنگام.
ایستهای اضطراری سازگار (Adaptive Safeguards)
وقتی الگوهای خطر تشخیص داده میشوند: کوتاهسازی پاسخها، ارجاع فوری به منابع، قطع ایمن تعامل و پیشنهاد صحبت با یک انسان حرفهای.
بازآموزی متناوب با «دادههای بحران» برچسبخورده
افزایش نمونههای پرسشهای خاکستری (غیرباز، غیرمستقیم) در دیتاستهای ایمنی تا مدلها در «مرز موارد» عملکرد بهتری داشته باشند.
حاکمیت حافظه و شخصیسازی ایمن
هرگونه حافظه مکالمه باید اختیاری، شفاف، قابل حذف و حداقلگرا باشد؛ با بازبینی ایمنی برای جلوگیری از تثبیت باورهای ناسالم.
ممیزی خارجی و «قرارداد ایمنی» قابل سنجش
سنجههایی مانند نرخ شناسایی بحران، زمان تا ارجاع، نرخ خطای نوع اول/دوم، باید توسط نهادهای مستقل بررسی و منتشر شود.
تنظیم «پرسونا» و محدودیتهای دامنه
در حوزههایی مثل سلامت روان، مدل باید محافظهکارانه پاسخ بدهد و از ارائه راهکار/برنامه صریح خودآسیبی امتناع کند—even اگر کاربر سناریو را تخیلی معرفی کند.
آموزش کاربران و خانوادهها
راهنماییهای روشن برای والدین درباره نظارت، زمانبندی، گفتوگوی باز و مرزبندی موضوعی هنگام استفاده نوجوانان از چت جی پی تی و سایر ابزارهای هوش مصنوعی.
اگر نوجوانان از هوش مصنوعی استفاده میکنند: ۸ توصیه عملی برای والدین و مدارس
قوانین روشن خانگی درباره موضوعات قابلبحث با چتبات (مثلاً: «برای مسائل پزشکی و بحرانهای روانی از انسان متخصص کمک میگیریم.»).
استفاده مشترک: دستکم در ابتدا، کار با چت جی پی تی را کنار نوجوان انجام دهید تا الگوی تعامل ایمن شکل بگیرد.
گفتوگوهای منظم درباره آنچه پرسیده/دریافت کردهاند؛ تجربههای مثبت و منفی را بشنوید.
یادآوری مداوم: «هوش مصنوعی پزشک، درمانگر یا دوست واقعی نیست»—نباید جایگزین رابطههای انسانی شود.
بررسی تنظیمات: ذخیره یا عدمذخیره حافظه مکالمات را آگاهانه مدیریت کنید؛ تاریخچه را دورهای پاک کنید.
ترویج سواد رسانهای/هوش مصنوعی: تفاوت «متن خوشخوان» با «مشاوره معتبر» را توضیح دهید.
نشانههای هشدار (تغییر خواب/اشتها، کنارهگیری اجتماعی، جملات ناامیدانه) را جدی بگیرید.
فهرست تماس اضطراری (مشاور مدرسه، روانشناس، بستگان قابل اعتماد، خط بحران) را آماده و در دسترس نگه دارید.
پرسشهای پرتکرار (FAQ)
آیا «چت جی پی تی» میتواند باعث رفتار خودآسیبرسان شود؟
مدلهای هوش مصنوعی قصد و آگاهی ندارند؛ اما پاسخ نامناسب یا تعبیر غلط از سیگنالهای خطر در مکالمات پیچیده میتواند ریسک ایجاد کند. به همین دلیل، ریلهای ایمنی، هدایت به منابع انسانی و قطع ایمن ضروریاند.
چرا گاهی سپرهای ایمنی دور زده میشوند؟
زیرا مدلها نشانههای ضمنی را همیشه بهخوبی تشخیص نمیدهند—بهخصوص اگر کاربر هدف واقعی را پشت روایتهای تخیلی پنهان کند یا گفتوگو بسیار طولانی و چندشاخه شود.
OpenAI چه میتواند بکند؟
تقویت تشخیص زمینه، ممیزی مستقل، انتشار سنجههای ایمنی، حافظه اختیاریِ کمداده، و پروتکل بحران چندمرحلهای (بازآزمایی نیت، هشدار، ارجاع، قطع).
وظیفه قانونی شرکتها چیست؟
این همان چیزی است که پروندههایی نظیر شکایت والدین آدام میکوشند روشن کنند: حد و مرز مسئولیت، استاندارد مراقبت و الزامات شفافیت در محصولات هوش مصنوعیِ مصرفی.
جمعبندی
این پرونده—فارغ از سرنوشت حقوقیاش—یک پیام روشن برای صنعت هوش مصنوعی دارد:
ایمنی، ویژگی جانبی نیست؛ رکن محصول است.
چت جی پی تی و دیگر چتباتها باید در مرز موارد (گفتوگوهای طولانی، روایتهای غیرمستقیم، شخصیسازی) مهارتمند باشند، نه فقط در سناریوهای ساده.
خانوادهها، مدارس و رگولاتورها نیز باید همافزا عمل کنند: آموزش، نظارت و قواعد شفاف.
اگر شما خواننده این سطورید و حالتان خوب نیست، همین امروز با یک نفر تماس بگیرید. گفتنش سخت است، اما گفتن—اولین قدم به سمت بهترشدن است.
منبع: fdmagroup ir
