اپیزود ۵: توهم

سلام.

قسمت قبل در مورد اصالت حرف زدیم. در مورد اینکه چرا صدای خودت مهمه و چطوری حفظش کنی.

امروز می‌خوام در مورد یه چیز دیگه حرف بزنم.

یه چیزی که شاید برات اتفاق افتاده باشه.

از هوش مصنوعی یه سؤال پرسیدی. یه جواب داد. مطمئن و قاطع. بعد فهمیدی که کاملاً غلط بود.

این چیه؟ چرا اتفاق می‌افته؟ و مهم‌تر از همه: چطوری باهاش کنار بیایم؟

امروز می‌خوام در مورد توهمات هوش مصنوعی حرف بزنم.

خب، بذار با یه داستان شروع کنم.

چند وقت پیش یه وکیل آمریکایی داشت یه پرونده رو آماده می‌کرد. از ChatGPT خواست چند تا پرونده‌ی مشابه پیدا کنه که بتونه بهشون استناد کنه.

چت‌جی‌پی‌تی ChatGPT شش تا پرونده داد. با اسم کامل. با تاریخ. با شماره‌ی پرونده. همه‌چیز حرفه‌ای و دقیق به نظر می‌رسید.

وکیل این پرونده‌ها رو گذاشت تو مدارکش و برد دادگاه.

مشکل چی بود؟

هیچ‌کدوم از این پرونده‌ها وجود نداشتن.

هیچ‌کدوم.

چت‌جی‌پی‌تی ChatGPT همه‌شون رو از خودش درآورده بود.

قاضی وقتی فهمید، عصبانی شد. وکیل جریمه شد. آبروش رفت. کارش خراب شد.

و همه‌ش به خاطر چی؟

به خاطر اینکه به هوش مصنوعی اعتماد کرد بدون اینکه چک کنه.

این پدیده یه اسم داره.

بهش می‌گن "توهم" یا به انگلیسی Hallucination.

ولی صبر کن.

قبل از اینکه جلوتر برم، می‌خوام یه چیزی رو روشن کنم.

"توهم" شاید بهترین کلمه نباشه.

چرا؟

چون توهم یه معنی خاص داره. توهم یعنی چیزی رو دیدن یا شنیدن که واقعی نیست. یه تجربه‌ی ذهنی که با واقعیت تطابق نداره.

ولی هوش مصنوعی تجربه‌ی ذهنی نداره. چیزی نمی‌بینه. چیزی نمی‌شنوه. فقط کلمات رو کنار هم می‌ذاره.

پس چرا بهش می‌گن توهم؟

چون از بیرون شبیه توهمه.

هوش مصنوعی یه چیزی می‌گه که وجود نداره. یه چیزی رو توصیف می‌کنه که واقعی نیست. و این از بیرون شبیه اینه که داره توهم می‌زنه.

ولی مکانیزمش فرق می‌کنه.

و فهمیدن این مکانیزم مهمه.

بذار توضیح بدم هوش مصنوعی چطوری کار می‌کنه.

خیلی ساده می‌گم. نمی‌خوام فنی بشم.

هوش مصنوعی‌های مثل ChatGPT بر اساس یه چیزی کار می‌کنن که بهش می‌گن "مدل زبانی."

یعنی چی؟

یعنی یاد گرفتن که بعد از یه کلمه، معمولاً چه کلمه‌ای میاد.

فرض کن این جمله رو داری: "آسمان آبی..."

مدل زبانی یاد گرفته که بعد از "آسمان آبی" معمولاً چه کلماتی میان. شاید "است." شاید "بود." شاید "به نظر می‌رسید."

و یکی از این‌ها رو انتخاب می‌کنه.

این خیلی ساده‌سازی شده. واقعیتش پیچیده‌تره. ولی ایده‌ی اصلی همینه.

هوش مصنوعی داره پیش‌بینی می‌کنه که کلمه‌ی بعدی چی باشه.

حالا مشکل کجاست؟

مشکل اینه که هوش مصنوعی نمی‌فهمه چی داره می‌گه.

یعنی چی؟

یعنی وقتی می‌گه "آسمان آبی است"، نمی‌دونه آسمان چیه. نمی‌دونه آبی چیه. نمی‌دونه "است" یعنی چی.

فقط یاد گرفته که این کلمات معمولاً کنار هم میان.

این فرق خیلی مهمی با آدمه.

وقتی من می‌گم "آسمان آبی است"، می‌دونم آسمان چیه. دیدمش. تجربه‌ش کردم. می‌دونم آبی یعنی چی. می‌دونم "است" یعنی الان این‌طوریه.

هوش مصنوعی هیچ‌کدوم از این‌ها رو نمی‌دونه. فقط الگو یاد گرفته.

و این‌جاست که توهم اتفاق می‌افته.

وقتی از هوش مصنوعی یه سؤال می‌پرسی، سعی می‌کنه یه جواب بسازه که "محتمل" به نظر برسه.

نه یه جواب که "درست" باشه.

یه جواب که "محتمل" به نظر برسه.

فرق این دو تا خیلی مهمه.

بذار برگردم به مثال وکیل.

وقتی ازش خواست پرونده‌های مشابه پیدا کنه، هوش مصنوعی چی کرد؟

رفت و یه چیزی ساخت که "شبیه" یه پرونده‌ی واقعی باشه.

یه اسم که شبیه اسم یه پرونده‌ی حقوقی باشه. یه تاریخ که منطقی باشه. یه شماره که فرمت درستی داشته باشه.

از نظر الگو، همه‌چیز درست بود.

ولی از نظر واقعیت، هیچی درست نبود.

این توهمه.

هوش مصنوعی یه چیزی ساخته که "به نظر" درسته، ولی "واقعاً" درست نیست.

و بدترین قسمتش چیه؟

هوش مصنوعی نمی‌دونه که داره اشتباه می‌کنه.

این خیلی مهمه.

وقتی یه آدم اشتباه می‌کنه، معمولاً یه حسی داره که مطمئن نیست. می‌گه "فکر کنم..." یا "شاید..." یا "مطمئن نیستم ولی..."

هوش مصنوعی این حس رو نداره.

همون‌قدر مطمئن یه چیز غلط می‌گه که یه چیز درست.

این خطرناکه.

چون وقتی یکی مطمئن حرف می‌زنه، ما بیشتر بهش اعتماد می‌کنیم.

بذار یه مثال بزنم.

فرض کن از یه نفر آدرس یه خیابون رو می‌پرسی.

یکی می‌گه: "اوم... فکر کنم... اگه اشتباه نکنم... باید بپیچی راست، بعد چند تا چراغ رد کنی، بعد... نه صبر کن... شاید چپ بود..."

یکی دیگه می‌گه: "بله. مستقیم برو، سر چهارراه دوم بپیچ راست، خیابون سوم سمت چپ."

کدوم رو بیشتر باور می‌کنی؟

احتمالاً دومی.

ولی شاید دومی اشتباه کنه. شاید اصلاً اون خیابون رو نمی‌شناسه ولی خجالت کشیده بگه نمی‌دونم.

این همون کاریه که هوش مصنوعی می‌کنه.

هوش مصنوعی هیچ‌وقت نمی‌گه "نمی‌دونم."

یعنی خیلی کم می‌گه. و حتی وقتی می‌گه، معمولاً بعدش یه جواب می‌ده.

چرا؟

چون طوری طراحی شده. طوری آموزش دیده.

هوش مصنوعی آموزش دیده که "مفید" باشه. که جواب بده. که کمک کنه.

و "نمی‌دونم" گفتن، مفید به نظر نمی‌رسه.

این یه مشکل طراحیه.

و تا وقتی این مشکل حل نشه، توهمات ادامه دارن.

حالا سؤال اینه: چقدر این اتفاق می‌افته؟

بستگی داره.

بستگی داره به چی می‌پرسی. بستگی داره از کدوم مدل استفاده می‌کنی. بستگی داره موضوع چقدر رایج یا نادره.

یه قاعده‌ی کلی هست.

هرچی موضوع رایج‌تر باشه، احتمال توهم کمتره.

هرچی موضوع نادرتر باشه، احتمال توهم بیشتره.

چرا؟

چون هوش مصنوعی بر اساس داده‌هایی که دیده کار می‌کنه.

اگه یه موضوع هزار بار تو داده‌هاش بوده، خوب یادش گرفته.

اگه یه موضوع ده بار بوده، کمتر یادش گرفته.

اگه یه موضوع اصلاً نبوده، داره از خودش درمیاره.

بذار مثال بزنم.

اگه بپرسی "پایتخت فرانسه کجاست؟" احتمالاً درست جواب می‌ده. چون این سؤال هزاران بار تو داده‌هاش بوده.

اگه بپرسی "بهترین رستوران محله‌ی فلان تهران کجاست؟" شاید غلط جواب بده. چون این اطلاعات خاص‌تره و شاید اصلاً تو داده‌هاش نبوده.

یه جاهای دیگه هم توهم بیشتر اتفاق می‌افته.

اسم آدم‌ها. تاریخ‌ها. آمار و ارقام. لینک‌ها و منابع.

این‌ها جاهاییه که باید بیشتر مراقب باشی.

یه مثال دیگه بزنم.

فرض کن می‌خوای در مورد یه آدم معروف تحقیق کنی.

از هوش مصنوعی می‌پرسی کتاب‌هاش چیه.

ممکنه یه لیست بده که بعضی‌هاش درست باشن و بعضی‌هاش نه.

ممکنه یه کتاب رو بذاره که اصلاً وجود نداره. یا یه کتاب از یه نویسنده‌ی دیگه رو بذاره.

چرا؟

چون داره الگو رو دنبال می‌کنه. "این نویسنده + معمولاً + این نوع کتاب‌ها = احتمالاً این اسم."

ولی احتمالاً همیشه درست نیست.

حالا سؤال مهم‌تر.

چطوری با این کنار بیایم؟

اول از همه: قبول کن که این اتفاق می‌افته.

این مهم‌ترین قدمه.

خیلی از آدم‌ها فکر می‌کنن هوش مصنوعی یه جور موتور جستجوی باهوشه. فکر می‌کنن هر چی می‌گه، از یه جایی آورده.

نه.

هوش مصنوعی داره تولید می‌کنه. داره می‌سازه. داره پیش‌بینی می‌کنه.

و گاهی اشتباه می‌کنه.

وقتی این رو قبول کنی، رفتارت عوض می‌شه.

دیگه کورکورانه اعتماد نمی‌کنی. دیگه بدون چک کردن استفاده نمی‌کنی.

دوم: بدون کی بیشتر اتفاق می‌افته.

گفتم که: موضوعات نادر. اسم‌ها. تاریخ‌ها. آمار. لینک‌ها.

این‌ها جاهاییه که باید بیشتر شک کنی.

یه قاعده‌ی ساده: هرچی خاص‌تر، شکاک‌تر.

اگه یه چیز عمومیه، احتمالاً درسته.

اگه یه چیز خاصه، چک کن.

سوم: چک کن.

این ساده به نظر می‌رسه ولی خیلی‌ها انجام نمی‌دن.

اگه هوش مصنوعی یه آمار داد، برو چک کن.

اگه یه اسم داد، برو چک کن.

اگه یه منبع داد، برو چک کن.

چطوری چک کنی؟

گوگل کن. برو سایت اصلی رو ببین. از یه منبع دیگه تأیید بگیر.

می‌دونم. وقت می‌بره. ولی ارزشش رو داره.

بهتره ده دقیقه وقت بذاری چک کنی، تا اینکه مثل اون وکیل آبروت بره.

چهارم: از خود هوش مصنوعی بپرس.

این یه ترفند جالبه.

وقتی هوش مصنوعی یه چیزی گفت، ازش بپرس "مطمئنی؟"

یا بپرس "منبعش چیه؟"

یا بپرس "این رو از کجا آوردی؟"

گاهی وقت‌ها، وقتی این سؤال‌ها رو می‌پرسی، خودش می‌گه "ببخشید، اشتباه کردم."

جالبه نه؟

یه جورایی، وقتی مجبورش می‌کنی فکر کنه، بهتر فکر می‌کنه.

ولی این هم صد در صد نیست.

گاهی وقت‌ها می‌گه "بله، مطمئنم" و بازم اشتباه می‌کنه.

پس این یه لایه‌ی اضافیه، نه جایگزین چک کردن.

پنجم: برای کارای مهم، اعتماد نکن.

این شاید مهم‌ترین نکته باشه.

اگه یه چیزی مهمه — یه تصمیم مهم، یه پروژه‌ی مهم، یه چیزی که عواقب داره — فقط به هوش مصنوعی اعتماد نکن.

هوش مصنوعی خوبه برای ایده گرفتن. خوبه برای شروع کار. خوبه برای پیش‌نویس.

ولی برای تصمیم نهایی؟ برای چیزی که آبروت بهش بستگیه؟ برای چیزی که پول یا سلامتی بهش بستگیه؟

چک کن. تأیید بگیر. مطمئن شو.

یه نکته‌ی دیگه هم هست.

توهم فقط "دروغ" نیست.

یعنی چی؟

یعنی گاهی وقت‌ها هوش مصنوعی چیزی می‌گه که کاملاً غلط نیست، ولی کاملاً درست هم نیست.

بذار مثال بزنم.

فرض کن می‌پرسی "فلان شرکت کی تأسیس شد؟"

هوش مصنوعی می‌گه "۱۹۹۸."

واقعیت اینه که ۱۹۹۷ تأسیس شده.

این غلطه. ولی یه جورایی نزدیکه.

و این نوع اشتباهات خطرناک‌ترن. چون سخت‌تر تشخیصشون می‌دی.

اگه یه چیز کاملاً غلط باشه، شاید متوجه بشی. ولی اگه یه چیز "تقریباً" درست باشه، شاید قبولش کنی.

به همین خاطره که چک کردن مهمه.

حتی اگه یه چیزی "منطقی" به نظر می‌رسه، چک کن.

یه نکته‌ی فلسفی‌تر هم هست.

توهم هوش مصنوعی یه چیزی رو در مورد خود ما نشون می‌ده.

ما چقدر راحت چیزا رو باور می‌کنیم.

فکر کن.

یه ماشین یه چیزی می‌گه، و ما قبولش می‌کنیم.

چرا؟

چون مطمئن گفت. چون روان گفت. چون "به نظر" درست میومد.

این یه ضعف انسانیه.

ما طوری ساخته شدیم که به اطلاعاتی که راحت پردازش می‌شن بیشتر اعتماد کنیم.

اگه یه چیزی روان باشه، قشنگ باشه، مرتب باشه — بیشتر باورش می‌کنیم.

حتی اگه غلط باشه.

هوش مصنوعی این ضعف رو اکسپلویت می‌کنه.

نه عمداً. ولی می‌کنه.

چون طوری طراحی شده که روان باشه. که قشنگ باشه. که مرتب باشه.

و ما می‌افتیم توش.

این یه درس مهمه.

نه فقط در مورد هوش مصنوعی. در مورد همه‌چیز.

هر وقت یه چیزی "خیلی خوب" به نظر رسید، شک کن.

هر وقت یه چیزی "خیلی روان" بود، شک کن.

هر وقت یه چیزی "خیلی مطمئن" گفته شد، شک کن.

این شک سالمه. این شک لازمه.

یه نکته‌ی آخر.

توهم هوش مصنوعی قراره کمتر بشه؟

احتمالاً آره.

مدل‌های جدیدتر بهتر می‌شن. کمتر اشتباه می‌کنن. بهتر می‌فهمن کی مطمئن نیستن.

ولی صفر نمی‌شه.

چرا؟

چون مکانیزم کار همینه. هوش مصنوعی داره پیش‌بینی می‌کنه. و پیش‌بینی همیشه احتمال اشتباه داره.

پس حتی اگه بهتر بشه، باید مراقب باشی.

یه جمله هست که خیلی دوستش دارم.

می‌گه: "هوش مصنوعی یه کارآموز باهوشه. خوب کار می‌کنه، ولی باید کارش رو چک کنی."

این ذهنیت خوبیه.

یه کارآموز باهوش می‌تونه کمک کنه. می‌تونه پیش‌نویس بده. می‌تونه ایده بده. می‌تونه سرعتت رو ببره بالا.

ولی تو مسئولی. تو باید چک کنی. تو باید تأیید کنی.

این مسئولیت رو قبول کن.

یه مثال آخر بزنم.

فرض کن داری یه مقاله می‌نویسی. از هوش مصنوعی می‌خوای کمکت کنه.

یه پیش‌نویس می‌ده. توش چند تا آمار هست. چند تا اسم هست. چند تا تاریخ هست.

چی‌کار می‌کنی؟

اگه همین‌طوری استفاده کنی، ریسک می‌کنی. شاید یکی‌شون غلط باشه. شاید آبروت بره.

اگه همه رو چک کنی، وقت می‌بره. ولی مطمئن می‌شی.

انتخاب با توئه.

ولی حداقل الان می‌دونی که انتخاب داری.

و این مهمه.

دونستن اینکه هوش مصنوعی می‌تونه اشتباه کنه، اولین قدم به سمت استفاده‌ی درست ازشه.

این بود اپیزود پنجم.

خلاصه‌ش این بود: هوش مصنوعی گاهی اشتباه می‌کنه. بهش می‌گن توهم. و بدترین قسمتش اینه که مطمئن اشتباه می‌کنه.

پس شک کن. چک کن. تأیید بگیر. مخصوصاً برای چیزای مهم.

دفعه‌ی بعد، می‌خوام در مورد یه چیز دیگه حرف بزنم. در مورد اینکه چطوری با هوش مصنوعی حرف بزنیم. چطوری سؤال بپرسیم که جواب بهتر بگیریم.

ولی فعلاً همین.

مواظب خودت باش.