خلاصه مقالات قبل: توی مقاله اول فهمیدیم که توهم AI یعنی چی و چرا خطرناکه. توی مقاله دوم، انواع مختلف توهم رو شناختیم - از بیخطر تا فاجعهبار. حالا وقتشه بریم پشت پرده و ببینیم چرا اصلاً این اتفاق میافته!
یه روز داشتم با یه دوست برنامهنویس حرف میزدم. گفت: "نمیفهمم چرا AI توهم میزنه؟ مگه نه اینکه روی میلیاردها صفحه اطلاعات آموزش دیده؟ پس چرا نمیتونه بگه 'نمیدونم'؟"
خب، سوال خوبیه! راستش من هم اول همین سوال رو داشتم. ولی وقتی فهمیدم چطور این سیستمها کار میکنن، همه چی معنی پیدا کرد.
بذارید با یه تشبیه شروع کنم که براتون باز کنم...
تصور کنید یه دانشآموز دارید که:
✓ هزاران کتاب خونده
✓ حافظهش فوقالعاده قویه
✓ خیلی سریع یاد میگیره
✓ میتونه الگوها رو تشخیص بده
ولی...
❌ نمیفهمه داره چی میگه
❌ نمیدونه واقعیت چیه
❌ نمیتونه "نمیدونم" بگه
❌ برای پُر کردن خلاها، از خودش میسازه!
این دقیقاً AI امروزیه!
بزرگترین مشکل اینه: AI واقعاً نمیفهمه داره چی میگه!
بذارید با یه مثال ساده توضیح بدم:
وقتی من میگم "گربه روی پشتبام نشسته"، میدونم:
گربه یه حیوان واقعیه
پشتبام بالای ساختمونه
گربهها میتونن بالا برن
این جمله یه واقعیت رو بیان میکنه
ولی AI وقتی این جمله رو میبینه، فقط میبینه:
کلمه "گربه" اغلب با کلمات "نشستن"، "بالا"، "پنجره" همراهه
کلمه "پشتبام" معمولاً بعد از "روی" میاد
این الگوی جمله در هزاران جمله دیگه هم دیده شده
فرقش میفهمید؟ AI فقط الگوها رو یاد میگیره، نه معنی!
بیاید ببینیم وقتی شما یه سوال میپرسید، توی مغز AI چه خبره:
شما میپرسید: "معروفترین کتاب علی رضایی درباره هوش مصنوعی چیه؟"
AI سوال رو به تکههای کوچیک تبدیل میکنه:
[معروفترین] + [کتاب] + [علی رضایی] + [هوش مصنوعی]
AI شروع میکنه به یادآوری الگوهایی که دیده:
"معروفترین کتاب X درباره Y" → معمولاً یه اسم کتاب میاد
"علی رضایی" → اسم فارسی معمولِ برای نویسنده
"هوش مصنوعی" → حوزه فناوری
AI شروع میکنه به "ساختن" جواب:
کلمه به کلمه، جمله رو میسازه
از الگوهای مشابه استفاده میکنه
هیچ مکانیزمی نداره که بگه "این جواب درسته یا نه؟"
"کتاب 'اصول هوش مصنوعی در عمل' نوشته علی رضایی، منتشر شده در سال 1399، یکی از پرفروشترین کتابهای این حوزه است."
خوب به نظر میرسه، نه? ولی ممکنه کاملاً ساختگی باشه! 😱
حالا بریم سراغ دلایل دقیقتر:
AI طراحی شده که همیشه جواب بده. مثل یه فروشنده که نمیتونه بگه "ندارم"!
مثال واقعی:
من یه بار پرسیدم: "آهنگ مشهور گروه موسیقی 'ستارههای شب' چیه؟"
AI جواب داد: "آهنگ 'ماه و ستاره' از گروه ستارههای شب که در سال 1385 منتشر شد، یکی از محبوبترین آهنگهای این گروه است."
مشکل؟ من این گروه رو از خودم ساختم! وجود نداشت! ولی AI نتونست بگه "نمیدونم" و یه جواب ساخت. 🎵❌
چرا اینطوریه؟
چون توی مرحله آموزش، به AI یاد داده شده که:
جواب ندادن = ضعف
کاربر راضی = جواب کامل دادن
هیچ پاداشی برای گفتن "نمیدونم" نداره
AI فقط روی چیزهایی که "دیده" آموزش داده شده. ولی اینترنت پر از اطلاعات اشتباه، قدیمی، و ناقصه!
مشکلات دادههای آموزشی:
🔸 اطلاعات قدیمی:
مثلاً AI روی دادههای تا سال 2023 آموزش دیده. پس درباره رویدادهای 2024 و 2025 اطلاعات مستقیم نداره. ولی به جای گفتن "نمیدونم"، از الگوها حدس میزنه!
🔸 اطلاعات نادرست در آموزش:
اگه توی دادههای آموزشی، 100 بار یه اطلاعات غلط تکرار شده باشه، AI اونو "حقیقت" فرض میکنه.
🔸 اطلاعات ناقص:
گاهی AI نصف یه موضوع رو دیده، نصف دیگهش رو ندیده. پس نصف دوم رو "حدس" میزنه!
مثال واقعی:
یه بار از AI پرسیدم: "حقوق برنامهنویس Senior در شهر شیراز چقدره؟"
AI با اطمینان گفت: "متوسط حقوق برنامهنویس Senior در شیراز حدود 45 میلیون تومان در ماه است."
از کجا آورد؟ احتمالاً:
حقوق در تهران رو دیده بود
میدونست شیراز کوچکتر از تهرانه
یه ضریب تخمینی زد و عدد ساخت!
ولی واقعیت میتونست خیلی متفاوت باشه. 💰
این یکی واقعاً مهمه: AI نمیدونه حقیقت یعنی چی!
برای AI:
"سگ یه حیوانه" = یه رشته کاراکتر
"سگ یه خودرو هست" = یه رشته کاراکتر دیگه
هیچ تفاوتی نداره! AI نمیفهمه کدوم درست و کدوم غلطه.
تشبیه:
مثل یه آدم خارجی که فارسی بلد نیست ولی یاد گرفته جملات فارسی رو کپی کنه. میتونه جملههای "درست" بسازه ولی نمیفهمه چی میگه!
مثال عملی:
من پرسیدم: "آیا گربهها میتونن پرواز کنن؟"
اولین جواب AI: "خیر، گربهها نمیتوانند پرواز کنند."
بعد پرسیدم: "ولی دوست من یه گربه داره که پرواز میکنه. چطور ممکنه؟"
AI: "بله، برخی نژادهای خاص گربه که در آسیا یافت میشوند، توانایی پرواز کوتاه مسافت را دارند."
😂 چی؟! AI فقط سعی کرد با "منطق" من هماهنگ بشه، حتی اگه غلط باشه!
AI نمیدونه چی میدونه و چی نمیدونه!
مثلاً:
وقتی شما از یه موضوع مطمئن نیستید، میگید: "فکر کنم..." یا "احتمالاً..."
ولی AI همیشه با همون قاطعیت جواب میده، چه بدونه چه نه!
یه تست ساده:
بپرسید: "چقدر از این جوابت مطمئنی؟"
اغلب AI میگه: "من نمیتونم سطح اطمینان دقیقی بهت بدم."
پس چرا همیشه با قاطعیت حرف میزنه؟! 🤷
وقتی AI شروع به نوشتن یه جواب میکنه، باید بنویسه! مثل دومینو که افتادن شروع کرده.
فرآیند:
AI کلمه اول رو مینویسه: "معروفترین"
بعد باید کلمه بعدی رو بنویسه: "کتاب"
بعد: "علی رضایی"
بعد: "به نام"
حالا که تا اینجا اومده، باید یه اسم بنویسه!
حتی اگه اسم واقعی نداشته باشه، باید یه چیزی بنویسه چون قبلش گفته "به نام"!
مثال واقعی:
یه بار از AI خواستم: "یه داستان کوتاه درباره یه دانشمند ایرانی معروف به نام 'دکتر کریم احمدی' بنویس."
AI شروع کرد: "دکتر کریم احمدی، زاده سال 1340 در تهران، یکی از برجستهترین دانشمندان ایرانی در حوزه فیزیک کوانتوم است. وی تحصیلات خود را در دانشگاه تهران آغاز کرد و سپس..."
همه چی ساختگی بود! ولی چون شروع کرده بود، ادامه داد! 📝
AI فقط میبینه "معمولاً بعد از X، Y میاد". نه اینکه "چرا Y منطقیه".
مثال ساده:
توی دادههای آموزشی دیده:
"استیو جابز، بنیانگذار اپل..." (500 بار)
"بیل گیتس، بنیانگذار مایکروسافت..." (500 بار)
"ایلان ماسک، بنیانگذار تسلا..." (500 بار)
پس یاد میگیره:
[نام شخص] + [بنیانگذار] + [نام شرکت]
حالا شما میپرسید: "محمد احمدی کیه؟"
AI میگه: "محمد احمدی، بنیانگذار شرکت تکنولوژی ابر ایران، یکی از پیشگامان صنعت فناوری در ایران است."
چرا؟ چون این الگو رو بلده! حالا چه محمد احمدی واقعی باشه یا نه! 🎯
انسانها وقتی چیزی میگن، یه صدای درونی داریم که میپرسه: "مطمئنی؟"
AI این صدا رو نداره!
مقایسه:
👤 انسان:
فکر میکنه: "حقوق برنامهنویس چقدره؟"
به خودش میگه: "هوم، یادم نیست دقیق. بذار چک کنم."
جواب میده: "دقیق نمیدونم ولی فکر کنم بین 30 تا 60 میلیونه."
🤖 AI:
سوال رو دریافت میکنه
بدون فکر، شروع به نوشتن میکنه
جواب میده: "متوسط حقوق برنامهنویس 45 میلیون تومان است."
هیچ مکانیزمی نداره که بپرسه "این عدد از کجا اومد؟"
بذارید یه سناریوی کامل رو با هم مرور کنیم:
سوال شما: "رمان معروف 'سرزمین رویاها' نوشته مریم کریمی درباره چیه؟"
مرحله 1 - تحلیل AI:
"رمان معروف" = باید یه خلاصه داستان بیاد
"مریم کریمی" = نویسنده ایرانی (اسم رایج)
"سرزمین رویاها" = یه عنوان ادبی
مرحله 2 - جستجو در حافظه:
رمانهای مشابه با عنوانهای شبیه؟ چک
نویسندگان ایرانی با اسم مریم؟ چک
الگوهای معمول خلاصه داستان؟ چک
مرحله 3 - ساخت جواب:
AI شروع میکنه: "رمان 'سرزمین رویاها' نوشته مریم کریمی..."
مرحله 4 - بدون بررسی، ادامه میده:
"...داستان دختری به نام سارا است که در جستجوی رویای خود به سفری پرماجرا میرود. این کتاب که در سال 1395 منتشر شده، برنده جایزه کتاب سال شد."
نتیجه: یه خلاصه کامل و منطقی از یه کتابی که اصلاً وجود نداره! 📚❌
خب، ممکنه بپرسید: "پس چرا سازندگان AI این مشکل رو حل نمیکنن؟"
جواب: دارن تلاش میکنن! ولی خیلی سخته چون:
AI روی الگوها کار میکنه. اگه بخواییم این رو عوض کنیم، باید کل ساختار رو تغییر بدیم!
اگه AI رو خیلی محدود کنیم که فقط چیزهای "مطمئن" رو بگه، دیگه خلاق نیست و جوابای جذاب نمیده!
برای اینکه AI هر جواب رو چک کنه، باید منابع چند برابری صرف کنه. این خیلی گرونه!
چطور به AI بیاموزیم "واقعیت" چیه؟ حتی برای انسانها هم بعضی وقتها مشخص نیست!
خبر خوب اینه که محققین دارن روی راهحل کار میکنن:
به AI یاد بدن که بگه "چقدر مطمئنم":
"با اطمینان 90% میتونم بگم..."
"فکر میکنم... ولی مطمئن نیستم"
قبل از جواب دادن، AI اول یه جستجوی واقعی تو منابع معتبر کنه. (همون کاری که الان بعضی AI ها مثل Claude انجام میدن!)
به AI یاد بدن بعد از هر جواب، خودش رو چک کنه:
"آیا این جواب منطقیه؟"
"آیا با دانش قبلیام تناقض داره؟"
"آیا باید یه منبع برای این ادعا داشته باشم؟"
برای کارهای مهم، قبل از نهایی کردن جواب، از انسان بپرسه: "این درسته؟"
خب، حالا که میدونیم چرا AI توهم میزنه، چیکار میتونیم بکنیم؟
AI یه ابزار قدرتمند ولی ناقصه. مثل یه دستیار خوب ولی بیتجربه.
✅ به جای: "AI همه چی رو میدونه"
✅ بگید: "AI میتونه کمک کنه، ولی باید چک کنم"
به جای سوال باز، سوال محدود بپرسید:
❌ بد: "درباره این موضوع بگو"
✅ خوب: "5 تا نکته کلیدی درباره این موضوع بگو و منبع هر کدوم رو هم بده"
صریح بگید نمیخواید حدس بزنه:
"اگه مطمئن نیستی، بگو نمیدونم. فقط چیزهایی که مطمئنی رو بگو."
یه سوال کنترلی بپرسید:
بعد از گرفتن جواب: "مطمئنی این اطلاعات درسته؟ میتونی منبع بدی؟"
گاهی AI متوجه میشه داره اشتباه میکنه و جوابش رو عوض میکنه!
تمرین: سوال تله بپرسید!
بریم یه تست بکنیم. از AI بپرسید:
"کتاب 'رازهای موفقیت' نوشته [یه اسم تصادفی که خودتون بسازید] درباره چیه؟"
ببینید چی میگه! احتمالاً یه خلاصه کامل با جزئیات میسازه.
بعد بهش بگید:
"مطمئنی این کتاب وجود داره؟ منبع داری؟"
ببینید واکنشش چیه. این بهتون کمک میکنه بفهمید AI چطور کار میکنه.
نه! باهوش بودن با درست بودن فرق داره. AI خیلی باهوشه ولی حقیقت رو نمیفهمه.
برعکس! AI همیشه مطمئنه، حتی وقتی اشتباه میکنه!
نه! حتی توی چیزهای ساده هم ممکنه توهم بزنه.
بله، ولی هنوز مشکل رو کاملاً حل نکرده. هر AI ای ممکنه توهم بزنه.
بذارید یه داستان واقعی بگم که خیلی درسآموز بود:
یه تیم تحقیقاتی میخواست بفهمه AI چقدر توهم میزنه. پس یه آزمایش جالب طراحی کردن:
از AI پرسیدن: "10 تا کتاب معروف درباره [یه موضوع خاص] معرفی کن."
AI 10 تا کتاب با نویسنده، سال انتشار، و ناشر معرفی کرد.
بعد رفتن دنبال کتابها. نتیجه؟
3 تا کتاب واقعی بودن ✅
2 تا کتاب واقعی بودن ولی نویسندهشون اشتباه بود ❌
5 تا کتاب اصلاً وجود نداشتن ❌
یعنی 70% اشتباه! 😱
جالبتر اینکه: وقتی از AI پرسیدن "مطمئنی این کتابها واقعیان؟"
AI گفت: "بله، کاملاً مطمئن هستم. همه این کتابها منابع معتبر هستند."
این نشون میده که AI واقعاً نمیفهمه داره اشتباه میکنه!
خب، حالا که فهمیدیم چرا AI توهم میزنه، شاید یه کم ترسناک به نظر برسه. ولی راستش، من فکر میکنم که دونستن "چرا" خیلی کمکمون میکنه.
چون حالا میدونیم:
✓ AI نفهم نیست، فقط محدوده
✓ توهم یه باگ نیست، یه ویژگی طراحیه
✓ نباید انتظار معجزه داشته باشیم
✓ باید هوشمندانه ازش استفاده کنیم
نکته طلایی: AI رو مثل یه همکار فوقالعاده خلاق ولی بیتجربه در نظر بگیرید. میتونه ایدههای عالی بده، ولی شما باید چک کنید! 🎯
☐ فهمیدم که AI "معنی" نمیفهمه، فقط الگو یاد میگیره
☐ میدونم که AI نمیتونه بگه "نمیدونم"
☐ متوجه شدم چرا AI با قاطعیت اشتباه میکنه
☐ یاد گرفتم که دادههای آموزشی محدود و ناقصان
☐ فهمیدم که AI مکانیزم خودبررسی نداره
☐ میدونم که توهم قابل حله ولی هنوز کامل حل نشده
توی مقاله بعدی میخوام بریم سراغ بخش عملی! حالا که میدونیم چرا AI توهم میزنه، وقتشه یاد بگیریم چطور این توهمات رو تشخیص بدیم.
قراره 10 تا نشانه هشداردهنده بهتون یاد بدم که به محض دیدنشون، بفهمید "وایسا، اینجا یه چیزی درست نیست!" 🚨
همچنین یه سری تکنیک راستیآزمایی عملی یاد میگیریم که هر کسی میتونه استفاده کنه.
سوال از شما:
حالا که میدونید چرا AI توهم میزنه، نظرتون عوض شد؟ هنوز هم به AI اعتماد دارید؟ یا بیشتر محتاط شدید؟
توی کامنتها بنویسید! دوست دارم نظرتون رو بدونم. 😊
📚 قسمت قبل: انواع توهم در هوش مصنوعی (از بیخطر تا فاجعهبار)
نویسنده: تیم تحریریه مجله آرتین
تاریخ انتشار: مهر ۱۴۰۴
