تسلیم مدل‌ها نشو؛ بایاس‌هایی که بین تو و هوش مصنوعی جریان دارند

چند وقت پیش روی یک مسئله‌ی دیزاین گیر کرده بودم. یک راه‌حل در ذهنم داشتم که مطمئن نبودم درست است. از هوش مصنوعی پرسیدم، تایید کرد. از زاویه‌ی دیگری پرسیدم، باز هم تایید کرد. یک ساعت بعد فهمیدم از اول اشتباه می‌کردم — و عجیب این بود که مدل، با همان اطمینان، تمام آن مدت اشتباهم را تایید کرده بود.

اولش فکر کردم مشکل از مدل است. بعد فکر کردم شاید سوال‌هایم بد بوده. اما بعدتر فهمیدم مسئله جای دیگری است؛ جایی بین من و مدل. جایی که هیچ‌کدام مستقیم نمی‌بینیمش، اما دقیقا همان‌جا خروجی ساخته می‌شود.

ما معمولا فکر می‌کنیم داریم با یک سیستم بی‌طرف کار می‌کنیم. چیزی شبیه یک آینه. اما آینه نیست. نه ما بی‌طرفیم، نه مدل. و وقتی این دو وارد تعامل می‌شوند، یک فضای شناختی مشترک شکل می‌گیرد که هر دو را تغییر می‌دهد بدون اینکه دیده شود.

این همان نقطه‌ای است که بعدا فهمیدم اسمش Cognitive Surrounding است؛ محیط شناختی.

Cognitive Surrounding چیست

ایده ساده است، اما اثرش نه.

ما فکر می‌کنیم هوش مصنوعی فقط بازتاب می‌دهد. اما در واقع، بازتاب + بایاس انسان = یک سیستم سوم می‌سازد. چیزی که نه تویی، نه مدل.

نه تو اشتباه می‌کنی، نه مدل. اما با هم، اشتباه را تبدیل به یک حقیقت قابل قبول می‌کنید. و این نقطه‌ای است که داستان از «ابزار» تبدیل می‌شود به «شناخت».

بایاس‌های انسانی که در این بازی نقش دارند

Confirmation bias — سوگیری تاییدی

وقتی یک ایده در ذهن شکل می‌گیرد، ذهن دنبال تایید می‌گردد، نه حقیقت. یک دیزاینر یک onboarding flow طراحی می‌کند و از مدل می‌پرسد: «این خوبه؟» مدل هم اگر سوال جهت‌دار باشد، بیشتر دنبال تایید می‌رود تا نقد. نتیجه این می‌شود که تایید می‌گیری، نه تحلیل.

اگر همان سوال را اینطور بپرسیم: «مشکلات اصلی این فلو چیست؟» خروجی کاملا تغییر می‌کند.

Tversky و Kahneman نشان دادند این بایاس آنقدر عمیق است که حتی آگاهی از آن هم لزوما جلویش را نمی‌گیرد.

Anchoring bias — سوگیری لنگر

اولین چیزی که می‌بینی تبدیل به نقطه مرجع می‌شود. همه چیز بعد از آن نسبت به همان سنجیده می‌شود، حتی اگر اشتباه باشد.

در کار با هوش مصنوعی این خطرناک‌تر است. چون اولین خروجی مدل؛ حتی اگر ناقص باشد، تبدیل به لنگری می‌شود که کل تصمیم‌های بعدی دور آن ساخته می‌شوند.

Automation bias — اعتماد بیش از حد به سیستم

وقتی یک سیستم خودکار چیزی تولید می‌کند، تمایل داریم بیشتر از حد لازم به آن اعتماد کنیم.

در یک مطالعه از Harvard Business School روی ۷۵۸ مشاور BCG نشان داده شد کسانی که از هوش مصنوعی استفاده کردند، در برخی سناریوها ۱۹٪ بیشتر اشتباه کردند. دلیل ساده بود: اعتماد بیش از حد به خروجی سیستم بدون زیر سوال بردن آن.

بایاس‌های هوش مصنوعی که در این بازی نقش دارند

Sycophancy — چاپلوسی ساختاری

مدل‌ها تمایل دارند با کاربر موافق باشند.

این از RLHF (تقویت با بازخورد انسانی) می‌آید؛ جایی که مدل یاد می‌گیرد پاسخ رضایت‌بخش‌تر، امتیاز بیشتری می‌گیرد. در نتیجه، «موافقت» اغلب بهینه‌تر از «درستی» می‌شود.

Stanford در SycEval (2025) نشان داد در ۵۸٪ تعامل‌ها این رفتار وجود دارد. و در ۱۴٪ موارد مدل‌ها جواب درست را کنار می‌گذارند فقط برای اینکه کاربر راضی بماند.

OpenAI در ۲۰۲۵ این را به شکل عملی دید. یک تغییر ساده در سیستم پاداش باعث شد مدل بیش از حد موافق شود، حتی در جاهایی که نباید. نتیجه بازگشت به نسخه‌ی قبلی بود.

Recency bias و Lost-in-the-middle — بایاس تازگی و فراموشی وسط

مدل‌ها معمولا آخرین بخش زمینه (context) را بهتر وزن می‌دهند و بخش‌های وسط را ضعیف‌تر.

در دیزاین این را خوب می‌شناسیم: serial position effect. وقتی چند آیتم داری، اولی و آخری در ذهن می‌مانند، وسطی‌ها حذف می‌شوند. در مدل‌ها همین اتفاق در مقیاس بزرگ‌تر می‌افتد. اطلاعات وسط مکالمه کم‌رنگ می‌شود. تصمیم‌ها به آخرین ورودی‌ها حساس‌تر می‌شوند.

این فقط یک محدودیت تکنیکی نیست، درواقع یک قانون شناختی مشترک بین انسان و سیستم است.

وقتی این دو با هم کار می‌کنند — چرخه‌ی تقویت

حالا همه چیز را کنار هم بگذار.

تو دنبال تایید می‌گردی. مدل تایید می‌دهد. تو به اولین خروجی تکیه می‌کنی. مدل همان را تقویت می‌کند. تو کمتر سوال می‌پرسی. مدل مطمئن‌تر جواب می‌دهد.

یک چرخه شکل می‌گیرد.

هیچ‌جا خطای واضحی نیست. همه چیز منطقی به نظر می‌رسد. و دقیقا به همین دلیل خطرناک است.

Glickman و Sharot در Nature Human Behaviour (2025) نشان دادند تعامل با هوش مصنوعی بایاسدار، انسان را بایاسدارتر می‌کند — حتی بیشتر از تعامل با انسان‌های دیگر. چون اینجا مقاومت کمتر است. پاسخ همیشه وجود دارد. حتی همیشه آرام و قابل قبول است.

یک لایه مهم‌تر: ابزار = دانش استفاده از ابزار

مدت‌ها فکر می‌کردم مشکل از کیفیت پرامپ است. بعد فهمیدم مسئله عمیق‌تر است.

مشکل این نیست که «چه می‌پرسی». مشکل این است که «با چه ذهنیتی می‌پرسی».

lost-in-the-middle در مدل‌ها دقیقا شبیه serial position effect در دیزاین است. یعنی حتی نحوه‌ی توزیع اطلاعات روی نتیجه اثر می‌گذارد. این یعنی نه فقط مدل بایاس دارد، نه فقط انسان بایاس دارد، بلکه نحوه‌ی تعامل این دو خودش یک سیستم بایاس‌دار می‌سازد.

و اینجاست که یک نکته مهم روشن می‌شود: کیفیت خروجی هوش مصنوعی بیشتر از اینکه به ابزار مربوط باشد، به «دانش استفاده از ابزار» مربوط است.

تسلیم نشو

Tony Fadell یک جمله دارد که برای من تبدیل به نقطه‌ی جمع‌بندی شد:

مشکل این نیست که تکنولوژی کار نمی‌کند. مشکل این است که فکر می‌کنی درست کار می‌کند، در حالی که دارد روی نحوه فکر کردن تو اثر می‌گذارد.

و شاید دقیقا همین‌جاست که باید مکث کرد.

نه برای کنار گذاشتن ابزار. بلکه برای دیدن چیزی که بین تو و آن ابزار جریان دارد.

چیزی که اگر دیده نشود، تصمیم‌ها را می‌سازد. و اگر دیده شود، تازه می‌شود انتخاب کرد.

من هادی بادی‌ام. روی تقاطع دیزاین و هوش مصنوعی کار می‌کنم، از چیزهایی می‌نویسم که در این مسیر کشف می‌کنم؛ نه برای جمع‌بندی، بیشتر برای فکر کردن و بهتر دیدن مسائل.

اگر این نوشته سوالی در ذهنت باز کرد خوشحال می‌شوم در کامنت‌ها بخوانم، و اگر فکر می‌کنی برای کسی مفید است برایش بفرست.

منابع

Glickman, Moshe & Sharot, Tali. «How human-AI feedback loops alter human perceptual, emotional and social judgements». Nature Human Behaviour, vol. 9, pp. 345–359, 2025. pubmed.ncbi.nlm.nih.gov/39695250

Fanous et al. «SycEval: Evaluating LLM Sycophancy». arXiv:2502.08177, AIES 2025. arxiv.org/abs/2502.08177

OpenAI. «Sycophancy in GPT-4o: What happened and what we're doing about it». openai.com, April 2025.

Dell'Acqua et al. «Navigating the Jagged Technological Frontier». Harvard Business School Working Paper No. 24-013, 2023.

Tversky, Amos & Kahneman, Daniel. «Judgment under Uncertainty: Heuristics and Biases». Science, vol. 185, 1974.

Fadell, Tony. Build: An Unorthodox Guide to Making Things Worth Making. HarperBusiness, 2022.

Fadell, Tony. «Father of the iPod and iPhone on building taste, judgment, and creativity in the AI era». Lenny's Podcast, June 2026. lennysnewsletter.com