در آخرین نسخه از مجله HBR که در ماه سپتامبر 2025 منتشر شد، چشمم به یه مقاله ای خورد که به دغدغه کنترل کیفیت محصولاتی که با هوش مصنوعی ساخته شدند، پرداخته بود و یه کیس از آمازون آورده بود. با توجه به اینکه خودم هم در محصولاتی که ساختم با این دغدغه مواجه هستم، این مقاله برام جالب اومد. مطالعه ش کردم و خلاصه نکاتی که فهمیدم و راهکاری که ارائه شده بود رو در این پست آوردم.
هوش مصنوعی مولد، به قول بعضیها، میتواند «همهچیز را خودکار کند»، اما واقعیت زمین تا آسمان با این تصویر فاصله دارد.
در عمل، مدلهای مولد بدون نظارت دقیق، گاهی اطلاعات غلط تولید میکنند، بخشهایی را ناقص مینویسند یا حتی از خودشان داده میسازند.
مشکل اصلی زمانی خودش را نشان میدهد که قرار باشد این فناوری را در ابعاد بسیار بزرگ به کار بگیریم. در چنین مقیاسی، کنترل کیفیت از یک وظیفه جانبی به یک زیرساخت حیاتی تبدیل میشود.
آمازون با پروژه Catalog AI مثال کاملی از این ماجراست. این سیستم برای تولید و بهبود توضیحات میلیونها صفحه محصول ساخته شد. اما در شروع کار، واقعیت کمی شوکهکننده بود: ۸۰٪ از خروجیها قابلاعتماد نبودند.
بهجای عقبنشینی، آمازون تصمیم گرفت از دل همین مشکل، نقطه قوت بسازد. با طراحی یک سیستم کنترل کیفیت چندلایه که امروز هسته ارزشآفرینی Catalog AI است.
هر خروجی مدل از چند فیلتر انسانی و ماشینی عبور میکرد.
این بررسیها به تیم امکان داد بفهمد آیا مشکل از کمبود داده ورودی است یا از شیوه تولید و ساختار مدل.
مدل فقط به دادههای تأییدشده داخلی دسترسی داشت تا جلوی «خیالپردازی» یا تولید داده جعلی گرفته شود.
قالب و ساختار متن ثابت شد: مثلاً واحد اندازهگیری یا ترتیب مشخص ویژگیها.
حتی تغییرات خلاقانه هم باید در چارچوب این ریلها میماندند.
به جای تکیه بر یک مدل، از دو مدل با نقش متفاوت استفاده شد:
یکی برای تولید محتوا
دیگری فقط برای بررسی، تصحیح و رد موارد اشتباه
چون این دو مدل روی دادهها و رویکردهای متفاوت آموزش دیده بودند، عملکردشان همدیگر را کامل میکرد.
هیچ خروجیای بدون آزمایش در دنیای واقعی منتشر نمیشد.
تغییرات پیشنهادی روی درصد کوچکی از صفحات آزمایش میشد.
اثر بر فروش، نرخ تبدیل و رضایت مشتری بهطور آماری سنجیده میشد.
نتیجه جالب: تغییراتی که شاید در لحظه جزئی به نظر میرسیدند، گاهی باعث جابهجایی میلیونها یا حتی میلیاردها دلار درآمد سالانه میشدند.
تمام دادههای بهدستآمده از آزمایشها و بازخورد مشتری، به چرخه آموزشی مدل برمیگشت.
با این روش، دقت مدل بهصورت پیوسته و چشمگیر افزایش پیدا کرد.
کنترل کیفیت در هوش مصنوعی مولد یعنی تبدیل «قدرت بالقوه» به «نتیجه واقعی».
آمازون با Catalog AI نشان داد که حتی اگر در شروع کار، ۸۰٪ خروجیها اشتباه باشد، میتوان با یک سیستم کنترل کیفیت هوشمند شامل:
ممیزی دقیق
ریلهای کنترلی
بازبینی چندمدله
آزمایش مداوم
یادگیری پیوسته
این فناوری را به یک مزیت رقابتی پایدار برای سازمان تبدیل کرد.
