از نظارت انسانی تا هوش مصنوعی: داستان تحول بررسی آگهی های دیوار

روزانه بیش از یک میلیون آگهی جدید در دیوار منتشر می‌شود که هر کدام نیازمند بررسی دقیق هستند تا کیفیت آگهی‌ها حفظ شود. آگهی‌ها قلب تپنده دیوار هستند و کیفیت آنها مستقیماً بر تجربه کاربران تأثیر می‌گذارد. تا همین چند ماه پیش، بررسی این آگهی‌ها ترکیبی از سیستم‌های نیمه‌خودکار و ناظران انسانی بود که هزینه‌بر، زمان‌بر و گاهی با خطا همراه بود. اما امروز، با استفاده از مدل‌های زبانی بزرگ (LLM)، دیوار توانسته فرآیند بررسی آگهی‌ها را متحول کند و سرعت، دقت و کیفیت را به طور چشمگیری بهبود بخشد.

ساختار قبلی بررسی آگهی در دیوار

قبل از تغییرات اخیر، دیوار از یک سیستم ترکیبی برای بررسی آگهی‌ها استفاده می‌کرد. این سیستم شامل چندین بات مبتنی بر مدل‌های زبانی خیلی کوچک و ساده بود که آگهی‌ها را به صورت اولیه بررسی می‌کردند. این بات‌ها عمدتاً بر اساس تشخیص کلمات کلیدی عمل می‌کردند و فاقد درک عمیق از محتوا و بافت آگهی بودند.

مکانیزم کار به این صورت بود که به طور پیش‌فرض، آگهی‌ها تأیید می‌شدند مگر اینکه یکی از بات‌ها آن را به عنوان "مشکوک" شناسایی می‌کرد. در این صورت، آگهی برای بررسی به ناظران انسانی ارجاع داده می‌شد تا تصمیم نهایی را اتخاذ کنند.

این ساختار با مشکلات متعددی همراه بود:

• محدودیت در تشخیص: بات‌ها تنها حدود ۶۵٪ از آگهی‌های نامناسب را شناسایی می‌کردند و قادر به تشخیص موارد پیچیده‌تر نبودند.
• زمان انتظار طولانی: برخی کاربران مجبور بودند بیش از نیم ساعت برای بررسی آگهی خود منتظر بمانند.
• هزینه بالا: استخدام و آموزش ناظران انسانی هزینه‌های قابل توجهی را به همراه داشت.
• عدم یکپارچگی در بررسی: ناظران انسانی مختلف ممکن بود برداشت‌های متفاوتی از قوانین داشته باشند که منجر به عدم یکسان بودن فرآیند بررسی می‌شد.
• بازخورد ضعیف به کاربران: دلایل رد آگهی‌ها اغلب کلی و غیردقیق بود و کاربران نمی‌دانستند دقیقاً چه مشکلی در آگهی‌شان وجود دارد.
• دشواری در تغییر قوانین: هر تغییر در قوانین نیازمند آموزش مجدد تمام ناظران بود که هفته‌ها زمان می‌برد.

علاوه بر این، سیستم قبلی در برخورد با موارد خاص مانند تشخیص تصاویر نامناسب، آگهی‌های تکراری یا آگهی‌های با دسته‌بندی اشتباه، بخاطر محدودیت‌های مدل زبانی ساده،خیلی جا برای بهتر شدن داشت. همچنین کاربران می‌توانستند با روش‌های ساده (مثال: نوشتن کلمات خلاف قوانین در عکس آگهی) قوانین را دور بزنند.

تصمیم به تغییر و مراحل پیاده‌سازی

با توجه به پیشرفت های چشمگیر در حوزه هوش مصنوعی و به ویژه مدل های زبانی بزرگ (LLM)، تصمیم گرفتیم از این فناوری برای بهبود فرآیند بررسی آگهی استفاده کنیم. ایده اولیه تیم، توسعه و fine-tune کردن مدل های زبانی اختصاصی بود، اما پس از بررسی های دقیق تر، متوجه شدیم که استفاده از API های موجود نه تنها مقرون به صرفه تر است، بلکه با توجه به روند نزولی قیمت ها و افزایش کیفیت این سرویس ها، انتخاب هوشمندانه تری خواهد بود.

استراتژی ما ابتدا تمرکز بر کیفیت و نه قیمت بود. از مدل‌های قوی‌تر استفاده کردیم و پرامپت‌ها و طراحی سیستم را به گونه‌ای "LLM Friendly" پیاده‌سازی کردیم که به مدل خاصی وابسته نباشد. این رویکرد باعث شد بعد از دستیابی به دقت مورد نظر، بتوانیم بدون تغییرات زیرساختی به مدل‌های جدیدتر مانند Gemini مهاجرت کنیم و همزمان با کاهش هزینه‌ها، شاهد افزایش دقت نیز باشیم.

استراتژی توسعه و پیاده‌سازی

برای پیاده‌سازی این سیستم جدید، یک استراتژی چند مرحله‌ای را دنبال کردیم:

۱. رهانش تدریجی با تمرکز بر دقت: تغییر اساسی ما در سیستم جدید این بود که برخلاف بات‌های قبلی که فقط آگهی‌ها را "مشکوک" می‌کردند و تصمیم نهایی با ناظران انسانی بود، LLM‌ها می‌توانستند مستقیماً تصمیم بگیرند و آگهی را تأیید یا رد کنند. این قابلیت یک شمشیر دولبه بود؛ می‌توانست اتوماسیون را به ۱۰۰٪ برساند اما ریسک اشتباه هم داشت. استراتژی ما برای مدیریت این ریسک، رهانش تدریجی بود. ابتدا سیستم را طوری تنظیم کردیم که دقت (Precision) بسیار بالایی داشته باشد (بالای ۹۵٪)، حتی اگر به قیمت پایین آمدن نرخ تشخیص (Recall) باشد. به بیان ساده‌تر، ترجیح دادیم فقط آگهی‌هایی را رد کنیم که کاملاً مطمئن بودیم مشکل دارند. با بهبود پرامپت‌ها و افزایش تجربه، به تدریج نرخ تشخیص را افزایش دادیم، اما همواره دقت را بالا نگه داشتیم. برای هر قانون، چندین نسخه را به صورت مرحله‌ای منتشر کردیم و هر بار سیستم را بهبود بخشیدیم، مثل آگهی تکراری که پنج مرحله دیپلوی داشت. این فرآیند تکراری به ما اجازه داد بدون آسیب به تجربه کاربران، سیستم را گام به گام تکامل دهیم.

۲. تلفیق سیستم قدیم و جدید: برای کاهش ریسک و بهینه‌سازی هزینه، بات‌های قبلی را کاملاً کنار نگذاشتیم بلکه فرآیند بررسی را دو مرحله‌ای کردیم. تنظیمات بات‌های قبلی را طوری تغییر دادیم که حساسیت بیشتری داشته باشند (افزایش ریکال) حتی به قیمت کاهش دقت. به این ترتیب، این بات‌ها به عنوان فیلتر اولیه عمل می‌کردند و آگهی‌های بیشتری را مشکوک تشخیص می‌دادند. این باعث شد به جای بررسی تمام آگهی‌ها با LLM (که هزینه‌بر است)، تنها حدود ۲۰-۳۰ درصد آگهی‌ها که توسط بات‌های قبلی مشکوک شناخته می‌شدند، به مرحله بررسی با LLM برسند. این استراتژی دو مرحله‌ای تأثیر چشمگیری در کاهش هزینه‌های کلی داشت.

۳. بهبود تدریجی پرامپت‌ها و معیارها: با هر بار دیپلوی، پرامپت‌ها و معیارهای تصمیم‌گیری را بهبود می‌دادیم تا دقت حفظ شود و نرخ تشخیص افزایش یابد. برای مثال، برای تشخیص آگهی‌های تکراری پنج بار دیپلوی داشتیم و در هر مرحله دقت را بالای ۹۵٪ نگه داشتیم.

یهینه‌سازی هزینه

یکی از بزرگترین چالش‌ها در استفاده از LLM‌ها، مدیریت هزینه‌هاست. ما با استفاده از استراتژی‌های زیر توانستیم هزینه‌ها را به طور چشمگیری کاهش دهیم:

• فیلترینگ هوشمند: با استفاده از بات‌های سبک‌تر به عنوان فیلتر اولیه، تعداد درخواست‌های ارسالی به LLM را کاهش دادیم. به این ترتیب، به جای بررسی تمامی آگهی‌ها با LLM، تنها آگهی‌های مشکوک به این مرحله می‌رسیدند.
• انتخاب هوشمند مدل‌ها: برای هر نوع قانون، از مدل مناسب با آن استفاده کردیم. برای قوانین ساده‌تر از مدل‌های ارزان‌تر و برای قوانین پیچیده‌تر و حساس‌تر از مدل‌های قوی‌تر بهره بردیم.
• کش کردن نتایج مشابه: الگوریتم‌هایی را پیاده‌سازی کردیم که می‌توانست نتایج بررسی‌های مشابه را به خاطر بسپارد و از درخواست‌های تکراری به LLM جلوگیری کند.
• بهینه‌سازی پرامپت‌ها: با طراحی دقیق پرامپت‌ها، توانستیم حجم ورودی به مدل را کاهش دهیم که به نوبه خود باعث کاهش هزینه‌ها شد.

حفظ حریم خصوصی کاربران

نکته مهم در استفاده از سرویس‌های خارجی LLM، حفظ حریم خصوصی کاربران است. ما تنها اطلاعاتی را به LLM ارسال می‌کنیم که کاربر از ابتدا با هدف انتشار عمومی ثبت کرده است (مانند عنوان، توضیحات و تصاویر آگهی). اطلاعات شخصی کاربران مانند شماره تلفن، آدرس یا سایر اطلاعات شناسایی شخصی (PII) هرگز به LLM ارسال نمی‌شوند.

داستان یک موفقیت: تشخیص هوشمندانه‌تر از انسان

یکی از جذاب‌ترین موارد موفقیت سیستم جدید، توانایی آن در تشخیص دقیق‌تر آگهی‌های تکراری بود. در سیستم قبلی، ناظران انسانی به دلیل محدودیت زمانی، تنها می‌توانستند عنوان و بخشی از توضیحات را بررسی کنند و غالباً قادر به تشخیص آگهی‌های تکراری که با تغییرات جزئی مجدد ثبت می‌شدند، نبودند.

مدل زبانی توانست با تحلیل عمیق تمام فیلدهای آگهی، الگوهایی را شناسایی کند که از چشم ناظران انسانی پنهان می‌ماند. جالب اینجاست که آمار نشان داد نرخ اعتراض به رد آگهی‌های تکراری که توسط LLM شناسایی شده بودند، به طور معناداری کمتر از آگهی‌هایی بود که توسط ناظران انسانی رد می‌شدند. این نشان می‌داد که تصمیمات LLM نه تنها سریع‌تر، بلکه در بسیاری موارد دقیق‌تر از انسان‌ها بود.

مورد دیگر، تشخیص تصاویر نامناسب بود. LLM توانست سطح جدیدی از دقت در تشخیص مواردی مانند برهنگی، راه‌های ارتباطی پنهان شده در تصاویر، و نوشته‌های غیرمرتبط در عکس‌ها را ارائه دهد. این بهبود باعث شد تا کیفیت تصاویر در لیست دیوار به طور چشمگیری افزایش یابد.

یک چالش جالب دیگر مربوط به قوانین منسوخ شده بود. در مواردی، قوانینی مانند "ذکر قیمت در توضیحات" از دستورالعمل‌های رسمی حذف شده بود، اما ناظران انسانی به دلیل عادت یا فراموشی، همچنان آگهی‌ها را بر اساس این قوانین قدیمی رد می‌کردند. با پیاده‌سازی سیستم جدید، این ناهماهنگی‌ها از بین رفت و تصمیم‌گیری یکپارچه‌تری ایجاد شد.

تأثیر بر تجربه کاربران

سیستم جدید بررسی آگهی تأثیر عمیقی بر تجربه کاربران دیوار، هم در سمت عرضه (آگهی‌دهندگان) و هم در سمت تقاضا (خریداران و جستجوکنندگان) داشته است.

برای آگهی‌دهندگان، مهم‌ترین بهبود، بازخورد دقیق و شخصی‌سازی شده بوده است. در سیستم قبلی، وقتی آگهی رد می‌شد، کاربر تنها پیام کلی دریافت می‌کرد: "آگهی شما به دلیل مغایرت با قوانین دیوار رد شد." اما در سیستم جدید، کاربر دقیقاً متوجه می‌شود کدام بخش از آگهی‌اش مشکل داشته و چرا.

برای مثال، اگر عکسی از آگهی حذف شود، کاربر پیامی دقیق مانند این دریافت می‌کند: "عکس شماره [X] شما به دلیل [دلیل دقیق مانند وجود شماره تلفن یا نوشته تبلیغاتی] حذف شد." این بازخورد دقیق به کاربران کمک می‌کند تا سریع‌تر آگهی خود را اصلاح کنند و از سردرگمی‌های رایج جلوگیری شود.

همچنین سرعت بررسی آگهی‌ها به طور چشمگیری افزایش یافته است. در حال حاضر، ۹۷٪ از آگهی‌ها در کمتر از یک دقیقه بررسی می‌شوند و حدود ۹۰٪ در کمتر از ۱۵ ثانیه نتیجه بررسی را دریافت می‌کنند. این در مقایسه با زمان انتظار نیم ساعته یا بیشتر در سیستم قبلی، تحول بزرگی به شمار می‌آید.

برای کاربران سمت تقاضا، بهبود کیفیت لیست آگهی‌ها محسوس‌ترین تغییر بوده است. با افزایش دقت در شناسایی آگهی‌های نامناسب، تکراری و با دسته‌بندی اشتباه، کاربران با لیستی باکیفیت‌تر و مرتبط‌تر روبرو می‌شوند که تجربه جستجو و خرید آنها را بهبود می‌بخشد.

یکی از بازخوردهای جالب کاربران این بوده که حس می‌کنند قوانین دیوار "منصفانه‌تر" اجرا می‌شود. در سیستم قبلی، گاهی قوانین سخت‌گیرانه‌تر برای کاربران عادی و آسان‌گیرانه‌تر برای "دیواربازها" (کاربرانی که راه‌های دور زدن قوانین را می‌دانستند) اعمال می‌شد. قبلاً کاربرانی با واحد پشتیبانی تماس می‌گرفتند و می‌گفتند: "چطور فروشنده‌ای که جنس قاچاق می‌فروشد آگهی‌اش تأیید می‌شود، اما آگهی من فقط به خاطر یک شماره تلفن مسدود شده؟" این ناهماهنگی بین توانایی تشخیص و شدت تخلف کاربران باعث نارضایتی زیادی می‌شد. اکنون با هوشمندتر شدن سیستم بررسی، دور زدن قوانین بسیار سخت‌تر شده، تشخیص تخلفات با میزان اهمیت آنها متوازن‌تر است و عدالت بیشتری در اعمال قوانین احساس می‌شود.

نتایج نهایی

پس از پیاده‌سازی کامل سیستم جدید بررسی آگهی مبتنی بر LLM، دستاوردهای چشمگیری حاصل شده است:

• افزایش اتوماسیون: از ۸۰٪ به ۹۷٪ رسیده است. این یعنی اکنون تنها ۳٪ از آگهی‌ها نیاز به بررسی انسانی دارند.
• کاهش هزینه‌ها: علی‌رغم افزایش قیمت دلار (از ۶۰ هزار تومان به بیش از ۹۰ هزار تومان)، توانستیم هزینه‌های بررسی آگهی را به نصف کاهش دهیم.
• بهبود دقت: دقت تشخیص در بسیاری از قوانین مهم بیش از دو برابر افزایش یافته است، به ویژه در حوزه‌های حساس مانند مصادیق مجرمانه و امنیت اخلاقی.
• افزایش سرعت: ۹۷٪ آگهی‌ها در کمتر از یک دقیقه و ۹۰٪ در کمتر از ۱۵ ثانیه بررسی می‌شوند.
• انعطاف‌پذیری در تغییر قوانین: زمان مورد نیاز برای اعمال یک قانون جدید از دو هفته به کمتر از یک ساعت کاهش یافته است.
• بهبود تجربه کاربری: کاربران بازخورد دقیق‌تر و شفاف‌تری دریافت می‌کنند و می‌توانند سریع‌تر آگهی‌های خود را اصلاح کنند.
• کیفیت بالاتر لیست آگهی‌ها: با تشخیص بهتر آگهی‌های نامناسب، کیفیت کلی آگهی‌های منتشر شده در دیوار افزایش یافته است.

علاوه بر این، ما توانستیم یک زیرساخت قدرتمند برای توسعه محصولات مبتنی بر هوش مصنوعی در دیوار ایجاد کنیم که می‌تواند برای بهبود سایر جنبه‌های پلتفرم نیز مورد استفاده قرار گیرد.

جمع‌بندی

با نگاهی متفاوت به فرآیند بررسی آگهی، توانستیم با استفاده از مدل‌های زبانی بزرگ، سیستمی را بازطراحی کنیم که با منابع کمتر، زمان پاسخ‌دهی بهتر و کیفیت بالاتری ارائه می‌دهد. اتوماسیون از ۸۰٪ به ۹۷٪ افزایش یافت و هزینه‌های بررسی علی‌رغم افزایش نرخ دلار، به نصف کاهش پیدا کرد. سرعت بررسی آگهی‌ها به کمتر از یک دقیقه رسید و کاربران اکنون بازخوردهای دقیق و شفافی دریافت می‌کنند.

مهم‌تر از همه، با تمرکز بر طراحی "LLM Friendly"، توانستیم سیستمی ایجاد کنیم که همگام با پیشرفت‌های هوش مصنوعی، خودکار بهبود می‌یابد. زمان تغییر قوانین از دو هفته به کمتر از یک ساعت کاهش یافته و قوانین برای همه کاربران به طور یکسان و منصفانه اعمال می‌شود.

این تغییرات نه تنها کیفیت لیست آگهی‌های دیوار را افزایش داده، بلکه مسیر را برای نوآوری‌های بیشتر هموار کرده است. با ادامه بهبود قوانین و طراحی آنها مخصوص LLM‌ها، و افزودن قابلیت‌های جدید مانند بررسی یکپارچگی فیلدهای آگهی، تجربه کاربری در دیوار روز به روز بهتر خواهد شد.

با تشکر ویژه از تیم بررسی آگهی شامل محمود چوپانی، غزل صیادفر و سجاد ایوبی که بازطراحی و توسعه این سیستم هوشمند را بر عهده گرفتند و با تلاش و نوآوری خود، تجربه کاربری در دیوار را به سطح جدیدی ارتقا دادند.