حل مسئله‌ی پایین بودن نرخ پاسخ‌دهی در چت

در این یادداشت قراره یک مطالعه موردی از همکاری خودم به عنوان پژوهشگر تجربه‌ی کاربر با سعید اسماعیلی به عنوان تحلیلگر داده رو برای حل مسئله‌ای در تیم ارتباطات توضیح بدم.

نحوه‌ی تعامل UX Researcher و Data Analyst در حل مسائل

دیوار پلتفرمی با بیش از ۳۵ میلیون کاربره که رفتار‌های متفاوتی در این محصول دارند. مطالعه و بررسی رفتار‌های کاربرانمون در دیوار، بهمون اطلاعات ارزشمند زیادی برای بهبودش می‌ده. برای همین هم همکاری تنگاتنگی بین اعضای محصولی هر تیم با تحلیلگران داده داریم. مثلا: گاهی لازمه تا با کمک تحلیل داده‌های کاربرانمون، مشکلاتشون رو بشناسیم. گاهی مشکلات رو می‌شناسیم و با کمک تحلیل داده‌ها اون‌ها رو اولویت‌بندی می‌کنیم. گاهی برای جدا کردن بخشی از کاربران مورد نظرمون از تحلیل دیتاهاشون استفاده می‌کنیم. و موارد بسیار دیگه‌ای... این بار برای محاسبه‌ی هزینه‌ی راه‌حل‌هامون از دیتاهای کاربرانمون استفاده کردیم. توی این یادداشت قراره به بررسی همین مورد بپردازم.

*سعید؛ تحلیلگر داده‌ی صنف تجربه قراره در آینده‌ای نزدیک یادداشتی درباره‌ی همکاری داده و پژوهش در حل مسائل دیوار بنویسه و دقیق‌تر توضیح بده. بعد از انتشار یادداشت، اینجا لینک مطلب رو می‌ذارم.*

تو این مطلب در ابتدا به تعریف ادبیات موضوع می‌پردازم. بعد مسئله‌مون در تیم ارتباطات رو شرح می‌دم. و در ادامه به بررسی راه‌حلمون و نحوه‌ی استفاده‌ از داده برای اندازه‌گیری اثر راه‌حلمون اشاره می‌کنم.

تعریف نرخ پاسخ‌دهی

یکی از وظایف ما در تیم ارتباطات دیوار، راحت‌تر کردن ارتباط خریدار و فروشنده با چت دیواره. پس از بررسی و صحبت با خریداران، متوجه شدم برخی خریداران وقتی با فروشنده چت می‌کنند جوابی از اون‌ها نمی‌گیرند. یا فروشنده خیلی دیر جوابشون رو می‌ده و این باعث نارضایتی خریداران می‌شه.

ما برای اینکه وضعیت پاسخ‌دهی فروشنده‌ها رو بدونیم، متریک نرخ پاسخ‌دهی رو اینجوری تعریف کرده بودیم: اگه فروشنده تا ۲۴ ساعت به خریدار جواب نده، فرض می‌کنیم خریدار پاسخی دریافت نکرده. و روزانه محاسبه می‌کردیم فروشنده چند درصد از چت‌ها رو زیر ۲۴ ساعت جواب داده. این درصد در هر دسته‌ی کالایی، می‌شد نرخ‌ پاسخ‌دهی به چت در اون دسته.

شفاف‌سازی مسئله

همونطور که بالاتر توضیح دادم، متوجه شدم که برخی از خریدار‌هامون از فروشنده‌ها پاسخی نمی‌گیرند. بنابراین نرخ پاسخ‌دهی رو در دسته‌های کالایی مختلف بررسی کردم. و متوجه شدم نرخ‌ پاسخ‌دهی به طرز معنی‌داری در دسته‌های املاک، خودرو و برای کسب‌وکار‌ها از بقیه‌ی دسته‌ها پایین‌تره. حالا سوال این بود که چرا؟

فهمیدن این مسئله بهمون کمک می‌کرد تا مشکلات فروشنده‌ها رو برای پاسخ‌دهی حل کنیم. در اون صورت می‌تونستیم این نرخ رو افزایش و مشکلاتی که برای خریدارهامون به واسطه‌ی پاسخ ندادن فروشنده پیش اومده بود، بهبود بدیم.

مراحل انجام پژوهش

ابتدا تحلیلگر داده نمونه‌هایی رو از فروشنده‌هایی که در ۳ دسته‌ی مذکور نرخ پاسخ‌دهی پایینی داشتند در اختیارم گذاشت. این نمونه‌ها رو بررسی کردم و تصمیم گرفتم از روش «مصاحبه‌ی عمیق» با کاربر برای فهم دلایل عدم پاسخ‌دهی فروشنده‌ها استفاده کنم. علت این تصمیم‌گیری این بود که حدس می‌زدم برخی از این فروشنده‌ها تمایلی نداشته باشند تا به عدم پاسخ‌دهیشون به خریدارها اشاره‌ای کنند. من نیاز داشتم در بستر امنی با فروشنده‌ها صحبت کنم تا اطمینان داشته باشند که مشکلی براشون پیش نمیاد و دلایل عمیقشون رو برای پاسخ ندادن به خریدار بهم بگند.

در ادامه برخی از این دلایل رو مرتب کردم:

از مصاحبه‌ها این طور به نظر می‌رسید که عمده دلایل فروشندگان برای پاسخ ندادن به خریدار وابسته به عدم تمایلشون برای دریافت پیام در چت دیوار بوده. پس چرا چت رو برای آگهی‌هاشون فعال نگه داشتند؟

از طرفی در صحبت‌هایی که باهاشون داشتم به نظرم رسید متوجه این نکته نیستند که می‌تونند در صورت عدم تمایل به پاسخ‌دهی به چت‌ها، تنظیمات دریافت چت رو برای آگهی‌هاشون خاموش کنند. در واقع حین ثبت آگهی، گزینه‌ای برای فعال بودن چت آگهی وجود داره که به صورت پیش‌فرض تیک خورده ولی می‌شه خاموشش کرد. به نظر می‌رسه اصل گزینه‌ی پیش‌فرض، باعث شده تا افراد حواسشون به خاموش کردن گزینه در حالتی که تمایل به چت ندارند، نباشه.

مورد بعدی که در این مصاحبه‌ها دیده شد این بود که تعداد خوبی از این افراد بیزنس‌هایی بودند که در این دسته‌ها فعالیت می‌کردند. و علت پاسخ ندادنشون هم این بود که فرصت نداشتند. البته این مورد رو نمی‌شد با اطمینان گفت چون ما داشتیم یک ارزیابی کیفی (مصاحبه) با تعداد ناکافی اندازه‌ی نمونه انجام می‌دادیم. ولی دلیل دیگه‌ای هم داشتیم که این مورد رو برامون محتمل‌تر می‌کرد و اون هم این بود که ما این مشاهده رو (پایین‌تر بودن نرخ پاسخ‌دهی) در سه دسته‌ای داشتیم که فعالین بیزنسی توش زیادتر بودند. یعنی املاک و خودرو و برای کسب‌و‌کارها.

بنابراین حالا یک فرضیه‌ی جدید داشتیم که نیاز بود راستی آزمایی کنیم!

به نظر می‌رسید «برخی از افرادی که رفتار بیزنسی داشتند، متوجه این که می‌تونند تیک پیش‌فرض فعال بودن چت آگهی رو بردارند، نبودند.»

و اگه این فرضیه درست بود، ما می‌تونستیم تیک پیش‌فرض چت رو برای این افراد خاموش کنیم. البته با در نظر گرفتن ملاحظاتی که در ادامه بهشون می‌پردازم. البته راه رو برای کسانی که می‌خواستند چتشون فعال بمونه نمی‌بستیم. صرفا تنظیماتش رو از حالت پیش‌فرضِ روشن به خاموش تغییر می‌دادیم. در اون صورت اگه کسی هم به واسطه‌ی مدت محدودی عدم فعالیت، پیش‌فرض چتش خاموش شده بود می‌تونست حین ثبت آگهیش روشنش کنه.

البته این تغییر واقعا تغییر بزرگی در محصول محسوب نمی‌شد. ولی به دلایلی که در ادامه شرحش می‌دم، نتیجه‌ی ارزشمندی داشت.

ملاحظات

خاموش کردن تیک پیش‌فرض چت برای افرادی که بیزنس بودند، برای ما هزینه داشت. هم به خاطر اینکه زیرساخت این کار رو نداشتیم و نیاز به تغییرات بک‌اندی داشتیم و هم این که همه‌ی افرادی که رفتار بیزنسی داشتند، لزوما در دسته‌ی پاسخ‌ندهندگان به چت نبودند. پس نیاز داشتم

در وهله‌ی اول:

تعریفمون رو از افرادی که لازمه روشون اکشنی بزنیم، دقیق‌تر کنیم.

کسانی که در این دسته‌ها رفتار بیزنسی داشتند، احتمالا افرادی بودند که تعداد آگهی‌های فعالشون در لحظه بزرگتر مساوی *۳ تا بود. همچنین همه‌ی این افراد جز پاسخ‌ندهندگان نبودند. پس فرض کردیم که اگه پایین *۳۰% از پیام‌هاشون رو هم در ۲۴ ساعت اول پاسخ داده باشند، احتمالا جزء پاسخ‌ندهندگان هستند.

*برای پیدا کردن این اعداد با کمک سعید، به دیتای کل فروشنده‌هامون نگاه کردیم. با دیدن بازه‌ی تعداد آگهی‌های فعال همه‌ی فروشنده‌ها و بازه‌ی درصد پاسخ‌دهی به پیام‌هاشون، دیدی اولیه از این اعداد بدست آوردیم. ولی برای مطمئن شدن، در انتها این محاسبات رو با اعداد فرضی دیگری هم انجام دادیم. نهایتا این مقادیر حاصل، بهترین و کم‌ریسک‌ترین مقادیر ممکن بودند.

و در وهله‌ی دوم:

لازمه با محاسبات عددی نشون بدیم که در صورت انجام این تغییر، چه درصدی از افراد مشکلاتشون برطرف می‌شه. و اینکه چقدر هم موجب افزایش نرخ پاسخ‌دهی می‌شه. بنابراین اعضای فنّی تیم می‌تونستن با بررسی هزینه‌ای که لازمه برای این کار داده بشه و میزان دستاوردی که داره، برای انجامش تصمیم بگیرند.

راستی‌آزمایی فرضیه

حالا باید به نحوی متوجه می‌شدم که آیا فرضیه‌ای که داشتم درسته یا نه. فهمیدن درستی این فرضیه ارزشمند بود. به دو دلیل:

1. بخشی از فروشنده‌هامون که مایل به دریافت پیام نبودند، دیگه پیامی دریافت نمی‌کردند. و مشکلاتی که بابت پر شدن اینباکس و نوتیف‌های فراوون در چت داشتند برطرف می‌شد.
2. خریدارهایی که به این افراد پیام می‌دادند، از اون جایی که چت این افراد فعال بود، توقع پاسخ‌دهی داشتند. ولی این فروشنده‌ها پاسخ نمی‌دادند. و باعث ایجاد مشکل برای این خریدارها می‌شد.

البته افزایش نرخ پاسخ‌دهی با این راه حل، به تنهایی چیز مطلوبی نیست. چون واقعا میزان «پاسخ‌دهی» عوض نشده. ولی این متریکی بود که در اون زمان اندازه‌ش می‌گرفتیم و بر اساسش اکشن‌هایی انجام می‌دادیم. پس همچنان میزان افزایشش برامون ارزشمند بود.

حالا چطور باید درستی این فرضیه رو بررسی کرد؟

این قسمت هم با همکاری سعید جلو رفت. برای بررسی این فرضیه، لازم داشتیم ببینیم اگه در ابتدای ماه گذشته پیش‌فرض چت رو برای آگهی‌های بعدی افراد مورد نظرمون که بیزنسند و پاسخگو هم نیستن خاموش می‌کردیم، در انتهای ماه نرخ پاسخ‌دهی کلی اون دسته چقدر عوض می‌شد؟ در واقع برای فهمیدن نتیجه‌ی تغییراتمون در آینده، گذشته رو نگاه کردیم. و دیدیم این تغییر می‌تونسته به صورت بالقوه چه اثری روی نرخ پاسخ‌دهی بذاره.

برای این محاسبه، چند فرض ساده شونده کردیم تا تخمینی حدودی از تفاوت نرخ پاسخ‌دهی درابتدای ماه قبل و انتهای ماه قبل داشته باشیم:

1. فرض کردیم در ابتدای ماه قبل همه‌ی افرادی که چتشان فعال است، پاسخ‌دهنده بوده‌اند. با این فرض نرخ پاسخ‌دهی ۴۵.۷٪ بود. که البته قطعا نرخ واقعی کوچکتر مساوی این مقدار بوده است. چون برخی از این افراد دیرتر از ۲۴ ساعت به پیام‌هایشان جواب داده‌اند که در این صورت نباید جز پاسخ‌دهنده‌ها حساب شوند.
2. فرض کردیم در انتهای ماه قبل همه‌ی افرادی که زیر ۳۰٪ پاسخ‌دهی داشته‌اند، چتشان خاموش بوده‌است و دیگر پیامی دریافت نکرده‌اند و چتشان را هم روشن نکرده‌اند. در این حالت نرخ‌ پاسخ‌دهی به ۷۳.۲٪ می‌رسید. البته احتمالا در واقعیت، برخی از این افراد (که پاسخ‌دهی خیلی کمی داشتند) حتما چتشان را روشن می‌کردند. ولی حدسمان این بود که تعدادشان زیاد نباشد. چون در طول یک ماه به کمتر از ۳۰٪ از پیام‌هاشون پاسخ داده بودند. پس فرض پر ریسکی نکرده بودیم.

نتیجه خیلی جالب توجه بود! همونطور که اشاره شد، دیدیم نرخ پاسخ‌دهی می‌تونه از حدود ۴۵.۷٪ به ۷۳.۲٪ تغییر پیدا کنه که عدد جالب توجهیه و تونستیم با این محاسبات نشون بدیم پرداختن هزینه‌های فنّی این تغییر می‌تونه چه تاثیر بزرگی هم روی افزایش نرخ پاسخ‌دهی و هم روی کاهش مشکلات خریدار و فروشنده بذاره.

البته شاید کار دقیق‌تر این بود که A/B تست بگیریم. ولی هزینه‌ای که از نظر زمانی و زیرساختی داشت، از این تخمین‌ها و محاسبات خیلی سنگین‌تر بود. بنابراین این راه رو رفتیم.

• مرسی از حسام حداد، دیگر تحلیلگر داده‌ در تیم ارتباطات که در این مسیر بهمون کمک کرد.