تحلیل کامنت‌های کاربران در مایکت

به عنوان یک کاربر هربار که قصد دارم برای گوشی خودم یک برنامه دانلود کنم، اگر از پیش نسبت به اون برنامه آگاهی و اطلاعاتی نداشته باشم، حتما به کامنت‌های کاربران رجوع می‌کنم. اگرچه در نگاه اول امتیازی که اون اپلیکیشن از طرف کاربران دریافت کرده، متر و معیار اصلی من برای سنجش کیفیت محسوب می‌شه، اما هرقدر که اپلیکیشن برای من نیاز مهم‌تری رو رفع کنه، به همون میزان قصد دارم که قبل از دانلود بدونم نظر کاربران درباره اون برنامه چی بوده.

خیلی برام جالب بود بدونم، به جز خودم که یک کاربر هستم، استور مایکت از کامنت‌هایی که کاربران درباره اپلیکیشن‌ها می‌نویسن چه استفاده‌هایی می‌کنه. برای همین رفتم سراغ زهرا اسکندری، لید تیم دیتای مایکت تا ببینم آیا کامنت کاربران برای این استور هم استفاده‌ای داره یا فقط یک وسیله برای راهنمایی بهتر کاربران دیگه است. گفت‌وگوی من و زهرا از این سوال شروع شد:

شما در مایکت از کامنت‌هایی که کاربران درباره بازی‌ها و برنامه‌ها ثبت می‌کنن، چه استفاده‌ای می‌کنید؟

یه کاری که می‌تونم بگم به طور جدی، بعد از عید ۱۴۰۱ در مایکت لانچ شد، این بود که ما شروع کردیم به مشاهده و تحلیل کامنت‌های زیر برنامه‌ها و سعی کردیم ازشون اطلاعاتی درباره وضعیت فعلی بازی‌ها و برنامه‌ها استخراج کنیم.

ما سعی می‌کنیم از رصد کردن کامنت‌هایی که کاربران زیر یک بازی یا برنامه خاص ثبت می‌کنن متوجه بشیم که حجم بیشتر این کاربران، دارن درباره چه ایراد یا نقصی در عملکرد اون بازی یا برنامه صحبت می‌کنن.

بعد میایم بر اساس اون انتقاد درباره اون بازی یا برنامه تصمیم‌گیری می‌کنیم.

به طور مثال ما از روی کامنت‌هایی که کاربرها زیر یک بازی ثبت کردن، متوجه می‌شیم که یه باگی توی اون بازی وجود داره یا مثلا اپلیکیشن احتیاج داره که آپدیت شه یا حتی برای مثال اپ از دسترس خارجه یا درست کار نمی‌کنه.

یا اینکه مثلا متوجه می‌شیم خیلی از کاربرها با آپدیتی که اپلیکیشن گرفته مشکل دارن یا مثلا متوجه می‌شیم که سرور از دسترس خارج می‌شه و هزاران مشکل دیگه‌ای که هر لحظه ممکنه برای هر اپلیکیشنی به وجود بیاد.

بنابراین به طور کلی ما با رصد کردن کامنت‌های کاربرها متوجه می‌شیم که برای اون اپ یه کاری باید انجام بدیم.

گفتی به طور جدی بعد از عید ۱۴۰۱ نسبت به این کار اقدام کردید، چه اتفاقی افتاد که متوجه شدید نیاز هست از کامنت‌های کاربران استفاده در مایکت استفاده بشه؟

در واقع این نیازمندی بچه‌های پشتیبانی بود. اون‌ها نیاز داشتن که بتونن وضعیت اپ‌ها رو رصد کنن. حجم برنامه‌ها و بازی‌های موجود در مایکت همین الان هم خیلی بالاست و هر روز هم به تعدادشون اضافه می‌شه.

اگرچه که بچه‌های پشتیبانی به طور مرتب توسط ابزارهایی که دارن، سلامت و صحت عملکرد این اپ‌ها رو بررسی می‌کنن، ولی استفاده از کامنت‌های کاربرانی که به طور روزانه در حال استفاده از برنامه‌ها و بازی‌های موجود در استور مایکت هستن می‌تونست کمک بزرگی به افزایش کیفیت و سرعت پشتیبانی ارائه شده توسط بچه‌های این تیم باشه.

سرویسی که لانچ کردید چطوری کار می‌کنه زهرا؟ آیا به صورت روزانه کامنت‌ها رو رصد و تحلیل می‌کنید یا بازه‌های زمانی خاصی براش مدنظر دارید؟ و اینکه نیروهای انسانی مایکت در این سرویس چه قدر دخیل هستن؟

تحلیل کامنت‌ها که یک تسک روزانه است. در واقع ما به صورت روزانه کامنت‌ها رو رصد می‌کنیم. اما برای مثال اگر یک برنامه دو هفته پیش آپدیت داده، ما کامنت‌ها رو از زمان انتشار آپدیت یعنی از دو هفته پیش تا امروز مورد بررسی و تحلیل قرار می‌دیم.

درباره اینکه کلا سیستم چه‌طوری کار می‌کنه و نقش نیروهای انسانی مایکت تا چه حد در اون پررنگه هم باید بگم که ما الگوریتم‌های هوشمندی داریم که متن کامنت‌ها رو بررسی می‌کنن و تشخیص میدن که الان کاربر درباره چی داره صحبت می‌کنه. به این ترتیب به ما کمک می‌کنن که تشخیص بدیم یک اپ مشکل داره و باید بچه‌های پشتیبانی بهش رسیدگی کنن. در واقع نوع مشکل رو بچه‌های پشتیبانی تشخیص میدن و این بخش از کار توسط نیروهای انسانی انجام می‌شه.

مثلا کاربر در متن کامنت خودش گفته که این اپ هنگام باز شدن یا کار کردن مشکل داره، یا مثلا نسخه این اپ نسبت به نسخه موجود در استورهای دیگه عقب‌تره یا نه.

ما به ازای هر اپ یک پیج باز می‌کنیم و کامنت‌های مربوط به هر اپ رو در پیج مربوط به خودش قرار میدیم. بعد مشخص می‌کنیم که n درصد از این کامنت‌ها در حال گزارش مشکل هستن و m درصدشون مشکلی رو اعلام نکردن.

از این مرحله به بعد دیگه دستی انجام می‌شه. یعنی نیروهای انسانی ما با مشاهده درصدها و کامنت‌های هر اپ در صفحه مربوط به خودش متوجه میشن که اون اپ دارای چه مشکلاتیه و چه تصمیماتی باید براش اخذ بشه.

ما مشکلات مشاهده شده در کامنت‌های هر اپ رو سورت می‌کنیم و به صورت روزانه گزارش منتشر می‌کنیم. یعنی بچه‌های پشتیبانی به صورت روزانه از ما گزارش دریافت می‌کنن ولی اینکه اون‌ها چطوری و هر چند وقت یکبار از این گزارش‌ها استفاده می‌کنن رو باید با خودشون بررسی کنی. درواقع از این جای کار به بعد مربوط به تیم پشتیبانی می‌شه و باید از خودشون دربارش سوال بپرسی.

ولی به طور کلی با توجه به جنس مشکلاتی که گزارش شده، برای اپ‌های ایرانی با توسعه‌دهنده ارتباط برقرار می‌کنیم و مشکل رو بررسی و حل می‌کنیم و اگر هم اپ خارجی باشه قطعا کارهای فنی سمت استور رو انجام می‌دیم و در صورتی که لازم باشه کاربر برای رفع مشکلش در اون اپ کاری انجام بده با کاربر ارتباط رو برقرار می‌کنیم.

چالشی هم در استفاده از این سرویس دارید؟ کم و کاستی‌هایی چه در ساید نیروهای انسانی چه در ساید فنی یا دیتا.

ببین چالش‌های ما بیشتر از جنس فنیه. یعنی چالشی از جنس نیروهای انسانی یا ارتباط بین تیم‌ها نداریم. در واقع مشکلی هم از اون جنس اگه وجود داشته باشه کمک می‌کنیم و باهم حلش می‌کنیم.

درباره چالش‌های فنی هم باید بگم در واقع سیستمی که الان در حال استفاده است در آخر classify می‌کنه، یعنی می‌گه این کامنت درباره این مشکل صحبت می‌کنه و این کامنت درباره این مشکل صحبت نمی‌کنه.

حالا چالش دقیقا کجاست؟ یه بخشی از کار ما اینه که باید دیتایی برای آموزش این سیستم در اختیارش قرار بدیم. سیستمی که از صفر طراحی شده باید یاد بگیره که ما چی می‌خوایم و قراره چه خروجی ازش بگیریم. قبل از اینکه قادر باشه تشخیص بده این کامنت مشکل داره یا نداره باید یه دیتای لیبل خورده‌ای از کامنت‌ها در اختیار داشته باشه.

برای مثال از قبل بهش گفتیم این یک کامنته و داره راجع به مشکل A صحبت می‌کنه این یک کامنته که درباره مشکل A صحبت نمی‌کنه. به طور کلی به یک مجموعه خیلی خوبی از این مدل کامنت‌ها احتیاج داریم تا به سیستم نشون بدیم و بهش یاد بدیم که از این به بعد باید کامنت‌ها رو به این شیوه تشخیص بده و طبقه بندی کنه.

حقیقتش ما برای طراحی این سرویس این مرحله از کار رو به صورت دستی انجام دادیم. نمیگم چالش غیرقابل حلی بود و معتقدم که احتمالا خودمون بهتر از بقیه می‌تونستیم این کار رو انجام بدیم. چون کمک می‌کنه مسئله رو بشناسی ولی خب میشه گفت این قسمت از ماجرا یکی از بخش‌های زمان‌بر کار ما بود.

چالش فنی دیگه‌ای که باهاش روبه‌رو بودیم این بود که کامنت‌ها معمولا حجمشون کمه و الگوریتم‌هایی که برای طبقه‌بندی متن به کار می‌ره معمولا برای متن‌های طولانی‌تر طراحی شده. یک مشکل دیگه زبان محاوره‌ای و غیر رسمی است که در کامنت‌ها استفاده میشه و پردازش آنها را سخت‌تر میکنه. ما سعی کردیم با پارامترهای مختلف تاثیر این مشکلات رو در این الگوریتم‌ها کم کنیم. در واقع در مثال‌هایی که به عنوان آموزش استفاده می‌کنیم سعی داریم از کامنت‌هایی متناسب با مواردی که سیستم بعدا قراره باهاش مواجه بشه، استفاده کنیم.

و مورد بعدی درباره چالش‌هایی که در این سرویس باهاش روبه‌رو بودیم اینه که بین کامنت‌هایی که کاربرها ثبت می‌کنن،‌ خیلی از کامنت‌ها مضمونی شبیه این مثال‌ها داره:

• خوب بود.
• بد بود.
• خیلی اپ بدی بود.
• خیلی اپ جالبی نبود.
• چه اپ باحالی بود.

تشخیص این کامنت‌ها از کامنت‌هایی که دارن یه مشکلی رو گزارش میدن هم باید به سیستم آموزش داده می‌شد.

سیستم ریتینگ اپ‌ها هم دخل و تصرفی در استفاده از این سرویس داره؟

آره ما از rateهایی که کاربر به هر برنامه یا بازی داده هم در نتیجه‌گیری‌ها و گزارش‌هامون استفاده می‌کنیم. مثلا فرض کن یک اپ از چند نفر ریت کم گرفته خب این یعنی احتمالا اون اپ داره یک مشکلی رو گزارش می‌کنه. در واقع ما بر اساس این ریت‌های کم یک لیست از اپ‌هایی تهیه می‌کنیم که هرچه سریع‌تر باید بریم و بهشون رسیدگی کنیم.

مثلا بازی‌های پرطرفدار چون محبوب هستن، مهمه که همیشه آپدیت بدیم و حواسمون بهشون باشه. در واقع میشه گفت این سرویس شبیه به یک هشداره که داره میگه بچه‌ها توجه کنید این اپ احتمالا یه مشکلی داره که ریت پایینی گرفته پس باید بهش رسیدگی بشه.

آیا وقتی یک اپ میره توی یکی از فضاهای پربازدید مایکت، سرویس به اون اهمیت بیشتری میده یا همون روال عادی طی می‌شه؟

نه همون روال عادی برای همه اپ‌ها طی می‌شه. تنها فرقش اینه که توی لیست نتایج، بالاتر نمایش داده می‌شه تا سریع‌تر بهش رسیدگی بشه. فرض کن دو تا اپ به یک تعداد کامنت گزارش مشکل دریافت کردند، توی لیست گزارش ما، اون اپی که در حال حاضر توی یکی از فضاهای پربازدید مایکت قرار داره، بالاتر نمایش داده میشه.

این سرویس، سورتینگی داره که سعی می‌کنه اپ‌های پر مخاطب رو بالاتر نشون بده و خب قاعدتا بچه‌های پشتیبانی هم زودتر بهش رسیدگی میکنن.

بدیهیه که وقتی یک اپ در فضاهای پربازدید مایکت قرار گرفته، مخاطب بیشتری داره و باید زودتر بهش رسیدگی بشه.

بعد از هم‌صحبتی با زهرا متوجه شدم کامنتی که در نقش یک کاربر برای یک بازی یا برنامه ثبت می‌کنم تا چه حد می‌تونه کمک‌کننده و تاثیرگذار باشه. همچنین مثل همیشه از تماشای قدرت دیتا و کارهایی که میشه به کمک اون انجام داد شگفت‌زده شدم. یکبار دیگه متوجه شدم که چرا هر دیتایی بالاخره یه روزی به کار میاد و می‌تونه باعث افزایش سرعت و کیفیت خیلی از ابعاد زندگی روزمره و کاری آدم‌ها بشه.

در ادامه از زهرا خواستم که اگر اتفاقات تازه‌ای در تیم دیتا رخ داده حتما در گفتگوهای بعدیمون بهش بپردازه تا ببینیم ۱۴۰۱ چه توسعه و تغییراتی در این قسمت از مایکت اتفاق افتاده.