اندازه گیری سلامت محصول

یه محصول خوب یه نیاز عمیق و واقعی رو برآورده می کنه. ممکنه این نیاز تو یه Vertical خیلی خاص و اصطلاحاً niche باشه و ممکنه هم راجع به بهبود کارایی و چیزای شبیه به اون باشه. این مطلب می خواد راجع به فاکتورهای مهمی که از محصول باید حواسمون باشه اندازه بگیریم صحبت کنه. مثل retention، stickiness، engagement و در واقع متریک های مهم.

متریک های User Adoption و Growth

تعداد اکتیو یوزرها نشون دهنده ی impact محصول شماست. طبیعتاً growth و user adoption خیلی مهمن برای اینکه محصولتون به پتانسیل کامل خودش برسه و بیشترین ارزش رو برای بیشترین افراد خلق کنه. منتها باید حواستون باشه که TAM یا کل بازار قابل دسترس چقدره؟ سهم بازار شما چقدره؟ این سهم در طول زمان چطوری تغییر کرده؟ آیا خود TAM در طول زمان در حال بزرگ شدنه یا نه؟

در مورد رشد هم باید دید که با چه سرعتی محصول در حال رشده؟ این رشد ارگانیکه؟ آیا فقط از طریق new userهاست یا نه؟

یه محصول سالم چند تا فاز رشد رو طی می کنه که شبیه یه S-Curve ه. در مرحله اول یه رشد خیلی کند، سپس رشد با شیب زیاد، سپس یه شیب نمایی، سپس بلوغ تقریباً بدون رشد.

البته بازار بزرگ هم مهمه که محصول بتونه رشد کنه و fail نکنه. در بازاری که تقاضاش داره زیاد می شه تایم خیلی مهمه که بتونید همگام با تقاضا بزرگ بشید وگرنه به خاطر تایمینگ و زمان fail می کنید.

اینکه نرخ رشد مناسب برای محصول ما چیه رو باید بنچمارک کنیم و مقایسه کنیم با محصولات same stage خودمون. وقتی محصول شروع به رشد می کنه، تعداد نصب ها و دانلودها زیاد و زیادتر می شه و باید آمار رو دقیق داشته باشیم.

توی early-stage سرعت رشد پایینه، اصل رشد از new userها میاد و معمولاً churn نیست و همچنین resurrection. البته از اونور وقتی یه محصول بالغ می شه و درصد نفوذ خوبی از TAM بدست میاره، معمولاً churn با resurrection با هم خنثی می شن و اکتیو یوزرها ثابت می مونن.

این وسط هم که رشد بستگی به بالانس بین یوزرهای جدید، کاربرای احیا شده و چرن شده داره. طبیعتاً هر چی می ریم جلو و به بلوغ نزدیک می شیم، نباید تغییرات خیلی بنیادی داد چون می خوایم یه رشد پایداری حفظ بشه.

متریک های بازار

1. متریک MAU/installs: یکی اکتیور یوزرهای ماهانه به نصب ها مهمه و یکی هم خود نصب ها به کل بازار. (مثلاً اگه الان نصب کافه بازار ترب 2 میلیونه، کل بازار (مقیاس نصب فعال دیوار)، 22 میلیونه حدوداً و 8 میلیون هم دیجی کالاست) . وقتی دانلودها بالا باشه این متریک هم به نسبت باید بالا باشه. موقعی که به آخر خط می رسیم و اینستال ها دیگه زیادتر نمی تونه بشه (شاید مثل دیوار)، دیگه یوزر جدید گرفتن معیار خوبی نیست و باید روی احیا کردن کاربران قبلاً churn شده کار کرد. واسه پروداکت های خیلی قوی این متریک کاهشی نمی شه یعنی اون آخرش هم cohortهای قدیمی کاربرا شروع می کنن احیا شدن. بنابراین این نسبت صعودی می مونه. منتها اگه داره نزولی می شه یعنی دارید جریان رو از دست می دید.

البته این قصه ها به جنس اپ هم بستگی داره کاملاً مثلاً برای بازی ها، اولش نرخ رشد بالاست اما بعدش که بازی دیگه حس خودش رو از دست می ده دیگه احیا کردن کاربرا ممکن نیست و churn خیلی بالا می ره و مثلاً توی بازی Empires & Allies وقتی به steady state می رسه عملاً فقط 2 درصد دانلودکننده ها، اکتیو باقی می مونن و دیگه فقط عاشقای اون بازی ادامه می دن و بازی می میره.

متریک های رشد

1. متریک های MAU/DAU/WAU: اینا دیگه تقریباً مشخصن و به دوره استفاده اپلیکیشن شما بر می گردن که هفتگی باشه، ماهانه باشه یا روزانه و خب خیلی متریک های مهمی هستن. البته بهتر اینه که به صورت رولینگ اینها رو نگاه کرد چون ممکنه مثلاً ماهها طولشون با هم فرق کنن. (خصوصاً در کلندرهای میلادی) و از طرفی توی روزانه ها هم ممکنه بعضی روزا ذاتاً متفاوت باشن و خب بهتره برای روزانه مثلاً میانگین 7 روزه دید.
2. نسبت سریع: یه فریم ورکی هست به نام Growth Accounting که میاد به Growth مثل حسابداری نگاه می کنه. Growth می تونه شکسته بشه به کاربرهای جدید، کاربرهای احیا شده، کاربرهای حفظ شده و کاربرهای از دست رفته که یعنی فرمول زیر:

Δ growth = new users + resurrected users - churned users

حالا Quick Ratio یا همون نسبت سریع یعنی نسبت یوزرهای جدید و احیا شده به یوزرهای چرن شده که اگه بیشتر از یک باشه یعنی رشد مثبته. وقتی هم که یه بیزنسی تقریباً به بلوغ می رسه و بازار هم دیگه اشباع می شه دیگه نیویوزر خیلی کمه و از اونور احیا شده ها هم با چرن ها تقریباً بالانس می شن و خلاصه این دلتای بالایی تقریباً صفر می شه و نسبت سریع هم تقریباً 1 !

3. نسبت New users/MAU: اونایی که اول راهن اکثر Growth شون از نیویوزر میاد و چرن و احیا شده هم در کار نیست. هی که می گذره طبیعتاً درسته که نیویوزرها مهمترین پیشران رشد هستن اما نسبتشون به MAU کم می شه. اگه محصول سلامت درست حسابی نداشته باشه این نسبت کم نمی شه و نیویوزرها همچنان بالا می‌مونن حتی اگه محصول به نفوذ بازار خوبی رسیده باشه. یعنی اگه محصول درصد خوبی از TAM رو گرفته باشه ولی هنوز درصدی خوبی از یوزرهاش رو نیویوزر تشکیل بده، این یعنی یه جای کار می لنگه و حتی تو مسیر مرگ افتاده. چون اگه بخواد پایدار باشه باید یوزرهای فعلی اش حفظ بشن و درصد خوبی از اکتیویوزرهاش رو همونا تشکیل بدن.

4. نسبت Sign-ups/installs: طبیعتاً retain کردن یوزرهای فعلی و گرفتن یوزر جدید خیلی مهمه. اولش مهمه که یوزرها خوب engage بشن و خوب retain بشن و اگه این در مورد نیویوزرها صادق باشه، اینجوری منطقیه که بخوایم روی جذب یوزر جدید تمرکز کنیم. این نسبت به درد چک کردن Acquisition فانل می خوره. در واقع باید دید کدوم چنلمون بهتره و کار می کنه: ایمیل، سوشال، ASO، کارهای PR، کانالهای Ads و ...

در نهایت هم حواسمون باشه واسه Growth باید یوزرها رو سگمنت کنیم حالا براساس دیوایس، سن، جنسیت، پلتفرم، زمان حضور در محصول، سورس referrer و خلاصه اینا

نگهداشت، Retention و ما ادراک ما Retention

می شه گفت مهمترین فاکتور یه محصول Retention ه چرا که نشون می ده یه عده با محصول حال کردن و دارن استفاده می کنن. پروداکت مارکت فیت رو از رو Retention می شه فهمید. معمولاً روز اول یا هفته اول برای نیویوزرها خیلی حیاتیه. در واقع باید دید کاربرای جدید اصلاً فهمیدن پروداکت چیه؟ Aha!moment براشون اتفاق افتاد یا نه؟ . اون یوزرهایی که با محصول حال کردن و اگه از کار بیفته، زنگ می زنن می گن چی شد. اونا، اونا مهمن. باید محصول رو برای اونا دیزاین کنی. برای اینکه کاربرا این شکلی بشن هم باید یه magical moment براشون اتفاق بیفته.

برای فیس بوک اولین زمانیه که چهره ی یه دوست رو می بینن. برای واتس اپ زمانی که اولین پیام رو می گیرن. برای آمازون، اولین باری که کالا رو تحویل می گیرن. حالا اگه magical moment رخ بده، مطالعه نشون داده که retention در ادامه اش میاد و حالا Retention برای اپ های مختلف فرق می کنه. مثلاً برای فیس بوک اتصال به 7 تا دوست در 10 روزه.

بنابراین شما هم باید magical point تون رو دقیق در بیارید و هم باید retention tipping point تون رو بفهمید. (همون چهره اولین دوست و 7 تا دوست در 10 روز)

خلاصه نگم دیگه ریتنشن و نگهداشت برای رشد پایدار ضروریه. نتیجه اینکه قبل اینکه برید سراغ مارکتینگ و paid channelها مطمئن بشید که فهمیدید چطوری retention پایدار داشته باشید توی cohortهای اولیه اتون. البته تایم فریم و عدد مطلق کاملاً وابسته به جنس اپ و حوزه کاری داره منتها در کل هر چی بیشتر بهتر.

ریتنشن هم طبیعتاً نمودارش اگه به صفر برسه یعنی کلاً پروداکت موفق نیست. اگه رو یه عدد غیر صفر flat بشه خب یعنی اکتیو یوزر دارید و خوبه و هر چی بیشتر بهتر. منتها اگه شبیه smile بشه، خصوصاً توی cohortهای انتهایی، نشون می ده شما در حال hyper growth هستید.

متریک های Retention

1. متریک های Dn/Mn/Wn: ریتنشن از روی cohort محاسبه می شه یعنی نگاه کنی یه سری یوزر که تو روز یا هفته یا ماه مشخص نصب کردن، چند درصدشون مجدد برگشتن سر زدن. D1 و D7 و اینا هم که تعریفاش مشخصه، منتها یه راه خوبی که برای نشون دادن retentionهای long-term هست، نشون دادن به صورت زیره:

اینجوری می تونی ببینی که بهتره کجا تمرکز کنی. مثلاً اگه نسبت D7/D1 ثابته اما D1 داره کم می شه، یعنی با بهبود D1 می تونیم روی retention های long-term بهبود ایجاد کنیم. برعکسشم همینطور

2. منحنی های cohort: از روی این منحنی ها هم می شه فهمید داریم ثابت می ریم، در حالت تجربه hyper-growth ایم یا اینکه داریم به فنا می ریم. باید cohortهای جدید و قدیم رو مقایسه کرد که یه sense ای بدست آورد که سلامت هستیم یا نه. همچنین باید retention رو بنچمارک کرد با همرده های صنعت و مطمئن بشیم که cohort نزولی نیست و روی یه عدد غیر صفری ثابت می ایسته.

متریک های چسبندگی یا Stickiness

حتی اگه محصول خوب هم retain کنه اما ممکنه چسبنده نباشه. در واقع اگه retention یعنی یه کاری کنی کاربر برگرده، stickiness یعنی یه کاری کنی کاربر به اراده خودش برگرده. این یعنی خیلی به push notification وابسته نباشه. وقتی یه محصولی چسبنده می شه یه کاربر به سختی می تونه ازش جدا بشه. این قضیه تو اینستاگرام و توییتر مشهوده.

1. متریک DAU/MAU: تقریباً واضح ترین متریک چسبندگی همینه. اگه مثلاً 0.6 باشه یعنی عالیه. یعنی 60% افرادی که ماهیانه سر می زنن، روزانه هم سر می زنن. توی سوشال ها اولش کمه ولی کم کم زیاد می شه. انتظار اینه که این زیاد بشه وقتی نفوذ تو بازار زیاد می شه. البته روی بعضی محصولات خیلی نمی شه بالا برد اینو و بستگی به پروداکت هم داره.
2. متریک Open Rate: واسه فیس بوک ممکنه افراد چند بار در روز هم باز کنند. منتها هر چی اپ کمتر sticky باشه این کمتره و مثلاً اگه 10% افراد در ماه باز می کنن یعنی خیلی چسبنده نیست.
3. متریک Lness: این متریک تعداد دفعات بازدید توی یه تایم فریمه یعنی مثلاً L5+/7 یعنی کسایی که حداقل 5 بار تو هفته سر می زنن. طبیعتاً بیشتری بودنش به معنای چسبندگی بیشتر محصوله و البته دیدن توزیعش هم خالی از لطف نیست.
4. متریک Sticky or DoD/WoW/MoM retention: وقتی ریتنشن رو به صورت cohort ای می بینیم، درسته که رفتار گروههای مختلفی که نصب کردن رو متوجه می شیم اما از core-userها و اونایی که از همه بیشتر engage هستن، دیتایی به دست نمیاریم. این sticky retention یا day over day و... به ما کمک می کنه که بفهمیم محصولمون چقدر واسه ی کاربرهای علاقه مندش خوبه. در واقع تو این متریک ما نیویوزرهای 14 روز اخیر رو حذف می کنیم بعدش نسبت اکتیویوزرهای این هفته به هفته قبل رو می گیریم.

در این رابطه کتاب hooked نوشته ی Nir Eyal رو بخونید خوبه.

متریک های Engagement

اگه محصول داره خوب رشد می کنه و خوب retention می گیره که هیچی اما ممکنه اونایی که میان به اندازه کافی وقت نذارن، محتوا تولید نکنن، خلاصه engage نشن. برای سوشال ها مثلاً زمان بودن روی اپ خیلی می تونه مهم باشه. product-market fit هم زمانی رخ می ده که افراد خوب engage بشن که البته خودش رو توی retention هم نشون می ده.

حالا چی موجب engage شدن می شه. بازم سوشال ها یه فریم ورک تولید و مصرف محتوا دارن مثل شکل زیر که می گن این چرخه است که موجب engage شدن می شه

یه سری محتوا تولید می کنن، منتشر می کنن، بقیه می بینن، فیدبک می دن (در قالب ویو، کامنت، لایک) و این موجب می شه که دوباره محتوا تولید کنند و خلاصه این لوپ ادامه پیدا می کنه که خب می شه با اندازه گیری اینکه چقدر بر می گردن (sessionها) یا چقدر بیشتر مصرف می کنن (ویوها) اندازه گرفتشون.

حالا approachهای مختلفی برای افزایش engagement هست: 1. تولید محتواهای گوناگون (تنوع)، 2. کمک کنیم مرتبط ترین محتوا به فرد مورد نظر برسه، 3. به ترتیب مناسبی محتوا رو نشون بدیم، 4. راحتی و سهولت استفاده در هر شرایط و هر پلتفرمی رو فراهم کنیم. البته اینجا نتورک افکت هم خودش رو نشون می ده و هر چی بیشتر محتوا تولید بشه، اون پلتفرم هم ارزشمندتر می شه. 5. امکان interaction بیشتر بدیم

مثلاً توی e-commerce ها هر چی تعداد بیشتری محصول متفاوت وجود داشته باشه، هر چی کیفیت عکس و مشخصات و قیمتشون بیشتر باشه، هر چی پروسه خرید تسهیل بشه، محصولات مرتبط به افراد نمایش داده بشه و ... خب engagement بالا می ره. بنابراین متریک های engagement خیلی جنرال نیستند اما براساس اون چرخه تولید و مصرف که بالا نشون داده شده می شه متریک های زیر رو برشمرد:

1. متریک Time spent/DAU: خب این متریک خیلی متریک قوی ای برای نشون دادن engagement یا تعامله.همچنین سهم بازار این زمان هم مهمه که جزو متریک های بازار می گنجه. در واقع شما باید زمان محدود افراد رو مال خودتون کنید.
2. متریک Number of sessions: این متریک هم می تونه یه early indicator برای product-market fit باشه.
3. متریک Time spent/session: در واقع با کمک این می شه فهمید باید تایم در هر سشن رو زیاد کرد یا باید تعداد سشن ها رو زیاد کرد.
4. متریک Inventory available: شرکتهایی که عملاً news feed دارن مثل لینکدین یا خود اینستاگرام باید ببینن آیا محتوای موجود برای کاربرهاشون اصلاً وجود داره؟ بنابراین باید دید چقدر محتوا موجوده. همچنین توزیعشون هم می تونه خیلی کمک کننده باشه. شاید برای ایکامرسی ها بشه اینکه چقدر از سرچهای محصولات به ناموجود یا موجود ختم می شه.
5. متریک Content consumption (number of views): متریک تایم مصرفی می تونه با نوع محتوا، مثلاً ویدئو دچار خدشه بشه اما این متریک می تونه به نوعی مرتبط با متریک قبلی دیده بشه. اینکه افراد واقعاً چند تا قطعه محتوا یا محصول رو ویزیت کردند. شاید مشکل موجودی داریم بازم.
6. متریک Production of content: هر یوزری حالا یا سلری چقدر کانتنت در روز یا هفته یا ماه تولید می کنه؟ آیا روند منظمی داره؟ البته یه متریکی که واقعاً مهمه، تولید محتواهای با کیفیت بالاست.
7. متریک Feedback on content: طبیعتاً فیدبک دادن روی محتواها خیلی برای تعامل مهمه، حالا لایک وزنش نسبت به کامنت کمتره و بنابراین می شه گفت اگه فیدبک کاهش پیدا کنه، تولید محتوا هم کاهش پیدا می کنه و بعدش مصرف و به همین صورت.

چند تا نکته ی مهم

در کل باید حواسمون باشه که اول سگمنت کنیم بعد این متریک ها رو اندازه بگیریم. مثلاً دموگرافیک،دیوایس، فرمت محتوا، نوع محتوا (سرگرمی، اطلاعات عمومی و ...) یا دسته و کتگوری و ...

همچنین باید حواسمون باشه که indicator یا متریک مورد نظر lagging یا leading ه. در واقع متریک های engagement به نوعی leading هستن و متریک های خوبی به شمار میان.

مثلاً فرض کنید شما یه کاربری هستید که اولش خیلی با یه محصولی حال کردید و اولش چند بار در روز حتی استفاده می کنید بعد کم کم این می شه چند بار در هفته و ماه و ... خب اولش از MAU یا WAU کاهش تعامل شما دیده نمی شه و شما جزو WAU به حساب میاین منتها واضحاً مثلاً سشنتون یا time spent تون کم شده. بنابراین کاهش سشن یه نشانگر برای کاهش DAU و کاهش DAU یه نشانگر برای کاهش WAU و به همین ترتیب خواهند بود.

بازم یه نکته ی دیگه بخوایم بگیم اینه که POWER یوزرهای شما یا most engaged یوزرهاتون خیلی مهمن. اونا باید خوشحال بمونن. فقط هم نه از باب growth به خاطر اینکه اونا معمولاً churn نمی شن. منتها به خاطر retention اونا باید تمرکز اصلیتون باشن. بنابراین باید تمامی این متریک ها رو یه دور برای سگمنت core-userها بررسی کنید. تعدادشون چقدره؟ تایم مصرفی شون روی اپ داره زیاد می شه یا کم؟ سشنهاشون چطور؟ آیا اون less-engagedها دارن most-engaged می شه یا نه؟ اینا چقدر محتوا تولید می کنن؟ بیشتر از چه فیچری استفاده می کنن؟ اینا می تونه تجربه کاربری یوزرهای اصلیتون رو به شدت بهبود بده.

بهتره بگیم همه با churn و acquisition مشکل دارن منتها اگه شما بتونید core-userها رو engage نگه دارید و به product-market fit برسید، عملاً می تونید دوباره روی رشد کار کنید و برگردید رو ریل.

یه نکته ی ارزشمند اینه که رشد پایدار از رشد سریع خیلی مهمتره. رشد با retention کم، محصول شما رو می کشه.

حواسمون هم باشه که نمی شه برای همه خوب باشیم. for everyone شدنی نیست. و در واقع

fore everyone = for no one

بنابراین تمرکز کنیم روی most-engagedها بهترین کاره.

اگه retention رو یه عدد خوبی flat بشه خیالتون راحت باشه اما نه کامل در واقع اگه این عدده کوچیک باشه یه مقدار ناپایداره.

رشد رو باید با TAM با هم دید. در واقع باید حواسمون باشه که هر چی نفوذ تو بازار بیشتر بشه خود به خود رشد کاهش پیدا می کنه.

در پایان بگیم که Retention بهترین شاخص برای Product-Market Fit ه و مهمترین پیشران برای رشد، در همین راستا هم magical moment کمک می کنه کاربراتون ارزش اصلی محصولتون رو بفهمن و رسوندن کاربرا به tipping point کمک می کنه که retain بشن. حالا برای Retention، افزایش Engagement مهمترین کاره و برای بهبود Engagement باید یه فریم ورک چگونگی افزایش Engagement برای خودتون درست کنید که بفهمید چطوری تعامل رو افزایش بدید و خب indicatorهای مربوط به Engagement خوبیشون اینه که Leading هستند و سریع می تونید ازشون insight بگیرید که دارید خوب جلو می رید و احتمالاً Retentionتون افزایش پیدا می کنه یا نه.

برگرفته از: https://www.sequoiacap.com/article/measuring-product-health