گیبسون بیدل، وی پی سابق پروداکت نتفلیکس (به این شرکت کمک کرد که رشد ۲ به ۱۳ میلیون کاربرو محقق کنه) این سری مقالات رو منتشر کرده است. در این مقاله به بررسی «چگونه یک شاخص را برای اثبات یا رد فرضیه خود تعیین کرده و پیشرفت را اندازه گیری کنید» می‌پردازیم.
در نتفلیکس، شاخصی که ما برای ارزیابی کیفیت کلی محصول استفاده می‌کردیم، بازگشت ماهانه کاربران بود. این شاخص سطح بالای محصول انگیجمنتی، در طی بیست سال به طور قابل توجهی افزایش یافت. در روزهای اولیه، حدود ۱۰ درصد از اعضا هر ماه کنسل می کردند. در سال ۲۰۰۵ نرخ لغو ماهانه حدود ۴.۵ درصد بود. امروزه این عدد نزدیک به ۲ درصد است.
با این حال، استفاده از شاخص بازگشت به عنوان شاخص برای همه پروژه‌ها امکان پذیر نیست. این متریکی است که به سختی تغییر می‌کند و اثبات بهبود آن نیازمند آزمون‌های A/B در مقیاس بزرگ است. تغییر و جابه‌جایی شاخص‌هایی سطح پایین- شاخص‌های نیابتی- آسان‌تر و سریع‌تر از شاخص‌های انگیجمنتی سطح بالا است. در حالت ایده آل، جابجایی یک شاخص نیابتی باعث بهبود در شاخص سطح بالا (به عنوان مثال بازگشت کاربران) می‌شود و در واقع همبستگی بین این دو را نشان می‌دهد. بعداً می‌توانید رابطه علت و معلولی آنها را با آزمون A/B اثبات کنید.
یکی از فرضیه‌‌های ما این بود که تجربه ساده‌تر اعضا باعث افزایش بازگشت آنها می شود. اما چگونه "ساده" را اندازه گیری بگیریم؟ و چگونه می‌توان نشان داد که باعث افزایش بازگشت کاربران می شود؟
ما با بررسی داده‌های خدمات مشتریان شروع کردیم. چرا اعضا برای سوالات یا شکایات خود با نتفلیکس تماس می‌گیرند یا ایمیل می‌فرستند؟ هنگام مراجعه به صفحات راهنما بر روی چه لینک‌هایی کلیک می‌کنند؟ مشتریان کجا و در چه مرحله‌ای سردرگم می‌شوند؟ در طول زمان، ما تلاش خود را بر روی اعضای جدید متمرکز کردیم زیرا تعداد زیادی از مشتریان بالقوه در بالای قیف ثبت نام، یک فرصت تجاری قابل توجه را فراهم کرده بودند.
ما با اعضای جدید در جلسات یک به یک و focus group صحبت کردیم. ما از گروه کوچکی از مشتریان خواستیم فعالیت هفتگی خود را با نتفلیکس برایمان بنویسند. در نهایت، ما داده‌های موجود را برای مسیر ثبت‌نام اعضای جدید و همچنین چند هفته اول آنها با این سرویس بررسی کردیم.
یک نکته گیج‌کننده در بین اعضای جدید: سرویس اولیه دی وی دی با پست ما، مشتریان را ملزم می‌کرد که فهرست فیلم‌ها را بر اساس اولویت درست کنند که ما بتوانیم به ترتیب برای آنها ارسال کنیم. اما برخی از اعضای جدید نتوانستند هیچ ویدئویی را به "صف" نتفلیکس خود اضافه کنند. برخی از اعضای جدید بسته‌ای را انتخاب می‌کردند، اطلاعات کارت اعتباری خود را وارد کرده و سپس می‌پرسیدند: "حالا چی؟" تصور افزودن حداقل سه عنوان به صف، بسیاری از اعضای جدید را گیج کرده بود.
واضح بود که ما باید فرآیند ثبت نام و ساخت لیست فیلم‌ها را برای مشتریان آسان می‌کردیم. سرانجام، ما مجموعه‌ای از پروژه‌های "روز اول" را که بر حذف مراحل، کاهش سربار شناختی و ارائه شفافیت در مورد نحوه عملکرد سرویس متمرکز بودند، اجرا کردیم.
شاخص نیابتی ما "درصد اعضای جدیدی که در اولین سشن حداقل سه عنوان به صف خود اضافه می‌کردند" بود. وقتی ما برای اولین‌بار به داده‌ها نگاه کردیم، ۷۰ درصد از اعضای جدید در اولین سشن حداقل سه عنوان به صف خود اضافه کرده بودند. در پایان سال، پس از انجام یک‌سری آزمایش‌های سریع، این درصد را به ۹۰ رساندیم.
در همان مدت، ما شاخص بازگشت ماه اول کاربران را از ۸۸ به ۹۰ درصد رساندیم - هر دو شاخص بازگشت کاربران و"ساده" با هم بهتر شده بودند. ما تصمیم گرفتیم که برای یک آزمون A/B در مقیاس بزرگ وقت نگذاریم زیرا مطمئن بودیم که آزمایش سرراستمان باعث بهبود شاخص بازگشت می‌شود.
شاخص نیابتی یک جایگزین برای شاخص انگیجمنتی سطح بالای شما -شاخصی که کیفیت کلی محصول شما را مشخص می‌کند- هستند. در ابتدا، شما به دنبال همبستگی بین شاخص سطح بالا و شاخص نیابتی هستید. سپس بر روی اثبات رابطه علت و معلول آن کار می‌کنید.
در اینجا یک مدل ساده برای تعریف شاخص‌های نیابتی آمده است:
چند نمونه از شاخص نیابتی برای بازگشت کاربران در نتفلیکس:
هنگام ارزیابی شاخص‌های احتمالی مطمئن شوید که:
قابل اندازه گیری باشد. می‌توانید داده ها را پیدا، جمع آوری و اندازه گیری کنید. در حالت ایده آل، می‌توانید شاخص را در یک آزمون A/B ارزیابی کنید و شاخص به پاسخ این سوال کمک می‌کند که "آیا باید این فیچر را راه‌اندازی کنیم یا نه؟" در ارزیابی استراتژی محصول جدیدتان، از خود بپرسید: "در یک آزمون A/B ، از چه شاخصی برای تصمیم گیری رفتن/نرفتن استفاده می‌کنیم؟"
قابل جابجایی باشد. می‌توانید از طریق تغییر در تجربه محصول، بر شاخص تأثیر بگذارید.
میانگین نباشد. خطر میانگین‌ها این است که شما می‌توانید با الهام بخشیدن به زیرمجموعه کوچکی از مشتریان برای انجام کارهای بیشتر، شاخص را تغییر دهید. اما این ممکن است اعضای کافی را برای بهبود تجربه کلی محصول تحت تأثیر قرار ندهد.
با شاخص انگیجمنتی سطح بالای شما همبستگی داشته باشد. برای نتفلیکس، شاخص نیابتی موفق و شاخص بازگشت کاربران با هم حرکت می‌کردند. در دراز مدت، شما امیدوار هستید که بتوانید رابطه علت و معلولی را از طریق یک آزمون A/B در مقیاس بزرگ اثبات کنید.
مشتریان جدید در مقابل مشتریان فعلی را مشخص بکند. با رشد نتفلیکس، ما یاد گرفتیم که تلاش خود را بر روی اعضای جدید متمرکز کنیم. ما معتقد بودیم که برای تبدیل شدن به یک سرویس بزرگ در سراسر جهان ، باید محصول را برای اعضای جدید بهینه سازی کنیم. ما فیچرها را با اعضای جدید آزمایش می‌کردیم، سپس بر اساس نتایج مثبت به همه اعضا ارائه می‌دادیم. اعضای فعلی گاهی اوقات متوجه تغییر می‌شدند، از آن شکایت می‌کردند، اما به ندرت آن را لغو می‌کردند. (گاهی اوقات، اگر ما معتقد بودیم که خطر صدمه زدن به شاخص بازگشت کاربران وجود دارد، با اعضای موجود نیز آزمون A/B انجام می‌دادیم.)
قابل بازی نباشد. یک مدیر محصول بر خدمات مشتری متمرکز بود. وظیفه وی این بود که اعضا بتوانند به راحتی به خود کمک کنند و در نتیجه از طریق شماره ۸۰۰ با تیم خدمات مشتری ما تماس نگیرند. شاخص تعیین کننده که در واقع نقش او بود "تماس در هر ۱۰۰۰ مشتری" بود و هدف این بود که این شاخص را به زیر ۲۰ تماس در هر ۱۰۰۰ مشتری کاهش دهیم. اما مدیر محصول به سرعت متوجه شد که می‌تواند با مخفی کردن شماره 800 با شاخص بازی کند. در نتیجه، ما شاخص نیابتی را بازبینی کردیم: "تماس/۱۰۰۰ عضو با شماره ۸۰۰ موجود در دو کلیک."
یک شگفتی بزرگ در نتفلیکس: ما به سرعت تصمیم می‌گرفتیم، اما گاهی اوقات جداسازی شاخص نیابتی مناسب شش ماه طول می‌کشید. گرفتن اطلاعات، کشف اینکه آیا می‌توانیم شاخص را جابجا کنیم یا خیر، و اینکه آیا بین شاخص نیابتی و شاخص بازگشت رابطه علت و معلول وجود دارد زمان‌بر بود. ما بین سرعت و پیدا کردن شاخص مناسب سبک سنگین کردیم و بر دومی تمرکز کردیم. تیمی که بر روی شاخص اشتباه متمرکز باشد هزینه زیادی به شرکت تحمیل می‌کند.
در نهایت، هر یک از مدیران محصول در تیم من، توانستند عملکرد خود را از طریق یک یا دو شاخص نیابتی که به بهبود بازگشت ماهانه کاربران کمک می‌کرد، اندازه‌گیری کنند.
شاخص انگیجمنتی سطح بالای خود را مشخص کنید-معادل بازگشت ماهانه کاربران در نتفلیکس. اکنون نتیجه تمرین خود را از مقاله قبلی (بسته استراتژی، شاخص و تاکتیک) مجدداً مشاهده کنید و شاخص نیابتی خود را برای هر استراتژی سطح بالا با "شاخص نیابتی صحیح" که بالا گفته شد، ارزیابی مجدد کنید.
مقدمه: چگونه استراتژی محصول خود را تعریف کنیم؟
