تصمیم‌گیری به کمک داده - مثال‌هایی از دیوار

معرفی نویسنده

من ساینا پورطالبی هستم، مدیر محصول دیوار. از دبیرستان وارد فضای برنامه‌نویسی شده و کمی با فضای روبوکاپ آشنا شدم و این شروع آشنایی من با دنیای تکنولوژی بود. در دوره‌ی لیسانس رشته‌ی اقتصاد دانشگاه تهران را انتخاب کردم، از سال سوم دانشگاه در یک استارت‌آپ مشغول به کار شدم و الان یک سال و نیم است که در دیوار فعالیت می‌کنم. در این مدت روی موضوعات مختلفی از جمله سرچ، کلاهبرداری، مزاحمت و ارتباطات کار کرده‌ام و در این مقاله قصد دارم با تکیه بر تجربیاتم در دیوار، درباره اهمیت تصمیم‌گیری داده محور در مدیریت محصول صحبت کنم.

شروع

​​​حل مسئله، هسته‌ی اصلی مدیریت محصول است. نقش یک مدیر محصول یا PM، ارائه راه‌حل‌های خلاقانه‌ای است که تاثیرات قابل‌اندازه‌گیری و مثبت بر اهداف سازمان داشته باشند. اما چگونه تصمیم می‌گیرید که حل کردن کدام مشکلات از همه مهم‌تر است؟ چگونه تعیین می‌کنید با چه تصمیم‌هایی به اهداف سازمان نزدیک‌تر می‌شویم؟ این‌ نمونه‌ای از سوال‌هاییست که به کمک داده به آن‌ها پاسخ می‌دهیم.

زمانی که در مورد فیچرهای جدید و پتانسیل‌های پیشرفت بالقوه فکر می‌کنید، فرضیاتی ایجاد می‌کنید که بتوانید آن‌ها را با داده‌های محصول اعتبارسنجی کنید. سپس برای جمع‌آوری داده‌های مورد نیاز برای سنجش این فرضیات، آزمایش‌هایی تعریف می‌کنید. از این آزمایش‌ها برای شفاف کردن مشکل خاص کاربران، اثر آن در محصول و بیزینس و تعریف راه‌حل برای برطرف کردن مشکل استفاده می‌کنید. همه‌ی این موارد از شناسایی یک الگو (pattern) در داده‌های مورد مشاهده شروع می‌شود. داده‌ها مبنای تصمیم‌های شما و پایه و اساس استراتژی محصول شما هستند. ​

یک مدیر محصول باید داده‌های حاصل از تحقیقات بازار، اطلاعات بازار رقیب (CMI)‏، بازخوردهای داخلی، تحلیل‌های آماری و بازخوردهای مشتریان را برای اتخاذ تصمیمات داده محور در نظر بگیرد. آسان به نظر می‌رسد اما ارزیابی ارزش این اطلاعات و متصل کردن آن‌ها به نقشه راه محصول، مهارت ساده‌ای نیست. ​

رهبری محصول به مهارت‌های تصمیم‌گیری استثنایی نیاز دارد و بسته به فرهنگ و محیط تیم، دشواری و تعداد این تصمیمات می‌تواند متفاوت باشد. ​

برخی از تصمیمات بسیار جزئی هستند، مثل این که چه ابزاری برای ایجاد نقشه راه شما مورد استفاده قرار می‌گیرد. در حالی که برخی دیگر از تصمیمات به طور باورنکردنی تاثیرگذار هستند؛ نه تنها برای تیم شما، بلکه برای کل سازمان. نمونه‌هایی از این تصمیمات بزرگ شامل سرمایه‌گذاری یا عدم سرمایه‌گذاری در یک بازار جدید، خرید بازیگرهای موجود در بازار در مقایسه با ساختن محصول از صفر و ادامه یا عدم ادامه‌ی کار روی محصولی است که به تازگی در بازار لانچ‌ کرده‌ایم.

​«بدون داده، شما تنها فرد دیگری با یک نظرید.»

نقل‌قول بالا از ویلیام ادوارد دمینگ، نویسنده، مهندس مشهور و متخصص آمار است. در گذشته، مدیریت محصول حوزه‌ای بود که با غریزه درونی جلو می‌رفت. امروزه، PMها باید براساس داده‌ها تصمیم‌گیری کنند، نه بر اساس احساس و غریزه. خوشبختانه، ما نسبت به گذشته داده‌های محصولی بیشتری در دسترس داریم. بهینه از متریک‌های خود استفاده کنید و نتایج مثبتی در عملکرد محصول خود خواهید دید. ​

​​​​​​​​اهمیت

​​​​​​​​اگر چه گاهی خوب است که از غرایز خود پیروی کنید، اما اکثریت قریب به اتفاق تصمیمات شما باید با تکیه بر متریک‌ها و ارقام مربوط به اهداف شما تعیین شوند که بتوانند اسکلت پایداری برای تصمیمات بزرگ‌تر کسب‌وکار و گزارش‌های مدیریتی ایجاد کنند.

برای شفاف‌تر کردن ارزش‌های تصمیم‌گیری بر اساس داده، قصد دارم اهمیت این شکل از تصمیم‌گیری را مورد مطالعه قرار داده و با کمک مثال‌هایی از دیوار، نحوه‌ی تبدیل یک بینش (insight) به اقدام تقویت‌کننده ی کسب‌وکار را بررسی کنم. ​​

استفاده از​ داده‌ها در تصمیم‌گیری، در ثبات و رشد مداوم نهفته‌است و شرکت‌ها را قادر می‌سازد تا فرصت‌های تجاری جدید را کشف کنند، درآمد بیشتری ایجاد کنند، ترندهای آینده را پیش‌بینی کنند، هزینه‌های عملیاتی را بهینه کنند، و بینش‌های قابل عمل (actionable insights) تولید کنند. هر بینش ارزشمندی که از داده‌ها به دست می‌آید به سازمان کمک می‌کند تا تصمیم درستی بگیرد و آن‌ها را هدایت می‌کند تا نیازهای مشتریان خود را بهتر درک کرده و مشکلات موجود را بررسی کند. به این ترتیب، شما در طول زمان محصول خود را رشد و تکامل می‌دهید و در نتیجه سازمان خود را با تغییرات بازار سازگارتر می‌کنید.

مثال‌هایی از دیوار

در سرچ دیوار اصطلاحی داریم به اسم دارک کوئری. دارک کوئری به کوئری‌ای گفته می‌شود که نتایج نمایش داده شده‌ی آن کمتر از یک صفحه باشد (در دیوار یک صفحه معادل ۲۴ نتیجه‌ است). با بررسی کوئری‌های باونس‌شده و کوئری‌های دارک، سناریو‌های زیر حاصل شد که راه‌حل‌های هر کدام را توضیح می‌دهم.

۱- بیان کلمات کلیدی در توضیحات: سیستم سرچ دیوار فقط در بین کلمات تایتل آگهی جست‌و‌جو می‌کند ولی خیلی اوقات اطلاعات مد نظر کاربر (که در کوئری خود مطرح می‌کند)، در بخش توضیحات آگهی بیان شده و به خاطر نحوه ی کارکرد سیستم ما، آن آگهی در بین ریزالت‌های کوئری کاربر نمایش داده نمی‌شود و ممکن است باعث دارک شدن آن کوئری شود. برای حل این موضوع کلمه‌های کلیدی هر دسته‌بندی را برای آن دسته‌بندی ایندکس کردیم. بدین ترتیب اگر کلمات کلیدی مشخص‌شده در توضیحات آگهی هم بیان شده باشند، در صورت وجود این کلمات در سرچ کوئری کاربر، این آگهی‌ها نیز نمایش داده خواهد شد.

۲- غلط املایی: غلط املایی از جمله دلایل دیگر نرسیدن به آگهی‌های مدنظر است. چه این غلط املایی در کوئری باشد چه در تایتل آگهی. با اضافه کردن غلط املایی‌ها به پولِ (pool) کلمات ساجسشن این مشکل برطرف می‌شود. بدین معنی که اگر در کوئری یا در تایتل آگهی به اشتباه بنویسید پرابد، نتایج پراید نیز نمایش داده خواهد شد.

۳- چند نویسی: مشابه غلط املایی‌ست و با اضافه شدن این‌ها نیز به پول کلمات ساجسشن، زین‌پس “کاردرمنزل”، “کار در منزل”، “کاردر منزل” و “کار درمنزل” همه به نتایج مشابه می‌رسند.

۴- نمایش تعداد در ساجسشن: برای اینکه بتوانیم به کاربر نوعی سیگنال دهیم که کوئری درخواستی‌اش در دیوار وجود دارد یا نه، تعداد آن چقدر است و کوئری بهتر چیست، جلوی هر ساجسشن در سرچ تعداد ریزالت را نیز اضافه کردیم؛ و با آ/ب تست به این نتیجه رسیدیم که اگر برای کوئری‌هایی که صفر ریزالت دارند ساجسشنی نمایش ندهیم، کاربران پس از تایپ کوئری و ندیدن ساجسشن، به دفعات کم‌تری دکمه ی enter را فشار می‌دهند. این روش موجب کاهش بیش از یک درصدی دارک کوئری و باونس می‌شود.

دنیای دیجیتال دائما در جریان است، و برای حرکت همگام با این جهانِ همیشه در حال تغییر پیرامون خود، شما باید از داده‌ها برای اتخاذ تصمیمات تجاری آگاهانه‌تر و قدرتمندتر استفاده کنید. ​

مزایا

۱. شفافیت و پاسخگویی بیشتر:

کار کردن با داده باعث می‌شود با تصمیم‌گیری براساس شواهد موجود، فرایندهای خود را بهتر کنید و بدین‌ترتیب شما را به فردی تصمیم‌گیرنده، متفکر، و اثرگذارتر تبدیل می‌کند. به‌کارگیری صحیح این رویکرد می‌تواند رشد کسب‌وکار شما را به طرز چشم‌‌گیری بهبود دهد.

۲. ترسیم تصویری واضح‌تر برای همه!

درک اطلاعات آماری بسیار ساده‌تر از اعتماد به احساسات درونی فرد است و استفاده از داده برای تصمیم‌گیری، تصمیمات کسب‌وکار را به بینش‌های تحلیلی موجود وصل می‌کند. بنابراین با استفاده از داده، راحت‌تر می‌توانید افراد را با برنامه خود همراه کنید.

۳. دریافت بازخوردهای شفاف

به کمک داده می‌توانید برای هر بخشی از محصول پاسخی برای سوالات مختلف تامین کنید. از انتخاب سگمنت تا اثبات ارزش یک کار. برای جمع‌آوری داده‌های بیشتر و تست فرضیه‌های جدید باید آزمایش کنید، نتایج حاصله را تحلیل کرده و دوباره این را تکرار کنید.

اشتباهات ممکن

اگرچه داده مزایای زیادی دارد، برای استفاده ی بهینه از آن در تصمیم‌گیری‌ها باید حواسمان به اشتباه و خطرات ممکن باشد. این خطرات شامل موارد مختلفی می‌شود که من در اینجا بر اساس تجربه، به اهمیت دو مورد از آنها با مثال اشاره می‌کنم.

۱- چشم‌پوشی از متریک‌های ریز

به وضوح در هر محصولی به خصوص محصولی به بزرگی دیوار، متریک‌های زیادی وجود دارد. برای تصمیم‌گیری از روی این داده‌ها به آن‌ها وزن می‌دهیم و تعداد محدودی از آن‌ها را به عنوان ستاره شمال خود قرار می‌دهیم. به وضوح اهمیت متریک ستاره شمال در تصمیم‌گیری‌ها بیشتر از متریک‌های دیگر است ولی این نباید باعث چشم‌پوشی از متریک‌های ریزتر شود.

یکی از متریک‌های ستاره شمال ما در سرچ دیوار، نرخ باونس است. باونس متریک به شدت بزرگی است که به عوامل متعددی وابسته است. از جمله متریک‌هایی که روی باونس اثر دارد، دارک کوئری‌ها هستند. فرض کنید که در پایان همه‌ی کارهایی که بالاتر توضیح دادیم، مشاهده کردیم که نرخ باونس تغییری نکرد، در حالی‌که در آ/ب تستمان نتایج متفاوتی دیده بودیم. آیا این بدین معنی است که راه‌حل‌های ما در مقیاس بزرگ بی‌اثر بوده؟ خیر. اگر به ریزِ متریک‌ها دقت کنیم می‌بینیم که سهم دارک کوئری‌ها از باونس کاهش یافته و دلیل افزایش باونس به خاطر محبوبیت کوئری‌های ماسک و الکل در ابتدای کرونا است؛ در حالی که طبق قوانین دیوار، این آگهی‌ها اجازه انتشار پیدا نمی‌کنند. با این وجود به خاطر تعدد آگهی‌های «استخدام بازاریاب ماسک» نتایج این کوئری بیشتر از ۲۴ بوده و دارک محسوب نمی‌شد. بدین‌ترتیب گرچه راه‌حل‌های ما کارآمد بود، در آن بازه ی مشخص متریک ستاره شمال ما تغییری نکرد.

۲- عدم توجه به کانتکست

فرض کنید، تعداد تماس‌های کال سنتر در رابطه با کلاهبرداری زیاد شده. ما به کمک علم داده‌، ترندهای استفاده از کلمات کلیدی کلاهبرداری در آگهی‌های دیوار را بررسی می‌کنیم. فرض کنیم تعداد آگهی‌هایی که به دنبال گرفتن بیعانه هستند در دسته‌بندی خودرو افزایش ۵ درصدی داشته، ولی در دسته‌بندی اجتماعی افزایش ۱۵ درصدی داشته. در سناریویی که راه‌حل‌های مقابله با کلاهبرداری روی هر دسته متفاوت باشد، مقابله با کلاهبرداری در کدام دسته اولویت دارد؟ جواب: دسته‌بندی خودرو! چرا؟ کانتکست!

هدف ما کاهش نرخ کلاهبرداری در معاملات دیوار است. اگر فقط به تعداد آگهی‌های کلاهبرداری نگاه کنیم، جواب درست دسته‌بندی اجتماعی است، ولی در این کانتکست می‌دانیم که هر آگهی در دسته بندی خودرو چندین برابر هر آگهی در دسته‌بندی اجتماعی بازدید دارد؛ پس احتمال اینکه یک آگهی کلاهبرداری در دسته‌بندی خودرو منجر به کلاهبرداری شود از دسته ی اجتماعی بیشتر است.

دیتا بدون کانتکست بی‌معنی است!

یکی از مثال‌های معروف این زمینه مثال مدل کریسمس است. فرض کنید می‌خواهیم مدلی بزنیم که پیش‌بینی کند امروز کریسمس است یا خیر. دانشمند داده ی تیم، مدلی به شما ارائه می‌دهد که در ۹۹.۷ درصد از مواقع جواب درستی ارائه می‌کند. آیا می‌توان گفت عملکرد این مدل محشر است؟جواب: خیر!

در اینجا می‌دانیم که کریسمس فقط ۱ روز در سال است. پس به طور ذاتی ۰.۲ درصد احتمال دارد که امروز کریسمس باشد. اگر مدلی داشته باشیم با یک خط کد، که هر روز در پیش‌بینی اینکه آیا امروز کریسمس است جوابش منفی باشد مدلی با دقت معادل ۹۹.۷ درصد خواهیم داشت! پس این مدل نه تنها خارق‌العاده نیست، بلکه حداقل‌ کیفیت ممکن را دارد.

نتیجه

مدیریت محصول داده محور به خودی خود باعث تولید محصولات بهتر نمی‌شود. گرچه استفاده از داده این‌روزها جزو اصول تصمیم‌گیری به حساب می‌آید و مزایای بسیاری دارد، به کارگیری صحیح این داده‌ها کار آسانی نیست. پس همیشه در کار با داده‌های موجود برای گرفتن تصمیمات خود، مطمئن شوید که به داده‌ی درستی در راستای حل مسئله ی مورد نظر نگاه می‌کنید و از بهترین ابزارهای موجود برای جمع‌آوری و تحلیل این داده‌ها استفاده می‌کنید. به خطرات ممکن در تحلیل داده‌های خود آگاه باشید که به دام آن‌ها نیفتید و از همه مهم‌تر به یاد داشته باشید که دید انسانی شما نقطه ی قوت شما در برابر ماشین‌هاست؛ پس قدمی به عقب بردارید تا تصویر اصلی (big picture) را به یاد داشته باشید.