داده-محوری یا تله‌ی داده؟

این روزها بسیاری از کسب و کارها حرف از استفاده از داده و داده محوری می‌زنند. داستان‌های بیزنس‌هایی که با استفاده از دیتا و آزمایشاتی نظیر A/B Testing و Split Testing توانسته‌اند بدون افزایش هزینه‌ها بهبودهای ژگرفی در فروش و درآمد خود ایجاد کنند، نقل مجالس کسب و کار‌های ایران بخصوص کسب و کارهای اینترنتی ایران شده است. اما آیا واقعا می‌دانیم چطور از دیتا استفاده کنیم؟

در این نوشته به چهار تله از پرتکرار‌ترین تله‌هایی که کسب و کارهای داخلی در آن گیر می‌کنند، اشاره کلی کرده‌ام.

نظارت کردن بر همه چیز

اولین چیزی که بعد از صحبت در مورد داده-محوری به ذهن بیزنس-من‌های ایرانی می‌رسد، ساخت دشبوردهای BI و KPIها هست که بتوانند تمام عملکرد بیزنس را در یک نگاه ببینند. بعد از مدتی این دشبورد توسط ساخته شده و در اختیار بیزنسمن قرار میگیرد. دشبوردی که معولا شامل ۲۰ تا ۴۰ شاخص است و قرار است یک تصویر از بالا به مدیر برای تصمیم گیری بدهد. اما نکته اصلی اینجاست که اگر ۲۰ شاخص مهم برای سنجیدن دائمی دارید، در واقع نمی‌دانید کدام شاخص برای شما مهمتر است. به قول معروف وقتی همه چیز مهم است، هیچ چیز مهم نیست. در یک کسب و کار با توجه به مقیاس آن، افرادی تصمیم گیرنده وجود دارند که برای هر یک شاخص هایی مهم‌تر از بقیه وجود خواهد داشت. به طور میانگین هر شخص می‌تواند روی 3 تا 7 شاخص تمرکز کند. پس اگر در یک بیزنس مسئولیتی در قبال بهبود یک بخش دارید به دنبال مهمترین شاخص‌ها برای بهبود آن باشید. پیشنهاد می کنم کتاب Measure what matters رو مطالعه کنید.

مبنا قراردادن جامعه‌ی محدود یا متعصب(biased)

یکی از اولین اقدامات کسب و کارها برای تصمیم گیری در مورد شروع یک کار جدید، مصاحبه و پرسشنامه است. دو تله در این گونه داده‌ها وجود دارد.

تله اول این است که افرادی که به عنوان نمونه انتخاب شده‌اند، از کل جامعه‌ی هدف ما انتخاب نشده‌اند. به عنوان مثال جامعه هدف ما برای اپلیکشن فروش بیمه آنلاین افراد 30 تا 40 سال است که خودرو دارند ولی ما پرسشنامه را صرفا برای کاربران ios ارسال می کنیم. این نمونه یک نمونه متعصب یا biased و رفتار آن را نمی‌توان به کل جامعه هدف تعمیم داد.

تله دوم صرف توجه به نسبت پاسخ‌هاست بدون در نظر گرفتن تعداد آن‌ها. به عنوان مثال یک A/B test را در نظر بگیریم. می‌خواهیم تاثیر رنگ یک دکمه‌ی CTA را آزمایش کنیم. در یک آزمایش از 10 نفر که ورژن A را میبینند 4 نفر و از 10 نفر که ورژن B را می‌بینند 5 نفر روی دکمه کلیک می‌کنند. در آزمایش دوم از 200 در ورژن A وارد می‌شوند 80 نفر و 100 نفر از 200 نفر ورودی به ورژن B روی دکمه کلیک می کنند. با نگاه کلی هر دو آزمایش به ما گوید که ورژن B عملکرد 25%ای بهتری نسبت به ورژن A دارد. اما آیا نتیجه این دو آزمایش با هم برابر است؟ در آزمایش اول با سطح اطمینان برای نتیجه 68% است در حالی که در آزمایش دوم این اطمینان به 98% می رسد. به عبارت تست اول با این که افزایش 25% را نشان می‌دهد، تست موفقی به حساب نمیاید ولی تست دوم با احتمال 98% یک تست موفق است. برای بررسی معناداری آماری (statistical significance) آزمایش‌های A/B testing می‌توانید از ابزارهای رایگانی مانند splitly استفاده کنید.

آزمودن(Testing) بدون طراحی آزمایش(Design of Experiment)

یکی از بزرگترین چالش‌های شخصی من با کسب و کارهای مختلف، جا انداختن مفهمون طراحی آزمایش بوده است. خیلی‌ها با مطالعه در مورد تصمیم‌گیری داده-محور، توسعه لین، هک رشد و ... رویکرد آزمون‌های سریع و متعدد را برای خود اتخاذ می کنند. اما هر کدام از این آزمون‌ها چطور قرار است به ما کمک کند؟
آزمودن مرحله قبل از مرحله نهایی یک آزمایش است. آزمایش با طرح سوال شروع می‌شود، و با تعریف یک نظریه (hypothesis) ادامه می‌یابد. حال برای این نظریه باید شاخص و تعیین نمود و هدف آن‌را پیشبینی کرد. با توجه به هدف، اندازه نمونه تعیین می‌شود و اقدام بعدی آزمودن (test) است. و در نهایت با تحلیل نتایج آزمون، می‌توان فهمید که این آزمایش را موفق یا نا موفق بوده است و یا نیاز به تعریف مجدد آن است.

بدون در نظر گرفتن فرآیند آزمایش، بعد از انجام دادن آزمون‌های متعدد، اولا ممکن است برخی از این آزمون‌ها گمراه کننده(misleading) باشند. ثانیا اگر بهبودی رخ دهد، چون نظریه‌ها و شاخص‌ها مشخص نیستند، نمی‌توان متوجه شد که کدام تست‌ها تاثیر مثبت و کدام تست‌ها تاثیر منفی داشته‌اند.

استناد بر داده نا صحیح

پایه‌ای ترین مشکل در خیلی از کسب و کارها، عدم به کار گیری داده صحیح از منبع صحیح است. خیلی وقت‌ها شاخص‌های تعریف شده بسیار مفید و کارساز هستند و نظریه‌های خوشتعریفی را بر پایه‌ی آنان میتوان تحلیل کرد، اما در محاسبه شاخص ایراداتی وجود دارد. انتخاب درست تکنولوژی‌های مربوط به پایگاه داده، تعریف ساختار درست، استفاده از ابزارهای تحلیلی دقیق و پیاده سازی درست آن‌ها اقداماتی است که می‌تواند به محاسبه صحیح شاخص‌ها کمک کند، در نهایت مهم‌ترین اقدام تعریف درست شاخص‌هاست. در تعریف یک شاخص، علاوه بر فرمول ریاضی محاسبه آن، همواره به سورس دیتای ورودی نیز باید توجه شود.