آشنایی با آزمون A/B: آنچه مدیران باید بدانند

امروزه رهبران سازمان‌های پیشرو در حوزه کسب‌وکار تصمیمی را نمی‌گیرند مگر آنکه شواهد کافی در تائید آن تصمیم وجود داشته باشد. آزمایش کردن در کسب‌وکار یکی از روش‌هایی است که به مدیران کمک می‌کند تا مبتنی بر داده تصمیم بگیرند و ریسک تصمیمات خود را کاهش دهند.

آزمون A/B یا معادل انگلیسی آن A/B Testing که عمدتاً به‌صورت آنلاین کاربرد دارد، یکی از روش‌های آزمایش کردن در کسب‌وکار است. اگرچه امروزه آزمون A/B در طراحی وب‌سایت‌ها، ابزارک‌های تلفن همراه و سایر سامانه‌های آنلاین کاربرد زیادی دارد، ولی ریشه آن به کارهای دونالد فیشر (Ronald Fisher) آماردان انگلیسی در ابتدای قرن بیستم و مفهوم آزمایش کنترل‌شده تصادفی برمی‌گردد. فیشر به دنبال این بود تا کارایی کودهای کشاورزی را ارزیابی کند؛ کود الف موجب افزایش بهره‌وری بیشتر می‌شود یا کود ب. در “مقاله آزمایش کنترل‌شده تصادفی چیست و چه کاربردهایی دارد؟” به‌طور مفصل دراین‌باره توضیح دادم. در دهه ۱۹۷۰ به‌تدریج این مفهوم وارد دنیای بازاریابی شد. برای مثال بازاریابان می‌خواستند بدانند که ارسال کارت‌پستال مخاطب را بیشتر به خرید ترغیب می‌کند یا نامه.

آزمون A/B حالتی از آزمایش کنترل‌شده تصادفی است که باهدف بررسی کارایی دو نسخه مختلف یک محصول اجرا می‌شود و معمولاً برای کسب‌وکارهای آنلاین مورداستفاده قرار می‌گیرد.

روش انجام آزمون A/B

برای انجام این آزمون ابتدا باید تصمیم بگیرید چه چیزی را می‌خواهید مقایسه کنید. فرض کنید مطابق شکل-۱ دو نسخه از یک صفحه وب‌سایت که در آن به تبلیغ محصول جدید خود پرداختید، ایجاد کردید. این دو نسخه در همه موارد به‌جز تیتر تبلیغاتی بالای صفحه یکسان هستند. شما می‌خواهید بدانید این تغییر چگونه بر روی نرخ تبدیل (Conversion Rate – نرخ تبدیل در این مثال می‌تواند نسبت خرید محصول به تعداد بازدید از آن صفحه تعریف شود) اثر می‌گذارد. برای این منظور مخاطبان را به شکل تصادفی به دو گروه تقسیم می‌کنید و هر یک از این دو گروه مخاطب را در معرض یکی از این دو نسخه قرار می‌دهید. در نهایت بر اساس سنجه تعریف‌شده، در این مثال نرخ تبدیل، میزان موفقیت هر یک از دو نسخه را مقایسه می‌کنید.

در حالت ایدئال باید همه‌چیز برای این دو گروه مخاطب یکسان و تنها تیتر مذکور متفاوت باشد. ولی در دنیای واقعی این کار دشوار است. برای مثال ممکن است برخی از مخاطبان بر روی تلفن همراه خود این دو نسخه را ببینند و طول زیاد یکی از تیترها باعث شود در صفحه تلفن همراه به‌راحتی خوانده نشود و روی مقایسه اثر بگذارد. در اینجاست که مفهوم تخصیص تصادفی اهمیت می‌یابد. با اختصاص تصادفی مخاطبان به دو گروه، احتمال این‌که اثرهای دیگر به‌جز اثر موردنظر، نتیجه را تحت تأثیر قرار دهد، کاهش می‌یابد. در اینجا اثر اصلی موردمطالعه، اثر نسخه‌های مختلف تیتر تبلیغاتی است. اثر جانبی ناخواسته این است که تیترها در دستگاه‌های مختلف مانند تلفن همراه یا کامپیوتر چقدر خوب دیده شود.

در برخی موارد ممکن است متغیرهایی که تحت کنترل نیست، اثر قدرتمندی روی سنجه بگذارند. برای مثال فرض کنید مخاطبانی که از تلفن همراه استفاده می‌کنند در کل تمایل کمتری دارند پس از مشاهده صفحه تبلیغاتی، خریدی انجام دهند. حال اگر پس از تخصیص تصادفی در یک گروه تعداد کسانی که آن صفحه تبلیغاتی را در تلفن همراه خود دیده‌اند از گروه دیگر بیشتر باشد، نرخ تبدیل این دو گروه تحت تأثیر فاکتوری خارج از کنترل قرار می‌گیرد. برای بررسی این موضوع تحلیل‌گر باید ابتدا داده‌ها را بر اساس نوع دستگاه کاربران بررسی کند و سپس با در نظر گرفتن نتایج به تحلیل اثر تیتر تبلیغاتی بپردازد (به مفهوم بلوک‌بندی (Blocking) در آمار مراجعه کنید).

امروزه از آزمون A/B برای ارزیابی رفتار مخاطبان در مواجهه با انواع بنر تبلیغاتی، تیتر، ساختار قیمت‌گذاری، مدت‌زمان استفاده رایگان از یک محصول یا خدمت، پیشنهادهای تخفیف، ارسال رایگان یا پولی محصول و سایر موارد استفاده می‌شود. 

در ادامه بخوانید:

چگونه باید نتایج آزمون A/B را تفسیر کرد؟