در علی‌بابا در مراحل نهایی ایجاد انبار داده‌ی استاندارد هستیم و ظاهرا از این به بعد آزمایش و تجربه، روز به روز سهم بیشتری از کارهایمان را به خودش اختصاص می‌دهد.
من نیاز داشتم برای ایجاد یک سند داخلی توضیحات منظمی تهیه کنم و چیزی که می‌خوانید ترجمه‌ی یک پست در بلاگ آپتیمایزلی (رهبر بی‌رقیب( :)) ) بازار پلتفرم‌های آزمایش و تجربه در دنیا) است که مختصر و مفید به تفاوت آزمون آ/ب و آزمون چندمتغیره می‌پردازد و احتمالا می‌تواند مرجع پست‌های بیشتری در آینده باشد.
تفاوت میان آزمون چند متغیره و آزمون آ/ب چیست؟ بیایید نگاهی به متدولوژی، کاربردهای متداول، مزیت‌ها و محدودیت‌های این دو روش آزمون بیندازیم.
آزمون آ/ب که ممکن است شنیده باشید با نام Split Testing (به فارسی می‌شود آزمون انشعاب، ولی این نام دوم در فارسی خیلی کاربرد ندارد) نیز به آن اشاره کنند، یک متد بهینه‌سازی وب‌سایت است که در آن نرخ تبدیل دو نسخه از یک صفحه (نسخه‌ی آ و نسخه‌ی ب) با استفاده از ترافیک زنده مقایسه می‌شود. هر کدام از بازدیدکنندگان سایت به یکی از دو نسخه هدایت می‌شوند. با دنبال کردن نحوه‌ی برخورد کاربر با صفحه‌ای که به او نشان داده شده (مثلا ویدیوهایی که دیده، دکمه‌هایی که رویشان کلیک کرده، این که برای عضویت در خبرنامه ثبت‌نام کرده یا نه) می‌توانید تصمیم بگیرید که کدام نسخه‌ی این صفحه، موثرتر است.
کاربردهای متداول
آزمون آ/ب ساده‌ترین متد برای ارزیابی طراحی یک صفحه است، که در گستره‌ای از موقعیت‌ها به درد می‌خورد.
یکی از متداول‌ترین جاهایی که از آزمون آ/ب استفاده می‌شود، آزمون کردن دو جهتِ طراحی کاملا متفاوت در برابر یک‌دیگر است. مثلا نسخه‌ی فعلی صفحه‌ی اول سایت یک شرکت، دعوت به اقدام‌های متنی دارد؛ در حالی که در نسخه‌ی جدید بیشتر متن‌ها حذف شده‌اند و در عوض یک بار جدید در بالای صفحه، جدیدترین محصولات را تبلیغ می‌کند. پس از این که تعداد کافی از بازدیدکنندگان به هر کدام از صفحه‌ها هدایت شدند، تعداد کلیک روی نسخه‌ی دعوت به اقدامِ هر صفحه را می‌توان مقایسه کرد. مهم است توجه کنید که با این که المان‌های طراحی زیادی در این آزمون تغییر کرده‌اند، آزمون فقط قرار است تاثیر طراحی هر صفحه به عنوان یک کل را مقایسه کند، نه تک تکِ المان‌های صفحه‌ها را.
آزمون آ/ب همچنین در بهینه‌سازی صفحه‌هایی که در آن‌ها فقط یک المان محل بحث است نیز کاربرد دارد. مثلا یک فروشگاه لوازم حیوانات خانگی ممکن است در نتیجه‌ی آزمون آ/ب کشف کند که اگر خبرنامه توسط یک موش کارتونی نمایش داده شود، 85 درصد کاربران بیشتری مایل به ثبت‌نام برای دریافت آن هستند نسبت به این که خبرنامه از میان حلقه‌های یک مار بوآ ظاهر شود. در چنین کاربردهایی از آزمون آ/ب، ممکن است نسخه‌ی سوم یا حتی چهارمی هم وارد آزمون شوند، که گاهی عنوان آن به آزمون آ/ب/پ/ت تغییر می‌کند. بدیهی است که این به معنی تقسیم کردن ترافیک سایت به سه یا چهار قسمت است و درصد کمتری از بازدیدکنندگان، هر کدام از نسخه‌ها را می‌بینند.
مزایا
به خاطر سادگی در مفهوم و طراحی، آزمون آ/ب ابزار قدرتمند و بسیار پر استفاده‌ای است.
از آن جا که آزمون برای انجام شدن نیاز به ترافیک خیلی زیادی نخواهد داشت، با پایین نگه داشتن تعداد متغیرهایی که دنبال می‌کنیم، می‌توانیم به سرعت داده‌های قابل اتکا تولید کنیم. این به خصوص برای سایت‌هایی که تعداد بازدیدکننده‌ی روزانه‌ی کمی دارند بسیار مهم است. تقسیم کردن ترافیک به بیش از سه یا چهار قسمت، به پایان رساندن آزمون را دشوار می‌کند. در واقع آزمون آ/ب آن‌قدر سریع است و آسان تفسیر می‌شود که بسیاری از سایت‌های بزرگ از آن به عنوان متد اصلی آزمون استفاده می‌کنند و به جای آزمون‌های پیچیده‌تر چند متغیره، سیکل‌های متنوعی از آزمون آ/ب را پشت سر هم اجرا می‌کنند.
همچنین آزمون آ/ب، برای توضیح دادن مفهوم بهینه‌سازی برای اعضای یک تیم شکاک مناسب است، چرا که به سرعت اثر قابل اندازه‌گیری یک تغییر در طراحی را نمایان می‌کند.
محدودیت‌ها
آزمون آ/ب ابزار تطبیق‌پذیری است و اگر با طراحی هوشمند آزمایش و تعهد به سیکل‌های تکرار شونده‌ی آزمایش و بازطراحی همراه شود، می‌تواند به بهبودهای جدی در سایت شما کمک کند. در عین حال مهم است به یاد داشته باشید که محدودیت‌های این نوع آزمون در نامش خلاصه شده اند. آزمون آ/ب برای اندازه‌گیری اثر دو یا چهار متغیر در برخورد با یک صفحه کاربرد دارد. بیشتر شدن تعداد متغیرها، زمان انجام آزمون را طولانی‌تر می‌کند و آزمون آ/ب اطلاعاتی در مورد روابط میان متغیرهای مختلف درون یک صفحه آشکار نمی‌کند.
اگر نیاز دارید بدانید المان‌های مختلف درون یک صفحه چگونه با هم در ارتباطند، آزمون چند متغیره رویکرد بهینه‌ای است.
آزمون چند متغیره از همان مکانیسم اصلی آزمون آ/ب استفاده می‌کند، اما تعداد بیشتری از متغیرها را مقایسه می‌کند و اطلاعات بیشتری در مورد ارتباط این متغیرها با یک‌دیگر را آشکار می‌کند. همانند آزمون آ/ب ترافیک ورودی سایت به نسخه‌های مختلف طراحی هدایت می‌شود. هدف آزمون چند متغیره، اندازه‌گیری اثربخشی هر ترکیبی از متغیرها بر تحقق هدف اصلی است.
زمانی که سایت ترافیک کافی برای انجام آزمون را دریافت کند، با مقایسه‌ی داده‌های نسخه‌ها مختلف، نه تنها موفق‌ترین طراحی پیدا می‌شود، بلکه به طور بالقوه مشخص می‌شود که کدام المان‌ها بیشترین تاثیر مثبت یا منفی را بر برخورد بازدیدکننده با سایت داشته اند.
کاربردهای متداول
متداول‌ترین مثال آزمون چند متغیره، صفحه‌ای است که المان‌های مختلفی در آن محل بحث هستند. مثلا صفحه‌ای که شامل یک فرم ثبت‌نام، یک متن احتمالا گیرا در هِدِر و یک فوتر است. برای اجرای یک آزمون چند متغیره در چنین صفحه‌ای، به جای آن که یک طراحی به کلی متفاوت (مانند آزمون آ/ب) در میان باشد، ممکن است فقط دو طول مختلف برای فرم ثبت‌نام، سه هِدِر مختلف و دو فوتِر مختلف طراحی کرده باشید. سپس کاربران را به هر یک از ترکیب‌های ممکن از نسخه‌های این سه المان هدایت می‌کنید. به چنین آزمایشی یک «آزمایش عاملی کامل» نیز گفته می‌شود و این یکی از دلایلی است که آزمون چند متغیره فقط به سایت‌هایی که تعداد بازدیدکننده‌ی روزانه‌ی خیلی زیادی دارند توصیه می‌شود؛ هرچه تعداد ترکیب‌هایی که باید آزموده شوند بیشتر شود، گرفتن داده‌های معنی دار از آزمون زمان بیشتری لازم دارد.
پس از انجام شدن آزمون، متغیرهای هر نسخه از صفحه با یک‌دیگر و با عملکرد همان نسخه از المان در حضور نسخه‌های دیگر سایر المان‌ها مقایسه می‌شوند. آن‌چه آشکار می‌شود تصویر واضحی است از این که کدام صفحه بهترین عملکرد را دارد و کدام المان‌ها بیشتری تاثیر را در این عملکرد دارند. مثلا ممکن است مشخص شود که تغییر دادن فوتِر صفحه تاثیر خیلی کمی در عملکرد صفحه دارد، در حالی که تغییر دادن طول فرم ثبت‌نام، تاثیر بزرگی دارد.
مزایا
آزمون چند متغیره، ابزار قدرت‌مندی است که به شما کمک می‌کند تلاش‌هایتان در بازطراحی را روی المان‌هایی متمرکز کنید که بیشترین تاثیر را دارند. این به خصوص در طراحی صفحات فرود برای کمپین‌ها موثر است. مثل وقتی که داده‌های تاثیر طراحی یک المان خاص را در کمپین‌های بعدی نیز به کار می‌برید حتی اگر بستری که المان در آن قرار می‌گیرد تغییر کرده باشد.
محدودیت‌ها
بزرگترین محدودیت آزمون چند متغیره، حجم ترافیک مورد نیاز برای کامل کردن آزمون است. از آن‌جا که همه‌ی آزمایش‌ها عاملیِ کامل هستند، زیاد شدن تعداد المان‌های متغیر می‌تواند منجر به ایجاد تعداد بسیار زیادی از ترکیب‌های ممکن شود که باید همگی آزمایش شوند. حتی سایتی با ترافیک نسبتا بالا، ممکن است برای این که یک آزمون با بیش از 25 ترکیب را در زمان معقولی به انجام برساند دچار مشکل شود.
همچنین مهم است که در زمان استفاده از آزمون چند متغیره، بدانید این آزمون به طور مشخص کجای چرخه‌ی آزمون و بازطراحی قرار می‌گیرد. حتی زمانی که شما از تاثیر یک المان خاص مطلع هستید، ممکن است آزمون‌های آ/ب جداگانه‌ای را برای بررسی سایر ایده‌های به کلی متفاوت انجام دهید. همچنین گاهی ممکن است زمان اضافه‌ای که برای انجام کامل یک آزمون چند متغیره لازم است، در مقایسه با انجام چند تست آ/ب که به خوبی طراحی شده باشند و همان کار را برایمان انجام دهند به صرفه نباشد.
به خاطر تفاوت‌های بین آزمون آ/ب و آزمون چند متغیره، آن‌ها را به عنوان دو چیز مقابل هم طبقه‌بندی نکنید. در عوض آن‌ها را به عنوان دو متد قدرتمند بهینه‌سازی ببینید که یک‌دیگر را کامل می‌کنند. یکی را انتخاب کنید یا از هر دو استفاده کنید تا بتواند بیشترین بهره را از سایتتان بگیرید.
