تصور کنید وارد فروشگاهی زنجیره‌ای شده‌اید که از شیر مرغ تا جان آدمیزاد در آن پیدا می‌شود. از راهنمای طبقات متوجه می‌شوید برای خرید هر نوع کالا به کجا بروید: وسایل منزل در طبقهٔ اول، خوراکی‌ها در طبقهٔ دوم و ...

در دیوار هم وقتی در نوار جستجو دنبال چیز خاصی می‌گردیم مانند این است که می‌خواهیم طبقهٔ مورد نظرمان را پیدا کنیم. اما از میان انبوه اجناس مختلف در طبقات و راهروهای مختلف، چطور به جنس مدنظرمان برسیم؟ اینجاست که فیلترها به کمک ما می‌آیند.

چرا کاربران سراغ فیلترها نمی‌روند؟

داده‌های دیوار به ما نشان می‌دهد تعداد زیادی از کاربران از فیلترها استفاده نمی‌کنند، می‌توان فرضیات مختلفی برای این نادیده گرفته شدن مطرح کرد. مثلاً اینکه شاید کاربران اصلاً چیپ فیلترها را در صفحه نمی‌بینند، شاید استفاده از نوار جستجو (که مسیر کوتاه‌تری نسبت به استفاده از فیلترها دارد) برایشان راحت‌تر است. شاید بدشان نمی‌آید میان کالاهای دیگری که قصد خریدشان را ندارند، گشتی بزنند تا قیمت‌ها دستشان بیاید یا ببینند چه چیزهایی در بازار وجود دارد. شاید هم اصلاً نمی‌دانند کاربرد این گزینه در بالای صفحه چیست.

من در پژوهشی که شرح آن را می‌نویسم، براساس فرضیهٔ آخر این سوال را آزمایش کردم: آیا کاربران درک صحیحی از واژهٔ «فیلتر» دارند؟

از چه کسی بپرسم؟

برای آزمایش این فرضیه سراغ کاربرانی رفتم که هنگام جستجو در دیوار از فیلترها استفاده نمی‌کنند. این کاربرانِ ناآشنا با فیلترها را انتخاب کردم تا بفهمم هنگام دیدن «فیلترها» دقیقاً انتظار دارند با چه چیزی مواجه شوند و درک آن‌ها از این واژه چیست؟

این پژوهش در دو فاز کیفی و کمی انجام شد. در فاز کیفی از برخی کاربران پرسیدم در صفحهٔ زیر و با انتخاب «فیلترها» انتظار دارند بتوانند چه کاری انجام دهند؟ سپس پاسخ‌های آن‌ها را تگ‌ زده و دسته‌بندی کردم.

در فاز کمی، همان سوال را با گزینه‌های به دست آمده از فاز کیفی پیشِ روی کاربران قرار دادم که در آن کاربر تنها قادر به انتخاب یک گزینه بود. برای جلوگیری از تمایل به انتخاب (bias) اولین گزینه، گزینه‌ها تصادفی پیشِ روی کاربران قرار گرفت.

انتظار دارید در صفحه زیر با انتخاب «فیلترها» بتوانید چه کاری انجام دهید؟

در نهایت ۱۳۰ پاسخ قابل قبول در این فاز به دست آمد. اگر این حجم نمونه را در محاسبه‌گرهای آنلاین وارد کنیم متوجه می‌شویم که پاسخ به دست آمده با اطمینان ۹۵٪ و با حاشیه خطای ۸٪ به کل جامعه (یعنی همه کسانی که از فیلترها استفاده نمی‌کنند) تعمیم‌دادنی است.

نتیجه‌ٔ پژوهش

برداشت کاربران از واژهٔ «فیلتر» و درصد کسانی که هر برداشت را دارند در نمودار زیر قابل ملاحظه است:

با توجه به صحیح بودن گزینهٔ «جستجو برحسب ویژگی‌ها»، حدود ۶۸٪ کاربران با دیدن چیپ فیلترها، برداشت صحیحی از عملکرد آن نمی‌کنند.

همچنین به خاطر معادل بودن این واژه در زبان فارسی با بحث «سانسور و فیلترینگ»، حدود ۲۵٪ کاربران با دیدن این چیپ، ذهنشان به این سمت و سو رفته و تصور می‌کنند این چیپ با حذف یا سانسور تصاویر نامناسب آگهی‌ها یا آگهی‌های سانسور شده به دلایل غیراخلاقی ارتباط دارد.

بنابراین انتظار می‌رفت با تغییر واژهٔ فیلتر، میزان استفاده از آن هم افزایش پیدا کند.

درس‌آموختهٔ این پژوهش

در نتیجهٔ این پژوهش، تست فرضیهٔ مطرح‌شده روی محصول برای سنجش اعتبار یا triangulation (استفاده از روشی دیگر برای اعتبارسنجی روش اول) منطقی به نظر می‌رسید. بنابراین واژهٔ «فیلتر» به طور موقت به واژهٔ «جستجوی پیشرفته» تغییر پیدا کرد تا صحت فرضیه آزموده شود. محمدرضا سازگارنژاد، تحلیلگر داده، اثر این تغییر را روی نسبت تعداد کاربرانی که روی چیپ فیلتر کلیک کرده‌اند به کل کاربرانی که از آگهی‌ها بازدید داشته‌اند بررسی کرده:

تحلیل سادهٔ نمودار بیانگر این است که تغییر جالب توجهی در میزان استفاده از فیلترها صورت نگرفته است. تحلیل دیگری که می‌توان از این نمودار داشت این است که شاید کاربرانی که عادت به استفاده از «فیلتر» داشته‌اند با این واژهٔ جدید ارتباط نگرفته‌اند و از طرفی کاربرانی که قبلا از فیلتر استفاده نمی‌کرده‌اند conversion داشته‌اند و این دو اثر یکدیگر را خنثی کرده‌اند.

به طور کلی برای تست اینگونه موارد در حالت ایده‌آل از تست آ/ب (A/B test) استفاده می‌شود. ما دو راه پیش روی خود داشتیم: ۱- ادامهٔ تست با واژگان دیگر (که به‌خاطر فراهم نبودن زیرساخت آ/ب تست و اینکه باید روی کل محصول تست کنیم، با توجه به خروجی اولیه، چندان توجیه‌پذیر نبود) و ۲- توقف تست و شروع به کار روی فرضیات دیگر در رابطه با استفاده نکردن کاربران از فیلتر.

درس‌آموختهٔ این پژوهش برای من یادآوری این نکته بود که پژوهش تجربهٔ کاربر به کاهش ریسک تصمیم‌گیری کمک می‌کند، اما تا زمانی که تست روی محصول صورت نگیرد و پیامد تصمیم در قالب رفتار واقعی کاربران بررسی نشود، نمی‌توان اطمینان صد در صدی به اثر تصمیمِ گرفته‌شده داشت. شاید به همین دلیل است که شرکت‌هایی مثل Uber, Netflix, Airbnb, Pinterest و... روی پلتفرم‌های آ/ب تست خود سرمایه‌گذاری کرده و دائماً در حال انجام تست‌های متعدد در قسمت‌های مختلف محصول هستند.

با تشکر از مدیران محصول، فاطمه الهی و میلاد حاج‌فتحعلی که این تجربه را تسهیل کردند.