ارزیابی‌های آنلاین دارند شیوه‌های انتخاب محصول و خدماتِ مشتریان را متحول می‌کنند: برای برنامه‌ریزیِ تعطیلات‌مان از TripAdvisor کمک می‌گیریم، برای پیداکردنِ پزشک به Zocdoc رجوع می‌کنیم، و برای یافتنِ رستوران‌های جدید سراغ Yelp می‌رویم. سامانه‌های ارزیابی نقشی مرکزی در بازارگاه‌های آنلاینی مثل آمازون و Airbnb ایفا می‌کنند. در نگاهی کلّی‌تر، سازمان‌های روزافزونی—از مرکز مراقبت‌های پزشکیِ استنفورد (Stanford Health Care) گرفته تا نُه‌تا از 10 خرده‌فروشِ برترِ آمریکا—اکنون به سامانه‌های ارزیابی‌ای مجهزند که کاربران را با کالاهای جدیدشان آشنا می‌کنند.
سامانه‌های ارزیابی، چنانچه به‌درستی مدیریت شوند، چه برای خریدکنندگان و چه برای فروشندگان ارزش‌آفرین خواهند بود. سامانه‌های قابل‌اعتماد می‌توانند خیالِ مصرف‌کنندگان را هنگام خرید محصولاتِ نسبتاً ناآشنا، مثلاً یک کتاب جدید یا غذاخوردن در یکی از رستوران‌های منطقه، راحت کنند. برای مثال، پژوهشی که مایکل لوکا (Michael Luca)—یکی از نویسندگانِ این نوشتار—انجام داد مشخص کرد که امتیازهای بالاتر در Yelp به فروش بیشتر می‌انجامد. این سازوکار برای کسب‌وکارهای مستقلی که هنوز برای خودشان اعتبارِ گسترده‌ای دست‌وپا نکرده‌اند مؤثرتر عمل می‌کند. ارزیابی‌ها همچنین چرخه‌ی بازخوردی تولید می‌کنند که اطلاعات ارزشمندی در اختیار عرضه‌کنندگان قرار می‌دهد: مثلاً، امتیازها به اوبِر (Uber) کمک می‌کند که رانندگانِ بد را از سرویسش حذف کند و راهنمایی‌ست برای تولیدکنندگانِ محصولاتِ مصرفی جهت ارتقای آنچه عرضه می‌کنند.
اما در مقابلِ سامانه‌های ارزیابیِ شکوفا سامانه‌هایی نیز هستند که بی‌ثمرند: نه ارزیابی‌کنندگان را جذب می‌کنند و نه کاربرانی دیگر را. برخی هم هستند که ارزیابی‌های انبوهی انباشت می‌کنند اما به‌علّت شیوه‌ی ناکارآمدِ اطلاعات‌دهی‌شان قادر به جلب اعتماد مشتریان نیستند. مثلاً، اگر همه‌ی ارزیابی‌های داخل یک پلتفرم مثبت باشد، ممکن است مردم فکر کنند که همه‌ی اقلامش باکیفیت‌اند—یا ممکن است فکر کنند که آن سامانه نمی‌تواند در تشخیص اقلامِ خوب از بد کمکی به آن‌ها کند. ارزیابی‌ها می‌توانند گمراه‌کننده باشند اگر که تصویر ناقصی از تجربه‌ی کاربران را بازنمایی کنند. ارزیابی‌های جعلی می‌توانند وبال گردنِ پلتفرم‌هایی شوند که در تکاپوی جلب اعتماد کاربران‌اند. مایکل لوکا و جورجیوس سرواس (Georgios Zervas) طی پژوهشی دریافتند که تجارت‌ها مخصوصاً زمانی دست‌به‌دامنِ ارزیابی‌های ساختگی می‌شوند که اعتبارشان رو به افول نهاده باشد یا درگیر رقابت شدیدی باشند.
ناکامیِ تعداد بالایی از سامانه‌های ارزیابی، به یک فرضِ شایع برمی‌گردد: این‌که ساختنِ چنین سامانه‌هایی یک‌جور چالش فنی است تا مدیریتی. رهبرانِ تجاری غالباً پول زیادی پای فناوریِ پشتِ این سامانه‌ها می‌ریزند اما از مدیریتِ فعالانه‌ی محتوا غافل می‌مانند و، به این طریق، به مشکل برمی‌خورند. عملکرد ضعیف در انتخاب‌های مربوط به طراحیِ سامانه‌ها می‌تواند عواقب ناگواری به‌دنبال داشته باشد: اگر میزبانان در Airbnb راهی برای اعتباراندوزی (که عمدتاً به ارزیابی‌ها وابسته است) نداشتند، به همین راحتی نمی‌توانستند اعتماد مسافران را جلب کنند؛ یا اگر آمازون به سامانه‌ی ارزیابی مجهز نبود، خریدکنندگان قادر نبودند کالاهای موردنیازشان را به این راحتی‌ها پیدا کنند. هیانجین کیم (Hyunjin Kim) و مایک به مطالعه‌ی انتخاب‌های طراحانه‌ای (design choices) پرداخته‌اند که برخی پلتفرم‌های آنلاین را به موفقیت می‌رساند و برخی دیگر را با شکست مواجه می‌کند و با Yelp و شرکت‌های دیگری برای کمک در این زمینه همکاری کرده‌اند (کیم از کارآموزان پژوهش اقتصادیِ شرکتِ Yelp است). همچنین، جف دوناکر (Geoff Donaker)، که بیش از دو دهه مدیریت ارشد عملیاتیِ Yelp را برعهده دارد، کمک کرد تا سامانه‌ی ارزیابیِ این شرکت به یکی از منابع برجسته‌ی اطلاعاتیِ جهانی برای خدمات محلی تبدیل شود.
ارزیابی‌های سراسرمثبت در پلتفرم‌ها کمکی به تشخیص اقلام مرغوب و نامرغوب نمی‌کنند.
در سال‌های اخیر، مجموعه‌ی روزافزونی از پژوهش‌ها به کندوکاو انتخاب‌های طراحانه‌ای پرداخته‌اند که می‌توانند به ساخت سامانه‌های ارزیابی و اعتباراندوزیِ مؤثرتری بینجامند. در این نوشتار، بر مبنای پژوهش‌ها، آموزش‌ها، و همکاری‌هایمان با شرکت‌های گوناگون، چارچوب‌هایی برای مدیریت سامانه‌های ارزیابی ارائه می‌دهیم و مشکلاتی را که ممکن است رخ نمایند روشن‌تر می‌کنیم و نیز انگیزه‌ها و انتخاب‌های طراحانه‌ای برای اجتناب از تله‌های رایج معرفی می‌کنیم. هر یک از این معضلات را زیر ذره‌بین می‌گذاریم و طریقه‌ی برخورد با آن‌ها را توضیح می‌دهیم.
وقتی Yelp کارش را شروع کرد، ذاتاً پلتفرمِ جدیدی بود—مثل یک‌جور شهر ارواح، با ارزیابی‌کنندگان و دنبال‌کنندگانِ انگشت‌شمار. سامانه‌های ارزیابیِ زیادی با کمبود ارزیابی مواجه می‌شوند، به‌ویژه در ابتدای کارشان. اگرچه بیشترِ افراد موقع خرید ارزیابی‌ها را می‌خوانند تا آگاهانه‌تر عمل کنند، درصد بسیار کمی از آن‌ها خودشان در پلتفرم‌هایی که استفاده می‌کنند ارزیابی می‌نویسند. این مشکل، با توجه به اثرات شبکه‌ایِ قویِ ارزیابی‌ها، وخیم‌تر می‌گردد: جذب ارزیابی‌نویسان در پلتفرمی که دنبال‌کنندگانِ اندکی دارند و جذب دنبال‌کنندگان در پلتفرمی که ارزیابی‌نویسانِ اندکی دارد بسیار دشوار است.
سه رویکرد پیش می‌نهیم که می‌تواند تعداد ارزیابی‌ها را به مقدار لازم برساند: تأمین ارزیابیِ سیستم، انگیزه‌بخشی، و جمع‌بستنِ ارزیابی‌های محصولاتِ مشابه. ترکیبِ مناسبِ این رویکردها بستگی دارد به عواملی همچون این‌که آن سامانه در کجای مسیر رشد قرار دارد، چه تعداد محصولات مجزایی خواهد داشت، و این‌که خودِ سامانه برای چه اهدافی راه‌اندازی شده است.
پلتفرم‌های نوپا می‌توانند ارزیابی‌نویس استخدام کنند یا از ارزیابی‌های موجود در پلتفرم‌های دیگر بهره بگیرند (با بستنِ قرارداد شراکت و استنادِ مناسب). شرکت Yelp، برای آفریدنِ ارزشِ کافی‌ای که کاربرانِ یک شهرِ جدید را به‌سمت پلتفرم بکشاند تا ارزیابی‌های خودشان را بنویسند، «نیروی» پاره‌وقتی استخدام کرد که به‌مدت چند ماه عکس و ارزیابی‌های مختلف تهیه کنند تا این‌که پلتفرم کم‌کم جا بیفتد. شراکت با پلتفرم‌هایی که به‌طور تخصصی در حوزه‌ی ارزیابی فعالیت می‌کنند نیز می‌تواند برای برخی شرکت‌ها ارزش‌آفرین باشد—هم برای کسب و کارهایی که می‌خواهند اکوسیستمِ ارزیابیِ خودشان را راه بیندازند و هم برای آنهایی که می‌خواهند ارزیابی‌ها را به‌نمایش بگذارند اما نمی‌خواهند خودشان برایش پلتفرم بسازند. شرکت‌هایی مثل آمازون و مایکروسافت از ارزیابی‌های داخل Yelp و پلتفرم‌های دیگر برای جذب کاربر استفاده می‌کند.
رویکرد تأمین ارزیابی خصوصاً می‌تواند در مراحلِ آغازینِ پلتفرم‌هایی که در پی رشد اکوسیستمِ ارزیابیِ خودشان‌اند مفید عمل کند، چون نیاز به برندی جاافتاده برای انگیزه‌بخشی به فعالیت را حذف می‌کند. اما داشتنِ طیف وسیعی از محصولات یا خدمات می‌تواند هزینه‌ی این کار را بالا ببرد و ارزیابی‌هایی که می‌گیرید ممکن است با ارزیابی‌های کاربران داخلی تفاوت پیدا کند؛ به همین خاطر، شاید برای برخی پلتفرم‌ها—بسته به اهداف‌شان—بهتر باشد که هرچه سریع‌تر از این مرحله گذر کنند.
انگیزه‌دادن به کاربرانِ پلتفرم‌تان برای ارزیابی‌نویسی و امتیازدهی می‌تواند بسیار سودمند باشد و همچنین برایشان احساس تعلق ایجاد کند. این انگیزه می‌تواند مالی باشد: سال 2014، Airbnb به‌ازای ارزیابی‌نویسی یک کوپن 25 دلاری در نظر گرفت و با افزایش 6.4 درصدیِ نرخِ ارزیابی‌ها مواجه شد. اما انگیزه‌های غیرمالی—مثل هدایای غیرنقدی یا نمادهای رتبه‌بندی—نیز می‌توانند برای ارزیابی‌نویسی انگیزه‌بخش باشند، به‌ویژه اگر که برندتان جاافتاده باشد. کاربران در برنامه‌ی راهنمای محلیِ گوگل هر بار که در پلتفرم مشارکتی می‌کنند (مثل نوشتن ارزیابی، گذاشتن عکس، اصلاح محتوا، یا پاسخ‌دادن به سؤالات)، امتیاز می‌گیرند، که سپس می‌توانند در ازای امتیازهایشان جایزه بگیرند: از دسترسیِ زودهنگام به محصولاتِ جدیدِ گوگل گرفته تا افزایش رایگانِ 1 ترابایتیِ گنجایشِ گوگل‌درایو. «نیروی سرآمدِ» (elite squad) پُرفعالیت و کاردرست از ارزیابی‌نویسان Yelp، علاوه بر دریافت عناوینِ متمایزکننده در پلتفرم و مزایای جانبیِ دیگر، به مهمانی‌ها و دورهمی‌های خصوصی نیز دعوت می‌شوند.
انگیزه‌دهیِ مالی، درصورتی‌که محصولاتِ متنوعی داشته باشید، می‌تواند برایتان چالش‌هایی بیافریند. اما نگرانیِ مهم‌تر باید این باشد که اگر انگیزه‌بخشی‌ها، چه مالی چه غیرمالی، به‌درستی طراحی نشده باشند، می‌توانند عملکردِ معکوس داشته باشند و باعث شوند کاربرانِ زیادی به نوشتنِ ارزیابی‌های عجولانه و بی‌دقت روی آورند که برای مشریانِ دیگر فایده‌ای ندارد.
با بازبینیِ بخشِ ارزیابی، می‌توانید یک دیدگاه را به چند محصول بسط دهید. مثلاً در Yelp، آرایشگرانی که در یک سالن زیبایی کار می‌کنند ذیل یک مدخلِ سالنِ واحد مورد ارزیابی قرار می‌گیرند. این روش باعث می‌شود که Yelp بتواند ارزیابی‌های بسیار بیشتری برای هر کسب‌وکاری فراهم کند، چون ارزیابیِ هرکدام از آرایشگرهای مجزا در برگه‌ی کسب‌وکارِ مربوطه به‌نمایش درمی‌آید. علاوه بر آن، از آن‌جایی که آرایشگرهای این سالن‌ها زودبه‌زود عوض می‌شوند، محبوبیتِ سالن دست‌کم به‌اندازه‌ی خودِ آرایشگر برای مشتریانِ احتمالی اهمیت دارد. به همین ترتیب، پلتفرم‌های ارزیابی‌کننده نیز ممکن است بتوانند برای تولید ارزیابی‌های سودمندتر، از کاربران‌شان بخواهند که فروشندگان را ارزیابی‌کنند—مثل ای‌بِی (eBay)—تا این‌که به‌طور مجزا برای یک محصول ارزیابی بنویسند.
اگر از همان ابتدا تصمیم بگیرید که می‌خواهید از این روش استفاده کنید—و اگر بله، چگونه—می‌تواند برایتان بسیار مفید واقع شود، زیرا مشخص می‌کند که هدف پلتفرم دقیقاً چیست. (قرار است جایی باشد که مردم درباره‌ی آرایشگرها اطلاعات کسب کنند یا درباره‌ی سالن‌های زیبایی؟) جمع‌بستن ارزیابی‌ها وقتی روش جذاب‌تری می‌شود که گستره‌ی محصولات‌تان افزایش می‌یابد، چون اقلامِ بیشتری برای جمع‌بستنِ مؤثر خواهید داشت.
هرچند، یکی از خطرهای این رویکرد این است که جمع‌بستنِ محصولات برای دریافتِ ارزیابی‌های بیشتر ممکن است باعث شود که مشتریان‌تان نتوانند به اطلاعاتِ موردنیازشان به یک محصول خاص دسترسی یابند. مثلاً باید این نکته را در نظر بگیرید که آیا رفتن نزد این یا آن آرایشگر در یک سالنِ زیباییِ واحد تفاوت چشم‌گیری را رقم می‌زند یا نه؛ همچنین ببینید که آیا ارزیابیِ یک آرایشگر موضوعیتی برای مشتریان احتمالی خواهد داشت یا خیر.
آمازون در جمع‌بستنِ ارزیابی‌های کتاب‌فروشی‌اش فرمت کتابی را که کاربر می‌خواهد بخرد دخیل می‌کند. ارزیابی‌های مربوط به نسخه‌های متنیِ کتابِ واحد (گالینگور، شمیزی، و کیندل) کنار هم به‌نمایش درمی‌آیند، اما ارزیابی‌های کتاب‌های صوتی جداگانه‌اند و جزو برند Audible قرار می‌گیرند. جمع‌بستن ارزیابی‌های کتاب‌های صوتی و چاپی برای کاربری که می‌خواهد درباره‌ی محتوای کتاب اطلاعات کسب کند مفید خواهد بود، اما چون کیفیت تولید کتاب صوتی و اطلاعاتِ مربوط به روایت‌گر نزد خریدارانِ کتاب‌های صوتی جزو عواملِ مهم محسوب می‌شوند، احتمالاً جدانگه‌داشتنِ این ارزیابی‌ها سودمندتر است.
هر یک از این راهبردها می‌توانند در برطرف‌کردنِ مشکل کمبود ارزیابی‌ها کمک‌تان کنند تا درنتیجه‌ی پیوستنِ خوانندگانِ بیشتر به پلتفرم و سودبردن‌شان، بخش تولید محتوا به حالتی خودبسنده دربیاید. هرچند، پلتفرم‌ها باید نه‌تنها چشم‌شان به تعداد ارزیابی‌ها دوخته باشد بلکه باید میزان اطلاع‌دهی‌شان را نیز در نظر داشته باشند، که ممکن است تحت‌تأثیرِ سوگیریِ گزینشی و تخطی‌گری قرار گیرند.
آیا تابه‌حال ارزیابیِ آنلاین نوشته‌اید؟ اگر بله، چه چیزی باعث شد تصمیم بگیرید که برای آن موردِ خاص ارزیابی بنویسید؟ پژوهش‌ها نشان داده که دیدگاه‌گذاشتنِ کاربران به کیفیت تجربه‌شان وابسته است. در برخی وبسایت‌ها، احتمال دارد مشتریان وقتی ارزیابی بنویسند که تجربه‌شان خوب بوده باشد و در برخی دیگر وقتی که تجربه‌شان خیلی خوب یا خیلی بد بوده باشد. در هر مورد، امتیازدهیِ کاربران می‌تواند گرفتار سوگیریِ ادراک گزینشی شود: ممکن است طیف کامل تجربیات کاربرانِ آن محصول را به‌درستی بازنمایی نکند. مثلاً، اگر فقط افرادِ راضی نظر بگذارند، امتیازها به‌طور ساختگی بالا خواهند رفت. سوگیریِ ادراک گزینشی در کسب‌وکارهایی که فقط مشتریانِ خرسند را به نظرگذاشتن ترغیب می‌کنند می‌تواند شدیدتر باشد.
ای‌بِی در سال 2011 با معضل ادراک گزینشی مواجه شد: درواقع متوجه شد که امتیاز فروشندگانش به‌طرز مشکوکی بالاست. بیشترِ فروشندگان بالای 99 درصد امتیاز مثبت داشتند. این شرکت از اقتصاددانانی به‌نام کریس نوسکو (Chris Nosko) و استیون تادلیس (Steven Tadelis) کمک گرفت و دریافت کاربرانی که تجربه‌ی رضایت‌بخشی داشتند خیلی بیشتر از بقیه در گذاشتن ارزیابی شرکت می‌کردند: از 44 میلیون معامله‌ای که در وبسایت صورت گرفته بود، فقط 0.39 درصد ارزیابی یا امتیاز منفی دریافت کرده بودند، اما تعداد کسانی که «تیکت شکایت» باز کرده بودند ]کاری که برای کاربر زمان‌برتر و انرژی‌برتر است[ بالای دوبرابر بیشتر بود (1 درصد) و نیز بالای هفت‌برابر بیشتر از کاربران (3 درصد) هم پیام‌هایی به فروشندگان ارسال کرده بودند که از نارضایتی‌شان خبر می‌داد. این نشان داد که ارزیابی-نوشتن یا -ننوشتنِ خریدکنندگان، در مقایسه با امتیاز فروشندگان، بهتر شکایت‌های آتی را پیش‌بینی می‌کرد و درنتیجه نشانه‌ی قابل‌اعتمادتری برای کیفیت‌سنجیِ محصولاتِ ارائه‌شده‌ی فروشندگان بود.
برخی وبسایت‌ها فقط وقتی ارزیابی دریافت می‌کنند که تجربه‌ی کاربران‌شان خیلی خوب یا خیلی بد بوده باشد.
ای‌بِی برآورد کرد که می‌تواند تجربه‌ی خریداران و درنتیجه خودِ فروش‌ها را با تصحیح سوگیریِ گزینشیِ امتیازدهی‌ها و متمایزکردنِ بهترِ فروشندگانِ مرغوب ارتقا بخشد. در این راستا، درصدِ کُلِ امتیازهای مثبتی را که صرفاً از معاملات به‌دست آمده بود (و نه درصدِ کلّیِ امتیازهای مثبت) را مبنای امتیازِ نمایش‌داده‌شده‌ی فروشندگان قرار داد. این اقدام میانه‌ی امتیازهای فروشندگان را به 67 درصد تغییر داد و باعث توزیعِ چشم‌گیر امتیازها در بین آن‌ها شد—و مشتریان احتمالی‌ای که با امتیازهای جدید روبه‌رو می‌شدند، در مقایسه با گروهِ کنترل، بیشتر احتمال داشت که به وبسایت برگردند و دوباره خرید کنند.
با رصدکردنِ امتیازها در پلتفرم‌تان به چنین شکلی، می‌توانید ببینید که آیا امتیازها تحریف شده‌اند یا نه، اوضاع چه‌قدر بد است، و این‌که آیا داده‌های بیشتر می‌توانند در حل این مشکل کمک‌تان کنند یا خیر. همه‌ی سامانه‌های ارزیابی را می‌توان به‌گونه‌ای طراحی کرد که از سوگیری‌های احتمالیِ دست‌اندرکارش کاسته شود. در کُلِ فرایند ارزیابی—از درخواستِ آغازین تا پیام‌هایی که کاربران با نوشتن ارزیابی‌هایشان دریافت می‌کنند—فرصت‌هایی در اختیارمان قرار می‌گیرد که کاربران را به‌سمت رفتارهای کمتر سوگیرانه سوق دهیم. آزمودن انتخاب‌های طراحانه‌ی مختلف می‌تواند کمک‌مان کند که سوگیری‌های ادراک گزینشیِ کاربران یا هر نوع گرایش به نوع خاصی از امتیازدهی را محدودتر کنیم.
یکی از رویکردهای سخت‌گیرانه‌تر این است که کاربران را به نوشتن ارزیابی از خریدِ قبلی‌شان ملزم کنید تا اجازه پیدا کنند خرید بعدی‌شان را انجام دهند. اما با احتیاطِ کامل به این میدان وارد شوید: چراکه ممکن است مشتریان‌تان را از پلتفرم بپرانید یا پلتفرم‌تان را با سیلابی از امتیازدهی‌های پرتی که کاربران به‌طور پیش‌فرض به همه‌ی اقلام می‌دهند روبه‌رو کنید—که امتیازها را مغشوش می‌کند و منجر به پدیدآمدنِ خطایی دیگر در ارزیابی‌ها می‌شود. به همین دلیل، پلتفرم‌ها غالباً سراغ روش‌های دیگری برای کمینه‌کردنِ سوگیریِ ادارک گزینشی می‌روند.
دو اقتصاددان به‌نام جان هورتون (John Horton) و جوسف گولدن (Joseph Golden) دریافتند که در وبسایت ارزیابی فریلنسرِ Upwork کارفرمایان، پس از تجربه‌ی بدی که با یک فریلنسر پیش آمده بود، از ارسال ارزیابی‌های عمومی امتناع می‌کردند اما مایل بودند بازخوردهایی بفرستند که فقط مدیران وبسایت Upwork بتوانند ببینند. (کارفرمایانی که به‌طور خصوصی گزارشِ تجربه‌ی کاریِ منفی می‌دادند همچنان در حالت عمومی نزدیک به 20 درصدِ اوقات بالاترین بازخوردِ ممکن را ارسال می‌کردند.) این امکانْ اطلاعاتِ ارزشمندی در اختیار Upwork گذاشت: هم درباره‌ی این‌که چه وقت‌هایی کاربران مایل به ارسال یا عدم ارسال ارزیابی بودند و هم درباره‌ی این‌که کدام فریلنسرها مشکل‌سازند. Upwork می‌توانست از این اطلاعات بهره ببرد تا الگوریتمی را که کارفرمایان و فریلنسرها را به هم وصل می‌کند عوض کند و بازخوردی کلّی از فریلنسرها به‌دست دهد. ارائه‌ی این بازخوردِ کلّی روی استخدام فریلنسرها اثرگذار بود، که از موضوعیت‌داشتنِ این اطلاعاتِ مضاعف خبر می‌دهد.
در یک حالت کلّی‌تر، ارزیابی‌هایی که مردم ارسال می‌کنند به این بستگی دارد که چه‌طور و چه زمانی از آن‌ها درخواست می‌شود که این کار را بکنند. پلتفرم‌ها می‌توانند با طراحیِ مدبرانه‌ی محیطی که کاربران در آن تصمیم به ارزیابی‌نویسی می‌گیرند، از سوگرفتگیِ ارزیابی‌ها بکاهند. این رویکرد، که اغلب معماریِ انتخاب نامیده می‌شود—اصطلاحی که کاس سانستاین (Cass Sunstein) و ریچارد تیلر (Richard Thaler)، نویسندگان کتاب سقلمه: بهبود تصمیمات درباره‌ی تن‌درستی، ثروت، و خوشبختی، جا انداختند—از چگونگیِ درخواستِ ارزیابی از کاربران تا گزینه‌هایی را که به آنان ارائه می‌شود در بر می‌گیرد.
در یکی از آزمایش‌هایی که در Yelp انجام دادیم، پیام‌های درخواست ارزیابی‌مان را برای کاربران تغییر دادیم. برخی کاربران با پیام ساده‌ی «نوبت ارزیابیِ بعدی‌ست» مواجه شدند و از برخی دیگر درخواست شد که به کسب‌وکارهای محلی کمک کنند تا شناخته شوند یا کمک کنند مصرف‌کنندگانِ دیگر هم بتوانند این کسب‌وکارهای محلی را بیابند. متوجه شدیم که گروه دوم معمولاً ارزیابی‌های طولانی‌تری می‌نوشتند.
گاهی فروشندگان (با زیرپاگذاشتنِ اخلاق) خودشان را مصرف‌کننده‌ی واقعی جا می‌زنند و می‌کوشند تا با ارسال ارزیابیِ مثبت برای خودشان یا ارزیابیِ منفی برای رقیبان‌شان، امتیاز خودشان را بالا بکشند. این عمل تحت عنوان ارزیابی‌بافی (astroturfing) شناخته می‌شود. هرچه ابعاد پلتفرم بزرگ‌تر باشد، افرادِ بیشتری دست به این کار خواهند زد.
به‌دلیل مضرات ارزیابی‌بافی برای مصرف‌کنندگان، سیاست‌گذاران و قانون‌گذاران نیز وارد عمل شده‌اند. سال 2013، اریک اشنایدرمن (Eric Schneiderman)، دادسِتانِ وقتِ نیویورک، برای برخورد با این معضل دست‌به‌کار شد—و نتایج پژوهش‌مان را بخشی از انگیزه‌ی این کارش اعلام کرد. اشنایدرمن با 19 وبسایتی که به نوشتنِ ارزیابی‌های جعلی در پلتفرم‌های آنلاین کمک کرده بودند وارد مذاکره شد، ملزم‌شان کرد که از این کار دست بکشند، و جریمه‌ی سنگینی بابت مجموعه‌ای از اتهامات از جمله تبلیغات دروغین و توسل به رویّه‌های تجاریِ فریبنده بپردازند. اما کسب‌وکارها نمی‌توانند صرفاً روی اجرای قانون به‌دستِ دولت تکیه کنند؛ درست مثل مقابله با سرقت، برای مقابله با ارزیابی‌های جعلی نیز آن‌ها می‌باید تدابیر حفاظتیِ خودشان را هم تدارک ببینند. همان‌طور که لوکا و جورجیوس زرواس (Georgios Zervas) در مقاله‌ای اشاره کرده‌اند، برخی شرکت‌ها، مثل Yelp، برای شناسایی شرکت‌هایی که به گذاشتنِ ارزیابی‌های جعلی روی می‌آورند و برخورد با آن‌ها اقدامات بسیار جدّی‌ای انجام می‌دهند.
چالش مشابهی وقتی بروز می‌کند که خریدکنندگان و فروشندگان به همدیگر امتیاز می‌دهند و ارزیابی‌هایشان را طوری ارائه می‌دهند که امتیازهای بالاتری از طرف مقابل دریافت کنند. آخرین باری را که در Airbnb خانه گرفتید در نظر بگیرید. پس از اتمام کار، از شما درخواست شد که ارزیابی‌ای از میزبان‌تان ارسال کنید و از او هم خواستند که ارزیابی‌ای از شما بنویسد. تا سال 2014، اگر شما ارزیابی‌تان را قبل از میزبان‌تان می‌نوشتید، او می‌توانست آن را بخواند و بعد تصمیم بگیرد که چه‌طور ارزیابی‌اش از شما را تنظیم کند. نتیجه؟ احتمالاً در ارسال ارزیابی‌های منفی مردّد می‌شدید.
انتخاب‌های طراحانه و مدیریت محتوای پلتفرم نقش مهمی در کاهش تعداد ارزیابی‌های جعلی و استراتژیک دارند.
انتخاب‌های طراحانه از اینجا شروع می‌شوند که چه کسی می‌تواند ارزیابی بنویسد و ارزیابی‌های چه کسی برجسته خواهد شد. مثلاً، آمازون آیکونی برای ارزیابی‌نویسانی که خریدشان تأیید شده در نظر گرفته است، که به مصرف‌کنندگان کمک می‌کند حواس‌شان به ارزیابی‌های جعلیِ احتمالی باشد. اکسپدیا (Expedia) پا را از این فراتر می‌گذارد و صرفاً به مهمانانی که از طریقش بلیت خریده‌اند اجازه‌ی ارزیابی‌نویسی می‌دهد. پژوهشی از دینا مایزلین (Dina Mayzlin)، یانیو دُوِر (Yaniv Dover)، و جودِس شوالایر (Judith Chevalier) نشان می‌دهد که چنین رویّه‌ای می‌تواند از ارزیابی‌های جعلی بکاهد. در عین حال، قوانین محدودکننده‌ی ارزیابی‌نویسی می‌تواند ابزار نامؤثری از کار درآید که تا حد زیادی از تعداد ارزیابی‌ها و ارزیابی‌نویسان واقعی کم می‌کند. پلتفرم‌ها باید تعیین کنند که آیا کاهش ارزیابی‌های جعلیِ احتمالی به‌قیمتِ دریافت ارزیابی‌های واقعیِ کمتر می‌ارزد یا خیر.
پلتفرم‌ها همچنین می‌توانند تعیین کنند که ارزیابی‌ها چه زمانی می‌توانند ارسال شوند و به‌نمایش درآیند. Airbnb، بعد از این‌که متوجه شد کسانی که ارزیابی نمی‌نویسند به‌طور سیستماتیک تجربه‌ی بدتری از ارزیابی‌نویسان داشته‌اند، قانون «نمایش همزمان» را گذاشت تا از تأثیر ارزیابی‌های مهمانان و میزبانان روی هم جلوگیری کند و امکان بازخورد کامل‌تری را فراهم آورَد. در این پلتفرم، امتیازدهی‌ها تا زمانی که هر دو طرف نظرشان را ارسال نکرده باشند نمایش داده نمی‌شود و مهلتی هم مشخص شده که امکان ارسال ارزیابی به‌پایان می‌رسد. پس از این تغییرات، آندری فرادکین (Andrey Fradkin)، النا گرووال (Elena Grewal)، و دیوید هولتز (David Holtz) طی پژوهشی دریافتند که میانگین امتیازهای مهمانان و میزبانان، هر دو، کاهش یافت اما درصدِ ارزیابی‌نویسی بالا رفت—که نشان می‌دهد ارزیابی‌نویسان وقتی که از مواجهه با مقابله‌به‌مثل در امان بودند از ارسال بازخورد از تجربیات بدشان بیمِ کمتری داشتند.
هرقدر هم که سیستم‌تان عالی طراحی شده باشد، ناگزیر به مشکلاتی برخواهید خورد. ممکن است سروکلّه‌ی اسپم‌ها پیدا شود. ممکن است پای افراد خاطی به سیستم‌تان باز شود. ممکن است ارزیابی‌هایی که دو سال پیش موضوعیت داشتند امروز بلااستفاده شوند. و برخی ارزیابی‌ها هم اصولاً از برخی دیگر مفیدترند. مثلاً، می‌توان ارزیابیِ غیرخریداران را حذف کرد اما برخی از ارزیابی‌هایی که باقی خواهند ماند همچنان گمراه‌کننده یا نه‌چندان مطلع‌کننده خواهند بود. با اِعمالِ مدیریت، می‌توان ارزیابی‌های گمراه‌کننده را بر مبنای محتوایشان، و نه صرفاً نویسنده یا تاریخ ارسال‌شان، حذف کرد.
محتوا را می‌توان از سه طریق مدیریت کرد: استخدام کارمند، مجموعه‌ی کاربران، و الگوریتم. کارمندانِ مدیریت‌کننده (که اغلب مدیرانِ مجموعه می‌نامندشان) می‌توانند در طول روز به‌طور فعالانه به استفاده از خدمات، تعاملِ آنلاین با دیگر کاربران، حذف محتوای نامناسب، و ارائه‌ی بازخورد به مدیریت بپردازند. این گزینه از همه پرهزینه‌تر است اما می‌تواند به‌سرعت شما را در جریان نقاط قوت و ضعفِ سیستم‌تان بگذارد و خیال‌تان را آسوده بگذارد که شخصی هست که تمام‌وقت آنچه را که روی وبسایت قرار می‌گیرد تحت نظر دارد.
در شیوه‌ی مدیریتیِ مجموعه‌ی کاربران، همه‌ی کاربران می‌توانند محتوای ضعیف را شناسایی کرده و گزارش دهند: از ارزیابی‌های ماشینی گرفته تا اسپم‌ها و دیگر تخطی‌های مشابه. Yelp آیکونِ ساده‌ای تعبیه کرده که کابران می‌توانند از آن برای گزارش ارزیابی‌هایی که در آن به ارزیابی‌نویسِ دیگری توهین شده یا به‌نظر می‌رسد که برای شرکت دیگری نوشته شده است استفاده کنند. آمازون نظر کاربران را درباره‌ی میزان سودمندیِ ارزیابی‌ها می‌پرسد و، طبق آن، تصمیم می‌گیرد که کدام ارزیابی‌ها را بالاتر از بقیه نشان دهد و کدام موارد را حذف کند. اما غالباً درصد کمی از کاربران‌اند که بی‌کیفیتیِ ارزیابی‌ها را گزارش می‌دهند؛ به همین خاطر، توده‌ی مؤثری از کاربرانِ فعال نیاز است تا سیستمِ گزارش‌دهیِ مجموعه جواب دهد.
استفاده از الگوریتم سومین رویکردی‌ست که می‌توان در مدیریت محتوا اتخاذ کرد. نرم‌افزار پیشنهاددهیِ Yelp روزانه، طبق ده‌ها عامل مختلف، ارزیابی‌ها را بررسی می‌کند و موارد برجسته‌تر را با برچست «پیشنهادی» از بقیه جدا می‌کند. در سال 2014، این شرکت اعلام کرد که در هر برهه‌ای از زمان، کمتر از 75 درصدِ ارزیابی‌ها از این برچسب برخوردار بوده‌اند. آمازون، گوگل، و TripAdvisor الگوریتم‌های ارزیابی‌سنجی کار گذاشته‌اند که محتوای توهین‌آمیز را از پلتفرم‌هایشان حذف کند. البته، الگوریتم‌ها می‌توانند از چنین عملکردِ دوگانه‌ای فراتر روند و، درعوض، تعیین کنند که هر ارزیابی چه‌قدر برجسته شود. لوکا با همکاریِ دیِزی دای (Daisy Dai)، جینجر جین (Ginger Jin)، و جانگمین لی (Jungmin Lee) در مقاله‌ای به مشکل جمع‌بندیِ امتیازها اشاره می‌کند و خاطرنشان می‌کند که برجسته‌سازیِ امتیازدهی‌های مختلف می‌تواند به چالش‌های موجود در فرایند ارزیابی‌نویسی پاسخ دهد.
تجربه‌ی دیگران همیشه منبع اطلاعاتیِ مهمی درباره‌ی کیفیتِ محصولات بوده است. مثلاً، آکادمی پزشکان خانواده‌ی آمریکا (American Academy of Family Physicians) می‌گوید افراد نظر دوستان و فامیل را برای انتخابِ پزشکان و دریافت توصیه‌های مربوطه جویا می‌شوند. پلتفرم‌های ارزیابی این فرایند را سریع‌تر و سازمان‌یافته‌تر کرده‌اند و باعث شده‌اند بهره‌مندی از تجربیاتِ دیگران برای مردم دسترس‌پذیرتر گردد. ارزیابی‌های آنلاین هم برای مشتریان و هم برای پلتفرم‌ها و نیز سیاست‌گذاران سودمند بوده‌اند. برای مثال، ما از داده‌های Yelp برای فهم چگونگیِ تغییرات محلات در دوره‌های اعیانی‌سازی (gentrification) استفاده کردیم تا تأثیری را که بالارفتنِ پایه‌حقوق روی کسب‌وکارها می‌گذارد ببینیم. اما برای این‌که ارزیابی‌ها مفید باشند—مفید برای مصرف‌کنندگان، فروشندگان، و عموم مردم—مدیرانِ سیستم‌های ارزیابی می‌باید نسبت به انتخاب‌های طراحانه‌شان و چگونگیِ بازتابِ حداکثریِ تجربیاتِ کاربران دقت به‌خرج دهند.
ترجمه مقاله Designing Better Online Review Systems از HBR
مترجم: محمد رسول علیزاده
