معایب روش ثبت بازخورد NPS را بهتر بشناسید

در سال 2003، یک مشاور بازاریابی به نام Fred Reichheld با مقاله ای به نام "عددی که باید ارتقایش دهید"، سر و صدای زیادی به پا کرد. Reichheld اعتقاد اشت که با پرسیدن یک سوال - سوالی که در مورد وفاداری مشتری به سازمان باشد-، مدیران می توانند میزان علاقه مشتریان به کسب و کارشان را به دست آورند. مقاله با جمله "این عدد، همانی است که برای رشد به آن نیاز دارید، همین قدر ساده و همین قدر عمیق" به پایان می رسید.

آن چه مشخص است، این روش نه آن قدرها ساده است و نه آن قدرها عمیق. و آنچنان به رشد کسب و کارها کمکی نمی کند. حتی با استفاده از آن ، مدیر نمی تواند میزان وفاداری مشتریان را ارزیابی کند.

با این وجود، ظاهرا NPS تمام ویژگی های لازم را برای تبدیل شدن به یک معیار اندازی گیری مفید، در خود دارد:

• اندازه گیری آن آسان است
• عددی که می دهد قابل بررسی و آنالیز است
• منطقی به نظر می رسد

با وجود اینکه NSP با استناد به بسیاری از تحقیق های علمی، بی ارزش حساب می شود، با این حال، جایگاه خاصی در بین کسب و کارها به دست آورده است.

رهبران صنعت همچنان NPS را با ارزش می دانند. برای مثال، Stephen Bennett زمانی که مدیر شرکت Intuit بود، اعتقاد داشت:"تمام کسب و کار ها از NPS به عنوان بخشی از پلن استراتژیک خود استفاده می کنند، NPS در فرآیند تمام بودجه ها در نظر گرفته می شود و ما از این روش برای بررسی های ماهانه استفاده می کنیم."

شرکت هایی مانند Intuit از NPS به عنوان سیستم ارزیابی خود استفاده می کنند. ولی حقیقت این است که این معیار آن چنان که فکر می کنند کاربردی نیست. در واقع NPS اصلا قابل اندازه گیری نیست. برای شناخت بیشتر این روش، به بررسی روند اندازه گیری آن می پردازیم تا خطاهای درون آن روشن شود.

دانش ضعیف پشت فرمول NPS

یکی از مضحک ترین چیزها در مورد NPS، نحوه محاسبه آن است. ورودی ها از یک نظرسنجی ساده به دست می آیند. از پاسخ دهندگان می خواهند که به یک سوال جواب دهند: (چقدر احتمال دارد که این شخص/ شرکت و ... را به دوست یا همکار خود پیشنهاد دهید؟) در یک مقیاس 11 قسمتی، از صفر به معنی احتمال بسیار پایین و 10 به معنی با احتمال بسیار زیاد، شخص یک عدد را انتخاب می کند. (در ورژن های بعدی، Fred Reichheld پیشنهاد داد که بعد از سوال اول، از پاسخ دهنده یک سوال در مورد دلیل دادن این امتیاز پرسیده شود. در ادامه در مورد این روش هم صحبت خواهیم کرد)

هر متخصص آمار در حالت کلی، از میانگین تمام نمرات جمع‌آوری‌شده از پاسخ دهندگان،برای تهیه گزارش استفاده می کند. بنا به دلایلی نامعلوم، NPS هیچگاه علاقه ای به استفاده از میانگین اعداد نداشت. در عوض، طرفداران این روش، امتیازات را به سه بخش تقسیم می‌کنند:

9 یا 10 به عنوان توسعه دهنده (Promoter)

7 و 8 به عنوان منفعل (Passive)

0 تا 6 به عنوان کشنده (Detractor)

فرمول مورد استفاده ابرای این امتیاز به شکل زیر است:

درصد تعداد کشنده ها(Detractor) - درصد تعداد توسعه دهنده ها(Promoter) = نمره خالص

فرض کنید 10 پاسخ دهنده داریم که امتیاز های 0,0,1,4,5,6,7,8,9,10 را داده اند. میانگین این 10 عدد، 5 است. پس با توجه به فرمول بالا، NPS= -40% خواهد شد.

میانگین 5 خوب و یا حتی بد به نظر نمی رسد. در واقع خنثی است. با این وجود، NPS برابر با -40% افتضاح است.(البته نه به اندازه -100 ولی بازهم خیلی بد است)

دلیل این نتیجه این است که بر اساس تفکری که NPS را طراحی کرده است، شحصی که امتیاز خنثی بدهد، به اندازه شخصی که امتیاز بالا می دهد، از شرکت مورد نظر، تعریف نخواهد کرد. این اشخاص وفادار نخواهند بود و باید آن ها را در آینده، به توسعه دهنده تبدیل کنیم. پس فعلا آن ها را به عنوان کشنده در نظر می گیریم.

موفقیت های UX توسط NPS نادیده گرفته می شوند

فرض کنید که روز بدی داریم و 10 پاسخ دهنده، به ما امتیاز صفر می دهند: 0,0,0,0,0,0,0,0,0,0

میانگین این ده عدد 0 است. و NPS= -100%، یعنی بدترین حالت ممکن.

این نتیجه منطقی است چون پایین ترین امتیاز ممکن را به دست آورده ایم.

حالا فرض کنید که به سختی تلاش می کنید و کیفیت محصولات را بالا می برید.

بعد از این تلاش سخت، تمام پاسخ دهنده ها به ما امتیاز 6 می دهند.

میانگین این اعداد، دوباره 6 خواهد بود. اما NPS دوباره برابر با -100% می شود.!!!!!!

حالا اگر هر ده پاسخ دهنده، امتیاز 8 را به شما بدهند، NPS= 0 می شود و جالب تر اینکه اگر هر ده نفر، امتیاز 9 به شما بدهند، NPS=100 می شود.

به بیان ساده تر، اگر شما از سطح امتیاز0 خودتان را 8 برسانید، تغییر چندانی نخواهید داشت و فقط نمره 100- را به 0 تبدیل کرده اید. ولی اگر از میانگین امتیاز 8 به 9 برسید، 100% پیشرفت خواهید داشت.!!!!

همانطور که خودتان می بینید، روابط ریاضی در NPS بسیار بی منطق است و هیچ شرکت و یا کسب و کاری را نمی توان با این فرمول مورد سنجش قرار داد.

قدم کوچک باید به نتایج کوچک منجر شود و تنها قدم های بزرگ، نتایج بزرگ به همراه دارد ولی به دلایلی نامعلوم، NPS از این قاعده پیروی نمی کند.

این همان چیزی است که Kate Rutter به عنوان تئاتر تجزیه و تحلیل( Analytics Theatre) معرفی می کند. ایجاد تغییرات نمایشی در اعداد آن هم برای تحت تاثیر قرار دادن و نه برای کمک به سرویس و محصولمان.

اگر تنها مشکل NPS نحوه محاسبه آن بود، می‌توانستیم از میانگین استفاده کنیم. با این وجود، میانگین تنها زمانی کاربرد دارد که داده‌ها منطقی باشند. متاسفانه، برداشتی که پاسخ دهندگان از سوالات دارند(معمولا سوال را اشتباه می فهمند)، منجر به یک مجموعه داده می شود که منطقی به نظر نمی‌رسد.

یک مقیاس یازده قسمتی، اشتباه را به عنوان علم جا می زند

اگر من قصد داشتم که سوالی مثل: (به نظرت این مقاله جالب است؟) را بپرسم و به شما چند انتخاب بدهم: (آره، نه و معلومه که نه !)، هر کدام از این جواب ها را می توان به راحتی انتخاب کرد.

این یک مقیاس سه نقطه ای است. اگر این سه نقطه به پنج نقطه افزایش یابد، پاسخ دادن برای شما سخت تر می شود.(خیلی جالب، تقریبا جالب، مطمئن نیستم، تقریبا جالب نبود، اصلا خوشم نیامد.) گذشته از این ها، معنی (تقریبا جالب نبود) چیست؟ آیا به این معنی است که کمی علاقه مند هستید ولی نه آن قدر که خواندن مقاله را ادامه دهید؟

یک مقیاس هفت نقطه ای، کار را از این هم سخت تر می کند.نه تنها با این کار جواب دادن سخت تر می شود، بلکه تفسیر جواب ها هم سخت تر می شود

روش NPS از یک مقیاس 11 نقطه ای استفاده می کند. این مقیاسی بزرگ است که اعداد زیادی دارد و تفاوت اعداد در آن به روشنی دیده نمی شود. من و شما ممکن است تجربه ای کاملا یکسان داشته باشیم اما شما امتیاز 7 می دهید و من امتیاز6 .آیا این تفاوتی با معناست؟

سوال NPS به این شکل است: خیلی خوب است یا خیلی بد؟

هنگام اجرای NPS، ما از پاسخ دهندگان می پرسیم که چقدر احتمال دارد که این شرکت را به دوست یا همکار خودت معرفی کنید؟ در ظاهر به نظر می رسد که این سوال در مورد وفاداری مشتری است. در مقاله اصلی که توسط Fred Reichheld ارائه شد، نویسنده اعتقاد داشت که این سوال ها به تکرار خریدها و ارجاع ها بستگی دارد.

مطالعات بعدی خلاف این گفته را اثبات کرد. به این دلیل که :

بهترین سوال، سوال در مورد رفتارهای گذشته است نه در مورد رفتارهای آینده. از یک داوطلب آزمایشی بپرسید که (آیادوست دارد در آینده زندگی سالمی داشته باشد؟ یا اینکه قصد دارد مصرف شکر را قطع کند؟ آیا این محصول را خواهد خرید؟) در همه این سوال ها، باید از او بخواهید که آینده اش را پیش بینی کند. ما بیشتر به کاری که انجام داده ایم علاقه مندیم تا به کاری که قرار است انجام دهیم.

آیا NPS واقعا در مورد وفاداری و رشد است؟

وفاداری یک بازی بلند مدت است. وفاداری نشان می دهد که رفتار شخص در طی زمان چگونه است.Fred Reichheld در مقاله خود می گوید: "وفاداری یه معنی اشتیاق یک مشتری، دوست، کارمند و ... سرمایه گذاری یا فداکاری برای تقویت یک رابطه است."

با این وجود، NPS به هیچ وجه در مورد سرمایه گذاری و یا فداکاری صحبت نمی کند. حتی از وفاداری هم حرفی زده نمی شود. تنها حرف، پیشنهاد دادن شرکت است.

پرسش از مردم در مورد کاری که می خواهند در آینده انجام دهند، وفاداری نیست، بلکه خوش بینی است.

اگر می خواهیم از وفاداری اشخاص باخبر شویم، می توانیم سوالات متفاوتی بپرسیم: -مثلا-آیا در 6 هفته گذشته، ما را به دوستان یا همکاران خود معرفی کرده اید؟ این سوال، حقیقتا یک سوال درست است که شرکت Netflix در یک سال گذشته از مشتریان خود پرسیده است.

نتفلیکس با سوال دیگری این روند را ادامه می دهد. آن ها از تمام اعضای تازه تر می پرسند که آیا یک دوست یا همکار، نتفلیکس را به آن ها معرفی کرده است؟

آیا در 6 هفته گذشته، ما(نتفلیکس) را به دوستان یا اعضای خانوانده خود معرفی کرده اید؟

بله

خیر

به عنوان یک تازه وارد، آیا یک دوست یا یکی از اعضای خانواده، نتفلیکس را به شما معرفی کرده است؟

بله

خیر

نتفلیکس مشاهده کرد که وقتی مردم به این سوالات پاسخ بله می دهند، آمار ورودی های تازه و رشد به شکل ثابتی بالا می رود. و وقتی که مردم از گفتن بله خودداری کردند، آمار انصراف بالا رفت و ورودی های جدید کاهش یافتند. همین دو سوال باعث رشد نتفلیکس شد. این دو سوال که درمورد گذشته تا اکنون است، نه در مورد پیش بینی آینده.

تجربه و NPS معمولا ناهماهنگ هستند

تصور کنید که فردی ساعت های بسیاری را از خطوط هواپیمایی یک شرکت خاص برای پرواز استفاده کرده است و این می تواند به معنی وفاداری او به شرکت هواپیمایی باشد. اما وقتی که سیستم NPS شرکت هواپیمایی، از او می خواهد به کیفیت پروازها از 1 تا 10 امتیاز دهد، او عدد 5 را انتخاب می کند.

دلیل این امتیاز چیست؟

تصور کنید که این شرکت هواپیمایی سرویس بدی داشته باشد و شرکت های دیگر، سرویس هایی به مراتب بدتر. پس ممکن است که ما مدام از این شرکت برای سفرهوایی استفاده کنیم و در عین حال اصلا وضعیت سرویس دهی آن را دوست نداشته باشیم.

در واقع بین بد و بدتر انتخاب کنیم.

وارد کردن NPS در مطالعات کیفی

ما برای چند سال، NPS را در مطالعات کیفی خود وارد کردیم و از شرکت کنندگان خواستیم دلیل خود را برای امتیازی که می دهند، برایمان توضیح دهند . نتایج نشان می دهد که مردم به درستی معنی سوال را نمی فهمند.

یک شرکت کننده که امتیاز پایینی می دهد، می توانست تجربه ای بی نقص با سرویس یا محصول مورد آزمایش ما داشته باشد. وقتی که در مورد دلیل این امتیاز پایین از او می پرسیم، در مورد تجربه بدی که در گذشته داشته، صحبت می کنند و اعتقاد دارند به خاطر آن تجربه، نمی توانند محصول را به شخص دیگری پیشنهاد دهند. وقتی از آن ها می پرسیم که اصلا تا به حال از محصولات ما استفاده کرده ای، در جواب می گویند که به دفعات زیاد.

مشابه همین مسئله در مورد شخصی است که امتیاز 10 می دهد و دلیل این امتیاز را، بالاتر بودن محصول از سطح انتظارش بیان می کند. وقتی که از او در مورد پیشنهاد محصول به اشخاص دیگر می پرسیم، می گوید: احتمالا نه!

افراد دیگری هم وجود داشتند که امتیاز 0 داده اند چون کسی را برای معرفی محصول پیدا نمی کردند. بعضی ها امتیار 10 دادند چون برخی دوستانشان در شرکت ما کار می کردند. وقتی که شرکت یک طرح تشویقی در نظر می گیرد(مثل قرعه کشی و یا طرح تخفیف)، شرکت کنندگان امتیاز بالایی به آن می دهدند چون کاربر هرگز به کسی که تشویقش کرده امتیاز پایینی نمی دهد.

نتیجه ما این بود که NPS اطلاعات خاصی در مورد وفاداری مشتری یا تجربه اش به ما نمی دهد. در واقع نمی توان به NPS اعتماد کرد.

روش NPS به راحتی به بازی گرفته می شود

اگر هدف شما این است که امتیاز NPS خود را افزایش دهید، یک کمپین تشویقی به راحتی می تواند این کار را انجام دهد. و این تنها راهی نیست که می توان NPS را فریب داد.

راه دیگر این است که نظرسنجی را در پایان یک فرآیند موفقیت آمیز مثل فروش قرار دهید. با این کار تنها کسانی که فرآیند را به اتمام رسانده اند در نظر سنجی شرکت می کنند و افرادی که تجربه کاربری بدی با محصول شما داشته اند و یا اینکه اصلا مایل به استفاده از آن نیستند، نمی توانند در نظرسنجی حضور داشته باشند.

راه دیگر این است که درصد شرکت کنندگان در نظرسنجی را نمایش ندهید. در بیشتر طرح های NPS، از 4 تا 7 درصد شرکت کنندگان در نظرسنجی شرکت می کنند. آیا درصد باقی مانده از شرکت کنندگان که نظری نداده اند، همانند افراد شرکت کننده، امتیاز می دهند؟

یک دلیل عمده برای شرکت نکردن در نظرسنجی می تواند به خاطر تجربه بد کاربر در تعامل با محصول شما باشد. کسانی که تجربه بدی از محصول دارند، معمولا زحمت اظهارنظر به خودشان نمی دهند.

برای بازی دادن با NPS با این روش، کسانی که ناراضی هستند را –در مراحل معرفی محصول- زودتر حذف کنید تا به مرحله نظرسنجی نرسند. با این کار، تنها افرادی که نظر مثبتی دارند در نظرسنجی شرکت می کنند.

به بازی گرفتن NPS بسیار راحت است. به شکلی که می توان نتیجه یک تغییر را به شکلی کاملا مثبت جلوه داد در حالی که ممکن است این تغییر به یک فاجعه منجر شده باشد.

ارزش واقعی از سوالاتی که در ادامه پرسیده می شود به دست می آید.

معتقدان به NPS می گویند که هیچ گاه تنها به دست آوردن –یک-عدد برای ارزیابی کافی نیست. بلکه دفعه، باید کار با یک سوال کیفی دنبال شود.

بعضی از سیبستم ها بعد از نظرسنجی اول، کار را با سوال دیگری ادامه می دهند. مثلا برای امتیاز مثبت، سوال( چه کار خوبی انجام دادیم/چرا از کار ما راضی هستید؟) و برای امتیاز منفی، سوال ( کجای کار را باید ارتقا دهیم؟/به نظر شما مشکل از کجا بود؟)را مطرح می کنند.

حق با آن هاست. ارزش واقعی وقتی به دست می آید که دلیل امتیاز داده شده مشخص شود. مشتری ماجرا را شرح می دهد و شما از کم و کاست ها با خبر می شوید.

برای این دسته از طرفداران NPS باید گفت : بسیار عالی است که این اطلاعات ارزشمند را به دست آوردید. ولی سوال این است که چرا از اول به سراغ همین روش نرفتیم و خودمان را با امتیاز دهی اولیه مشغول کردیم؟ کافی است از اول کار، سوال کیفی را بپرسیم.

جواب این افراد معمولا اشاره به تقسیم بندی ها و مولفه هایی است که معمولا بی معنی است.

ما معمولا از سوالات کیفی برای بررسی کار استفاده می کنیم. معمولا جواب ها مشکلات و نقاط قوت طراحی را مشخص می کند. اما سوالاتی که با NPS شروع می شود، معمولا تطابق درستی با حقیقت ندارد. ما داده های منطبق بر واقعیت را منتشر می کنیم ولی NPS از واقعیت ها پیروی نمی کند.

اما عوامل اجرایی ما عدد می خواهند

اخیرا از یکی از مدیران اجرایی یک شرکت بزرگ شنیدم:

((در جلسات ارزیابی، هر دپارتمان یک عدد را به عنوان گزارش کار خود ارائه می دهد و معمولا این عدد بر اساس NPS به دست آمده است. اگر نخواهیم از NPS استفاده کنیم، باید عدد دیگری را جایگزین کنیم. ما به عددی نیاز داریم که میزان پیشرفتمان را نشان دهد.))

تعداد زیادی عدد وجود دارد. در حقیقت، تعداد بی نهایت از اعداد.

بله، حقیقت این است که هیچ عددی نمی تواند تصویر تجربه کاربری شرکت را نمایش دهد، حتی NPS. با وجود این، نباید از تلاش دست برداریم.

می توانیم از یک عدد تجاری استفاده کنیم مانند تعداد ثبت نام کنندگان، فروش، سود و ... .

این اعداد مستقیما در مورد طراحی محصول و یا سرویس صحبت نمی کنند. حتی اطلاعاتی در مورد رضایت مشتری به ما نمی دهد.

این کاری است که NPS می خواهد انجام دهد و حقیقت این است که اصلا موفق نبوده است. پس برای حل مشکل چه کارکنیم؟ راه حل می تواند به شکل زیر باشد:

امروز چقدر خوشحال و یا ناامید بودید؟

خیلی ناامید (2-)

تقریبا ناامید (1-)

خنثی (0)

تقریبا خوشحال (1)

خیلی خوشحال (2)

آیا امروز خوشحال و یا ناامید بودید؟

نه (1-)

نمی دانم (0)

بله (1)

آیا امروز مفید بود؟

نه (1-)

می دانم (0)

بله (1)

فکر نمی کنم این سوال ها و این اعداد اهمیتی داشته باشند. مخصوصا اگر سوالی که در ادامه می پرسید، بتواند کاربر را با خودش همراه کند.مثلا:

(به نظر شما چه کار کنیم تا سرویسمان بهتر شود؟)

سوال آخر (به نظر شما چه کار کنیم تا سرویسمان بهتر شود؟) جایی است که می توانید ارزش کارتان را مشخص کنید. شما می توانید این سوال را به شکل های مختلفی بپرسید. مسئله مهم این است که به مشتریان خود توجه کنید.

ما نمی توانیم تجربه کاربری را در یک عدد خلاصه کنیم

این بزرگترین نقطه ضعف NPS است. می خواهد به نتیجه ای برسد که غیر قابل دسترسی است. این برای مدیران خوش آیند است چون مسئله ای بسیار سخت را حل می کند.

تجربه مشتری مجموعه ای تعاملات مشتریان با محصول، کارمندان، سایت و برند است. هر قسمت از این فرآیند برای هر مشتری متفاوت است.

کسانی که به NPS اعتقاد دارند، به چیزی غیرواقعی معتقدند. اعداد NPS شبیه طالع روزانه است. هیچ علمی در کارنیست. فقط باور است.

شاید قبولاندن این حقیقت به معتقدان NPS بسیار سخت باشد. پس بهتر است به جای اصرار بر اثبات خود، توان خود را بر روی معیارهایی که ارزش بیشتری به کار می دهد، متمرکز کنید.