مساله h-index از این داستان پایتون و ترندی شکل گرفت که این چند روز حتما در فضاهای مختلف صحبتش را شنیده‌اید. البته که بنا ندارم در این پست به این موضوع بپردازم. کل بحث این پست این است که چطور وقتی یک متریک به تارگت تبدیل میشود - مثل اتفاق رایجی که در سیستم‌های آکادمیک و آموزشی می‌افتد - دیگر متریک خوبی نیست و لازم است با یک متریک دیگر جفت شود. وقتی نمره امتحانی معیار ارزیابی دانش‌آموز یا مثلا h-index معیار ارزیابی یک پژوهشگر میشود، رویه‌هایی شکل می‌گیرد که دانش‌آموز بدون آن که دانش آموز پرتلاش و پویایی باشد نمرات خوبی بگیرد و یا پژوهشگر بدون اینکه در واقع مسیر پژوهشی ارزشمندی را طی کند بتواند مقالات متعدد چاپ کند و citation بگیرد.
کاری به داستان این روزها ندارم. چون هم به کلیت داستان واقف نیستم و هم اینکه یک واقعیت بدیهی وجود دارد آن هم اینست که مساله اصلی یک کج‌روی سیستماتیک است و مساله فرد نیست. سیستم به صورتی است که افراد کم بها ولی پر صدا در مسندهای اصلی نشسته‌اند و تریبون‌های اصلی را در دست دارند و نکته مهم‌تر این است که OMTM (One Metric That Matters) سیستم به صورت طبیعی بقای خودش و نه دلیل شکل گیری‌اش که منطقا باید تامین آسایش مردم جامعه باشه تعریف شده است. بقای سیستم ناکارآمد هم در نظر تصمیم‌گیرندگانش تنها با تقویت زیر عناصر ناکارآمد و مشابه خودش اتفاق میفتد. در واقع مساله اصلی در این سیستم در تعریف Objective اصلی است و نه KR ها و KPI هایی که برای آن هدف تعریف شده‌اند.
بنابراین فکر میکنم پرداختن به موضوعی که جرقه این بحث را زد، خیلی آوردی ندارد و اجازه بدهید به بحث اصلی که قانون گودهارت (Goodhart's law) و متریک های جفت (Pairing Metrics) است بپردازم.
قانون گودهارت می‌گوید زمانی که سنجه‌ای به عنوان تارگت تعریف میشود دیگر سنجه خوبی نیست. در نگاه اول نتیجه‌ای که می توان از این قانون گرفت این است که تعریف متریک هدف کار اشتباهی است. چون در نهایت منجر به تلاش برای تامین متریک و نه هدف اصلی میشود. برای مثال فرض کنید هدف اصلی OKR امسال در یک پلتفرم مبتنی بر خرید اشتراک، افزایش کاربران فعال تعریف شده باشد. با تعریف DAU به عنوان متریک اصلی و تنها متریک بیزینسی این دوره OKR، تمام تلاش تیم‌ها متمرکز بر تعریف مسیر‌هایی میشه که در نهایت منجر به افزایش سابسکریپشن و ریتنشن کاربرها میشود. از آنجایی که سد اصلی در مسیر سابسکریپشن کاربرها پرداخت هزینه اشتراک است، با برداشتن هزینه اشتراک و رایگان کردن آن می‌توان به تارگت‌های بلندپروازانه‌ای در زمینه DAU رسید!
خیلیم عالی !
دیگه چی می‌خواهیم! ؟
فقط یک مشکل کوچیک هست اون هم اینه که درآمد صفر میشه !
البته که میدانیم بیزینس ها در هر مرحله‌ای از رشد که هستند باید متناسب با آن مرحله هدف تعریف کنند. برای یک بیزینس در ابتدای راه اندازی ممکن است اکوزیشن به قیمت درآمد صفر قابل قبول باشد. ولی برای یک بیزینس بالغ درآمد حتما یکی از اصلی‌ترین متریک هاست.
راه حل این مساله جفت کردن متریک اصلی با یک متریک محدود کننده است:
با این تعریف حداقل درآمد در ازای افزایش تعداد کاربران تضمین میشود.
برای هر بیزینس و سیستمی که مد نظرمان است میتوانیم مثالی از جفت متریک‌های اصلی تعریف کنیم. در تاکسی‌های اینترنتی باید تعداد راننده و تعداد سفر ( و یا مسافر) نسبت قابل قبولی داشته باشند، در فروشگاه‌های اینترنتی تعداد فروشنده و درصد سهم فروشگاه باید در تناسب باشد و برای ارزیابی کارمندان در کنار ساعت کاری طبیعتا باید متریکی برای بهره‌وری در نظر گرفته شود.
اثر کبرا (Cobra Effect) و یا انگیزه انحرافی در معنایی نزدیک به این موضوع می‌نشیند. می‌گویند زمانی که هند مستعمره انگلیس بود، تعداد مارهای کبرا به شدت در دهلی زیاد شد. چنین پیشامدی خطرات بسیاری را برای شهروندان و ساکنین این شهر ایجاد می‌کرد. دولت وقت برای غلبه بر این مشکل شروع به پاداش دادن به تحویل‌دهندگان مارهای مرده کرد. در ابتدا این طرح با موفقیت زیاد شروع به کار کرد و فرض بر این بود رفته رفته باید مارها کم بشوند اما تعداد مارها بیشتر می‌شد. در نهایت مشخص شد بسیاری از افراد به طمع کسب درآمد بیشتر مشغول پروش مارهای کبرا شده‌اند
تاثیر قانون گودهارت در سیستم آموزشی و آکادمی بسیار پر رنگ‌تر خودش را نشان میدهد و نتایج تاسف‌بارتر است. شاید برای آنکه خروجی این سیستم‌ها در آینده خودش را نشان میدهد و اندازه‌گیری نتایج به سادگی محاسبه درآمد در یک بیزینس نیست. در مدرسه نوع ارزیابی با نمرات امتحانی و بعد از آن داستان کنکور هر ساله پر رنگ‌تر میشود . در حالی که اهداف اصلی پرورشی و تربیتی برای ساخت انسان‌هایی توانمند برای جامعه انگار دارد رنگ می‌بازد. در تحصیلات تکمیلی و حوزه پژوهشی هم به همین شکل به سمت پابلیکیشن های بیشتر و البته بی محتواتر می‌رویم.
برای اینکه تاثیر قانون گودهارت را در دوران مدرسه کم کنیم و البته با فرض اینکه هدفمان شکل‌گیری افرادی توانمند برای جامعه است، یک پیشنهاد این است که در کنار نمرات امتحانی، متریک‌هایی از میزان فعالیت دانش‌آموز در زمینه‌های مختلف مانند فعالیت های داوطلبانه، شرکت در دوره‌‌های موسیقی و ورزشی و یا مثلا گروه‌های تفکر نقاد تعریف کنیم.
در آکادمی نیز شاید یک متریک جفت و محدود کننده مناسب برای ارزیابی یک پژوهشگر در دانشگاه، میزان کمک هزینه‌ای است که برای انجام پروژه‌های پژوهشی جذب می‌کند. یکی از معضلات جامعه دانشگاهی ما این است که اساتید و تیم‌های تحقیقاتی بطور مستقیم و مستقل از خروجی ملموسی که ایجاد می‌کنند از دانشگاه بودجه دریافت می کنند. بنابراین تیم و یا استاد مربوطه نیاز به پاسخگویی در زمینه معناداری و نتیجه بخشی پژوهش‌هایشان ندارند. تنها تعداد پابلیکیشن و citation هایی که بطور معمول زنجیره‌وار و هرمی بر روی این پابلیکیشن ها تعریف میشود برای ارزیابی در نظر گرفته میشود. تعداد پابلیکیشن ها در اینجا متریکی است که چون مستقیما و بدون متریک محدود کننده‌ای به تارگت تبدیل شده است، دیگر متریک خوبی محسوب نمی‌شود.
مثال‌های فراوانی برای اهمیت تعریف متریک های زوج می توان بیان کرد. در زندگی شخصی، داشتن یک زیست خوب و سعادتمندانه Objective اصلی محسوب میشود. در تعریف KR های مربوط به زندگی حتما میزان درآمد یکی از مهمترین متریک‌هاست. ولی اگر در کنار آن جفت متریکی برای میزان زمانی که با خانواده و دوستان صرف می‌کنیم و یا زمانی که به خودمان اختصاص می‌دهیم در نظر نگیریم خیلی ساده ممکن است از این بخش مهم زندگی غافل شویم و طبیعتا به هدف اصلی که زیست سعادتمندانه هست هم نخواهیم رسید.
قانون گودهارت در پیشبرد بسیاری از هدف‌گذاری ها خودش را نشان میدهد. در تعریف استراتژی برای هر سیستم میتوانیم با بررسی نقادانه اهداف و متریک ها از تاثیر گذاری مخربش پیشگیری کنیم و یا در چرخه های ارزیابی، زمانی که دیدیم متریک اصلی ما باعث تحقق هدف اصلی نمیشه یکی از عوامل را چنین اتفاقی بدانیم که شاید برای تحقق دستیابی به تارگتِ متریکِ اصلی از هدف اصلی دور شده‌ایم و بتوانیم با تعریف متریک جفت هدف‌گذاری دقیق‌تری داشته باشیم .
