Kian
Kian
خواندن ۱۰ دقیقه·۴ سال پیش

نگاهی به دنیای متناقضِ پژوهش آکادمیک

چند تجربه از سالیانی که در دنیای پژوهش آکادمیک---جایی که قراره مرزهای علم پیش برده بشه---گذروندم رو در این گفتار می‌نویسم برای جوانانِ آغازِ راه و به طور کلی برای عزیزانی که علاقه‌مندن بدونن اون پشت چه خبره.

این مشاهده‌ها هم سودار (biased) است و هم از روی تجربه‌های محدود بنده و هم فقط و فقط از زیرشاخه‌هایی از علوم/مهندسی کامپیوتر. بقیه‌ی توضیحات باشه برای فصل «جمع‌بندی» در پایان.

۱. حباب

در تقریبا همه‌ی پژوهش‌ها، از جمله در بالاترین سطح، هدف اول، نه «به درد خوردن در دنیای واقعی» (که فقط هدف کمکی است) بلکه چاپ شدن در جاهای خوب و ارجاع/citation گرفتن است. اشکالی هم نداشت، اگر این دو هدف هم‌سو می‌بودن. ولی متاسفانه نه تنها نیستن بلکه تضاد دارن. یعنی به زبان ساده: باید تخیلی (نه واقعی) کار کنید تا چاپ کنید.

  • مثال: در کارآموزی که سال‌ها پیش با گوگل داشتم موفق شدم مدیران رو راضی کنم تا سیستم CDN گوگل رو در قالب یک مقاله بنویسیم و چاپ کنیم تا پژوهش‌گران دنیای بیرون (از جمله خودم پس از بازگشت از کارآموزی به دنیای پژوهش دکترا) نفع ببرن و دیدِ واقعی و مساله‌های عملی برای کار داشته باشن. مقاله‌ی خوبی آماده کردیم که یک سیستم عریض و طویل رو در صفحات محدود ارائه می‌کرد، فرستادیم به یکی از مقصدهای نامی و کاملا مرتبط در اون زمینه (کامل هم سیستمی، نه تئوری)، و رد/reject شد. لُپ کلام ایرادهایی که گرفتند این بود که زیادی کُلی و مهندسی‌ست و نه پژوهشی. یعنی مثلا چی؟ یعنی مثلا یک فصل از مقاله که از قضا پروژه‌ی کارآموزی بنده بود و مدل‌سازی و فرمول و برنامه‌ریزی خطی (linear programming) داشت ولی فقط اهمیت فرعی داشت، مورد توجه داوران محترم قرار گرفته بود و فرمودند از ایناشو بیشتر کنید!

انگار نه انگار که مقاله، بزرگ‌ترین CDN جهانی رو رونمایی و اصلا فضای پژوهش‌های آتی در زمینه‌های مربوط رو دگرگون می‌کرد. این‌ها مهم نیست، مهم اینه که به تعریفِ حبابی که پژوهش آکادمیک دور خودش پیچیده، باید «رّیسرچش» رو بیشتر کنین. امیدوارم مثال خوبی انتخاب کرده باشم. مثال‌ها بی‌شمارند ولی مجال نیست.

برای مخاطب کنجکاوِ احتمالی اضافه کنم که من خیلی زود (به قول هم‌کارانِ اون روزها) سوراخش رو پیدا کردم و مقاله‌های مثلا رّیسرچی و دهن‌پرکن می‌دادم. یعنی این مشاهده‌هایی که می‌نویسم از ناراحتیِ «من رو تو حبابشون راه ندادن» نمی‌آد و از قضا در این حباب موفق (!) بودم، اگر مهمه.

۲. اون کارمندِ بی‌سواد و بی‌اعصابِ ممیزی کتاب

وقتی ماه‌ها یا سال‌ها تلاش می‌شه و یک پژوهشِ خوب و قوی و خط‌شکن/groundbreaking انجام می‌شه و می‌خواد چاپ بشه، این پژوهشِ باارزش باید از یک پُل معلق پوسیده و متزلزل با سلام و صلوات رد بشه تا به دست دنیا برسه: سیستم بازبینی و داوری مقاله‌ها.

  • اول، بسیاری از بازبینان (reviewerها) اصلا مقاله رو کامل نمی‌خونن و ایراد می‌گیرن.
  • دوم، بسیاری می‌خونن ولی نمی‌فهمن و ایراد می‌گیرن، شاید چون خوب ارائه نشده ولی (متداول‌تر) چون اصلا سطح دانش شخص بازبین از سطح علمی مقاله پایین‌تره. خودِ من همین‌طوری کلی مقاله رد کرده بودم، از جمله در ژورنال‌های تراز اول. همچنین استادان به صورت کیلویی مقاله‌هاشون رو می‌دن دانشجوهاشون بازبینی کنن.
  • سوم، بدون استریوتایپ‌سازی (یعنی تعمیم ندید)، باید بگم شخصیت عیب‌جو و شاکی و دُگم در فضای آکادمیک کم نیست و بیشتر از دنیای بیرونه. البته ایرادگیری خیلی هم خوبه برای ارتقای کیفیت، ولی باید در مثلا یکی از reading groupهایی که جمع می‌شن و مقاله نقد می‌کنن بنشینید تا بفهمید چی می‌گم. یا مثلا در فلان کنفرانس شماره‌ی یک (sigcomm) فلان استاد معروف کنار من نشسته و در تمام طول ارائه‌ی یه مقاله‌ای زیر لب غر می‌زنه که چه پژوهشِ مزخرفی، پیف پیف، ارواح عمه‌ات. در این حد. مسلما فقط درصدی از افراد عیب‌جوی زیادی هستند، و خیلی از داوران هم عالی هستند و نظراتشون برای کارتون سازنده‌ست، ولی حداقل یک شاکیِ بی‌حوصله از پنج داورِ یک مقاله، غیرمعمول نیست و خوب همین کافیه.
  • پیشنهاد: حساب @yourpapersucks در توییتر رو دنبال کنید تا هم فضا دستتون بیاد و هم سرگرم بشید.

چرا چنینه؟ اول، سیستم بازبینی، مرامی‌ست و کسی بابتش پولی نمی‌گیره. خودِ من با بی‌حوصلگی مقاله‌هایی که باید بازبینی می‌کردم می‌خوندم چون کارِ اضافی و خارج از برنامه بود در حالی که صدتا کار و مهلت/deadline داری. دوم، شخصیتِ شاکی که گفته شد. سوم، هیچ نظارتی بر کیفیت بازبینی وجود نداره، یعنی اگر هم افتضاح بازبینی کنی کسی نمی‌گه خَرت به چند من. چهارم، سطحِ علمیِ افرادی که برای بازبینی انتخاب می‌شن اصلا مطرح نیست - همین که یه بابایی بپذیره بازبینی کنه ویراستارِ ژورنال کلاهش رو می‌ندازه هوا.

حاصل زحماتِ پژوهش‌گر و «پیشرفت علم»، قراره از این کانال رد بشه.

همچنین باید قربان‌صدقه‌ی بازبینان (reviewerها) رفت، منظور در پاسخی‌ست که گاهی لازمه به نظرات بازبینان داد. حتی اگر نظرشون غلطه و نباید اِعمال بشه، باید به طرزی عجیب از پایین به بالا حرف زد و این یک رسمِ نانوشته و جاافتاده‌ست. اگر می‌خواید این ریسک رو بکنید که به حرفِ بازبین خدشه‌ای وارد کنید، باید با تعارفات فراوان و طوری که به طرف برنخوره ناهم‌نظری خودتون رو بگید. فکر نکنید شوخی می‌کنم. هم در طرف پایین این رسم بوده‌ام (و به تصحیح استادان و دور و بری‌ها یادش گرفتم) و هم در طرف بالا.

  • مثال: در بازبینی مقاله مطلبی فرعی مطرح شده بود و خودِ شخص بازبین هم خیلی براش مهم نبود، ولی هم‌کارِ پاسخ‌دهنده به جای پاسخ دیپلماتیکِ «نکته‌ی بسیار خوبی‌ست و در پژوهشی در آینده به آن خواهیم پرداخت» پاسخ داده بود «احتراما با نظر شما موافق نیستیم» (یعنی در عمل هیچ فرقی بین این دو نمی‌کرد) و مقاله رد/reject شد.

پیشرفت و تعالیِ علمی، نیازمندِ یک تبادل حرفه‌ای و غیرشخصی و غیرسلیقه‌ای/objective بین کسانی (peerهایی) است که گاهی این داورِ اون و گاهی اون داورِ این می‌شه، و این از بدیهیاته، ولی فضای انتشار آکادمیک مطلقا چنین نیست.

۳. (عدم) کیفیت و (عدم) صداقت

متاسفانه اکثر قریب به اتفاق پژوهش‌ها در این فضا پر از لاف‌زنی‌اند، مثل تعریفی که بُنگاهی ماشین می‌کنه. ادعاهای گزاف و بزرگ‌نمایی در کاربردها، رفتارِ پیش‌فرضه و همه می‌دونن و عادی شده. درباره‌ی کنفرانس‌ها و ژورنال‌های سطح اول هم صادقه. در آغاز راه، همه‌ی مقاله‌ها به نظرتون فوق‌العاده میان ولی به زودی عادت می‌کنید که به عهده‌ی شماست تا چرندیات رو تشخیص بدید و برید سرِ مقاله‌ی بعدی، مثل inboxی که فیلتر spam نداره.

همه به این مساله عادت کردن در صورتی که این رویکردِ بنگاهی (شاید طبیعی در محیط‌های دیگر ولی) برای محیط علمی و فنی مثل سرطانه. برخلاف دنیای آکادمیک، در دنیای صنعت به ويژه محیط فنیِ شرکت‌های حرفه‌ای، چنین نیست - کسانی که اهل لاف‌زنی باشن جدی گرفته نمی‌شن و به حاشیه می‌رن. حداقل در تجربه‌ی بنده.

مشکل عمده‌ی دیگر، واقعی نبودن پژوهش‌هاست، یعنی یا اصلا عددسازی شده، یا عددها واقعی‌اند ولی در پَسش مفروضات پنهانی هستند که گفته نشده. در حالتِ خوب، مفروضات هم گفته شده، ولی برای نتیجه‌ی دلخواه نگارنده تنظیم/tune شده. یعنی همون رو ببرید در دنیای واقعی، به هیچ دردی نمی‌خوره.

از دیگر تکنیک‌های لازم برای بقا در پژوهش‌گریِ آکادمیک، ورود به شهر از اون دروازه‌ایست که احتمالا بارِتون رو خوب نمی‌گردن - که باز در جهت برعکس «پیش‌بُرد علم» است اگر پیش‌بُرد علم رو هدف می‌پندارید.

  • مثال: من روی مساله‌های سیستمی کار می‌کردم با مخاطبِ سیستمی ولی براشون راه‌حل‌های شیکِ تئوری می‌دادم مثل مدل‌سازی‌های optimization و probabilistic analysis و complexity theory و approximation algorithm و ... (تعمدا ترجمه نشده) و در کنفرانس‌ها و ژورنال‌های خوب چاپ می‌کردم. البته راه‌حل‌ها بی‌ربط یا ناصحیح نبود ولی بازبین (reviewer) کنفرانس و ژورنال سیستمی بهترین فرد برای داوریِ پایه‌ی تئوریِ کار من نبود بلکه بهترین فرد برای ذوق کردن با اون کارها بود.
  • متقابلا: چاپ در مقصدِ تئوری با ادعاهایی راستی‌آزمایی نشده درباره‌ی اهمیت در دنیای سیستمی.
  • یا چیزی که الان مُد شده: ML این‌جا ML اون‌جا ML همه‌جا. دوستی دارم که با دانشجوهاش، مساله‌هایی در رشته‌ی خودشون با یادگیری ماشین حل می‌کنن ولی با خطاهای اساسی و بنیادیِ تئوری، مثلا تفسیر خطیِ مدلِ غیرخطی، و در بهترین ژورنال‌های اون رشته چاپ می‌شه و حتی تصمیمات عمرانی مربوط به جان انسان‌ها بر اساسش گرفته می‌شه.

سیستم فعلی peer review بسیار فَشل‌تر از تصوره و برخی دلیل‌هاش رو در فصل پیش مرور کردیم.

۴. بودجه بر باد

بودجه‌ی استادها، که ازش حقوق دانشجو و خرج سفرها و امکانات پژوهشگاهشون رو می‌دن، دادنی نیست بلکه گرفتنی‌ست و برای گرفتنش باید روزها وقت گذاشت و proposalها نوشت و مثلا از فلان شرکت یا دولت یا شهرداری بودجه گرفت برای پژوهش روی فلان مساله‌ها. خوب عیبیش چیه؟ اینه که عمدتا کار به درد بخوری از این همه پول و زحمت درنمی‌آد و همه هم اینو می‌دونن و باز ادامه داره. یعنی بودجه‌ایست که از طرف شرکت/دولت/شهرداری/... باید به اسم «پژوهش» (!) صرف بشه و می‌شه. آورده‌اش؟ چندتا مقاله و البته سفر به نصف دنیا! آورده‌اش برای منبع بودجه؟ آها، اون هیچی.

  • مثال: استاد من در دوران فوق لیسانس از رادیو کانادا بودجه گرفته بود که سیستم پادکست مبتنی بر p2p براشون درست کنه. برخلاف بسیاری موارد که چیزی تحویل داده نمی‌شه و فوقش دو تا مقاله چاپ می‌شه، اتفاقا محصولی هم تحویل داده شد، ولی از روز اول معلوم بود قرار نیست به دردی بخوره.
  • مثال: استاد من در دوران دکترا از چندین شرکت و نهاد معروف بودجه داشت تا براشون پژوهش کنه ولی نامشون یا نیازهاشون برای ما هنگام جهت‌دهی به پژوهش‌هامون اصلا مطرح نبود. تنها در پایان مقاله می‌گفتیم با حمایت اونا انجام شده.
  • مثال: گروهی از استادانِ نامی‌ِ دانشگاهِ نامیِ ما، از شهرداری تورنتو بودجه‌ی هنگفت گرفته بودند برای پژوهشِ چند ساله در حوزه‌ی هوشمندسازی ترافیک. هدف؟ خوروندنِ پژوهش‌های تخیلی خودشون/خودمون به مساله‌ی ترافیک: اتصال bluetooth خودروها و تشکیل شبکه‌ی ad hoc (که زمینه‌ی تخیلیِ مقاله‌دهیِ فلان استاد بود) و سپس ساز و کار پیغام دهی pub/sub روی شبکه‌ی overlay از حس‌گرهای جاده‌ای (که زمینه‌ی مقاله‌دهیِ فلان استاد بود) و حتی مساله‌های مربوط به video streaming و غیره و غیره. هیچ‌کدومش به هیچ دردی نمی‌خورد و هیچ‌کدومش به هیچ‌جا نرسید. برای خواننده‌ی ناآشنا: انگار کسی که چسب دوقلوی کاردستی‌سازی دستشه و دنبال سوژه می‌گرده، بیاد پروژه‌ی پُل‌سازی برداره.

۵. فضای فُسیل‌پرور و دور از شایسته‌سالاری

محیط دانشگاه، مثلا دانشگاه بنده که مثلا بهترین دانشگاهِ کانادا بود (مسلما رتبه‌بندی‌های متفاوت وجود داره)، علاوه بر استادانِ باسواد، همچنین پر است از استادانِ کم‌سواد و مخرب برای پیشرفت علم و پیشرفت افراد.

چرا؟ چون در آمریکای شمالی و برخی کشورهای اروپایی، مفهوم «استاد دائم» (tenure) وجود داره، یعنی استادی که دائم بشه---که معمولا همه یا تا ۴ ۵ سالِ نخست می‌شن یا می‌رن---دیگه قابل اخراج نخواهد بود مگر به دلایل انضباطی. یعنی حتی اگر سطح عملی و پژوهشی‌ش به قهقرا بره هم جاش مُحکمه. این قانونی‌ست قدیمی برای محافظت از آزادی بیانِ استادان. بحث‌های بر له و علیه دائمیت رو اینجا ببینید.

  • نتیجه در حالت خوب: استادانی که نیمه/تعطیل کردن و آزارشون به کسی نمی‌رسه جز حقوقِ الکی گرفتن.
  • نتیجه در حالت بد: استادانی که خیلی هم فعالند ولی از ۲۰ سال پیش با جهت پیش‌رفتِ علم زاویه پیدا کردن و در دنیای خودشونن - و از قضا بسیار هم دُگم. بسیار بسیار دگم. چرا نباشن؟

به علاوه هیچ ساز و کاری برای تنظیم رابطه‌ی استاد و دانشجو وجود نداره، و حتی به حالت برده‌کِشی کاری می‌رسه، و همچنین لجبازی استادان در اصرار به مسیر نادرست. چرا دگم نباشن؟ کار کردن در این فضا، چه به عنوان زیردست و چه به عنوان هم‌کار، در بهترین حالت «ناکارا» است. از میان مثال‌های بی‌شمار تنها به این تجمیع بسنده می‌کنم که دوستان و هم‌کلاسی‌های متعددِ بنده بودند که استادِ بد بیچاره‌شون کرد و مسیر زندگیِ شغلیشون رو عوض کرد.

۶. هُنرش نیز بگوی

در پژوهش آکادمیک، آزادیِ بیشتری برای انتخاب موضوع‌های پژوهش وجود داره بدون فشار برای نتیجه‌گیریِ اقتصادی، چیزی که مشکل عمده‌ی دنیای صنعته. البته در آکادمی فشار برای چاپ کردن و به سازِ «ریسرچ کامینویتی» (تعمدا فینگلیش) رقصیدن وجود داره ولی باز آزادی بیشتری محسوب می‌شه.

  • مثال شایانِ ذکر: اتفاقی که در یادگیری ماشین از ۹-۸ سال پیش افتاد که نتیجه‌ش الان دنیا رو گرفته، حاصل اصرارِ چندده‌ساله‌ی آقای Geoffrey Hinton بر پژوهش روی شبکه‌های عصبی در محیط دانشگاه بود (از قضا دانشگاه پیشین بنده که اشاره شد)، علی‌رغم باور عمومیِ اون زمان که ایده‌ی شبکه عصبی و back-propagation رو سوخته و نشدنی و بی‌ارزش می‌دونست. چنین چیزی جز با آزادیِ آکادمیک ممکن نبود.
  • متاسفانه نمی‌شه به فضای استارتاپی تشبیه کرد که بگیم در مجموع خوبه چون از Nتا یکیش می‌گیره، چون اصلا فضا تفاوت بنیادی داره، از بی‌حساب‌کتابی و بی‌ارادگی که توضیحش رفت.

بُعد دیگری در آزادیِ انتخاب پژوهش، پژوهش روی مساله‌هاییست که «باحال» (cool) هستند، مساله‌هایی که با کار در دنیای صنعت شاید چند سالی یک بار به پُستتون بخورن. البته مرز بین باحال بودن و تخیلی بودن که پیش‌تر اشاره شد، مرز باریکیه.

۷. جمع‌بندی

گفتارِ بالا تنها بخشی انتخابی و سودار (biased) از کل تصویر رو ترسیم می‌کنه، و اصلا هدف هم «چند مشاهده» بوده، نه واکاوی کامل، نه نتیجه‌گیری و توصیه که پس چه باید کرد و چه باید کرد، و نه مقایسه‌ی یک-به-یک با دنیای صنعت. تنها توصیه اینه که نظر خیلی‌های دیگر رو هم بپرسید.

همچنین ممکنه پرسش پیش بیاد که اگر چنینه پس چرا ادامه داره؟ نظرِ ناآگاهانه‌ی بنده اینه که اولا اصلاحش با وجود محدودیت‌های موجود سخته---مثلا حذف دائمیت/tenure یا پرداخت دستمزد به بازبینانِ مقاله‌ها یا نظارت بر کیفیت داوری و استادی و غیره---و دوما اراده‌ی جدی برای اصلاح وجود نداره چون برای برخی ناخوشاینده ولی برای برخی آشیانه‌ی امنه.

researchمقاله
فعال در مهندسی نرم‌افزار با اندکی تجربه از صنعت (عمدتا گوگل) و آکادمی (عمدتا اتلاف عمر). علاقمندم آموخته‌هامون رو رد و بدل کنیم.
شاید از این پست‌ها خوشتان بیاید