یکی از ویژگی‌های هر پژوهش معتبری، دستکم به نظر کسانی که اهل روش‌های کمّی و علمی هستند، این است که سایر پژوهشگران هم بتوانند با طی کردن فرایند مشابه، به خروجی‌های مشابه برسند.
اما واقعیت آن است که بسیاری از پژوهش‌های اجتماعی فاقد چنین ویژگی‌ای هستند. چند سالی (کمتر از ده سال) هست که عبارت «بحران تکرارپذیری»، «بحران تکرار» یا «بحران بازتولید» (Replication Crisis) را بیشتر می‌توانیم بشنویم.
بحران تکرارپذیری به عبارت خلاصه یعنی آن که شما نتوانید حتی با فراهم کردن مقدمات و درونداد و زمینه‌ی بیان‌شده توسط پژوهشگر، به همان نتایجی برسید که او رسیده است.
اهمیت این ضعف زمانی روشن‌تر می‌شود که بدانیم اساساً پژوهش‌های اجتماعیِ ناظر به تغییر و سیاستگذاری‌های اجتماعی با این فرض انجام می‌شوند که سامانه و نظام‌واری از عناصر وجود دارند که می‌توان با دستکاری ورودی‌ها یا پردازش‌ها به نتایج مطلوب رسید.
بیش از نیمی از پژوهش‌های اجتماعی‌ای که در 150 سال گذشته انجام شده را نمی‌توان دوباره تکرار کرد و به عبارت صریح‌تر «نادرست» هستند؛ دوسوم آزمایش‌های روان‌شناسی را هم همین‌طور. حتی در علومی مثل فیزیک و شیمی و زیست هم تا حدودی همین وضعیت حاکم است.
جالب این که گاهی خودِ پژوهشگر هم نمی‌تواند خروجی‌های قبلیِ خودش را به دست آورد. از 1500 دانشمندی که در یک طرح تحقیقاتی شرکت کرده بودند، حدود 70 درصدشان آزمایش‌های بقیه و 50 درصدشان آزمایش‌های خودشان را نتوانستند بازسازی کنند. مجله‌ی نیچر، به تفصیل به این طرح تحقیقاتی اشاره کرده است.
این یعنی بحران تکرارپذیری را باید جدی بگیریم. ما واقعاً نمی‌دانیم کداوم پژوهش‌ها و فرضیه‌ها و نظریه‌های کنونی که گاهی بسیار هم پرطرفدار و تاثیرگذار شده‌اند، نادرست‌ند و باید کنارشان گذاشت. پژوهشگران اجتماعی محاسباتی باید مراقب این آفت باشند و متاسفانه نیستند.
این که پژوهشگر 1 بدون آن که روش و مبنای مشخصی و حساب‌شده‌ای داشته باشد، با گردآوری مجموعه‌ای از داده‌های دلخواه (مثلاً از توییتر) به یک نتیجه‌ی اجتماعی برسد، شاید به درد انتشار یک مقاله‌ی علمی بخورد. اما هیچ نیازی نیست که پژوهشگر 2 هم سراغ همان داده‌ها برود. او می‌تواند به همین سبک دلبخواه، مجموعه‌ی دیگری از داده‌ها را جمع و تحلیل کند و به نتیجه‌ی کاملاً مخالفی برسد.
انجام پژوهش اجتماعی، به‌ویژه وقتی با داده‌های انبوه و دیجیتال سروکار داریم، مثل راه رفتن بر لبه‌ی پرتگاه است. اگر مراقب نباشیم، زرق‌وبرق و جلوه‌ی داده‌هایی که در اختیار داریم و «توهم قانع‌کننده بودن» که در پی انجام انواع تحلیل‌های کمی و رنگارنگ ایجاد می‌شود، ما را قانع می‌کند که در حال انجام پژوهشی عالمانه هستیم.
یکی از موثرترین ابزارهای دور ماندن از این آسیب، توجه به «خطای تیر چراغ» است. اگر بتوانیم به شکلی حساب‌شده و هوشمندانه داده‌های مورد نیازمان را از همان‌جایی که واقعاً هست، پیدا کنیم، کمتر دچار این مشکل می‌شویم.
پژوهش دکتر گاتمن که قبلاً درباره‌اش صحبت کردم، نمونه‌ی موفقی از همین کار است. گاتمن توانسته با اندکی داده که به دقت انتخاب شده‌اند، به بیش از 93 درصد دقت واقعی برسد. یعنی در 93 درصد مواقع، همان خروجی به دست می‌آید. در حالی که بسیاری از پژوهش‌های اجتماعی، دقتی در حدود 20 تا 30 درصد هم بیش از حد خوب است.
در یادداشت‌های بعدی، هم درباره‌ی این که چطور می‌شود گرفتار بحران تکرارپذیری نشد بیشتر صحبت می‌کنیم و هم نمونه‌ی موفق دیگری از پژوهش‌های اجتماعی دقیق را مرور خواهیم کرد.
