برای شنیدن نسخه صوتی این متن به همراه مصاحبه با کارشناس به اپیزود دهم پادکست جعفری لب Jafarilab رجوع کنید.
شاید اگر یه روز صبح پیام زیر را از یک محقق هلندی (ناشناس برای من) در شبکه اجتماعی لینکدین نمیدیدم، داستان این مقاله را موضوع یکی از اپیزودهای پادکست قرار نمی دادم. ایلیونورا ویالننو، محقق پسادکتری در دپارتمان بیماری های عفونی دانشگاه لیدن، با قرار دادن کل مقاله من و همکارم ناصر انصاری پور به صورت ضمیمه و ذکر کردن نام ما، این پیام را منتشر کرد:
اگر آماردان ها به روانی و سادگی این مقاله توضیح می دادند، جهان جای بهتری بود. تشکر از محی الدین جعفری و ناصر انصاری پور برای شرح مفهوم تصحیح پی ولیو با استفاده از عبارات و مثال های شفافِ کریستالی.
تعداد ارجاع به این مقاله که حدود یک ماه از وقت ما را گرفته بود، باعث تعجب ما شده بود. چطور یک مقاله سه صفحه ای از نوع نامه به سردبیر که در یک مجله ایرانی و نه چندان مشهور به چاپ رسیده تونسته در کمتر از دوسال (تا تاریخ نگارش این متن) ۳۰ بار ارجاع داشته باشه؟ این میزان ارجاع فراتر از انتظار ما بود و پاسخی برای اون نداشتیم تا اینکه پیام فوق را دیدیم. اگر چه موضوع این مقاله یک موضوع صرف آماری است، نکته جالب دیگه اینه که به صورت آکادمیک تحصیلات من و همکار نویسنده ام آمار نیست. به عبارتی، ما یک مفهوم آماری را همانطور که فهمیدیم و روزانه در کارهای بین رشته ای مون ازش استفاده می کنیم را روایت کردیم. به نظرم موفقیت نسبی این کار، مثالی است از اهمیت استفاده از زبان مشترک که درک این مفهوم را روان و ساده کرده و به تعبیر ایلیونورا همچون کریستالی شفاف.
زبان مشترک مسئله ای مهم در تمامی ارتباطات اجتماعی است که در تحقیقات بین رشته ای نمود بیشتری داره. حالا از عنوان مقاله شروع می کنم به شرح دوباره مفهوم تصحیح پی ولیو. خوشحالم که عنوان این مقاله هم برای دیوید امیر، سئو و بنیانگذار شرکت تشخیص طبی Astrolabe، جالب بوده و ما را به صورت خودجوش برنده بهترین عنوان مقاله سال اعلام کرده:)
در حال حاضر با تولید داده های زیست شناختی در مقیاس بزرگ نه تنها با بهمن داده های خام مواجه شده ایم بلکه برای استخراج اطلاعات از این داده ها، باید چندین فرضیه را به طور همزمان آزمایش کنیم. برای آزمایش این فرضیه ها، از آمار استنباطی استفاده می کنیم که منجر به بینش های زیست شناختی محتمل بیشتری می شود. اساساً، آزمون فرضیه یک روش آماری است که احتمال قوت شواهد را بر اساس داده های مربوط به نمونه گرفته شده به نفع یا خلاف فرضیه صفر محاسبه می کند که نتیجه آن معمولا با یک عدد واحد یعنی مقدار P بیان می شود. در اینجا، در مورد مقادیر P و به طور خاص در مورد چرایی، زمان و چگونگی تصحیح یا تنظیم این مقادیر بحث شده. امیدوارم که این راهنمای کوتاه، به دقیق تر گزارش کردن مقدار P و استنباط های آماری مربوط به آن منجر بشود.
مقدار P یا P ولیو چیست؟
وقتی می خواهید استنباطی را از نظر آماری در مورد فرضیه صفر به صورت معنی دار نتیجه گیری کنید، احتمال وقوع نتیجه یکسان به صورت تصادفی یا شانسی را محاسبه می کنیم. یک حد آستانه یا حد برش برای رد فرضیه صفر وجود داره که به صورت شهودی یا بیشتر تاریخی تعیین شده و برابر با پنج صدم است. به عبارتی دیگه، یعنی اگر نتیجه یکسان به صورت رندوم با احتمال کوچکتر از پنج صدم یا در یک بیستم موارد اتفاق بیفته خیلی نادره و نتایج ما از لحاظ آماری معنی داره چون در نوزده بیستم موارد اتفاق نمی افته.
در مورد این حد آستانه مفصل تر در یه پست دیگه ام در ویرگول و در اپیزود دوم پادکست جعفری لب صحبت کردم.
بر اساس این قرارداد، اگر احتمال آزمون فرضیه صفر، به عنوان مثال آزمون برابری میانگین میزان بیان ژن X در گروه مورد و در گروه شاهد کمتر از پنج صدم باشه، با صدای بلند می تونیم عبارت اورکا اورکا ارشمیدس را تکرار کنیم و بگیم فرضیه صفر یا همون شانسی بودن نتایج را رد کردیم. یعنی ما میگیم احتمال اینکه ادعاهای ما غلط باشه و نتایج شانسی بدست اومده باشه کمتر از پنج صدم هست و چون این عدد خیلی کوچکه پس ادعاهای ما درسته! البته ناگفته نماند که غیر از مقدار P، مقادیر دیگه ای مثل قدرت آزمون، فواصل اطمینان و اندازه اثر هم باید گزارش بشه تا به صحت این ادعا اطمینان بیشتری کرد.
مشکلات مقدار P
در مورد جایگاه مقدار P و نحوه استفاده از آن در استنباط های علمی، بحث و جدل قابل توجهی وجود دارد. این امر با ظهور تجزیه و تحلیل داده های بزرگ در زیست شناسی، بیشتر مورد توجه قرار گرفته. مشکل اول مربوط میشه به حدآستانه پنج صدم که کاملاً دلبخواه و صرفاً یک قرارداد است. این مقدار لزوماً برای همه متغیرها و در تحقیقات مختلف مناسب نیست. به عنوان مثال، در مطالعات رابطه بیماری و تنوع ژنومی، حدآستانه کوچکتر یعنی یک صدم به طور قراردادی استفاده می شود. علاوه بر این، دو مشکل دیگر یعنی گزارش انتخابی و هک کردن مقدار P هم مطالعات را تحت تاثیر قرار می دهد. به طور خلاصه، منظور از گزارش انتخابی مقادیر P، گزارش بسیار کمتر مقادیر P بزرگتر از حدآستانه یا غیرمعنی دار در متون علمی است. هک کردن مقدار P نیز به انتخاب مغرضانه داده ها به صورتی که مقادیر بزرگ P را کوچک کند، اشاره می کند. اگرچه این کار از نظر تئوری آماری درست است، اما صورت پنهانی از دستکاری مستقیم اطلاعات است.
مشکل آزمایش چندگانه
با فرض حل مشکلات و نقایص ذکر شده، آخرین و اما مهمترین مشکلی که در تعیین مقدار P باقی می ماند زمانی است که آزمایش چندگانه انجام می دهیم. یک سناریو را تصور کنید که بیان بیست ژن در سطح رونوشت بین یک مجموعه ثابت از موارد تیمار شده و گروه کنترل مقایسه شده باشد. به طور کاملاً تصادفی، با فرض استقلال آزمون ها، فرض کنید که از بیست مورد رونوشت ژنی، تغییرات بیان یک رونوشت با حدآستانه پنج صدم معنی دار باشد. یعنی ما احتمال مثبت کاذب بودن در این سناریو را پنج صدم و احتمال مثبت واقعی بودن را نود و پنج صدم قرار دادیم. حالا اگر فرض کنیم تمام بیست ژن به صورت معنی داری تغییرات بیان را با همین احتمال خطا نمایش دهند در آنصورت احتمال وجود مثبت واقعی در کل مطالعه چه میزان است؟ اینجا به یک محاسبه ساده نیاز داریم، احتمال مشاهده نشدن خطای در آزمون یکی از ژنها نود و پنج صدم است. پس احتمال مشاهده نشدن خطا در تمامی بیست آزمون دیگر برابر است با نود و پنج صدم به توان بیست. این میزان تقریبا برابر است با سی و شش صدم! بنابراین افزایش قابل توجهی در وجود خطای نوع یک یا همون مثبت کاذب در کل مطالعه وجود دارد. حالا فرض کنید به جای بیست ژن، صدتا یا هزار تا ژن را باهم بررسی کنیم. در این صورت احتمال نبود مثبت کاذب عددی بسیار نزدیک به صفر است. این درحالی که در مطالعات امیک، مثل GWAS یا ترنسکریپتومیک تعداد متغیرها یا همون ژن هایی که همزمان آزمون می شوند خیلی بیشتر از صد تاست مثلا یک میلیون SNP یا بیست هزار ژن.
چگونه مقادیر P را تصحیح کنیم؟
در ادامه مقاله ما دو روش متداول برای تصحیح مقدار P بدون جزئیات و فرمولهای ریاضی عمیق معرفی کردیم که در اینجا به صورت خلاصه ارائه می دهم. اگر به کدهای R و جزئیات بیشتر مثال ذکر شده علاقه داشتید به خود مقاله در این لینک رجوع کنید.
روش بونفرونی
ساده ترین راه برای تصحیح مقادیر P، استفاده از روش تصحیح محافظه کارانه بونفرونی است. در این روش مقادیر P خام را در تعداد آزمایش ضرب می کنیم و بعد نسبت به حدآستانه از پیش تعریف شده مقایسه می کنیم. این روش تصحیح، به این علت محافظه کارانه است که به طور بالقوه نرخ منفی کاذب را هم افزایش می دهد. منظور از منفی کاذب مواردی است که در واقع صحیح هستند اما به خاطر شرایط سختگیرانه ما غلط گزارش شده اند.
روش بنیامین و هوچبرگ
یک روش تصحیح دیگر که از نظر فلسفی متفاوت و قدرتمندتر است، روشی است که توسط بنیامین و هوچبرگ تحت عنوان FDR ارائه شده است. در این روش، ابتدا مقادیر P به صورت صعودی رتبه بندی می کنیم، سپس در تعداد آزمایش تقسیم بر رتبه هر مقدار P در بردار مرتب شده، ضرب می کنیم. با این کار، احتمال گزارش منفی کاذب به مراتب کمتر می شود.
برای مقایسه بهتر این دو روش تصحیح آزمایش چندگانه، به تصویر زیر نگاه کنید. این شکل با بردار بزرگی از مقادیر P تصادفی رسم شده است. توزیع این مقادیر قبل از تصحیح و بعد از تصحیح با دو روش بالا نشان داده شده است. روش بونفرونی به طور چشمگیری تعداد مقادیر P معنی دار (یعنی کوچکتر از پنج صدم) را کاهش داده و مقادیر P بزرگ (نزدیک یا برابر 1) را به طور قابل توجهی افزایش داده است. در حالی که روش FDR مقادیر P معنی دارتری را نسبت به بونفرونی حفظ می کند در حالی که مقادیر P غیر معنی دار را با نقطه اوجی در حدود 0.8 افزایش می دهد. این مسئله با تحلیل همبستگی نیز نمایش داده شده است. در این مقایسه مشخص است که در این مثال روش بهتر، روش تصحیح FDR است زیرا نه تنها باعث کاهش مثبت کاذب می شود، بلکه منفی های کاذب را نیز به حداقل می رساند.
فارغ از موضوع مطالعه و ماهیت متغیرها (SNP، ژن های متفاوت بیان شده (DEG) یا اصطلاحات هستی شناسی ژنی (GO))، لحظه ای که چندین آزمایش را روی نمونه های یکسان انجام می دهید با مشکل آزمایش چندگانه در مقادیر P خام مواجه هستید. ارائه راه حل برای این مشکل امری ضروری است. بدون شک این کار، منجر به افزایش اعتبار و تکرارپذیری بیشتر یافته های هر تحقیقی می شود.
