هر آنچه که باید درباره پی-مقدار یا p-value در علم آمار بدانید

در این مقاله به این سوال می‌پردازیم که پی-مقدار (p-value) چیست؟ کجا از آن در علم آمار استفاده می‌شود و چگونه می­‌توان آن را محاسبه کرد؟ در ادامه همه این مفاهیم از دیدگاه آماری مورد بررسی قرار می­‌گیرند.

پی-مقدار یا p-value چیست؟

آیا سناریوی زیر وقتی در مورد پی-مقدار برای محققان علم داده صحبت می­‌کنید آشنا به نظر می‌­رسد؟

جواب بله است. محققان داده در تفسیر پی-مقدار بسیار اشتباه می‌­كنند. یک لحظه برای پاسخ به این سؤالات وقت بگذارید:

• چگونه پی-مقدار را تفسیر ­کنیم؟
• چه مقدار اهمیت برای پی-مقدار باید قرار دهیم؟
• چگونه معناداری پی-مقدار را برای فردی که در مورد علم داده و آمار دانشی ندارد توضیح دهیم؟

این‌ها سؤالات مهمی هستند که هر متخصص علم داده باید بتواند به آن‌ها پاسخ دهد. بیشترین تلاش برای پاسخ به سؤال اول است. نمی‌­توان انتظار داشت که مشتریان خود را در مورد نتیجه یک مدل یادگیری ماشین (machine learning) قانع کنند اگر نتوان نتایج را برای آن­‌ها به درستی شکافت و تفسیر کرد، درست است؟

شما با یکسری فرمول‌­ها و قوانینی در مورد پی-مقدار مواجه می‌­شوید؛ اما دقیقاً نمی­‌دانید چگونه باید آن را تفسیر کنید. چگونه یک بار برای همیشه پی-مقدار را یاد بگیریم؟

در این مقاله، برای فهمیدن پی-مقدار از پایه گام به گام پیش خواهیم رفت و همچنین تفسیرهای سنتی (غلط) از پی-مقدار را از بین می بریم.

1. پی-مقدار چیست؟

2. معناداری آماری

3. مثال پی-مقدار در آمار

4. برخی از تفسیرهای سنتی (غلط) در مورد پی-مقدار

تعریف p-value

برای درک و پاسخ دادن به این سوال از توزیع نرمال استفاده می‌­شود:

حال فرض کنید که یک مقدار تصادفی از این توزیع انتخاب شود­. احتمال اینکه این مقدار نزدیک به میانگین باشد زیاد است (به دلیل وجود مقادیر زیاد در این منطقه) و در توزیع نرمال، میانگین، میانه و مد (قله) برابر هستند. اگر از قله فاصله بگیریم احتمال رخداد مقادیر به سرعت به سمت مقادیر بسیار کوچک و نزدیک به صفر کاهش می­‌یابد.

این مقاله در مورد پی-مقدار است؛ اما چرا به توزیع نرمال اشاره شده است؟ یه منظور سادگی و تعریف قابل فهم تر پی-مقدار از توزیع نرمال که در بالا معرفی شده استفاده می‌کنیم.

پی-مقدار احتمال تجمعی (مساحت زیر منحنی) مقادیر در سمت راست نقطه قرمز در شکل بالا است.

یا،

با در نظر گرفتن نقطه قرمز، پی-مقدار بیانگر «احتمال کلی» وجود مقادیر در سمت راست نقطه قرمز است هنگامی ­که مقادیر به طور تصادفی از توزیع نرمال انتخاب می­‌شوند.

پی-مقدار به خودی خود هیچ ارزشی ندارد. p-value بزرگ نشان می­‌دهد که شباهت نمونه به جامعه بیشتر است. به همین سادگی.

معناداری آماری پی-مقدار

مقدار آلفا که به عنوان سطح معناداری نیز نامیده می‌­شود مقداری است که در بیشتر مواقع به دلایلی نامعلوم 0.05 یا 5٪ است.

همچنین در کلاس‌­های آماری به ما آموزش داده شده است که اگر پی-مقدار کم‌تر از آلفا باشد یعنی نتایج به دست آمده از نظر آماری معنی‌دار هستند. اما در واقع مقدار آلفا چیست؟

مقدار آلفا چیزی نیست به جز آستانه پی-مقدار که گروهی که آزمایش یا تست را طراحی می­‌کنند، قبل از انجام آزمایش در مورد انتخاب آن تصمیم می­گیرند.

اگر پی-مقدار بدست آمده کم‌تر از آلفا باشد این بدان معنی است که نمونه ما به طور معناداری با جامعه متفاوت است.

توزیع نرمال فوق را دوباره در نظر بگیرید. مساحت زیر منحنی در سمت راست نقطه قرمز در این توزیع بیانگر مقدار آلفا است. نقاط سبز و نارنجی بیانگر نتایج نمونه­‌های متفاوت یک آزمایش هستند.

در نمودار چپ‌ترین نقطه سبز دارای پی-مقدار بزرگ‌تر از آلفا است (مساحت زیر منحنی در سمت راست نقطه سبز). در نتیجه این مقادیر با احتمال نسبتاً بالایی به دست می‌­آیند و نتایج نمونه به عنوان خوش شانس تلقی می‌­شوند.

سمت راست‌ترین نقطه (نارنجی) دارای پی-مقدار کمتر از مقدار آلفا است. در نتیجه ، نتایج نمونه بسیار بعید است که خوش شانس باشند. بنابراین آن‌ها تفاوت معناداری با جامعه دارند.

مقدار آلفا بسته به نوع آزمایش تعیین می­شود. اگر مطمئن نیستید که چه مقدار را باید در نظر بگیرید مقدار آلفای 0.05 در نظر گرفته می‌­شود.

اما تبصره‌ه­ایی در این مورد وجود دارند؛ هرچه مقدار آلفایی که در نظر گرفته می‌­شود کوچکتر باشد، معناداری نتایج، سخت‌تر خواهد بود. به خاطر داشته باشید که مقدار آلفا از یک آزمایش تا آزمایش دیگر متفاوت خواهد بود و هیچ مقدار آلفایی به عنوان یک قانون کلی وجود ندارد.

پی-مقدار < alpha

توزیع نرمال زیر را در نظر بگیرید:

در این‌جا مساحت زیر منحنی در سمت راست نقطه قرمز مقدار آلفا را نشان می­‌دهد. به وضوح می‌توانید ببینید که مساحت زیر منحنی در سمت راست آستانه بسیار کوچک است.

پی-مقدار عبارت از مساحت زیر منحنی در سمت راست نقطه نارنجی است. با توجه به این نمودار پی-مقدار از آلفا کوچک‌تر است (رد فرض صفر و معنادار). نتایج به دست آمده حاکی از آن است که نمونه، یک رویداد بسیار نادر از توزیع جامعه است (منحنی آبی) و از این رو ممکن است با درصد بالایی به برخی دیگر از توزیع­‌ها (منحنی نارنجی) تعلق داشته باشد.

پی-مقدار > alpha

پی-مقدار بیشتر از آلفا به معنای این است که دلیلی برای رد فرض صفر وجود ندارد و بنابراین نمی‌­توان فرض صفر را رد کرد. این نتیجه اغلب خلاف فرض مقابل است و نتایج به دست آمده معنادار نیستند.

باز هم به منظور سادگی توزیع جامعه نرمال را در نظر بگیرید:

پی-مقدار بزرگ‌تر از آلفا (با در نظر گرفتن مساحت زیر منحنی در سمت راست نقاط قرمز و نارنجی) را می‌­توان به شرح زیر تفسیر کرد:

نتایج نمونه صرفاً رخدادهای با احتمال کم از توزیع جامعه هستند و به احتمال زیاد شانسی بدست آمده‌­اند.

مساحت زیر منحنی جمعیت در سمت راست نقطه نارنجی بسیار بزرگ‌تر از مقدار آلفا است. این بدان معنی است که نتایج به دست آمده بیش‌تر احتمال دارد که بخشی از همان توزیع جامعه (منحنی آبی) باشد تا اینکه متعلق به یک توزیع دیگر (منحنی نارنجی) باشد.

مثالی از پی-مقدار

استفاده از پی-مقدار در علم آمار قابل درک است و حتی بارها در مورد آن شنیده‌ایم؛ اما پی-مقدار در حیطه علم داده در کجا جای دارد؟

گر چه بسیاری از محققان علم داده مفهوم پی-مقدار را می‌دانند، آن‌ها نمی‌­دانند چگونه از این دانش در علم داده استفاده کنند. نتیجه‌­اش این می­‌شود که آن‌ها نمی‌­توانند از یک روش بسیار قدرتمند در بهبود مدل­‌های خود استفاده کنند.

پی-مقدار یک معیار مهم در فرآیند انتخاب ویژگی است. در انتخاب ویژگی سعی می‌­شود بهترین زیرمجموعه از متغیرهای مستقل برای ساخت مدل را پیدا کرد.

حال ممکن است بپرسید «چرا از همه متغیرهای مستقل استفاده نمی‌­کنید؟»

در واقع استفاده از متغیرهای زائد و اضافی باعث پیچیدگی مدل می­‌شود. علاوه بر این، آن­‌ها می‌­توانند عملکرد مدل را از نظر درستی و دقت و زمان اجرا کاهش دهند.

در نظر بگیرید هدف پیش‌بینی سود حاصل از استارتا‌پ‌­ها بر اساس متغیرهای مستقل زیر است:

با استفاده از کتابخانه statsmodels در پایتون یک مدل رگرسیون OLS (حداقل مربعات معمولی) برای این پیش‌­بینی استفاده شده است که نتایج آن عبارت است از:

این جدول کلیه نتایج مربوط به متغیرهای مستقل را نشان می‌­دهد؛ اما در حال حاضر فقط ستون­ حاوی مقادیر پی-مقدار بررسی می­‌شود. به وضوح می­توان دید که پی-مقدار مربوط به متغیرهای مستقلR&D Spend ، Administration و State_California بیش‌تر از 0.5 است!

اما سوال این جاست که این پی-مقدار در مدل رگرسیون به چه معنی است؟ برای پاسخ به این سوال ابتدا باید فرضیه‌­ای که برای محاسبه این پی-مقدارها استفاده می‌شود بررسی شود:

فرض صفر: متغیر مستقل تأثیر معنی داری نسبت به متغیر هدف ندارد.

فرض مقابل: متغیر مستقل تأثیر معنی داری بر متغیر هدف دارد.

نتایج فوق نشان می­‌دهد که R&D Spend ،Administration و State_California تأثیر معنی‌داری نسبت به Profit (سود کسب شده) ندارند. از آن جا که وجود این متغیرها توسط مدل پیشنهادی رد شد می‌­توان با حذف این سه متغیر عملکرد مدل را بررسی نمود و لذا تنها دو متغیر مستقل زیر در مدل رگرسیونی لحاظ می‌­شوند.

به طور مشابه با استفاده از کتابخانه statsmodels یک مدل رگرسیونی OLS (حداقل مربعات معمولی) در نظر گرفته می‌­شود که نتایج آن به صورت زیر است:

اکنون فقط پی-مقدار یک متغیر (State_Florida) بیشتر از مقدار 0.05 باقی مانده است . آیا این متغیر باید از مدل حذف شود؟ اگر مقدار آلفا 0.05 در نظر گرفته شود، متغیر State_Florida حذف می‌شود. اگر آلفا 0.1 انتخاب شود متغیر در مدل باقی می­‌ماند. لذا با توجه به مقدار آلفا متغیرهای مستقل در مدل می­‌مانند یا حذف می­‌شوند.

مهم‌ترین نکته­ای که باید در این مدل به آن توجه شود این است که اگرچه سه متغیر مستقل از مدل حذف شدند؛ اما مقدار R-Square تعدیل شده بالا رفته است. به کمک پی-مقدار، نه تنها یک مدل ساده­‌تر با متغیرهای کمتری ساخته شد بلکه عملکرد مدل نیز بهبود یافت که این اتفاق خوب را مدیون استفاده از پی-مقدار هستیم.

برخی از تفسیرهای سنتی (غلط) از p-value

در شرایط گوناگونی افراد ممکن است پی-مقدار را به اشتباه تفسیر ­کنند. در اینجا فقط چند مورد از اشتباهات رایج آورده شده است:

1. پی-مقدار بیانگر مقدار احتمال این است که فرض صفر به اشتباه رد شود: اگرچه پی-مقدار پایین رد شدن فرض صفر را تقویت می­‌کند؛ اما چیزی در مورد احتمال رد شدن آن به ما نمی‌­گوید.

2. پی-مقدار بیانگر سطح معناداری است: سطح معناداری قبل از انجام آزمایش انتخاب می‌­شود و با پی-مقدار متفاوت است. اگر پی-مقدار از سطح معناداری کمتر باشد (p <alpha)، می‌توان رد شدن فرض صفر را نتیجه گرفت.

3. پی-مقدار بیانگر بزرگی اثر متغیر است: پی-مقدار به هیچ وجه نشان دهنده میزان شدت مداخله متغیر در مدل نیست.

4. پی-مقدار بیانگر مقدار احتمال این است که فرض صفر درست است: پی-مقدار بالا فقط به معنای این است که داده­‌های مورد بررسی با فرض صفر بسیار سازگار هستند نه چیزی بیشتر.

نمونه‌های بسیار دیگری از این گونه اشتباهات رایج را می‌توان مثال زد! این موارد را به خاطر داشته باشید، برای دفعات بعدی که با پی-مقدار سر و کار دارید این موارد ممکن است به یاریتان بیاید تا درک بهتری از تحلیل آماری خود داشته باشید.

سخن پایانی

در این مقاله یک روند مرحله به مرحله برای درک پی-مقدار ارائه شد. با روشی که در این مقاله توضیح داده شد همراه با ارائه­‌ی مثالی در آمار، پی-مقدار می­تواند برای یک فرد آماری بی­تجربه یا یک متخصص جدید بسیار جذاب باشد. اکنون شما می­توانید پی-مقدار را برای هر کسی به طور ساده و قابل فهم توضیح بدهید بدون اینکه نیاز به درک مفاهیم سخت و پیچیده در مورد آن داشته باشید.