جزوه دوره آمار و احتمال دکتر علی شریفی - جلسه ششم - تابع جرم احتمال، توزیع تجمیعی احتمال، امید ریاضی و واریانس

منبع اصلی این پست، دوره آمار و احتمال مهندسی دکتر علی شریفی زارچی از آکادمی مکتبخونه می‌باشد. لطفاً برای حفظ حقوق منتشر کننده اصلی، ویدیوهارو از منبع اصلی دنبال کنید. همچنین، در انتهای هر جلسه، به ویدیو مربوط به آن جلسه ارجاع داده شده است.

سعی کردم هرچیزی که از ویدیوها فهمیدم رو به صورت متن در بیارم و در این پلت‌فورم با بقیه به اشتراک بذارم. کل ویدیوها 27 تاست که سعی می‌کنم هفته‌ای یک الی دو جلسه رو منتشر کنم. تا جایی که تونستم سعی کردم خوب و کامل بنویسم، اما اگر جایی ایرادی داشت، حتما تو کامنت‌ها بهم بگید تا درستش کنم.

پیشنهاد می‌کنم قبل از خوندن ادامه مطلب، یک کاغذ و قلم جلو دستتون باشه تا بتونید روابط ارائه شده رو در جاهایی که لازم هست برای خودتون تو کاغذ بنویسید و محاسبات لازم رو خودتون هم انجام بدین تا بهتر متوجه بشید که در هر مرحله چه اتفاقی میفته.

توجه: در ادامه این پست منظور از A' و 'A متمم مجموعه A و منظور از B' و 'B متمم مجموعه B است.

مروری بر مباحث جلسه گذشته

تا به اینجا متوجه شدیم که یک آزمایش می‌تونه تصادفی باشه و می‌تونه یک سری پیشامد یا outcome داشته باشه. مثلاً در آزمایش پرتاب یک سکه، پیشامد می‌تونه شیر یا خط باشه. فضای نمونه یا sample space رو هم تعریف کردیم. مجموعه‌ای هست که پیشامدهای یک آزمایش در اون قرار می‌گیرن. مثلاً در پرتاب یک سکه فضای نمونه به صورت زیر تعریف میشه:

{شیر، خط} = امگا

رویداد یا event رو هم به صورت یک زیر مجموعه از مجموعه امگا تعریف کردیم. مثلاً:

A ⊂ Ω

در جلسه گذشته مفهومی رو با عنوان متغیر تصادفی بررسی کردیم که یک تابع هست که ورودی اون یک پیشامده و خروجی اون یک عدد حقیقی و معمولاً با حروف بزرگ نشونشون میدیم. مثلاً یک متغیر تصادفی در پرتاب یک سکه می‌تونه به صورت زیر تعریف بشه:

اگر شیر اومد خروجی رو بکن 1

اگر خط اومد خروجی رو بکن 2

مقادیری هم که در نظر گرفته میشن به صورت قراردادی و دلخواه هست.

همچنین دیدیم که یک متغیر تصادفی می‌تونه یک احتمال داشته باشه. مثلاً در همین مثال بالا می‌تونیم داشته باشیم:

P(X=1) = 1/2

با مفهوم دیگری نیز به نام تابع جرم احتمال آشنا شدیم. نکته‌ای که در خصوص تابع جرم احتمال وجود داره اینکه فقط در خصوص متغیر تصادفی گسسته تعریف میشه. اصلاً مگه متغیر تصادفی چه انواعی داره؟ می‌تونه گسسته یا پیوسته باشه. مثال گسسته رو بالاتر دیدیم. اگر پیوسته باشه مثلاً میشه قد دانشجویان یک کلاس رو در نظر گرفت. برای متغیر تصادفی پیوسته تابع جرم احتمال نداریم، چیز دیگه‌ای داریم که در جلسات آینده خواهیم دید.

تابع جرم احتمال یا Probability Mass Function

تابع جرم احتمال در واقع تابعی هست که به ازای مقادیر مختلف یک متغیر تصادفی، احتمال وقوعش رو میده. می‌تونیم به صورت زیر تعریفش کنیم:

P(X=x), x ⋴ Range(X)

تو مثالی که بالاتر زدیم Range(X) برابر هست با:

Range(X) = {1, 2}

همچنین، تابع جرم احتمال در مثال بالا برابر هست با یک تابعی از Range(X) به [0, 1]. مثلا Range(X) در مثال پرتاب سکه 1 و 2 هست و احتمال اومدن هر کدوم برابر هست با 1/2. پس تابع جرم احتمال به صورت زیر میشه:

ویژگی‌های تابع جرم احتمال

فرض کنید P یک تابع جرم احتمال روی متغیر X باشه و به این صورت نشونش بدیم:

P → PMF_X

می‌تونیم بگیم رابطه زیر برقرار هست. این رابطه یعنی تابع جرم احتمال همیشه بین 0 تا 1 هست:

به ازای همه مقادیری که در برد متغیر تصادفی X هستن، جمع همشون باید برابر با 1 باشه:

یه ویژگی سوم هم وجود داره که با یک مثال توضیح میدیم. فرض کنید X متغیر تضادفی پرتاب یک تاس هست و داریم:

Range(X) = {1, 2, 3, 4, 5, 6}

همچنین S یک زیرمجموعه از X هست و براش داریم:

S = {2, 3}

حالا، احتمال اینکه هر یک باری که تاس رو میریزیم و x ای که میاد عضو S باشه چقدر میشه؟ میشه:

P(x ∈ S) = 1/6 + 1/6 = 2/6 = 1/3

حالا مقداری که اینجا به دست میاد باید برابر بشه با جمع تابع جرم احتمال در نقاط 2 و 3 که میشه و درسته:

تابع توزیع انباشته Cumulative Distribution Function

این تابع در متغیر تصادفی گسسته برابر هست با مجموع PMF از بی‌نهایت تا هر نقطه X. برای همون مثال تاس اگه بخوایم CDF رو نشون بدیم به صورت زیر میشه:

حالا با CDF آشنا شدیم ولی به چه دردی میخوره؟ فرض کنید یه تابعی داریم به صورت F(x). اسم این تابع رو میذاریم تابع CDF روی متغیر تصادفی X. منظور از X متغیر تصادفی‌ای هست که مقادیر مختلف میتونه بگیره. مثلاً تو پرتاپ تاس اعداد 1 تا 6 نشون دهنده X هستن. منظور از x ورودی تابع F هست که هر عددی می‌تونه باشه. تو همین مثال تاس تابع F(x) به صورت زیر تعریف میشه:

واضحه که تابع F(x) معادل هست با:

F(x) = P(X ⩽ x)

رابطه P(X ⩽ x) داره میگه بیا بگو به ازای هر نقطه x احتمال اینکه X کوچیک‌تر یا مساوی x باشه چقدره.

امید ریاضی یا Expected Value

در جلسه اول مثالی مطرح کردیم از یک مسابقه تلویزیونی و جایزه‌ای که داشت و تعداد افراد شرکت‌کننده. در اون مثال دنبال این بودیم که ببینیم به طور متوسط با شرکت در اون مسابقه چقدر گیرمون میاد. مفهومی که تو اون مثال دنبالش هستیم دقیقاً اسمش امید ریاضی هست.

فرض کنید مسابقه‌ای وجود داره و به صورت زیر برگزار میشه:

هزینه شرکت در مسابقه: 10.000
جایزه برنده: 100.000.000
تعداد شرکت‌کنندگان: 1.000.000
قرعه کشی منصفانه و شانس همه برابر است.

حالا می‌خوایم ببینیم Expected Value چقدر هست.

فرض کنید یه متغیر تصادفی X داریم که بهمون نشون میده بعد مسابقه چقدر به پولمون اضافه میشه. اگه X مثبت بشه یعنی جایزه بردیم، اگه منفی شه یعنی فقط هزینه کردیم و یه چیزی هم از دست دادیم. X دو حالت داره. یا می‌بریم یا می‌بازیم:

حالا احتمال هر دو حالت رو هم حساب می‌کنیم:

P(X = 99.990.000) = 1/1.000.000

P(X = -10.000) = 999.999/1.000.000

حالا اگه بخوایم E(X) رو حساب کنیم به صورت زیر میشه. انگار که میانگین وزن دار میگیریم:

E(X) = (99.990.000 / 1.000.000) - ((10.000 * 999.999) / 1.000.000) ≅ -9.900

امید ریاضی به دست اومده داره میگه که اگه تو این مسابقه شرکت کنی، انتظار داشته باش که حدود 9900 تومن ضرر کنی.

حالا اگه بخوایم برای امید ریاضی تو حالت گسسته یه فرمول ارائه بدیم به صورت زیر میشه:

E(X) = ∑ P(X=x) x , (x ⋴ R_x)

حالا برای اینکه مطمئن بشیم مفهوم امید ریاضی خوب جا افتاده چند تا مثال ساده دیگه رو هم بررسی کنیم.

امید ریاضی X اگه X پرتاب‌های یک تاس باشه چقدر میشه؟

E(X) = 1*1/6 + 2*1/6 + 3*1/6 + 4*1/6 + 5*1/6 + 6*1/6 = 21/6

الان عدد بالا داره میگه که اگه یه تاس رو بی‌نهایت بار بندازیم و بعد میانگین بگیریم، متوسط اعدادی که به دست میاد برابر میشه با 21/6.

حالا یه مثال دیگه.

فرض کنید دو متغیر تصادفی X و Y داریم.

X : متغیر تصادفی پرتاب تاس
Y = 3X + 1

امید ریاضی X رو در مثال قبلی حساب کردیم و برابر شد با 21/6. الان دنبال این هستیم که امید ریاضی Y رو حساب کنیم. امید ریاضی Y به صورت زیر محاسبه میشه:

می‌دونیم که بین Y و X یک تناظری وجود داره. اما لزوماً این تناظر یک به یک نیست. مثلاً اگر داشتیم:

X = {-1, 0 ,1}

Y = X^2

این تناظر یک به یک نبود.

حالا، چجوری می‌تونیم E(Y) رو به دست بیاریم؟

می‌دونیم که Range(X) = {1, 2, 3, 4, 5, 6} هست به این ترتیب می‌تونیم Range(Y) رو هم حساب کنیم که داریم:

Range(Y) = {4, 7, 10, 13, 16, 19}

از طرفی می‌دونیم احتمال رخداد هر y برابر با 1/6 هست. پس داریم:

E(Y) = 1/6 * (4+7+10+13+16+19) = 69/6

حالا می‌خوایم اثبات کنیم که رابطه زیر برقرار هست:

E(Y) = 3 E(X) + 1 = 3 * 21/6 + 1 = 69/6

به صورت کلی‌تر اگه بنویسیم، می‌خوایم اثبات کنیم که رابطه زیر برقرار هست:

y = ax + b → E(Y) = aE(X) + b

اثبات:

به ازای متغیر تصادفی X داریم:

E(X) = ∑ x P(X=x)

و متغیر تصادفی Y به صورت زیر تعریف شده است:

Y = aX + b, y = ax + b

فرض کنید به جای x در رابطه بالا مقدار y را جایگزین کنیم، در این صورت خواهیم داشت:

∑ (ax + b) P(X=x) =
∑ (ax P(X=x) + b P(X=x)) =
∑ ax P(X=x) + ∑ b P(X=x)  = 
a∑ x P(X=x) + b∑ P(X=x)  = 
a E(X) + b

از طرفی داریم:

∑ (ax + b) P(X=x) =
∑ y P(X=x) = 
∑ y P(aX+b=ax+b) =
∑ y P(Y=y) =
E(Y)

از طرفی در دو سلول بالاتر اثبات کردیم که:

∑ (ax + b) P(X=x) = a E(X) + b

پس:

∑ (ax + b) P(X=x) = a E(X) + b = E(Y)

اثبات شد.

سوال: اگر در پرتاب یک تاس، متغیر تصادفی به جای بازه 1 تا 6، شامل اعداد 0 تا 5 باشد، مقدار امید ریاضی پرتاب تاس تغییر می‌کند؟

بله. فرض کنید متغیر تصادفی X برابر باشد با پرتاب یک تاس و Range(X) = {1, 2, 3, 4, 5, 6} برقرار باشد. یک متغیر تصادفی جدید به نام Y تعریف می‌کنیم که برایش داریم:

Range(Y) = {0, 1, 2, 3, 4, 5}

از آنجایی که داریم:

Y = X - 1

پس به این ترتیب:

E(Y) = E(X) - 1 = 21/6 - 1 = 15/6

نکته: متغیر تصادفی گسسته متغیری است که بُرد آن شامل اعداد گسسته باشد.

واریانس

بریم سراغ بررسی یک مثال گسسته دیگه.

فرض کنید سه تابع جرم احتمال X و Y و Z داریم که به صورت زیر هستند:

از طرفی داریم:

E(X) = E(Y) = E(Z) = 5

چیزی که در این سه تابع متفاوت هست، مقدار تغییرات متغیر تصادفی حول متوسط آن (عدد 5 در مثال بالا) است. به این تغییرات حول میانگین واریانس گفته می‌شود. به عبارتی دیگه، یعنی اینکه چقدر یک متغیر تصادفی می‌تواند از Expected Value خودش دورتر شود.

در مثال بالا واریانس Z صفر هست، واریانس Y ماکسیمم هست و واریانس X نسبت به واریانس Y کمتر هست.

فرمول واریانس برابر هست با:

E(X - E(X))^2

که داره میگه Expected تغییرات X نسبت به Expected X به توان 2.

حالا سوال. اگه توان دوم رو نمی‌ذاشتیم چی میشد؟ از اونجایی که E(X) همواره یک عدد ثابت هست، خواهیم داشت:

E(X - E(X)) = E(X) - E(X) = 0

عبارت بالا به این دلیل 0 میشه چون همون اندازه‌ای که X به طرف راست میره، به همون اندازه هم X به طرف چپ میره، یه جورایی هم دیگه رو خنثی میکنن و برای همین 0 میشه. (برای اینکه واضح‌تر بشه این مثال رو در نظر بگیرید که اگه معدل یک نفر 17 بشه و به تعداد m تا نمره پایین 17 داشته باشه، به همون تعداد هم نمره بالای 17 داره).

حالا چون این فاصله برامون مهم هست و می‌خوایم که هم دیگه رو خنثی نکنن، برای همین یک توان 2 براش در نظر می‌گیریم. می‌تونیم بعد محاسبه توان دوم حاصل رو ببریم زیر رادیکال و ازش جذر بگیریم که در این صورت دیگه واریانس نداریم و بهش انحراف از معیار میگن.

Var(X) = E(X - E(X))^2
SD(X) = √Var(X)

حالا بعنوان نمونه بیایم برای مثال تاس واریانس رو حساب کنیم:

X = {1, 2, 3, 4, 5, 6}
E(X) = 21/6
p(x) = 1/6
Var(X) = E(X - E(X))^2 = ∑ (x - E(x))^2 p(x)
x - E(x) = {-5/2, -3/2, -1,2, 1/2, 3/2, 5/2}
(x - E(x))^2 = {25/4, 9/4, 1/4, 1/4, 9/4, 25/4}
(x - E(x))^2 p(x) = {25/24, 9/24, 1/24, 1/24, 9/24, 25/24}
 ∑ (x - E(x))^2 p(x) = 70/24
Var(X) = 70/24

عدد 70/24 داره این رو نشون میده که در پرتاب یک تاس به اندازه 70/24 می‌تونیم از مقدار Expected Value دورتر بشیم.

جمع‌بندی مطالب ارائه شده

مفاهیم PMF و CDF رو بررسی کردیم. با مفهوم امید ریاضی و واریانس آشنا شدیم.

اگر جایی ایراد یا مشکلی بود، حتما بهم بگید تا تصحیحش کنم. همچنین، پیشنهاد می‌کنم که حتماً صفحه گیت‌هاب این دوره رو مورد بررسی قرار بدین. حتماً به دردتون می‌خوره.

ویدیو این جلسه

صفحه گیت‌هاب مرتبط با این دوره

جزوه جلسه قبلی (جلسه پنجم)

جزوه جلسه بعدی (جلسه هفتم)