منبع اصلی این پست، دوره آمار و احتمال مهندسی دکتر علی شریفی زارچی از آکادمی مکتبخونه می‌باشد. لطفاً برای حفظ حقوق منتشر کننده اصلی، ویدیوهارو از منبع اصلی دنبال کنید. همچنین، در انتهای هر جلسه، به ویدیو مربوط به آن جلسه ارجاع داده شده است.
سعی کردم هرچیزی که از ویدیوها فهمیدم رو به صورت متن در بیارم و در این پلت‌فورم با بقیه به اشتراک بذارم. کل ویدیوها 27 تاست که سعی می‌کنم هفته‌ای یک الی دو جلسه رو منتشر کنم. تا جایی که تونستم سعی کردم خوب و کامل بنویسم، اما اگر جایی ایرادی داشت، حتما تو کامنت‌ها بهم بگید تا درستش کنم.
پیشنهاد می‌کنم قبل از خوندن ادامه مطلب، یک کاغذ و قلم جلو دستتون باشه تا بتونید روابط ارائه شده رو در جاهایی که لازم هست برای خودتون تو کاغذ بنویسید و محاسبات لازم رو خودتون هم انجام بدین تا بهتر متوجه بشید که در هر مرحله چه اتفاقی میفته.
توجه: در ادامه این پست منظور از A' و 'A متمم مجموعه A و منظور از B' و 'B متمم مجموعه B است.
مفهوم استقلال و وابستگی رو بررسی کردیم و گفتیم دو رویداد رو مستقل از هم میگیم هرگاه اطلاعات یکی از رویدادها تاثیری در رویداد دیگه نذاره. به عبارتی دیگه:
P(A | B) = P(A)
P(B | A) = P(B)
و از این دو رابطه به رابطه زیر می‌رسیدیم:
P(A ∩ B) = P(A) P(B)
حالا یه سوال. فرض کنید دیتای 1000 تا خانواده رو جمع کردیم که دارای دو فرزند هستند. حالا اتفاقی که افتاده اینطور بوده که اون خانواده‌هایی که دو تا دختر داشتن (یعنی احتمال اینکه بچه اول دختر باشه و احتمال اینکه بچه دوم دختر باشه) یعنی P(A ∩ B) دقیقاً با P(A) P(B) برابر نمیشه و اندازه یک هزارم جواب‌ها باهم تفاوت دارند. در این صورت دو رویداد A و B رو مستقل از هم در نظر می‌گیرید، یا چون دو طرف رابطه دقیقاً باهم برابر نشدن، دو رویداد رو غیر مستقل از هم در نظر می‌گیرید؟
قضیه اینکه وقتی میایم آمار می‌گیریم همه نمونه‌ها رو که نداریم، باید بیایم از رو نمونه‌هایی که داریم تخمین بزنیم که آیا دو رویداد A و B مستقل از هم هستند یا بهم وابسته‌اند. حالا اینجا باید چه تصمیمی بگیریم؟
یه رویکرد اینکه بگیم چقدر احتمال داره که دو رویداد از هم مستقل باشن و چقدر احتمال داره که بهم وابسته باشن. حالا اینکه چجوری اینارو تست می‌کنیم و این احتمال‌هارو به دست بیاریم رو در جلسات آینده مفصل در موردشون توضیح خواهیم داد.
یه جمله هست که میگه "روح اصلی آمار شرطی بودن اون هست" و تقریباً هر اتفاقی که در آمار و احتمال میفته رو می‌تونیم به صورت شرطی در بیاریم.
حالا یه مثال رو در نظر بگیرید.
فرض کنید یه تاسی رو یک بار می‌اندازیم، رویداد اینکه عدد تاس 5 بیاد رو رویداد A در نظر می‌گیریم. بار دوم تاس رو می‌اندازیم و رویداد اینکه در دفعه دوم هم عدد 5 بیاد رو رویداد B در نظر می‌گیریم. یک رویداد C هم در نظر بگیرید که اینطور باشه که جمع دو بار تاس انداختن برابر بشه با 10.
حالا سوال. آیا می‌تونیم بگیم دو رویداد A و B از هم مستقل هستند یا نه؟
بله مستقل هستند. چون داریم:
P(A) = 1/6
P(B) = 1/6
P(A ∩ B) = 1/6 * 1/6 = 1/36 = P(A) P(B)
پس انگار داریم:
P(A | B) = P(A)
P(B | A) = P(B)
حالا اگه اینطور باشه که بهمون بگن می‌دونیم رویداد C حتماً اتفاق افتاده، یعنی دو بار تاس ریختیم و می‌دونیم که جمع دو تاس 10 شده. آیا باز هم A و B از هم مستقل هستند؟
اگه بخوایم سوال رو به زبان ریاضی بنویسیم میگه بیا بررسی کن که آیا روابط زیر درست هستند یا نه:
P(A | C, B) = P(A | C ∩ B) = P(A | CB) ≟ P(A | C)
P(B | C, A) = P(B | C ∩ A) = P(B | CA) ≟ P(B | C)
اگه براتون سوال شد روابط بالا یعنی چی، مثل این می‌مونه که انگار بیایم به روابط زیر یه ترم given C اضافه کنیم:
P(A | B) = P(A)
P(B | A) = P(B)
بعد از اضافه کردن given C:
P(A | BC) = P(A | C)
P(B | AC) = P(B | C)
اگه بخوایم روابط بالا رو به صورت فارسی بگیم به این صورت گفته میشه: دو تا رویداد مستقل هستند به شرط C یا اینکه دو تا رویداد مستقل هستند given C اگر روابط زیر برقرار باشد:
P(A | BC) = P(A | C)
P(B | AC) = P(B | C)
حالا اگر دو رابطه بالا برقرار باشند، نتیجه میشه اینکه A و B با دانستن C مستقل هستند.
حالا برگردیم به سوالی که داشتیم. می‌خوایم ببینیم اگه بدونیم C رخ داده باشه آیا همچنان دو رویداد B و A از هم مستقل هستند یا خیر؟
اول بریم P(A | C) رو محاسبه کنیم:
P(A | C) = P(A ∩ C) / P(C) = (1/36) / (3/36) = 1/3
حالا بریم سراغ محاسبه P(A | BC):
P(A | BC) = P(A ∩ B ∩ C) / P(B ∩ C) = (1/36) / (1/36) = 1
حالا چون داریم:
P(A | C) ≠ P(A | BC)
پس با دونستن C دو رویداد A و B از هم مستقل نیستند.
اگه بخوایم به یک جمع‌بندی در مورد همه مواردی که تا اینجا گفتیم برسیم به این صورت خواهد بود:
دو رویداد که از هم مستقل هستند با دونستن اطلاعات جدید ممکن است دیگر از هم مستقل نباشند و استقلالشون رو از دست بدن. برعکس این مورد هم ممکنه.
حالا بریم جزییات بیشتری از این روابط رو بررسی کنیم.
گفتیم روابط زیر برقرار هست:
P(A | B, C) = P(A | C)
P(B | A, C) = P(B | C)
می‌تونیم روابط بالا رو باز کنیم و به رابطه‌ی زیر برسیم:
P(A | B, C) = P(A | C) = P(A ∩ B ∩ C) / P(B ∩ C) = P(A ∩ C) / P(C)
حالا میشه یک طرفین وسطین انجام داد و خواهیم داشت:
P(A ∩ B ∩ C) / P(A ∩ C) = P(B ∩ C) / P(C)
از رابطه بالا می‌تونیم به رابطه زیر برسیم:
P(B | A, C) = P(B | C)
تمام این روابط به شرطی برقرار هست که P(C) از صفر بزرگ‌تر باشه.
میشه حتی به روابط دیگه‌ای هم رسید. مثلاً رابطه زیر رو که یکم بالاتر هم حسابش کردیم در نظر بگیرید:
P(A | B, C) = P(A | C) = P(A ∩ B ∩ C) / P(B ∩ C) = P(A ∩ C) / P(C)
فرض کنید میایم به صورت زیر تغییرش می‌دیم:
P(A ∩ B ∩ C) = P(A ∩ C) P(B ∩ C) / P(C)
و بعد طرفین رو بر P(C) تقسیم می‌کنیم:
P(A ∩ B ∩ C) / P(C) = P(A ∩ C) P(B ∩ C) / P(C) P(C)
رابطه بالا معادل هست با:
P(A ∩ B | C) = P(A | C) P(B | C)
این رابطه آخری که به دست آوردیم، در واقع ورژن شرطی رابطه زیر هست:
P(A ∩ B) = P(A) P(B)
کلاً هدف از نوشتن این روابط این بود که نشون بدیم این رابطه‌های به دست اومده همشون باهم هم ارز هستن.
در ادامه یک کوییز در قالب چند سوال آورده شده. در صورت تمایل می‌تونید قبل دیدن جواب خودتون به حل سوالات بپردازید و بعد جوابش رو چک کنید.
شرح مسئله کلی به صورت زیر هست:
حالا تو هر مرحله جواب هر سوال رو محاسبه کنید:
سوال اول: P(A | C) = ?
پاسخ: سوال داره میگه می‌دونیم که سکه معمولی رو انتخاب کردیم. احتمال اینکه پرتاپ اول شیر بیاد چقدره؟ مسلماً میشه 1/2.
P(A | C) = P(A ∩ C) / P(C) = (1/2)(1/2) / (1/2) = 1/2
سوال دوم: P(B | C) = ?
پاسخ: سوال داره میگه می‌دونیم که سکه معمولی رو انتخاب کردیم. احتمال اینکه پرتاپ دوم شیر بیاد چقدره؟ مسلماً بازم میشه 1/2.
P(B | C) = P(B ∩ C) / P(C) = (1/2)(1/2) / (1/2) = 1/2
سوال سوم: P(A ∩ B | C) = ?
پاسخ: سوال داره میگه می‌دونیم که سکه معمولی رو انتخاب کردیم. احتمال اینکه پرتاپ اول شیر بیاد و پرتاب دوم شیر بیاد چقدره؟ میشه 1/4.
P(A ∩ B | C) = P(A ∩ B ∩ C) / P(C) = (1/2)(1/2)(1/2) / (1/2) = 1/4
سوال چهارم: P(A) = ?
پاسخ: دو حالت وجود داره. سکه از نوع سالم باشد و پرتاب اول شیر بیاید یا سکه از نوع ناسالم باشد و پرتاب اول شیر بیاید. پس داریم:
P(A) = (1/2)(1/2) + (1/2)(1) = (1/4) + (1/2) = 3/4
جواب بالا در واقع از فرمول زیر اومده:
P(A) = P(A | C) P(C) + P(A | C') P(C') = (1/2)(1/2) + (1)(1/2) = 3/4
سوال پنجم: P(B) = ?
پاسخ: دو حالت وجود داره. سکه از نوع سالم باشد و پرتاب دوم شیر بیاید یا سکه از نوع ناسالم باشد و پرتاب دوم شیر بیاید. پس داریم:
P(B) = (1/2)(1/2) + (1/2)(1) = (1/4) + (1/2) = 3/4
جواب بالا در واقع از فرمول زیر اومده:
P(B) = P(B | C) P(C) + P(B | C') P(C') = (1/2)(1/2) + (1)(1/2) = 3/4
سوال ششم: P(A ∩ B) = ?
پاسخ: میگه چقدر احتمال داره پرتاب اول شیر بیاد و پرتاپ دوم شیر بیاد؟ دو حالت داریم. یا سکه سالم باشه یا سکه ناسالم باشه. برای هر کدوم جدا جدا حساب می‌کنیم و در نهایت جمع می‌کنیم. پس داریم:
P(A ∩ B) = ((1/2)(1/2)(1/2)) + ((1/2)(1)(1)) = 1/8 + 1/2 = 5/8
سوال هفتم: آیا A و B نسبت بهم مستقل هستند؟
پاسخ: باید این رو بررسی کنیم که آیا رابطه زیر برقرار هست یا خیر:
P(A ∩ B) = P(A) P(B)
سمت چپ مساوی داره میگه احتمال این رو حساب کن که پرتاب اول شیر بیاد و پرتاب دوم هم شیر بیاد که میشه:
P(A ∩ B) = ((1/2)(1/2)(1/2)) + ((1/2)(1)(1)) = 1/8 + 1/2 = 5/8
سمت راست تساوی هم جوابش میشه:
P(A) P(B) = (3/4)(3/4) = 9/16
پس دو رویداد A و B از هم مستقل نیستند.
سوال هشتم: اگر C رو بدونیم، آیا A و B از هم مستقل هستند؟
پاسخ: باید این رو بررسی کنیم که آیا رابطه زیر برقرار هست یا خیر:
P(A ∩ B | C) = P(A | C) P(B | C)
چون مقادیرشو در سوالات قبلی حساب کردیم فقط جایگذاری می‌کنیم و داریم:
1/4 = (1/2)(1/2)
پس با فرض دونستن C دو رویداد A و B از هم مستقل هستند.
حالا در ادامه یک مثال دیگه رو باهم بررسی خواهیم کرد.
فرض کنید یک کارخونه 100 تا لامپ ساخته و می‌دونیم 5 تا از لامپ‌ها خرابه. 3 تا لامپ رو انتخاب کردیم، می‌خوایم احتمال این رو حساب کنیم که هر سه تا لامپ سالم باشه چقدره؟
فرض کنید میایم سه تا رویداد رو به صورت زیر در نظر می‌گیریم:
A = لامپ اول درست
B = لامپ دوم درست
C = لامپ سوم درست
حالا هدف اینکه بیایم مقدار P(A ∩ B ∩ C) رو در نهایت حساب کنیم. قدم به قدم جلو میریم. اول مقدار P(A) رو حساب می‌کنیم:
P(A) = 95/100
بعد مقدار P(A ∩ B) رو به دست میاریم:
P(A ∩ B) = P(B | A) P(A) = (94/99)(95/100)
حالا میایم سراغ محاسبه P(A ∩ B ∩ C):
P(A ∩ B ∩ C) = P(C | A ∩ B) P(A ∩ B ) = P(C | A ∩ B) P(B | A) P(A) = (93/98)((94/99)(95/100))
به قاعده‌ای که در رابطه بالا برای حل مسئله ازش استفاده کردیم، قانون زنجیره‌ای میگن.
در جلسات گذشته دیدیم که برای به دست آوردن اجتماع میشه از رابطه زیر استفاده کرد:
P(A1 ∪ A2 ∪ ... ∪ Ak) = P(∪Ai) = ∑P(Ai) - ∑P(Ai ∩ Aj) + ∑P(Ai ∩Aj ∩ Ak) + ...
حالا به کمک قانون زنجیره‌ای میشه اشتراک رو محاسبه کرد:
P(A1 ∩ A2 ∩ ... ∩ Ak) = P(A1) P(A2 | A1) P(A3 | A2, A1) ... P(Ak | Ak-1, Ak-2, ..., A1)
وقتی میگیم یک تاسی رو می‌اندازیم، فضای احتمال میشه {1, 2, 3, 4, 5, 6} و وقتی میگیم یک سکه‌ای رو می‌اندازیم فضای احتمال میشه {H, T}. حالا اگه بیایم تاس ریختن رو رویداد A در نظر بگیریم و انداختن سکه رو رویداد B، یعنی چی وقتی میگیم بیا A∩B رو محاسبه کن؟ مگه میشه دو تا فضای احتمالی مستقل از هم رو، باهم دیگه مقایسه کرد؟
تو این حالت انگار میایم ضرب دکارتی دو فضای احتمال رو در نظر می‌گیریم و انگار داریم فضای احتمال جدیدی رو می‌سازیم که هست {(H, 1), (T, 1), (H, 2), ..., (6, H), (6, T)}. پس مشکلی نداره اگه بخوایم اشتراک یا اجتماع بگیریم.
متغیر تصادفی تعریف خیلی ساده و واضحی داره. فرض کنید در مورد خانواده‌هایی که دو تا فرزند دارن تحقیق کردیم و X رو یک متغیر تصادفی تعریف کردیم به صورتی که:
در واقع یک مپ کردن هست بین پیشامدها و اعداد. یه جور قرارداده. در واقع داریم هر کدوم از پیشامدها رو به یک عدد از محور حقیقی مپ می‌کنیم. انگار یک تابع است از هر پیشامد (outcome) از فضای نمونه به مجموعه اعداد حقیقی.
مثلاً یک متغیر تصادفی می‌تونه این باشه که بیایم بگیم شیر اومدن سکه رو 1 در نظر می‌گیریم و خط اومدنش رو 0. اگه بخوایم نموداری هم رسم کنیم براش به این صورت میشه:
اگه همین نمودار بالا رو برای مثال خانواده‌ها (با این فرض که جنسیت بچه اول مستقل از جنسیت بچه دوم هست) بکشیم به صورت زیر میشه:
اگه قرار بود متغیر تصادفی رو در مثال خانواده اینجوری در نظر بگیریم که تعداد دخترها رو نشون بده به صورت زیر می‌تونستیم تعریفش کنیم:
نمودارش رو هم بخوایم بکشیم به این صورت میشه:
به این متغیرهای تصادفی که تا اینجا دیدیم می‌گین متغیر تصادفی گسسته. به توابعی هم که نمودارش رو رسم کردیم میگن تابع جرم احتمال یا probability mass function.
حواستون باشه به این نکته که هم متغیر تصادفی یک تابع هست و هم تابع جرم احتمال. این دو تا باهم دیگه فرق دارن. متغیر تصادفی پیشامد میگیره یه عدد میده. مثلاً اگه سکه شیر بیاد میشه 1 سکه خط بیاد میشه 0. تابع جرم احتمال تابعی هست که تو ورودی عدد میگیره، تو خروجی هم بهمون عدد میده. مثلاً تو مثال سکه 1 رو میگیره بمون 1/2 خروجی میده یا 0 رو میگیره بهمون 1/2 خروجی میده.
تابع جرم احتمال باید جمع مقادیر خروجیش 1 بشه و عدداش همگی مثبت باشن چون هیچوقت احتمال منفی نمیشه.
مثال زیر هم یک تابع جرم احتمال هست:
در مورد قانون زنجیره‌ای و استقلال شرطی صحبت کردیم و مفهوم متغیر تصادفی و تابع جرم احتمال رو بررسی کردیم.
اگر جایی ایراد یا مشکلی بود، حتما بهم بگید تا تصحیحش کنم. همچنین، پیشنهاد می‌کنم که حتماً صفحه گیت‌هاب این دوره رو مورد بررسی قرار بدین. حتماً به دردتون می‌خوره.
