سلام!
با یه تاخیر تقریبن زیاد سیر نوشته‌ها رو ادامه می‌دیم. توی نوشته خانم فیروزآبادی که علی‌اکبر نوشته بررسی داده‌محور آموزش متوسطه و پایه رو شروع کردیم و به طور خاص توی اون نوشته به دو مسئله جالب پرداختیم:
۱- معنادار بودن نمرات دانش‌آموزان در پایه‌های ابتدایی
۲- تاثیر تعداد نفرات حاضر در کلاس بر یادگیری بیشتر دانش‌آموزان
توی این نوشته به سراغ معلم‌ها می‌ریم، سعی می‌کنیم با استفاده از داده‌ها، تاثیر معلما رو بررسی کنیم. به صورت کلی این مسئله، مسئله مهمیه کما اینکه توی کشور خودمون هم بحث رتبه‌بندی معلمان بحث خیلی داغیه.
برای سنجش معلمان از معیاری به عنوان ارزش افزوده معلم (VA) استفاده می‌کنیم. این معیار به صورت ساده بیان می‌کنه که یک معلم چقدر می‌تونه نمرات دانش‌آموزانش رو افزایش بده. در نوشته قبلی این رو نشون دادیم که نمرات دانش‌آموزان معناداره و می‌شه بهش استناد کرد.
در رابطه با معیار VA سه چالش به صورت کلی مطرح هست:
۱- بایاسد بودن داده‌ها: آیا اختلاف بین دانش‌آموزانِ معلم‌ها، نشون‌دهنده تاثیر اون معلم‌ها هست یا این تفاوت بیشتر به دلیل اختلاف سطح بین خود دانش‌آموزهاست و ربطی به معلم نداره؟
۲- تاثیرات بلندمدت: آیا معلمانی که نمرات بچه‌ها رو افزایش می‌دن، تاثیرات بلندمدت خوبی هم دارند؟ یا صرفن نمره گرفتن تو امتحان‌ها رو خوب درس می‌دن؟
۳- ناپایدار بودن تخمین‌ها: آیا تخمینی که از VA یک معلم بر اساس داده‌های صرفا چند سال به دست می‌آریم، تخمین مناسب و قابل تعمیمی هست؟
سوال: اگه بخواهیم سطح معلمان رو بسنجیم، آزمایش ایدئالی که براش طراحی می‌کنیم چیه؟!
معمولن برای چنین سنجشی، یک راه ایدئال می‌تونه این باشه که دانش‌آموزا رو بین معلم‌ها به صورت تصادفی تقسیم کنیم، در نهایت انتظار داریم معلمانی با VA بیشتر، دانش‌آموزانش نمراتش بیشتری دریافت کنن.
اما خب مشکلی که با آزمایش بالا وجود داره اینه که بیش از حد ایدئاله، امکان پیاده‌سازی چنین آزمایشی در نظام آموزشی کشور نیست، پس چه باید کرد؟
اگر که یادتون باشه توی نوشته‌های جلسات اول در مورد استفاده از Quasi-experiment توضیح دادیم. اینجا هم از چنین آزمایشی استفاده می‌کنیم. نکته‌ای که سعی می‌کنیم ازش سود ببریم، تغییر معلمان مدارس بین سال‌های تحصیلیه. به این صورت که ممکنه یک پایه از مدرسه چند سال پیاپی یک معلم خاص داشته باشه، و بعد از اون این معلم تغییر کنه و معلم جدیدی جایگزینش بشه. در چنین شرایطی انتظار داریم که یه معلم بهتر، بتونه نمرات دانش‌آموزان همون پایه رو ارتقا بده. در واقع بعد از ورود معلم جدید به مدرسه، تغییرات نمرات دانش‌آموزان می‌تونه اتفاق معناداری برای ما باشه.
مثلن تصویر فوق نشون می‌ده که بعد از سال ۹۵، با تغییر معلم چهارمی‌ها و ورود معلمی که عملکرد خیلی خوبی داره، نمرات دانش‌آموزای پایهٔ چهارم افزایش چشم‌گیری داشته.
و این تصویر هم نشون می‌ده که با ورود معلمی که شاخص VAش در ۵ درصد پایین قرار گرفته، بعد از ورود به مدرسه نمرات سال چهارمی‌ها رو به فنا داده.
توی تصاویر فوق همزمان نمرات بچه‌های پایه سوم هم کشیده شده، این نمودار به این دلیل کشیده شده که نشون بده توی کلیت مدرسه اتفاق عجیبی نیفتاده و نمی‌شه کاهش نمرات دانش‌آموزان رو به تغییری توی مدرسه نسبت داد.
با مطالعه فوق می‌تونیم نشون بدیم که نگرانی اول که پیش‌فرض‌دار بودن داده‌ها بود رد می‌شه، در واقع روش فوق به خوبی می‌تونه پیش‌فرض رو حذف کنه و دقیق‌تر تاثیر معلم‌ها رو مطالعه کنه.
نمودارهای زیر رو ببینید:
نمودارهای فوق نشون می‌ده که شاخص VA نه تنها توی افزایش نمرات دانش‌آموزها، موثره، که با عوامل بلندمدت هم هم‌بستگی خیلی خوبی داره، و این مورد می‌تونه نگرانی دوممون رو هم برطرف کنه، به صورت خلاصه، اگه یه معلمی شاخص VA بالایی داره، نه تنها به صورت کوتاه مدت که به صورت بلندمدت هم می‌تونه شرایط دانش‌آموزش رو بهبود بده.
اول بیاید با روشی که توی متن قبلی دیدیم، به زبون پول صحبت کنیم :)
نمودار زیر، نمودار نرمالیه که دوست داریم توزیع VAها در حالت ایدئال داشته باشه:
حالا فرض کنید در چنین حالت ایدئالی، همه VAها رو داریم و به صورت نمودار فوق هستند. سوالی که می‌تونیم بررسی کنیم، اینه که اگر معلمان در ۵ درصد پایینی از لحاظ عملکرد رو، با معلمانی با عملکرد متوسط جایگزین کنیم، این کار چقدر می‌تونه از لحاظ مالی سود داشته باشه؟
با توجه به نمودار فوق و داده‌های قبلی که در موردشون تو این نوشته صحبت کردیم، در واقع، جایگزینی تنها یک معلم از ۵ درصد پایینی با یک معلم متوسط، می‌تونه ۴۰۷ هزار دلار به اقتصاد کشور کمک کنه!
این رو در نظر بگیرید که طبیعتا راه‌کارهای دیگری هم برای این مورد می‌شه در نظر گرفت، برای مثال گذاشتن دوره‌های آموزشی برای معلمان در ۵ درصد پایینی، و بهبود علمکردشون، از اونجایی که تاثیر مالی چنین کاری چشم‌گیره، طبیعتا ارزش هزینه‌هایی که برای این کار می‌شه رو خواهد داشت.
به نگرانی سوم برگردیم، نگرانیمون این بود که آیا داده‌هایی که صرفن از دو یا سه سال عملکرد معلمان جمع‌آوری می‌شه به قدری پایداری داره که بشه بر اساسش تصمیمی گرفت؟
نمودار بالا، داره تخمین VAها بر اساس داده‌های فقط سه سال رو با نمودار در حالت ایدئال مقایسه می‌کنه. همونطور که انتظار می‌ره، نمودار تخمین با نمودار ایدئال فاصله داره؛ چون بالاخره حجم داده‌های سه سال حجم خیلی زیادی نیست و طبیعیه که توش نویز وجود داشته باشه. این نویز باعث می‌شه برای مثال موردی پیش بیاد که معلمی که عملکردش در صدک ۳۰ قرار داره به اشتباه در ۵ صدک آخر شناسایی بشه. و خب طبیعیه که اگر به اشتباه معلمی که در صدک ۳۰ قرار داره رو در ۵ صدک آخر تشخیص بدیم و با معلمی با عملکرد متوسط جایگزینش کنیم، اون سودی که قبلن به دست می‌آوردیم (همون ۴۰۷ هزارتا) اینجا کمتر بشه؛ سوال اینه که چقدر کمتر می‌شه؟ آیا به قدری هست که قابل چشم‌پوشی باشه و باز هم امیدوار باشیم به صورت کلی این جایگزینی کار مفیدی باشه؟
نمودار بالا رو ببینید، خیلی جالبه! تو این نمودار داره بررسی می‌کنه که اگر جایگزینی رو بر اساس داده‌های یک‌سال، دوسال و … انجام بدیم، با توجه به خطاهای تخمین، به صورت کلی چقدر برامون سود داره. همونطور که می‌بینید، هرچقدر تعداد سال‌ها بیشتر می‌شه، عددمون به عدد حالت ایدئال نزدیک‌تر می‌شه که با توجه به افزایش دقت تخمینمون طبیعیه.
اما چیزی که مشخصه، اینه که اگر صرفا بر اساس داده‌های دو سال هم تخمین بزنیم، عدد سودمون به حدود ۲۵۰ هزار دلار برای یک کلاس می‌رسه، که باز هم عدد قابل توجهیه و این باعث می‌شه که به این جمع‌بندی برسیم که تخمین دوساله هم حتی می‌تونه تخمین پایدار و قابل اتکایی برای اجرای برنامه‌هایی شبیه جایگزینی یا بازآموزی معلمین و … باشه. هرچند که طبیعتن رویکرد اینجا، رویکرد جمعیه، و ممکنه در سطح افراد و با توجه به خطایی که در تخمین عملکردشون وجود داره، ظلمی صورت بگیره.
پس به صورت کلی تونستیم نگرانی سوم رو هم بهش بپردازیم و ببینیم اوضاع اونقدرا هم بد نیست.
جالب اینه که نتایج این تحقیقات به صورت گسترده در سیاست‌گذاری آموزش ایالات متحده دیده شده، که حتی سیاست‌مدارانشون هم به این دستاوردها توجه کردن. توی تصویر زیر دوتا نمونه رو می‌بینید:
امیدوارم رویکرد داده‌محور به مسائل کلان سیاست‌گذاری و علی‌الخصوص توی حیطه آموزش، کم کم توی کشور ما هم مورد استفاده قرار بگیره.
