https://virgool.io/feed/@saeed.choobani درگیر حروف و اعداد fa 2026-07-06 11:30:41 https://files.virgool.io/upload/users/3500/avatar/vHyvJq.jpg?height=120&width=120 https://virgool.io/@saeed.choobani https://virgool.io/@saeed.choobani/%D8%AA%D9%88%D9%84%DB%8C%D8%AF-%D8%B4%D8%B9%D8%B1-%D8%B1%D9%BE-%D9%81%D8%A7%D8%B1%D8%B3%DB%8C-%D8%A8%D8%A7-%D8%A7%D8%B3%D8%AA%D9%81%D8%A7%D8%AF%D9%87-%D8%A7%D8%B2-lstm-%D9%87%D8%A7-%D8%AF%D8%B1-pytorch-zsgkbb8i7c3n تولید متن توسط مدل‌های یادگیری ماشین یکی از روندهای مهم فعلی صنعت پردازش زبان طبیعی است. تلاش برای تولید متن توسط ماشین‌، سابقه‌ی طولانی دارد. کارپاتی (مدیر هوش‌مصنوعی تسلا) بود که در سال ۲۰۱۵ و در یک پست وبلاگی معروف، نشان داد می‌توان با استفاده از LSTM و مدل‌های نسبتا! ساده و در سطح کاراکتر، نتایج قابل قبولی در تولید متن کسب کرد. در این روش، مدل؛ صرفا به ارتباط بین کاراکترها نگاه می‌کند و احتمال وقوع کاراکتری بعد از کاراکتر دیگر را محاسبه می‌کند. در زبان فارسی نیز آقای افشین خاشعی همین شیوه را روی اشعار شاهنامه پیاده‌سازی کرده و نتایج خوبی گرفته است.با این حال در سال‌های اخیر و با توسعه مدل‌های غول‌پیکری مانند GPT-3 شاهد تولید نوشته‌هایی هستیم که به لحاظ معنایی قادر هستند با متون تولید شده توسط انسان رقابت کنند. این مدل‌ها بسیار پیچیده‌تر هستند، بر روی حجم عظیمی از متن تعلیم داده شده‌اند و در سطح واژه‌ها (توکن‌ها!) عمل می‌کنند و نه کاراکترها.تولید شعر رپ فارسی با LSTMدر این آموزش مرحله به مرحله، یک مدل یادگیری ماشین بسیار ساده می‌سازیم که می‌تواند شعر رپ فارسی تولید کند. برای ساخت این مدل از فریم‌ورک شناخته شده‌ی PyTorch و معماری LSTM‌ بهره می‌بریم. اساس کدهایی که در این آموزش استفاده شده، برگرفته از این مخزن است ولی تغییراتی نیز در آن داده شده است. برای پیاده‌سازی این مدل صرفا به کتابخانه torch نیاز داریم و چیز دیگری لازم نداریم.توجه:‌ برای درک کامل این آموزش شما می‌بایست شناخت اولیه نسبت به یادگیری ماشین داشته باشید و تئوری‌های مربوط به شبکه‌های بازگشتی و مشخصا LSTM را مطالعه کنید. با این حال حتی اگر اولین بار شما است که با این مفاهیم آشنا می‌شوید، توصیه می‌کنم کد را روی گوگل کولب اجرا کنید تا درک بهتری از مراحل کار بدست آورید.۱- دیتاست رپ فارسیاشعار رپ فارسی، برخلاف شاهنامه از انسجام خاصی برخوردار نیستند. هر رپری شیوه خاص خود را دارد و هیچ دیتاست مشخصی هم از این اشعار موجود نیست. مجبور بودم، خودم دست به کار شده و چیزی حدود ۹۰۰۰ مصرع! فارسی از اشعار رپ را کنار هم جمع کنم. هر مصرع طول متفاوتی دارد و کلمات بسیاری دیده می‌شود که کلمات متداول فارسی نیستند و گاهی ابداع خود رپر هستند و قبلا استفاده نشده‌اند. نمونه‌ای از بخش‌های دیتاست: یه روز خوب میاد که ما هم رو نکشیم، به هم نگاه بد نکنیمبا هم دوست باشیم و دست بندازیم رو شونه های هم، آها… مثل بچگیا تو دبستانهیجکدوممون هم نیستیم بی‌کار، در حال ساخت و ساز ایران....چشا رو به ابراس توی عمقم خود غواصنوک پا سر بالا دست باز سلامتی هر کسی تنهاستدنبال اسم در کردن لا دخیاس یاروکار خفنش اینه دیشب توی پاسگاه بود...مطمئنا مدل، برای یادگیری کار سختی در پیش دارد ولی ما سعیمان را می‌کنیم! ۲- طبق معمول تمیزکاری!قصد ندارم تمیزکاری عجیب و غریبی روی این دیتاست اعمال کنم. امیدوارم که مدل نهایی قادر باشد از تولید کاراکترهایی که متداول نیستند خودداری کند. دیتاست خود را خط به خط می‌خوانم، مصرع‌هایی که بیشتر از پنج کاراکتر دارند را نگه می‌دارم (چرا پنج؟) و صرفا با هضم آن‌ها را نورمالایز می‌کنم.۳- آماده کردن دیتا برای ورود به مدلدیتالودر بخش مهمی از کار ما را تشکیل می‌دهد. وظیفه‌ی این کلاس آماده کردن دیتا برای ورود به مدل است. اینکه ما چگونه دیتا را آماده می‌کنیم نقش کلیدی در خروجی کار ما خواهد داشت.هر مصرع را به کاراکترهای جدا از هم تبدیل می‌کنم.در واقع مدل من باید بیاموزد که بعد از هر کاراکتری کدام کاراکتر را پیش‌بینی کند.مدل با دیدن هر کاراکتر می‌بایست کاراکتر بعدی را پیش‌بینی کند.یک نمای کلی از شیوه‌ی ورود کاراکترها به مدل و خروجی مدنظر (منبع)طبق تصویر بالا یک آرایه‌ی دو بعدی می‌سازیم. تعداد ستون‌های این آرایه پارامتری است که خودمان از پیش آن را انتخاب کردیم. برای مثال اگر جمله‌ی یه روز خوب میاد را در نظر بگیرید. این جمله به آرایه‌ی زیر تبدیل می‌شود: سپس تمام کاراکترها را به عدد تبدیل می‌کنم. از صفر شروع می‌کنم و به تعداد کاراکترهای منحصر بفردی که داریم عدد اختصاص می‌دهیم. مثلا 4 را برای و اختصاص می‌دهم و هرجا که و ببینم 4 جایگزین می‌کنم. این آرایه اصلی من است که برای مدل ارسال می‌کنم و مدل از آن ترتیب رخ دادن کاراکترها را یاد می‌گیرد.ولی X و Y مدل من دقیقا کدام آرایه‌ها هستند؟ آرایه‌ی ورودی و آرایه‌ی مورد هدف مدل چیست؟ همانطور که بالاتر نوشتم انتظار دارم که مدل با دیدن هر کاراکتر، کاراکتر بعدی را حدس بزند. برای مثال ردیف اول را در نظر بگیرید. ورودی و خروجی مدل من باید یک ایندکس تفاوت داشته باشند. آرایه‌ی INPUT همیشه یک ایندکس عقب‌تر از آرایه TARGET است. یعنی مدل با دیدن کاراکترهای قبلی یاد می‌گیرد که کاراکتر بعدی چیست.این قطعه کد همه این کارها را برای ما انجام می‌دهد. توجه کنید که من CharDataset را از کلاس Dataset به ارث می‌برم. در واقع همه متغیرها و توابع کلاس Dataset را دارم ولی سه تابع __init__ و __len__ و __getitem__ را بازنویسی (overwrite) می‌کنم. برای آشنایی با شیوه‌ی کار این کلاس، مستندات پایتورچ را مطالعه کنید.۴- آماده کردن مدلتنظیم ابعاد آرایه‌ها، شاید سخت‌ترین بخش درک نحوه‌ی کار این آموزش باشد. دوباره پیشنهاد می‌کنم برای درک بهتر، کد را خودتان اجرا کنید و ابعاد تک تک آرایه‌ها را به دقت بررسی کنید. جزییات زیادی در این بخش وجود دارد که من از ورود به تک تک آن‌ها خودداری می‌کنم.از مدل ساده‌ای استفاده می‌کنم که سه لایه اصلی دارد. لایه‌ی اول یک One-Hot انکودینگ است. لایه‌ی دوم LSTM ما است و لایه‌ی سوم یک لایه‌ی خطی ساده است.مدل CharRNN تمام متغیرها و توابع nn.Module از پایتورچ را به ارث می‌برد. با این تفاوت که توابع __init__ و forward در آن بازنویسی می‌شوند.۵- تابع یاد دهنده حال که هم معماری مدل را ساختیم و هم داده‌هایمان را سروسامان دادیم، باید تابعی داشته باشیم که وظیفه‌ی یاد دادن به مدل را بر عهده‌ دارد. در هر epoch و برای هر batch این تابع را فراخوانی خواهیم کرد تا مدل را آموزش دهد.۶- تابع تولید کنندهتابع تولید کننده نقشی در یادگیری مدل ندارد. صرفا به ارزیابی عملکرد مدل کمک می‌کند. این تابع با گرفتن یک رشته‌ی متنی، ادامه‌ی آن را تولید می‌کند. این رشته‌ی متنی می‌تواند یک حرف، کلمه و یا صرفا یک کاراکتر باشد. ابتدا رشته‌ی متنی اولیه را به مدل می‌دهیم و سپس به تعداد دلخواه (predict_len) کاراکتر پیش‌بینی می‌کنیم. متغیر output_dist در این تابع، یک آرایه، باندازه‌ی تمام حروف استفاده شده در دیتاست است. در این آرایه احتمالا وقوع هر کاراکتر بعد از دیدن کاراکترهای قبلی را می‌بینیم و با استفاده از torch.multinomial ایندکس کاراکتری را انتخاب می‌کنیم که احتمال وقوع آن از بقیه بیشتر است. دیکشنری itos هم با دریافت ایندکس هر کاراکتر آن را تبدیل به کاراکتر واقعی کرده و به ما برمی‌گرداند.۷- شروع یادگیریتقریبا همه ابزارهای لازم برای شروع یادگیری را در اختیار داریم. پارامترهای اولیه مدل را تعریف می‌کنیم. مقدار سِل‌های داخلی LSTM (و یا همان hidden_size) و تعداد لایه‌های LSTM که روی هم سوار می‌کنیم (n_layers) در خروجی کار اهمیت بیشتری دارند. با این حال تنظیم بقیه هایپرپارامترها هم می‌تواند به یک خروجی خوب (بالاخص پرهیز ار overfitting) کمک کند.در این مرحله با فراخوانی کلاس CharRNN، مدل را با پارامترهای مدنظر می‌سازیم. n_characters تعداد منحصربفرد کاراکترهای موجود در دیتاست ما است. خروجی مدل برای هر کاراکتر یک آرایه به اندازه تمام کاراکترها است. برای بهینه کردن گرادینت‌ها از Adam استفاده می‌کنیم که اغلب می‌توان از آن نتیجه‌ی بهتری گرفت. CrossEntropy را هم بعنوان نوع Loss انتخاب می‌کنیم.در نهایت یک حلقه از تعداد epochها می‌سازیم و داده‌مان را از طریق دیتالودر برای مدل ارسال می‌کنیم. بعد از هر ۲۰۰ batch که برای مدل فرستادیم، مقدار Loss را پرینت می‌کنیم. همچنین تابع generate را با جمله آغازین "یه روز خوب" فراخوانی می‌کنیم تا یک ایده‌ی کلی نسبت به روند یادگیری مدلمان داشته باشیم و در نهایت بعد از هر ۵ دور کامل یادگیری، وزن‌های مدل را ذخیره می‌کنیم.روند یادگیری ممکن است طولانی باشد. بهترین راه‌حل برای سریع‌تر کردن این روند استفاده از GPU روی Google Colab است. همانطور که در بین خط‌های کد هم دیدید، در بخش‌های از cuda استفاده کردیم. با فراخوانی کودا، آرایه‌ها را به GPU منتقل می‌کنیم و سرعت روند یادگیری افزایش می‌یابد.۸- بررسی نتیجهخوب! نتیجه خیلی فوق‌العاده نیست ولی از نظر من بد هم نیست. اگر سطح انتظار را کمی پایین بیاوریم می‌توان گفت که مدل درست کار می‌کند و می‌تواند ساختار کلمات را بفهمد و آن‌ها را کنار هم قرار دهد. ولی اگر بخواهیم سخت‌گیری کنیم باید بپرسیم آیا انسجام کل متن حفظ شده؟ و یا اصلا خروجی قابل فهم است؟‌ چند نمونه از خروجی‌ها را باهم ببینم:یه روز خوب میاد، این درد شیرتو فرض کنواسه اینکه خسته مثل سختهاگه با هم دیگه زندگی به مادری به من باش از خونه باشیممن خنده می‌خوابم مثل اسبی که با ما چندان از آسمون مثل سربازن همه چی هست در میان، هیچ مغزینمی‌خواد که من مثل تو می‌دونمشمارم باشی که تو از نبود و من باشیمکه می‌گه با هم تو این سرابه می‌خوابمیه روز خوب میاد، یه روز خوب میاد، این دلو ببینمفکر کن بالاترین شاده بی تو می‌دونموقتی که زیرزنی هم نیستیم دیدم یه روز خوب میاد، این آخرین بالاسرههمه چی فکر می‌شه بالا بهتره، می‌خندم در نهایت به نظر من جالب است که LSTM می‌تواند صرفا با دیدن کاراکترها، آن‌ هم روی یک دیتاست کوچک و محدود، ارتباط بین کلمه‌ها و حتی در برخی مواقع Context را متوجه شود. (این را هم در نظر بگیرید که بسیاری از شعرهای رپ فارسی که ما آدم‌ها نوشته‌ایم هم، قابل درک نیستند!)۹- بهتر کردن خروجیولی برای بهتر کردن این نتایج چه کارهای دیگری می‌توانیم انجام دهیم؟ دیتاست بهتر و بزرگ‌تری جمع‌آوری کنیم.برای بررسی روند یادگیری validation_loss و دیگر معیارها مانند BLEU را اضافه کنیم.پارامترهای مختلف را تست کنیم.از Learning Rate Schedulerها استفاده کنیم تا LR با گذشت epochها ثابت نماند.مدل پیچیده‌تری بسازیم. (از LSTMهای bidirectional استفاده کنیم، به لایه‌های بین LSTM، نرخ Dropout اضافه کنیم و .... )۱۰- مقایسه با دیگر مدل‌هاهرچند LSTMها از قدرتمندترین مدل‌های موجود هستند ولی پس از سال ۲۰۱۸ و معرفی ترنسفورمرها، از محبوبیت کمتری در تسک‌های تولید متن برخوردارند. یکی از قدرتمندترین مدل‌ها بر اساس معماری ترنسفورمر، GPT است. معماری GPT با پارامترهای مختلف و توسط شرکت‌های مختلف در دیتاست‌هایی به ابعاد متنوع آموزش دیده است. برخی از این مدل‌ها بصورت متن باز و برخی در انحصار شرکت‌های مختلف در دسترس قرار دارند. دیتاست‌ اغلب این مدل‌ها، دیتاست‌های چندزبانه است. با این حال بدیهی است که بیشتر دیتای موجود در آن‌ها به زبان انگلیسی باشد.می‌توانیم مدل GPT-3 با ۱۷۰ میلیارد پارامتر که توانایی تشخیص زبان‌های مختلف دارد را روی پلتفرم OpenAI برای تولید شعر رپ فارسی آزمایش کنیم. نتیجه کار فوق‌العاده است! با وجود اینکه دیتاست GPT-3 شناخت چندانی از محتوای فارسی ندارد ولی می‌تواند یک شعر رپ خوب درباره پیتزا و اسپاگتی بسراید که با یه روز خوب میاد شروع می‌‌شود!همچنین مدل GPT-3 با تعداد ۲۰ میلیارد پارامتر که توسط eleuther.ai توسعه داده شده است را می‌توانیم روی goose.ai آزمایش کنیم. انتظار نداریم این مدل به خوبی مدل openAI باشد با این حال به خوبی می‌تواند ساختار شعر را متوجه شود. هرچند احتمالا به دلیل دیتاست کوچکتری که روی آن آموزش دیده، خلاقیت کمتری دارد!لینک‌ها و منابعکدهای منتشر شده در متن روی Google Colabویدیو آموزشی این پست روی یوتوب (بهمراه جزییات بیشتر و دقیق‌تر!)پست وبلاگی کارپاتی: موثر بودن غیرمنطقی شبکه‌های بازگشتی سعید چوبانی سعید چوبانی Tue, 01 Mar 2022 22:51:20 +0330 https://virgool.io/@saeed.choobani/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%DA%A9%D9%84%D8%A7%D8%B3%D8%AA%D8%B1%DB%8C%D9%86%DA%AF-%D8%B3%D8%B1%DB%8C%D8%B9-%D9%88-%D8%B3%D8%A7%D8%AF%D9%87-%D8%AA%D9%88%DB%8C%DB%8C%D8%AA-%D9%87%D8%A7%DB%8C-%D9%81%D8%A7%D8%B1%D8%B3%DB%8C-cstc3ez65bxl تصویر تزیینی است!کلاسترینگ (یا همان خوشه‌بندی!) متن یکی از کاربردی‌ترین استفاده‌های پردازش زبان در صنایع مختلف است. برای نمونه یک فروشگاه اینترنتی که پیام‌های متنوع روزمره‌ای دریافت می‌کنه، می‌تونه با کلاستر کردن این پیام‌ها به موضوعاتی که مشتری‌ها، بیشتر دربارشون صحبت می‌کنند پی ببره و در صورتی که موضوع یا مشکل جدیدی باشه سریعا اون رو کشف کنه. شیوه‌های زیادی برای کلاستر کردن متن وجود داره. از روش‌های کلاسیک و سر راستی مثل k-means گرفته‌ تا SBM که پیچیدگی‌های ریاضی بیشتری داره. در خوشه‌بندی، گروه‌بندی مجموعه‌ای از اشیاء انجام می‌شود، اینکار به این صورت است که اشیاء در یک گروه (به نام خوشه) در مقایسه با دیگر دسته‌ها (خوشه‌ها) مشابه‌تر هستند. این وظیفهٔ اصلی داده‌کاوی اکتشافی است و یک روش معمول برای تجزیه و تحلیل داده‌های آماری است که در بسیاری از زمینه‌ها از جمله یادگیری ماشین، تشخیص الگو، تجزیه و تحلیل تصویر، بازیابی اطلاعات، بیوانفورماتیک، فشرده‌سازی داده‌ها و گرافیک کامپیوتری استفاده می‌شود. ویکی‌پدیادر این پست وبلاگی یاد می‌گیریم که چطور به شکلی سریع و ساده! می‌تونیم توییت‌های فارسی رو -بعنوان نمونه‌ای از یک دیتاست در زبان فارسی- کلاستر کنیم. طبیعتا شما می‌تونید این روش رو روی دیتاست‌های دیگه هم پیاده‌سازی و نتایج رو مقایسه کنید. اگه با آموزش ویدیویی راحت‌تر هستید! نسخه‌ی ویدیویی این پست وبلاگی رو روی کانال یوتوب من پیدا کنید. نمایشگر ویرگول برای کد خیلی زشته! برای همین من اسکرین‌شات کدهارو اینجا میذارم و برای دسترسی بهشون می‌تونید به گوگل کولب سر بزنید.قبل از همه چیز پکیج‌هایی که لازم دارم رو نصب و ایمپورت می‌کنم. به تدریج بیشتر با این پکیج‌ها و کاربردهاشون آشنا می‌شیم.مرحله اول:‌ خوندن دیتاست و تمیزکاریشتو این مثال من حدود ۲۰هزار توییت از یک لیست توییتری رو برداشتم که اعضاش پادکست‌های فارسی هستند تا ببینم طی چند وقت گذشته درباره چه موضوعاتی توییت کردن. این لیست رو نیما جمع‌آوری کرده و در زمان انتشار این ویدیو حدود هزار عضو داره. مرحله اول اینکه توییت‌هایی که قبلا روی یه فایل ریختم رو بخونم و یه تمیزکاری ساده روشون انجام بدم. برای اینکار از یک پکیج پایتون باسم tweet-preprocessor استفاده می‌کنم که کارش تمیز کردن توییت‌هاست. البته می‌تونستم این کار رو دستی و با چیزی مثل رجکس هم انجام بدم و پکیج اضافی نصب نکنم ولی برای اینکه سریع‌تر پیش بریم وسواس رو کنار میذارم. من از توییت‌هام لینک‌ها، منشن‌ها و ایموجی‌هارو حدف می‌کنم و فقط کاراکترهای حروف الفبای فارسی و اعداد رو نگه می‌دارم. بعد از انجام همه تمیزکاری‌ها از نورمالایزر هضم استفاده می‌کنم تا همه توییت‌هامو یک‌دست و آماده خوشه‌بندی کرده باشم.البته درباره تمیزکاری متن خیلی باید حساس‌تر از این عمل کنیم. قطعا یک ویرگول یا پارانتز هم حاوی معنی هست و به درک بهتر ما از جمله کمک کنه ولی بخاطر اینکه توییت‌ها نویز زیادی دارن ترجیح من اینکه تو این مورد حذفشون کنم.مرحله دوم:‌ تبدیل کردن توییت‌های متنی به آرایه‌های عددی!وقتش رسیده که توییت‌هارو به وکتورهای عددی تبدیل کنیم و اصطلاحا امبدینگ اونهارو بدست بیاریم. روش‌ها و مدل‌های مختلفی برای انجام این کار هست. من برای محاسبه امبدینگ توییت‌ها از پارس‌برت استفاده می‌کنم. پارس‌برت یه مدل زبانیه که بر اساس معماری برت و با دادگان فارسی توسط تیم هوشواره آموزش دیده و روی هاب هاگینگ‌فیس برای استفاده عموم قرار گرفته و می‌تونین دانلودش کنین. این مدل حدود ۶۰۰ مگابایت حجم داره و میشه رو سیستم شخصی اجراش کرد. برای بدست‌آوردن امبدینگ‌ها به ترتیب مراحل زیر رو انجام میدیم:اول:‌ توییتمون رو توکنیاز و اینکود می‌کنیم.دوم: خروجی رو به مدلمون می‌دیم تا وزن‌هارو برامون پیش بینی کنه.سوم: امبدینگ‌های مد نظرمون رو برمی‌داریم.اگر این مرحله براتون عجیبه و نمی‌دونید که چطور ممکنه متن به عدد تبدیل بشه باید درباره مدل‌های زبانی بیشتر بخونید و یاد بگیرید. اگر خیلی بخوام ساده بگم این مدل بر اساس احتمال اومدن یک کلمه بعد (یا قبل از!) کلمه دیگه، متن مارو به آرایه عددی تبدیل می‌کنه. لینک خاصی هم نمیدم. جستجو کنید language models و شروع کنین به گم شدن توش.با توجه به اینکه اینکار مموری بالایی نیاز داره من بچ‌های ۵۰ تایی از توییت‌ها ساختم که بعد از محاسبه، امبدینگ‌هاشون روی یه فایل ذخیره میشن.مرحله سوم:‌ کلاسترینگ توییت‌ها!برای کلاسترینگ از الگوریتم فست کامیونیتی دیتکشن استفاده می‌کنم که از پکیج sentense_transformers میاد و الگوریتم نسبتا ساده‌ایه. کاری که میکنه اینکه فاصله کوساین بین این وکتورهارو محاسبه می‌کنه و اون وکتورهایی که بیشتر از یه حدی خاصی بهم نزدیک هستند رو داخل یک کلاستر قراره میده.طبیعتا هرقدر ترشولد بالاتری تعریف کنین توییت‌هایی که داخل یه کلاستر قرار میگیرن به هم نزدیک‌تر و شبیه‌ترین ولی ممکنه همین ترشولد بالا باعث بشه توییت‌هایی که کمتر شبیه هم هستن ولی به موضوع کلی شبیه بهمی اشاره دارن رو از دست بدین.اگر متغیر clusters رو اجرا کنید، یک لیست از لیست‌ها می‌بینید. هر لیست داخل این لیست شامل index توییت ماست. پس کاری که باید بکنم اینکه این توییت‌هارو مچ کنم با این index ها. یک فانکشن خیلی ساده برای اینکار می‌نویسم.و در نهایت هم فایل row رو داخل یک csv ذخیره می‌کنم.حالا میتونین داخل فایل csv خودتون بگردین و کلاسترهایی که پیدا کردین رو ببینین. برای مثال من چند تا کلاستر خوب پیدا کردم. مثلا یه سری پادکست هستن که همیشه درباره موضوعات ورزشی حرف میزنن:یا برای نمونه یه پادکستری داریم که میره مدام زیر توییت ملت ریپلای میزنه بیایین منم گوش کنین:یا مثلا یه سری پادکست فارسی داریم که مدام شعر توییت می‌کننخوب بیشتر از این وارد نتایج نمیشم و تشویق می‌کنم خودتون این شیوه رو روی دیتاست خودتون پیاده کنین و نتایج رو ببینید. اگر سوال یا پیشنهادی داشتید بنویسید. لینک ویدیو یوتوب و کولب رو دوباره اینجا درج می‌کنم:همین آموزش بصورت ویدیویی در یوتوبگوگل کولب سعید چوبانی سعید چوبانی Sat, 22 Jan 2022 15:24:52 +0330 https://virgool.io/@saeed.choobani/privacy-by-design-rgwxdm7fxbks از سویی افزایش سرسام‌آور تولید داده در جهان و از طرفی دیگر تلاش نهادهای قانونی برای قانون‌‌گذاری، حریم خصوصی را به یکی از مباحث داغ و پراهمیت زندگی دیجیتال ما تبدیل کرده است. در این نوشته‌ی کوتاه به مسئولیت تحلیل‌گران داده در برابر حفظ حریم خصوصی کاربران و چالش‌های پیش رویشان می‌پردازم.تنها شیوه‌ی حفاظت از یک نفر، حفاظت از همه است. "ادوارد اسنودن - وب‌سامیت ۲۰۱۹"از جورج اورول تا GDPRحریم خصوصی، موضوع جدیدی نیست. طرح آن، برای اولین‌بار به اصلاحیه‌های قانون اساسی آمریکا در سال‌ ۱۷۸۹ بازمی‌گردد. چیزی حدود ۲۳۰ سال پیش! به تدریج مقاله‌های حقوقی و علمی بسیاری در صیانت از حریم خصوصی منتشر شدند. برای مثال مقاله‌ی حق تنها ماندن در سال ۱۸۹۰، اولین مقاله‌ی حقوقی در تاریخ حقوق آمریکا است که حریم خصوصی را بعنوان یک حق مسلّم به رسمیت می‌شناسد. جورج اورول در سال ۱۹۴۸ رمان ۱۹۸۴ را منتشر می‌کند و حفظ حریم خصوصی را بعنوان یک مطالبه‌ی عمومی مطرح می‌کند و پیشرفت‌های فناوری طی جنگ ‌جهانی دوم، نگرانی‌ها را بیش از پیش تشدید می‌کنند. در سال ۱۹۶۸ مقاله‌ای با عنوان حریم خصوصی و آزادی منتشر می‌شود و با تعریف حریم خصوصی بعنوان یکی از ارکان اصلی آزادی فردی، صحنه را برای مباحثه‌های مدرن‌تری مانند تاثیرات تکنولوژی بر آزادی‌های فردی آماده می‌کند. با رشد روزافزون فناوری‌ و شکل‌گیری مفهوم بزرگ‌داده، اتحادیه اروپا دو قانون پراهمیت را طی سال‌های ۱۹۸۰ تا ۱۹۹۰ تصویب می‌کند که بنیان‌ بسیاری از قوانین مربوط به حریم خصوصی در کشورهای جهان می‌شوند. تصویب بخش‌نامه حفاظت از داده در سال ۱۹۹۵ در اتحادیه اروپا، شهروندان این اتحادیه را در برابر بخش عظیمی از خطرات ناشی از نقض حریم خصوصی محافظت می‌کند تا اینکه در نهایت در سال ۲۰۱۴، این اتحادیه‌ با ۶۲۱ رای موافق، مقررات عمومی حفاظت از داده (GDPR) را تصویب و در سال ۲۰۱۸ بصورت کامل اجرایی می‌کند. این قانون - همانگونه که از نامش پیداست - دامنه‌ی گسترده‌ای از موضوعات را شامل می‌شود.حریم خصوصی از طراحی (Privacy by Design)آنا کوواکیان از اولین کسانی بود که در سال ۱۹۹۰، موضوع حریم خصوصی از طراحی را مطرح کرد که بعدها بصورت مفصل در ماده‌ی ۲۵ از GDPR نیز به آن پرداخته شد. تمام عواملی که بهر نحوی به داده کاربران دسترسی دارند (مانند کسب‌وکارها)؛ موظف هستند که حریم خصوصی را بصورت پیش‌فرض در طراحی محصولات و خدمات خود پیاده‌سازی و رعایت کنند."حریم خصوصی از طراحی" بخشی از GDPR است که شامل ما تحلیل‌گران داده نیز می‌شود. ایده کلی این است که قبل از انجام هرگونه‌ تحلیل روی داده‌، شیوه‌هایی را روی داده‌ پیاده‌ کنیم که منجر به حفظ حریم خصوصی کاربران حاضر در آن مجموعه داده شود. اجازه دهید با یک مثال موضوع را مشخص‌تر کنم. تصور کنید که شما به یک مجموعه داده‌ جی‌پی‌اس از کاربران دسترسی دارید که مسیر حرکت‌ آن‌ها را در بازه‌ی زمانی مشخص نشان می‌دهد. نام کاربری کاربران در این مجموعه داده کدگذاری شده است و هویت کاربران مشخص نیست. این مجموعه داده بصورت غیرقانونی منتشر می‌شود. در صورتی که یک شخص متخاصم به این مجموعه داده دسترسی پیدا کند و مطمئن باشد که خانم X در این مجموعه داده وجود دارد، می‌تواند با بدست آوردن دانش پس‌زمینه، به تمامی داده‌ی موجود از خانم X در این مجموعه داده پی‌ ببرد. برای مثال اگر او را تعقیب کند و متوجه شود که روزانه صبح‌ به مدرسه، ظهر به سرکار و بعد از ظهر به باشگاه ورزشی می‌رود؛ با فیلتر کردن ردیف‌هایی که رفتار مشابهی دارند با احتمال بالایی می‌تواند تمام ردیف‌های مرتبط با خانم X را از این مجموعه داده تشخیص دهد.قانون حریم خصوصی از طراحی، قصد دارد این اطمینان را حاصل کند که حتی در صورت انتشار مجموعه داده، احتمال تشخیص کاربران در آن وجود نداشته باشد. الگوریتم‌ها و شیوه‌های مختلفی برای پاسخ به این نیاز، پیشنهاد شده‌اند که برخی از آن‌ها را مرور می‌کنیم.ایجاد آشفتگیشیوه‌هایی هستند که بصورت تصادفی مجموعه داده را دچار آشفتگی می‌کنند به شکلی که به ویژگی‌های آماری آن لطمه‌ای وارد نشود و این اطمینان وجود داشته باشد که کماکان می‌توان به الگو‌های مدنظر در داده دست پیدا کرد. ε-differentialاین شیوه بر این اصل استوار است که اگر تأثیر یک رکورد در پایگاه‌داده به اندازه کافی کوچک باشد، نمی‌توان از نتیجهٔ جستجو در پایگاه‌داده، اطلاعات رکوردهای خاصی را استنتاج کرد و بنابراین حریم خصوصی را نقض نمی‌کند (ویکی‌پدیا). اگر مجموعه داده‌، شامل داده یک نفر باشد؛ این شخص ۱۰۰٪ از این مجموعه داده را تشکیل داده است. در عوض اگر مجموعه داده، شامل داده صد نفر باشد، هر شخص ۱٪ از این مجموعه داده را تشکیل داده‌اند. هرقدر میزان افراد حاضر در مجموعه داده کمتر باشد، به افزودن نویز بیشتری برای حفظ حریم خصوصی کاربران نیازمندیم.k-anonymityدر این شیوه، مجموعه داده را کلی‌تر و جزییات ردیف‌ها را از K ستون حذف می‌کنیم. برای نمونه مجموعه داده‌ زیر که از ویکی‌پدیا بازنشر شده‌ را ببینید:سه ستون Name، Religion و Age را به‌ شیوه‌ای کلی‌تر (Generalise) و یا محو (Suppression) کنیم از k-anonymity استفاده کرده‌ایم:احتمالا سوالی که با دیدن این سه شیوه برای شما هم پیش می‌آید این است که ما با این کار به کیفیت مجموعه داده خود لطمه می‌زنیم و ممکن است نتوانیم با تحلیل مجموعه داده جدید به آنچه که می‌خواهیم، دست پیدا کنیم. سوال خوبیست! این؛ یکی از چالش‌های اصلی مطرح در بحث ناشناس کردن مجموعه داده است. سبک و سنگین کردن کیفیت داده در مقابل حفظ حریم خصوصیاگر بدنبال حریم خصوصی ۱۰۰٪ هستیم، چاره‌ای نداریم جز اینکه هیچ داده‌ای را در اختیار تحلیل‌گر قرار ندهیم و اگر بدنبال کیفیت ۱۰۰٪ در تحلیل هستیم، باید همه چیز را در اختیارش قرار دهیم. اینجاست که به یک نقطه‌ی تعادل نیاز خواهیم داشت. به یک trade-off بین کیفیت و سطح حریم خصوصی مجموعه داده.روش‌هایی برای پیدا کردن این trade-off پیشنهاد شده‌اند که من بصورت خلاصه، یکی از آن‌ها را توضیح می‌دهم. تصور کنید مجموعه‌ داده‌ای (مانند مجموعه داده بالایی) دچار نقص و منتشر شده است. یک شخص متخاصم با داشتن دانش پس‌زمینه می‌تواند ردیف‌های مربوط به خانم X را از این مجموعه داده تشخیص دهد. می‌توان با شبیه‌سازی این دانش پس‌زمینه، احتمال خطر لو رفتن ردیف‌های مربوط به خانم X را اندازه‌گیری کرد. با تکرار این‌ کار برای همه کاربران و همه‌ی انواع دانش پس‌زمینه، می‌توان به یک دید کلی نسبت به اینکه کدام مجموعه داده کاربران را در خطر کمتری قرار می‌دهد، رسید.برای نمونه تصویر پایین را ببینید. ستون ‌I-RAC میزان ریسک را نمایش می‌دهد. ریسک تحت شرایطی که ما تمام ۹ ستون داده‌مان را منتشر کنیم، حتی اگر دانش پس‌زمینه (BK) بسیار کم باشد، ریسک بالایی خواهیم بود (بخش قرمز رنگ). هرچند کاربردپذیری بالایی دارد. در مقابل اگر فقط ۱ ستون از داده‌مان را منتشر کنیم، ریسک بسیار پایین خواهد آمد (بخش آبی رنگ). هرچند کاربردپذیری نیز پایین خواهد آمد. به نظر می‌رسد بخش سبز میانی بهترین تعداد ستون‌هایی از داده‌مان است که با انتشار آن نه به کیفیت لطمه‌ای می‌زنیم و نه ریسک بالایی را به کاربرانمان تحمیل می‌کنیم.منبع اصلی تصویر: مقاله‌ی PRUDEnceبا این حال بدست آوردن این نمودار، برای همه مجموعه‌های داده‌ میسر نیست و یا به لحاظ محاسباتی بسیار سخت است و جز مسائل NP-hard قلمداد می‌شود.در این نوشته‌ی کوتاه، به شکل‌گیری ایده‌ی حریم خصوصی از طراحی (Privacy by Design) در GDPR پرداختم و نمونه‌هایی از شیوه‌های حفظ آن ارائه دادم و در نهایت هم به روشی کلی در برقراری تعادل بین کیفیت مجموعه داده و حفظ حریم خصوصی اشاره کردم. سعید چوبانی سعید چوبانی Sun, 30 May 2021 02:16:57 +0430 https://virgool.io/@saeed.choobani/%D8%A2%DB%8C%D8%A7-%D8%B1%D9%88%DB%8C%D8%A7%DB%8C-%D8%A2%D9%85%D8%B1%DB%8C%DA%A9%D8%A7%DB%8C%DB%8C-%D8%AA%D8%AD%D9%82%D9%82-%DB%8C%D8%A7%D9%81%D8%AA%D9%87-%D8%A7%D8%B3%D8%AA-%D8%B2%D9%86%D8%AF%DA%AF%DB%8C-%D8%A7%D9%82%D8%AA%D8%B5%D8%A7%D8%AF%DB%8C-%D9%88-%D8%A7%D8%AC%D8%AA%D9%85%D8%A7%D8%B9%DB%8C-%D8%A2%D9%85%D8%B1%DB%8C%DA%A9%D8%A7%DB%8C%DB%8C%D9%87%D8%A7-%D8%B2%DB%8C%D8%B1-%D8%B0%D8%B1%D9%87%D8%A8%DB%8C%D9%86-%D8%A8%D8%B2%D8%B1%DA%AF-%D8%AF%D8%A7%D8%AF%D9%87-%D8%A8%D8%AE%D8%B4-%D8%AF%D9%88%D9%85-n2ly0zdlwdjr آنچه می‌خوانید بخش دوم خلاصه‌ای از یک کورس آموزشی تحت عنوان نقش بزرگ داده در حل مشکلات اقتصادی و اجتماعی است که در سال ۲۰۱۹ توسط پروفسور راج چتی (از محققان موسسه Oppurtunity Insights) در دانشگاه هاروارد ارائه شده است. این کورس قصد دارد، نتیجه‌ی تحقیقات مبتنی بر تحلیل داده را که طی سالیان طولانی در زمینه‌های فرصت‌ برابر اجتماعی، تحصیلات، سلامت، آموزش، محیط زیست و عدالت قضایی در آمریکا صورت گرفته است، شرح دهد.پروفسور راج چتیجذابیت این موضوع برای من، در شیوه‌ی مواجهه تحلیل‌گران و آمارشناسان با پرسش‌های اجتماعی است. اینکه چگونه می‌توان با در نظر گرفتن ابعاد مختلف پدیده‌های اجتماعی به عوامل آن‌ها پی برد و راهکارهایی عملیاتی ارائه نمود.دسترسی آزاد به بخش عظیمی از انواع داده در آمریکا و امکان فعالیت آزادانه محققان، موضوعی ناشناخته و دور از دسترس در کشورهای جهان سومی است. ترجمه‌ی این کورس آموزشی نه با هدف تخریب کشوری خاص بلکه با هدف الگوبرداری از شیوه‌ی تحلیل و گردش آزاد اطلاعات صورت گرفته است.بزرگ داده تغییرات شگفتی در علوم اجتماعی و اقتصادی پدید آورده است. با این حال در بهره‌برداری و شیوه‌ی تحلیل بزرگ داده در صنعت و علوم اجتماعی تفاوت‌هایی وجود دارد. هدف اغلب صنایع امروزی از تحلیل بزرگ داده‌، پیش‌بینی است. در حالیکه هدف بیشتر تحلیل‌های مربوط به علوم اجتماعی کشف رابطه علت و معلولی در بین رخدادهای محیطی است.پیشنهاد من بستن این پنجره و تماشای تمام این ۱۸ ویدیوی یک ساعته است. در صورتیکه فرصت کافی را برای این کار ندارید، من خلاصه‌ای از نه بخش دوم را در این پست وبلاگی منتشر کرده‌ام. نه بخش اول را می‌توانید از این پست وبلاگی دنبال کنید. https://virgool.io/@saeed.choobani/%D8%A2%DB%8C%D8%A7-%D8%B1%D9%88%DB%8C%D8%A7%DB%8C-%D8%A2%D9%85%D8%B1%DB%8C%DA%A9%D8%A7%DB%8C%DB%8C-%D8%AA%D8%AD%D9%82%D9%82-%DB%8C%D8%A7%D9%81%D8%AA%D9%87-%D8%A7%D8%B3%D8%AA-%D8%B2%D9%86%D8%AF%DA%AF%DB%8C-%D8%A7%D9%82%D8%AA%D8%B5%D8%A7%D8%AF%DB%8C-%D9%88-%D8%A7%D8%AC%D8%AA%D9%85%D8%A7%D8%B9%DB%8C-%D8%A2%D9%85%D8%B1%DB%8C%DA%A9%D8%A7%DB%8C%DB%8C%D9%87%D8%A7-%D8%B2%DB%8C%D8%B1-%D8%B0%D8%B1%D9%87%D8%A8%DB%8C%D9%86-%D8%A8%D8%B2%D8%B1%DA%AF-%D8%AF%D8%A7%D8%AF%D9%87-%D8%A8%D8%AE%D8%B4-%D8%A7%D9%88%D9%84-fy1afy18mvnc ۱۰. نقش اختلافات نژادی در فرصت‌های اقتصادیتفاوت‌های بارز بسیاری میان فرصت‌های اقتصادی نژادهای مختلف در آمریکا وجود دارد. تنها با نگاهی به نمودار میله‌ای میانه‌ی درآمد برای هر نژاد، می‌توان به وضوح تفاوت‌های معناداری را مشاهده کرد. حجم عظیمی از تحقیقات و مقالات دانشگاهی در این زمینه‌ وجود دارد و سالیان درازی است که این تحقیقات ادامه داشته است. برخی بر روی ساختار خانواده تمرکز کرده‌اند، برخی آن را ناشی از تفکیک نژادی در محلات مختلف دانسته‌اند و برخی، دلایل دیگری آورده‌اند.تفاوت آنچه اینجا می‌خوانید با تحقیقاتی که در گذشته صورت گرفته است، در توجه به تغییرات در طول زمان و نسل‌های مختلف است. پاسخ به این سوال که کدام اختلافات نژادی در طی زمان پابرجا باقی مانده‌اند؟در صورتی که پیشرفت میزان درآمد بین نسل‌های مختلف را برای سیاه‌پوستان و سفید‌پوستان یکسان تصور کنیم، طبق داده‌ی نمودار زیر، اختلاف درآمدی بین نسل‌های بعدی نژادهای سفید و سیاه کم و کم‌تر خواهد شد. در واقع اختلاف درآمد نسل فعلی ۸.۸ صدک است در حالیکه اختلاف درآمد نسل گذشته ۲۵.۲ صدک بوده است. به همین ترتیب اختلاف درآمد نسل بعدی (نوه‌ها!) به چیزی حدود ۳ صدک می‌رسد.ولی، نکته اینجاست که نرخ رشد اقتصادی بین نسلی برای سیاه و سفیدپوستان برابر نبوده است و یافته‌های تحقیق بالا را زیر سوال می‌برد! نمودار پایین به وضوح این واقعیت را نمایش می‌دهد. در واقع کودکی که در یک خانواده‌ی بسیار فقیر سفید پوست بدنیا می‌آید احتمال اینکه به درآمد بالایی برسد، بسیار بیشتر از تولد در یک خانواده‌ی سیاه در همان سطح درآمد است. جالب اینجاست که این موضوع فقط شامل خانواده‌های فقیر نیست. این اختلاف بین ثروت‌مندترین خانواده‌ها هم قابل مشاهده است. در واقع اگر در یک خانواده‌ی ثروت‌مند بدنیا بیایید و سیاه‌پوست باشید، احتمال اینکه درآمد کمتری نسبت به همتای سفیدپوست خود داشته باشید، بیشتر است. همین داده، در یک بصری‌سازی زیبا از نیویورک‌تایمز به نمایش گذاشته شده است. نمودار زیر ثروت‌مند یا فقیر شدن کودکانی را نشان می‌دهد که در خانواده‌های ثروت‌مند رشد کرده‌اند. سبز‌ها سفیدپوستان و بنفش‌ها سیاه‌پوستان هستند. همانطور که می‌بینید تعداد سیاه‌پوستانی که فقیرتر می‌شوند بیشتر از سفیدپوستان است.اگر سفیدپوستان در جامعه آمریکا روی نردبان پیشرفت هستند، سیاه‌پوستان روی یک تردمیل حرکت می‌کنند! با تلاش زیاد خود را به دسته پولدارها می‌رسانند و نسل بعدی دوباره به طبقه متوسط یا محروم تعلق می‌گیرد.در این لینک می‌تواند با جزییات بیشتری این بصری‌سازی‌ها را بررسی کنید.راهکارهای پیشنهادی برای حل اختلاف نژادی نباید متمرکز بر حل موقتی مشکلات یک نسل باشند! بلکه باید تمرکزشان بر باقی‌مندان بقیه اعضای خانواده در همان طبقه اجتماعی باشد. تفاوت و عملکرد بقیه‌ی نژادها را نیز در دو نمودار زیر مشاهده می‌کنیم. ولی چه اتفاقی میافتد اگر به تاثیر جنسیت افراد در بین نژادهای مختلف توجه کنیم؟تفکیک زنان و مردان سفید و سیاه‌پوست نتایج جالبی در پی دارد. مشخصا نمودارهای زیر ثابت می‌کنند که فاصله‌ی بین عملکرد مردان بسیار بیشتر از زنان است.همچنین نگاه به نرخ اشتغال مردان و زنان نسل بعد در خانواده‌های مختلف، نشان می دهد که بین مردان سیاه و سفید ‌پوست یک فاصله‌ی عظیم وجود دارد در حالیکه برای زنان این موضوع متفاوت است. حتی زنان سیاه‌پوست نرخ اشتغال بیشتری نسبت به زنان سفیدپوست دارند! (توجه کنید که مقایسه نسلی مدنظر است و نه در حالت کلی!)یکی از دلایل نرخ بسیار پایین اشتغال برای سیاه‌پوستان را می‌توان سیستم قضایی آمریکا دانست. در تصاویر پایین، نمودار سمت راست نرخ زندانی شدن مردان در تاریخ یکم آوریل سال ۲۰۱۰ را بر اساس نژاد و درآمد خانواده نمایش می‌دهد. در سمت چپ همین نمودار برای زنان نمایش داده شده است. دو نقشه‌ی زیر توزیع درآمد فرزندان برای مردان و زنان سیاه و سفید پوست را در آمریکا نمایش می‌دهد. قبلا هم در بخش اول به این نقشه پرداخته بودیم.هیچ‌جایی در آمریکا نیست که سیاه و سفید پوستان عملکرد یکسانی در بحث نرخ درآمد بالاتر برای نسل بعدی خود داشته باشند.پسران سیاه‌پوست در ۹۹٪ مناطق، درآمد کمتری از پسران سفیدپوستان دارند.ممکن است سیاه یا سفیدپوستان نسبت به نسل پیشین خود عملکرد بهتری داشته باشند ولی فاصله‌ی بین آن‌ها همواره حفظ شده است. فاصله‌ی طبقانی بین فرزندان طبقه متوسط و پولدار حتی بیشتر از همین فاصله‌ی طبقاتی در مناطق محروم است.حضور پدران سیاه‌پوست در منطقه منجر به کاهش فاصله‌ی طبقاتی در منطقه می‌شود. تغییر منطقه سکونت، برای سیاه‌پوستان نیز منجر به بهبود درآمد و کاهش فاصله‌ی طبقاتی می‌شود. نقطه‌های پررنگ اغلب به سمت راست هستند. در حالت کلی می‌توان نتیجه گرفت که سیاست گذاری‌های انجام شده برای کاهش فاصله‌ی طبقاتی این دو نژاد موفقیت‌آمیز نبوده است.۱۱. بهبود وضعیت سلامت این بخش بدنبال پاسخ به این سوال است که اگر یافته‌های علمی مربوط به سلامت در حد فعلی خود باقی بمانند؛ با در پیش گرفتن چه رویکردهایی، می‌توان سلامت عمومی را به حداکثر حد ممکن رساند؟یکی از شیوه‌های اندازه‌گیری سطح سلامت جامعه، نرخ مرگ و میر (متوسط طول عمر) است. هرچند سنجه‌ی سخت‌گیرانه‌ای است ولی از معدود سنجه‌هایی است که داده آن به خوبی در دسترس و قابل اندازه‌گیری است.نمودار پایین، میزان مرگ و میر مرد طی سنین مختلف از صدک پنجم درآمدی (کم درآمد) را نشان می‌دهد. در سن ۴۰ سالگی، همه‌ی آن‌ها زنده هستند ولی در سن ۷۶ سالگی، ۵۰٪ آنها مرده‌اند.حالا بیایید، همین نمودار را برای صدک نودوپنجم (ثروتمندها) ببینیم. نمودار قرمز رنگ این صدک را نشان می‌دهد. ۸۰٪ این افراد در سن ۷۶ سالگی زنده هستند.محققی به نام Gompertz، حدود ۲۰۰ سال پیش به رابطه‌ی جالبی بین سن و میزان بقا دست یافته است که برای موجودات مختلف، به درستی عمل می‌کند. با استفاده از این رابطه می‌توان تا ۹۰ سالگی گروه‌های مختلف را تخمین زد.با این حساب می‌توان داده‌های نمودار بالا را به شیوه‌ای دیگر نیز نمایش داد. همانطور که می‌بینید فاصله‌ی بسیار زیادی بین متوسط طول عمر بر اساس میزان درآمد افراد وجود دارد.در واقع یک نابرابری شدید در سیستم سلامت آمریکا وجود دارد. یک درصدِ فقیر جامعه، امید به زندگی‌شان چیزی در حد کشورهای در حال توسعه مانند سودان، پاکستان و عراق است. در حالیکه ثروتمندترین آمریکایی‌ها، بیشترین میزان امید به زندگی را در میان کل مردم جهان دارند.بررسی میزان مرگ و میر خانواده‌های کم‌درآمد در بخش‌های مختلف آمریکا نشان می‌دهد که سن مرگ برای همه‌ی مناطق یکسان نیست. این پرسش پیش می‌آید که این مناطق چه تفاوتی با یکدیگر ممکن است داشته باشند؟بررسی عوامل مختلف مانند رفتارهای شخصی(سیگار، چاقی، میزان ورزش و ...)، کیفیت سیستم سلامت عمومی(افراد بدون بیمه، نرخ مرگ طی ۳۰ روز در هر بیمارستان و ...)، عوامل محیطی، میزان نابرابری (نژادی و مذهبی) و نرخ اشتغال نشان می‌دهند که رفتارهای شخصی بیشترین میزان همبستگی را با متوسط طول عمر در نواحی مختلف دارد.نقشه زیر، پراکندگی میزان مصرف دخانیات و امید به زندگی در مناطق مختلف آمریکا را نمایش می‌دهد. مشخصا شاهد همبستگی در هر دو نقشه هستیم.علاوه بر میزان مصرف دخانیات، می‌توان رفتارهای معناداری در ارتباط بین خرید مواد غذایی مفید و میزان درآمد افراد یافت.۱۲. اقتصاد سلامت و صنعت بیمه سوالی که در این بخش مطرح می‌شود این است که آیا بیمه عمومی سلامت منجر به بهبود وضعیت سلامت جامعه می‌شود یا خیر؟ اگر می‌شود، چگونه می‌توان این بیمه را در اختیار آمریکایی‌های بیشتری قرار داد؟در یک آزمایش صورت گرفته در سال ۲۰۰۸، بصورت تصادفی به تعدادی از ساکنان ایالت اورگان که بین ۱۹ تا ۶۴ سالشان بود، بیمه سلامت عمومی تعلق گرفت. در این آزمایش گروه تحت آزمایش ۳۰هزار نفر و گروهی که تحت کنترل بودند، ۴۵هزار نفر بودند. آیا قرار گرفتن تحت بیمه‌ درمانی، تعداد مراجعه کنندگان به اورژانس بیمارستان‌ها را کاهش می‌دهد؟نمودارهای میله‌ای آبی روشن، افرادی را نشان می‌دهد که تحت بیمه درمانی قرار گرفته‌اند. مشخصا این افراد آزمایش‌های بیشتری انجام می‌دهند و سریع‌تر (و بیشتر) از بقیه متوجه بیماری‌هایی که دچار آن هستند، می‌شوند.ولی جالب اینجاست که استفاده از بیمه منجر به افزایش استفاده از اورژانس نیز می‌شود. (در واقع در حالت کلی نرخ استفاده از خدمات پزشکی افزایش پیدا می‌کند.)ولی چگونه می‌توان تاثیرات بیمه‌ی عمر را در طولانی مدت ارزیابی کرد؟‌ چندین ایالت آمریکا، در دوره‌ا‌ی تصمیم گرفتند کودکان خانواده‌های کم درآمد متولد پس از ۳۰ سپتامبر ۱۹۸۳ را، تحت پوشش بیمه درمانی قرار دهند. مقایسه‌ی بزرگسالی این کودکان با کودکانی که قبل از این تاریخ بدنیا آمده‌اند، می‌تواند منبع خوبی برای بررسی تاثیرات بیمه درمانی در کودکی باشد. در این آزمایش، مشخصا وضعیت سلامت سیاه‌پوستانی که در کودکی تحت بیمه قرار گرفته‌اند، ۲۰ سال بعد بهتر از آنهایی است که تحت بیمه قرار نداشته‌اند. در واقع می‌توان اینگونه نتیجه گرفت که بیمه درمانی بیشتر تاثیرات بلندمدت دارد تا کوتاه مدت.چرا دخالت دولت در صنعت بیمه سلامت اهمیت دارد و نمی‌توان آن را یک‌باره به بخش خصوصی واگذار کرد؟ نمودار زیر میزان پرداخت بخش‌های مختلف درآمدی جامعه به بیمه‌ی سلامت را نمایش می‌دهد. آمار نشان می دهد که با افزایش مبلغ، تعداد افرادی که به عضویت این بیمه درمی‌آیند، کمتر می‌شود. در واقع، صنعت بیمه بسیار وابسته به قیمت است!این پدیده، منجر به این می‌شود که با افزایش هزینه‌؛ افراد سالم، پرداخت بیمه‌ی خود را متوقف می‌کنند و افرادی که داخل سیستم بیمه می‌مانند، اغلب بیمار هستند و این می‌تواند منجر به برشکستگی شرکت‌های بیمه شود.پس اگر صنعت بیمه‌ی سلامت کاملا به شرکت‌های خصوصی واگذار شود، احتمال شکست کامل آن وجود دارد. بزرگ‌ داده، نقش مهمی در پیش‌بینی بیمارهای‌ همه‌گیر مانند آنفولانزا دارند. در سال ۲۰۰۹ یک تحقیق [۱] بر اساس جستجوی گوگل برای پیش‌بینی همه‌گیری آنفولانزا انجام شد. این تحقیق داده افرادی را بررسی می‌کرد که کلیدواژه‌هایی مانند "آنتی‌بیوتیک" یا "گلودرد" را جستجو می‌کردند. در این تحقیق تلاش شده است که با تکنیک‌های یادگیری ماشین، مدلی را آموزش دهیم که با استفاده از روند جستجوی افراد، میزان واقعی ابتلا به آنفولانزا پیش‌بینی شود.همانطور که مشاهده می‌کنید این متودولوژی توانسته است به خوبی میزان آنفولانزا در سال ۲۰۰۸ را پیش‌بینی کند (خط سیاه پیش‌بینی بر اساس جستجوی گوگل و خط قرمز میزان ابتلای واقعی براساس آمار دولتی).لازم به ذکر است که از سال ۲۰۰۹ تا کنون (۲۰۲۰) پیشرفت‌های بسیار گسترده‌ای در این زمینه صورت گرفته است. در سال ۲۰۱۲ این شیوه‌ی پیش‌بینی دچار خطا شد، چرا که گوگل پیشنهادات جستجوی کلمات مرتبط را به سرویس خود اضافه کرد. ۱۳. بهبود سیستم قضاییدر تحقیقی جالب که در سال ۲۰۰۴ صورت گرفت، ۵۰۰۰ رزومه‌ی شغلی مشابه با اسامی افرادی که به نظر سفیدپوست و یا به نظر سیاه‌پوست می‌رسیدند، ارسال شد تا تعداد بازخوردها محاسبه شود. همانطور که از نمودارهای زیر می‌بینید، رزومه‌هایی که اسامی شبیه اسامی سفیدپوست‌ها داشتند، نزدیک به ۵۰٪ بیشتر بازخورد می‌گرفتند.در تحقیق دیگری که درباره‌ی قضّات اسراییلی منتشر شده است، تصمیم‌گیری ۱۱۰۰ قاضی اسراییلی مبنی بر آزادی مشروط یا ادامه‌ی حبس افراد طی ۱۰ ماه مورد بررسی قرار گرفته ‌است. نمودار زیر توزیع تصمیم‌گیری‌ها مبنی بر زمان ناهار و اسنک را نمایش می‌دهد. کسانی که از بدشانسی به زمان خستگی و گشنگی قضات برمی‌خورند، تقریبا از هیچ شانسی برای آزادی برخوردار نیستند! آیا تحلیل داده و یادگیری ماشین می‌تواند به حل این مشکل کمک کند؟ آیا این الگوریتم‌ها می‌توانند خود دچار بایاس شوند؟ در مقاله‌ای که در سال ۲۰۱۷ منتشر شده است [۲] تصمیمات آزادی مشروط یا باقیماندن در زندان، برای ۷۵۰.۰۰۰ دستگیر شده‌ی تخلفات مختلف مورد بررسی قرار گرفت. در این تحقیق، تصمیمات اخذ شده‌ی قضّات و یک مدل یادگیری ماشین (درخت تصمیم‌گیری)، مقایسه شدند. هدف تحقیق، پیش‌بینی حضور شخص بعد از آزادی مشروط، در جلسه‌ی دادگاه است. قضّات و مدل یادگیری ماشین باید بتوانند کسانی را آزاد کنند که درباره‌ی حضور آن‌ها در جلسه‌ی دادگاه مطمئن‌ترند.نمودار سه بعدی زیر، نتایج این تحقیق را به وضوح نشان می‌دهد. در سه وجه این نمودار، نرخ آزادسازی توسط قضّات، ریسک پیش‌بینی شده توسط مدل یادگیری ماشین و ریسک مشاهده شده گزارش شده‌اند.قضّات ۵۰٪ از کسانی که ریسک بالاتر از ۶۰٪ عدم حضور در دادگاه داشته‌اند را آزاد کرده‌اند.قضّات ۳۰٪ از کسانی که ریسک ۲۰٪ عدم حضور داشته‌اند را، در زندان نگه داشته‌اند.جرایم می‌توانند ۲۵٪ کاهش یابند بدون اینکه نرخ زندانی شدن افزایش یابد.جمعیت زندان‌ها می‌تواند ۴۲٪ کاهش یابد بدون اینکه تغییری در نرخ جرایم صورت گیرد.یکی دیگر از حوزه‌های بسیار فعال، پیش‌بینی جرایم پیش از وقوع آن‌ها است. این حوزه نیز، حوزه‌ی بسیار گسترده‌ای است و تحقیقات فراوانی که در آن صورت گرفته است. https://dataio.ir/dataset-bias-k3cen5h2ii5m ۱۴. تاثیرات آلودگی آب و هوامشخصا در گذر زمان و با تولید دی‌اکسید کربن بیشتر، دمای کره‌ی زمین نیز گرم‌تر شده است. این پدیده منجر به پدیده‌های بسیار شدید‌تر آب‌وهوایی مانند طوفان‌ها و ... گشته است.در این بخش، بیشتر متمرکز بر روش‌هایی هستیم که تاثیر تصمیم‌گیری در تغییرات رفتاری یک شخص بر روی کل جامعه را بررسی می‌کنند. در واقع در مثال پایین، اگر تصور کنیم که قیمت خرید هر بشکه سوخت ۳ دلار است، از آن میزان تاثیرگذاری واقعی که بر محیط داشته چشم بسته‌ایم. در واقع با در نظر گرفتن همه چیز قیمت یک بشکه سوخت ۴ دلار بوده است و ما مثلث زردرنگ (هزینه اجتماعی) را در نظر نگرفته‌ایم. سوال اینجاست که چگونه می‌توانیم هزینه‌ی اجتماعی آلودگی را محاسبه کنیم؟برای پاسخ به این سوال، سه رویکرد کلی در پیش گرفته شده است:بررسی تاثیر هر یک تن اضافی دی‌ اکسید کربن بر اقلیم آب ‌و هوایی از طریق بررسی مد‌ل‌های پیش‌بینی آب و هوا (این پرسش اغلب توسط دانشمندان محیط زیست پاسخ داده می‌شود).۲. تاثیرات افزایش این میزان دی‌ اکسید کربن بر عملکرد اقتصادی، سلامت، تخریب دارایی‌ها و ... .نمودارهای زیر به خوبی نمایش می‌دهند که چگونه افزایش دما می‌تواند منجر به کاهش عملکرد در بسیاری موارد شود. برای مثال گرم‌ترین روزهای سال، کمترین میزان GDP را به همراه داشته‌اند:و یا در بررسی دیگر، مشخصا نمرات درس ریاضی در روزهای گرم سال کمتر بوده است:و یا نرخ جرم و جنایت که در روزهای گرم سال بسیار بیشتر از روزهای عادی گزارش شده است:۳. تاثیرات افزایش این میزان دی‌ اکسید کربن در طولانی مدت.اهمیت پاسخ به این سوال، در اینجاست که برخی معقتدند ما بعنوان جامعه می‌توانیم در طی زمان با این تغییرات منطبق شویم. پس باید بتوانیم نتیجه‌ی این تغییرات را در طولانی مدت برآورد کنیم. برای مثال در نمودار پایین شاهد این هستیم که توسعه تکنولوژی به ما کمک کرده است که مرگ و میر ناشی از گرما را کاهش دهیم. این موضوع با بقیه پدیده‌های طبیعی نیز منطبق است. برای مثل مرگ و میر ناشی از گردباد در کشورهایی که با گردبادهای شدید مواجه هستند، متفاوت است.تخمین‌ها نشان می‌دهند، در صورتی که تغییرات آب‌وهوایی به شیوه‌ی فعلی ادامه پیدا کنند، GDP جهانی تا سال ۲۱۰۰، ۲۳٪ کاهش پیدا خواهد کرد. کره‌ی زمین سمت چپ، گرمای زمین را تحت شرایطی فعلی نمایش می‌دهد. شرایطی که کسب‌وکار به شکل عادی پیش برود. تصویر سمت راست، دمای کره‌ی زمین را پس از کاهش معنادار مصرف دی ‌اکسید کربن نمایش می‌دهد.این بخش به ما کمک می‌کند که هزینه‌ی واقعی مصرف کربن در حال حاضر را با توجه به تاثیرات مخرب اقتصادی آن را در آینده محاسبه کنیم. برای این کار باید به سوال دشوارتری پاسخ دهیم. پول در آینده به چه میزان از پول امروز ارزش دارد؟ (برای سهامی که سال آینده ۱۰۰۰ دلار ارزش دارد، امروز حاضرید چقدر پرداخت کنید؟)در سال ۲۰۱۵ تحقیق خلاقانه‌ای برای محاسبه‌ی این رقم صورت گرفت. در این تحقیق مبلغی که افراد حاضر بودند برای خرید خانه یا لیزینگ کامل آن برای طول مدت (۱۰۰ یا ۱۰۰۰ سال آینده!) پرداخت کنند، مورد مقایسه قرار گرفت.در واقع نمودار زیر نشان می‌دهد که افراد حاضرند برای خانه‌هایی که بین ۸۰-۹۹ سال از مدت رهن آن‌ها باقی مانده است، ۱۷٪ کمتر از مبلغ خرید خانه بپردازند. هر قدر مدت زمان باقی‌مانده از لیزینگ بیشتر می‌شود، تفاوت مبلغ با قیمت اصلی خانه نیز کمتر می‌شود. خروجی این تحقیق به یک نرخ ۲.۶٪ می‌رسد. یعنی ۱۰۰۰ دلار پس از یک سال ارزشی معادل ۹۷۴ دلار دارد.تمام این تحقیقات توسط کارگروهی در دوران اوباما روی هم قرار گرفت. هزینه‌ی اجتماعی استفاده از هر تن دی اکسید کربن، ۴۰ دلار محسابه شد. این عدد در بسیاری از قانون‌گذاری‌ها مورد استفاده قرار می‌گرفت تا اینکه دولت ترامپ آن را به شیوه‌ای دیگر! محسابه و معادل ۵ دلار قرار داد.۱۵. نقش سیاست‌گذاری در کاهش تغییرات اقلیمیوضع مالیات یکی از شیوه‌های کاهش استفاده‌ی از دی اکسید کربن است. برای بررسی آثار این تصمیم، خروجی قیمت سوخت در ایالت‌هایی را مقایسه می‌کنیم که مالیاتی بر سوخت وضع نکرده‌اند. ایالت ایلینوی و ایندیانا از تاریخی به بعد مالیات مربوط به سوخت را حذف کردند. نمودار زیر اختلاف میانگین قیمت سوخت در این ایالت‌ها را با ۵ ایالت دیگر امریکا که مالیات در آن‌ها برقرار بوده است، نمایش می دهد. مشخصا حذف مالیات، منجر به کاهش قیمت سوخت و افزایش اختلاف با دیگر ایالت‌ها شده است. در واقع به ازای ۱۰ سنت افزایش مالیات برای تولیدکننده‌، ۷ سنت آن را مصرف کننده پرداخت می‌کنند ولی آیا این منجر به کاهش مصرف سوخت می‌شود؟با در دست داشتن میزان تغییرات نرخ مالیات در ایالت‌های مختلف و همچنین میزان مصرف سوخت در هر ایالت، می‌توان یک رگرسیون خطی ایجاد کرد و این تغییرات را محاسبه نمود. جدول پایین نتایج این رگرسیون را نمایش می‌دهد. بصورت خلاصه، می‌توان از آن نتیجه گرفت که به ازای افزایش هر ۱۰ سنت مالیات (به ازای هر بشکه گازولین)، ۴ درصد میزان مصرف گازولین کاهش می‌یابد. بعبارت دیگر، افزایش مالیات باندازه‌ی یک دلار در هر بشکه، منجر به کاهش تولید ۵٪ دی اکسید کربن در آمریکا می‌شود. آیا این مقدار توقف گرمایش کره زمین کافی است؟ خیر! زیرا:طبق برآورد کارشناسان برای جلوگیری از گرمایش زمین باید مصرف دی اکسید کربن به ۵۰٪ مقدار فعلی، کاهش پیدا کند. در واقع باید ۹ اقدام دیگر مانند افزایش مالیات بر سوخت صورت بگیرد، تا کره‌ی زمین از گرمایش نجات یابد.درباره‌ی الکتریسیته نیز شاهد همین روند هستیم. نمودار زیر میزان مصرف الکتریسیته در دو ایالت مختلف را نشان نمایش می‌دهد. در سمت راستی بصورت عمومی اعلام شده است که هزینه‌ی الکتریسیته افزایش خواهد یافت و در نتیجه‌ی آن مصرف کاهش پیدا کرده است. با این وجود آمار نشان می‌دهد که اغلب افراد نسبت به افزایش تصاعدی هزینه‌ی الکتریسیته آگاه نیستند و تصاعدی بودن قیمت الکتریسیته، تاثیر چندانی در رفتار آن‌ها نمی‌گذارد زیرا نمی‌دانند از کدام نقطه به بعد، باید هزینه‌ی بیشتری پرداخت کنند.یکی از شیوه‌هایی که می‌تواند منجر به کاهش استفاده از الکتریسیته شود، اطلاعاتی است که نشان می‌دهد عملکرد شما در مصرف الکتریسیته چقدر خوب یا بد است. این شیوه منجر به کاهش ۲.۵٪ مصرف الکتریسیته شده است.۱۶. مالیات بر درآمدسیستم‌های مختلف مالیاتی در کشورهای مختلف جهان برقرار هستند و زندگی مردم آن کشور را به شیوه‌های گوناگون تحت تاثیر قرار می‌دهند. مشخصا منبع درآمدهای مالیاتی دولت در آمریکا تا سال ۲۰۱۴ به شکل نمودار زیر بوده است:بیش از ۴۲٪ مالیات از درآمد شهروندان و ۳۵٪ آن از منابع بیمه‌ی بازنشستگی یا معلولیت و ... تامین می‌شود. ۱۵٪ این مالیات نیز از شرکت‌ها دریافت می‌شود.بیشتر کشورهای جهان از سیستم مالیاتی پیش‌رونده استفاده می‌کنند. یعنی هر قدر که درآمد بیشتر باشد، ملزم به پرداخت مالیات بیشتری شوند. خط نارنجی نشان می‌دهد که به ازای هر یک دلاری که بیشتر کسب می‌کنیم چه درصدی به دولت پرداخت می‌شود. خط آبی نیز میانگین کل پرداخت برای نرخ درآمد مشخص به دولت را نمایش می‌دهد.نرخ مالیات اخذ شده از ۱٪ ثروتمند جامعه همواره مورد بحث بوده است. نرخ این مالیات در طی سال‌های مختلف در آمریکا بارها تغییر یافته است و در دوره‌ای حتی به بیش از ۹۰٪ نیز رسیده است.انتخاب رقم صحیح برای اخذ مالیات از ثروت‌مندان نیازمند برقراری یک تعادل بین دو عامل تساوی و بهره‌وری است. برخی معتقدند یک دلار برای کسی که سالیانه ۱۰هزار دلار درآمد دارد، بسیار ارزشمندتر از کسی است که سالیانه ۲۵۰هزار دلار درآمد دارد. از طرف دیگر، افزایش بیش از حد مالیات، انگیزه بخش اقتصادی برای نوآوری و رشد را از بین خواهد برد. اقتصاددانان برای بررسی این موضوع پارامتری را به نام Elasticity تعریف می‌کنند. در واقع این پارامتر نشان می‌دهد که با تغییر مالیات دریافتی، افراد حاضر به انجام چقدر کار بیشتر هستند:ΔW / W = میزان افزایش حق‌الزحمه نسبت به مبلغی خاصΔl / l = میزان افزایش مدتی که افراد کار می‌کنندElasticity = (Δl / l) / (ΔW / W)برای مثال در نمودار سمت چپ پایین، میزان انعطاف (elasticity) کمتر است. یعنی با افزایش درآمد، میزان کار افراد افزایش چندانی نمی‌یابد. اما در سمت راست، با افزایش اندک حقوق، میزان فعالیت افراد بسیار تغییر می‌کند.نمودار شناخته‌شده‌ی Laffer، به موضوع جالبی اشاره می‌کند. این نمودار نشان می‌دهد که اگر میزان مالیات دریافتی بیشتر از حد مشخصی باشد، منجر به کاهش درآمد دولت از مالیات و همچنین کاهش تولید و نوآوری خواهد شد. (تاریخچه‌ی این نمودار به زمانی برمی‌گردد که اقتصاددان شناخته‌ شده‌ای باسم Laffer، طی یک ناهار آن را روی دستمال کاغذی برای ریگان کشید.)نقطه‌ای که این نمودار را max می‌کند برابر است با: 1 / 1 + elasticity در واقع اگر elasticity برابر با صفر باشد، درآمد دولت ۱۰۰٪ خواهد شد. این تحت شرایطی است که افراد با تغییر میزان مالیات، میزان کار خود را تغییر نمی‌دهند و باندازه‌ی گذشته کار می‌کنند. (که غیر واقع گرایانه است.) اگر تصور کنیم که elasticity برابر با ۰.۲۵ باشد، درآمد دولت ۸۰٪ خواهد شد. در نتیجه درآمد دولت از مالیات به شدت وابسته به elasticity است.در تحقیقی که در سال ۲۰۱۵ صورت گرفت، از ۴۰۰۰ نفر در آمریکا خواسته شد که میزان درصد مالیات بر درآمد ثروتمندان جامعه را پیشنهاد دهند. از میان این ۴۰۰۰ نفر، به ۲۰۰۰ نفر از آنها، اطلاعات بیشتری درباره نابرابری در آمریکا داده شد. همچنین این اطمینان به آن‌ها داده شد که افزایش مالیات، به شیوه‌ای خواهد بود که توسعه اقتصادی دچار لطمه نشود. نمودار میله‌ای زیر مشخص می‌کند که بسیاری از افراد نابرابری را دلیلی برای افزایش مالیات نمی‌دانند.۱۷. اقتصاد رفتاری و سیاست‌گذاری عمومیپیش‌فرض بسیاری بصورت سنتی این است که افراد با جزییات زیاد نسبت به مقدار مالیاتی که برای حقوق دریافتی خود پرداخت می‌کنند، آشنا هستند. این در حالی است که تحقیقات بسیاری خلاف این را نشان می‌دهند.دفترچه راهنمای مالیات و قوانین مربوط به آن سال به سال قطورتر شده است و افراد کمتری آن را با دقت بیشتری می‌خوانند!در سال ۲۰۰۹، آزمایش ساده‌ای برای بررسی این موضوع انجام گرفت. هدف این تحقیق این بود که، بررسی شود آیا خریداران از میزان مالیاتی که بابت خرید محصولات در فروشگاه‌ها، در صندوق پرداخت می‌کنند، آگاهی دارند یا خیر. در این تحقیق ۱۰۰۰ محصول با تگ قیمت جدید به مدت ۳ هفته عرضه شدند که قیمت به احتساب مالیات روی آن‌ها نصب شده بود.این تحقیق ثابت می‌کند که درج تگ‌های قیمت جدید به احتساب مالیات منجر به کاهش ۸٪ خرید در این دسته‌بندی‌ها می‌شود. جزییات نتایج این تحقیق در جدول زیر قابل مشاهده است.با علم بر این موضوع سراغ مسائل مالیاتی پیچیده‌تری می‌رویم. EITC بزرگ‌ترین برنامه‌ی فقرزدایی در آمریکا است که سالا ۷۰ میلیارد دلار از منبع درآمد مالیات، به افرادی پرداخت می‌کند که در شغل‌های کم درآمد مشغول به کار هستند. آیا این برنامه موفقیت‌آمیز بوده است؟اگر درآمد تا چه اندازه باشد، از دولت پول دریافت می‌کنید؟با توجه به اینکه بسیاری دقیقا متوجه نرخی شده‌اند که بیشترین میزان پرداخت به آن صورت می‌گیرد، سیستم درآمد خود را به گونه‌ای تنظیم کرده‌اند که حداکثر مبلغ را از دولت دریافت کنند. به همین دلیل توزیع درآمد در آمریکا چیزی شبیه به نمودار زیر از آب در آمده است:البته این نرخ در ایالت‌های مختلف آمریکا متفاوت است. نقشه‌های پایین میزان افرادی را نشان می‌دهد که در ایالت‌های مختلف در سال‌های ۱۹۹۶ و ۲۰۰۸، درآمد خود را دقیقا با این نرخ تنظیم کرده‌اند. به تدریج، افراد بیشتری از این موضوع مطلع شده‌اند و به یکدیگر درباره‌ی آن گفته‌اند.برای صحت‌سنجی این فرضیه، می‌توان داده افرادی را بررسی کرد که از ناحیه‌های زرد رنگ به ناحیه‌های قرمز رنگ مهاجرت کرده‌اند. همانطور که در نمودار زیر می‌بینید، پس از مهاجرت به این ناحیه‌ها، بعد از مطلع شدن از این موضوع از طریق همسایه‌ها، حقوق دریافتی خود را به اندازه‌ای رسانده‌اند که دریافتی‌شان از دولت حداکثر شود. هرچند بخشی از این درآمدها کذایی هستند ولی این تحقیقات نشان می‌دهند که مالیات و برنامه EITC در میزان فعالیت افراد نقش داشته است و باعث شده است که افراد با کار بیشتر، مبالغ بیشتری از دولت بگیرند. با این حال این اتفاق فقط در ایالت‌هایی افتاده است که مردم از این برنامه مطلع‌ بوده‌اند.مورد سومی که از اقتصادی رفتاری در این بخش مورد بررسی قرار می‌دهیم، ذخیره‌ی بازنشستگی است. یک نگرانی عمومی وجود دارد که بسیاری از خانواده‌ها باندازه‌ی کافی برای دوران بازنشستگی خود ذخیره نمی‌کنند. در نمودار زیر رنگ سبز شرایطی را نشان می‌دهد که ثبت‌نام برای تخصیص بخشی از حقوق برای زمان‌ بازنشستگی اختیاری است. تحت این شرایط افراد به تدریج که مسن‌تر می‌شوند، بیشتر و بیشتر در این برنامه عضو می‌شوند. نمودار نارنجی ولی شرایطی را نشان می‌دهد که خروج از این طرح اختیاری بوده است. مشاهده می‌کنید که با یک تغییر ساده رفتاری، افراد بسیاری پس‌انداز خوبی برای آینده‌ی خود ترتیب داده‌اند.۱۸. اقتصاد توسعهاقتصاد توسعه بخشی از دانش اقتصاد است که به بررسی جنبه‌های فرایند توسعه و گسترش در کشورهای در حال توسعه می‌پردازد. نقشه‌ی زیر توزیع تولید ناخالص داخلی در کل جهان را نمایش می‌دهد. در اقتصاد توسعه، نمی‌توان تحلیل‌ها و شیوه‌هایی را به کار برد که در کشورهای توسعه یافته، مورد استفاده قرار می‌گیرد.در تحقیقی که در کنیا صورت گرفت، به صورت تصادفی تعدادی از مدارس تحت درمان بیماری‌های انگلی قرار گرفتند، تا خروجی آن‌ها با مدارسی که کودکان آن دیرتر تحت این درمان قرار گرفتند، یک دهه بعد مقایسه شود.یکی از مشکلات کشورهای در حال توسعه، عدم وجود داده کافی است. کنیا مانند آمریکا نیست که بتوان از طریق داده‌ مالیاتی، وضعیت درآمد یا عملکرد افراد را دنبال کرد. برای اینکار در کنیا باید سراغ تک تک این افراد می‌رفتند که کار بسیار پیچیده و پرهزینه‌ای است. آنها موفق شدند که ۸۳٪ از این افراد را که بین ۱۹ تا ۲۶ سالگی بودند، بصورت موفق ردیابی کنند.طبق نمودار میله‌ای زیر، مشخصا کسانی که بیشتر تحت تاثیر این درمان قرار داشته‌اند، وضعیت سلامتی بهتری را نسبت به بقیه گزارش می‌کنند.در این مورد خاص، هزینه‌ی درمان هر کودک ۱.۰۷ دلار است ولی به ازای هر کودکی که درمان شود بصورت میانگین منجر به افزایش ۰.۱۲ سال ادامه‌ی تحصیل و ۱۴۲.۴۳ دلار درآمد بیشتر می‌شود. در یک ساختار صحیح دولتی، دولت با اینکار منجر به درامدزایی خود از طریق اخذ مالیات در دراز مدت خواهد شد. [۳]نمودار زیر لیستی از اقدامات و همچنین نتیجه‌ی این اقدامات به ازای هر ۱۰۰ دلار هزینه را به شکل افزایش سال حضور در تحصیل نمایش می‌دهد. مشخصا شیوه‌هایی مانند انگل‌زدایی و یا ارائه قرص آهن و ویتامین تاثیر بسزایی در ادامه تحصیل کودکان داشته‌اند. برخی شیوه‌ها مانند، نصب دوربین در مدارس برای تحت نظر داشتن کیفیت تدریس، بی‌تاثیر گزارش شده‌اند.با این وجود این سوال مطرح می‌شود که نقش نهادها در اقتصاد توسعه چیست؟ بسیاری بر این باورند که نهادها، ارزشمند‌ترین داشته برای توسعه در کشورهای در حال توسعه هستند. اقتصاددانان، سعی در اثبات این فرضیه و یافتن نهادهایی هستند که از اهمیت بیشتری برخوردارند.یکی از رویکردهای خلاقانه برای پاسخ به این سوال، تحقیقات خانم دل در سال ۲۰۱۰ است که به معادن کشور پرو و نهادهای حکم‌ران بر آن در طی تاریخ مربوط می‌شود. دولت اسپانیا که کشور پرو مستعمره‌ی آن بود، در سال ۱۵۷۳ نهادی به نام Mining Mita تاسیس کرده بود. این نهاد به شیوه‌های مختلف مجبور می‌کرد که ۱/۷ از جوانان در دو معدن اصلی پرو کار کنند. ولی با توجه به دشواری رفت و آمد، آنها محدوده‌ای ایجاد کرده بودند که فقط افراد داخل آن محدوده مجبور به کار در معدن بودند.محدوده‌ی داخل خط سیاه مربوط به Mita بود و جوانان داخل آن مجبور به کار در دو معدن بودند.این شیوه‌ی تقسیم‌بندی امکان مقایسه‌ی این دو بخش را فراهم می‌کند. از کل این نقشه بخش طوسی به دلیل تشابه جغرافیایی و یکی بودن نوع اقتصاد در منطقه، مورد مطالعه قرار می‌گیرد.زوم شده‌ی بخش طوسی نقشه‌ی بالا.با پارامترهای ساده آغاز می‌کنیم. یکی از اصلی‌ترین و ساده‌ترین پارامترها برای اندازه‌گیری میزان تغذیه، قد کودکان است. همانطور که می‌بینید، بخش داخل محدوده که مجبور به کار بوده‌اند (بخش پررنگ‌تر)، مشخصا قد کوتاه‌تری داشته‌اند و از رشد بازمانده‌اند. با وجود اینکه ۱۵۰ سال بعد از ۱۵۷۳ این استعمار به پایان رسیده است ولی آمار میزان تحصیل در سال ۱۸۷۶ نشان دهنده این است که بخش تحت مدیریت میتا از سواد کمتری برخوردار است.آیا دخالت خارجی و نهادسازی در کشورهای دیگر می‌تواند منجر به موفقیت شود؟ این شیوه از دخالت‌ها بسیار پرهزینه هستند. بالاخص که در بحث دخالت نظامی، هزینه‌های جانی در پی دارند. با این حال محاسبه‌ی موفقیت این اقدامات در نهادسازی، چندان ساده نیست. بررسی چنین مسائلی با داده بسیار دشوار به نظرم می‌رسد. ولی مانند تماس بخش‌های این کورس، تلاش می‌کنیم این موضوع را هم به نحوی داده محور کنیم. برای بررسی این موضوع می‌توان به دخالت در آمریکا در ویتنام و تقویت ویتنام جنوبی در مقابل بخش کمونیست ویتنام (ویت کونگ) پرداخت. آمریکا برای این کار دو شیوه را استفاده کرد:استفاده از نیروی نظامی و بمباران هوایی.ایجاد فرصت‌های اقتصادی و اجتماعی و نمایش اینکه این دولت بسیار بهتر از دولت کمونیسم است.چگونه می‌توان نتایج حقیقی ناشی از بمباران هوایی را محاسبه کرد؟ نیروی هوایی آمریکا طی آن سال‌ها بصورت مستمر ۱۶۹ پرسشنامه‌ را بین افراد مختلف توزیع می‌کرد، تا بهترین نقاط برای حملات هوایی علیه کمونیست‌ها را انتخاب کند و بین عدد ۱ تا ۵ به این مناطق، امتیاز ریسک می‌دادند.با در دست داشتن این میزان ریسک‌ها می‌توان نتیجه‌ی بمباران دو منطقه‌ای که ریسک بسیار نزدیک به هم داشتند را مقایسه کرد. آیا این بمباران‌ها منجر به تضعیف کمونیست‌ها در این مناطق شده است؟ آیا منجر به تقویت نهادسازی در بخش مدنظر آمریکایی شده است؟نمودارهای زیر نشان می‌دهند بخش سمت چپ که بمباران در آن صورت گرفته است، نیروهای ویت کنگ بیشتری در آن حضور داشته‌اند، ترور بیشتری در آن صورت گرفته و پلیس عملکرد ضعیف‌تری در آن‌ها داشته است. بمباران نقش معکوس داشته است.چگونه می‌توان نتایج حاصل از ایجاد فرصت‌های اقتصادی و اجتماعی را بررسی کرد؟نیروی دریایی آمریکا، در بخشی از ویتنام قرار داشت که بقیه‌ی بخش‌های نظامی در آن فعالیت نمی‌کردند. همه‌ی آمارها نشان دهنده‌ی این است که در این بخش‌ها ارتباط بهتری بین ویتنامی‌ها و آمریکایی‌ها برقرار شده است.در پایان کورس، مسیرهایی که دانشجویان می‌توانند برای عمیق‌تر شدن در مسائل مطرح شده طی کنند مطرح شد.ممنون از شما که با مطالعه‌ی این خلاصه همراه من بودید. این کورس به خوبی نشان داد که چگونه می‌توان با استفاده از داده، به درک بهتری از مشکلات اقتصادی و اجتماعی رسید و برای آن‌ها راه‌حل مناسبی یافت.تصویری از کورس حضوری در هارواردبرخی لینک‌های مرتبط:[۱] Detecting influenza epidemics using search engine query data.[۲] Human Decisions and Machine Predictions[۳] موسسه‌ی Evidence Action بعد از این تحقیقات به انگل‌زدایی از کودکان پرداخته‌ و میلیون‌ها کودک را تحت درمان قرار داده است.[۴] تغییر شیوه‌ی تدریس اقتصاد در دانشگاه هاروارد[۵] بررسی روند تاثیرگذاری ویروس کووید۱۹ بر اقتصاد آمریکا سعید چوبانی سعید چوبانی Sun, 27 Sep 2020 03:23:14 +0330 https://virgool.io/@saeed.choobani/%D8%A2%DB%8C%D8%A7-%D8%B1%D9%88%DB%8C%D8%A7%DB%8C-%D8%A2%D9%85%D8%B1%DB%8C%DA%A9%D8%A7%DB%8C%DB%8C-%D8%AA%D8%AD%D9%82%D9%82-%DB%8C%D8%A7%D9%81%D8%AA%D9%87-%D8%A7%D8%B3%D8%AA-%D8%B2%D9%86%D8%AF%DA%AF%DB%8C-%D8%A7%D9%82%D8%AA%D8%B5%D8%A7%D8%AF%DB%8C-%D9%88-%D8%A7%D8%AC%D8%AA%D9%85%D8%A7%D8%B9%DB%8C-%D8%A2%D9%85%D8%B1%DB%8C%DA%A9%D8%A7%DB%8C%DB%8C%D9%87%D8%A7-%D8%B2%DB%8C%D8%B1-%D8%B0%D8%B1%D9%87%D8%A8%DB%8C%D9%86-%D8%A8%D8%B2%D8%B1%DA%AF-%D8%AF%D8%A7%D8%AF%D9%87-%D8%A8%D8%AE%D8%B4-%D8%A7%D9%88%D9%84-fy1afy18mvnc آنچه می‌خوانید خلاصه‌ای از یک کورس آموزشی تحت عنوان نقش بزرگ داده در حل مشکلات اقتصادی و اجتماعی است که در سال ۲۰۱۹ توسط پرفسور راج چتی (از محققان موسسه Oppurtunity Insights) در دانشگاه هاروارد ارائه شده است. این کورس قصد دارد، نتیجه‌ی تحقیقات مبتنی بر تحلیل داده را که طی سالیان طولانی در زمینه‌های فرصت‌ برابر اجتماعی، تحصیلات، سلامت، آموزش، محیط زیست و عدالت قضایی در آمریکا صورت گرفته است، شرح دهد.جذابیت این موضوع برای من، در شیوه‌ی مواجهه تحلیل‌گران و آمارشناسان با پرسش‌های اجتماعی است. اینکه چگونه می‌توان با در نظر گرفتن ابعاد مختلف پدیده‌های اجتماعی به عوامل آن‌ها پی برد و راهکارهایی عملیاتی ارائه نمود.تصویری از کورس در دانشگاه هاروارددسترسی آزاد به بخش عظیمی از انواع داده در آمریکا و امکان فعالیت آزادانه محققان، موضوعی ناشناخته و دور از دسترس در کشورهای جهان سومی است. ترجمه‌ی این کورس آموزشی نه با هدف تخریب کشوری خاص بلکه با هدف الگوبرداری از شیوه‌ی تحلیل و گردش آزاد اطلاعات صورت گرفته است.بزرگ داده تغییرات شگفتی در علوم اجتماعی و اقتصادی پدید آورده است. با این حال در بهره‌برداری و شیوه‌ی تحلیل بزرگ داده در صنعت و علوم اجتماعی تفاوت‌هایی وجود دارد. هدف اغلب صنایع امروزی از تحلیل بزرگ داده‌، پیش‌بینی است. در حالیکه هدف بیشتر تحلیل‌های مربوط به علوم اجتماعی کشف رابطه علت و معلولی در بین رخدادهای محیطی است. پیشنهاد من بستن این پنجره و تماشای تمام این ۱۸ ویدیوی یک ساعته است. در صورتیکه فرصت کافی را برای این کار ندارید، من خلاصه‌ای از نه بخش اول را در این پست وبلاگی منتشر کرده‌ام و نه بخش باقیمانده را در بخش دوم این پست وبلاگی منتشر خواهم کرد.۱. جغرافیای پیشرفت در آمریکارویای آمریکایی مقوله‌ای چند بعدی است که برای هر کسی تعبیر متفاوتی دارد. با این حال قلب تپنده‌ی آن را می‌توان باور به این دانست که اگر کسی باندازه‌ی کافی تلاش کند می‌تواند به سطح درآمد به مراتب بهتر از نسل پیشین خود (مشخصا پدر و مادر) دست یابد. آیا در آمریکا و در طی زمان، نسل‌های مختلف توانسته‌اند بهتر از نسل پدر و مادر خود عمل کنند؟نمودار پایین سال تولد کودکان و درصد افرادی که توانسته‌اند درآمدی بیشتر از پدر و مادرانشان داشته‌ باشند را نمایش می‌دهد. برای مثال اگر کسی در سال ۱۹۴۰ در آمریکا بدنیا آمده باشد، با احتمال ۹۲٪ به درآمدی بیشتر از پدر و مادرش دست یافته است ولی این احتمال برای کسی که در سال ۱۹۸۰ بدنیا آمده است، معادل احتمال وقوع شیر یا خط در پرتاب یک سکه است.با دیدن این نمودار، سوالی که مطرح می‌شود این است: شانس کودکان در بخش‌های مختلف آمریکا در پیشرفت مالی نسبت به نسل قبلی خود، چگونه تغییر می‌کند؟ [۱]برای پاسخ به این سوال، نتیجه سرشماری‌های ملی از سال ۲۰۰۰ تا ۲۰۱۰ را با داده درآمد افراد که از مالیات پرداختی ‌آن‌ها بدست آمده است ترکیب کردیم. همچنین والدین آمریکایی، هنگام پرداخت مالیات؛ کد ملی فرزندان خود را وارد می‌کنند تا مالیات کمتری بپردازند. با در دست داشتن این مجموعه داده، می‌توان ارتباط بین والدین و فرزندان را تا حدی پیگیری کرد. با ترکیب همه این مجموعه‌های داده، به یک مجموعه داده با ۸ میلیارد ردیف داده که شامل داده ۲۰.۵ میلیون کودکی می‌شود که بین سال‌های ۱۹۷۸ تا ۱۹۸۳ بدنیا آمده‌اند می‌رسیم. این؛ ۹۶٪ از کل جامعه هدف ما است.حال بیایید داده مربوط به بخش شهری شیکاگو را در نظر بگیریم. در نمودار زیر میانگین درآمد والدین بین سال‌های ۱۹۹۴ تا ۲۰۰۰ را با میانگین درآمد فرزندانشان در سال‌های ۲۰۱۴ تا ۲۰۱۵ (زمانی که فرزندانشان در اواسط سی سالگی هستند) مقایسه کردیم. نمودار افقی رتبه‌ی درآمدی والدین و نمودار عمودی، رتبه درآمدی فرزندان را نمایش می‌دهد. یک رگرسیون خطی ساده به این داده فیت شده است. چند نتیجه کلی را می‌توان از این نمودار گرفت:در شیکاگو اگر در خانواده‌ی ثروت‌مند‌تری بدنیا آمده باشید، ثروت‌مند خواهید بود. (روند صعودی نمودار)در شیکاگو اگر کسی در خانواده‌ای با درآمد ۲۵۰۰۰ دلار در سال بدنیا آمده باشد به درآمدی نزدیک به رتبه ۴۰ (۴۰۰۰۰ دلار در سال) می‌رسد.کسانی که در خانواده‌های بسیار فقیر بدنیا آمده‌اند، به سختی به درآمد ۳۰۰۰۰ دلار در سال می‌رسند.نقشه پایین پراکندگی درآمد فرزندان خانواده‌های کم درآمد را در ۷۴۱ منطقه آمریکا (commuting zones) نمایش می‌دهد. بخش‌های آبی مناطقی هستند که فرزندان خانواده‌های فقیر توانسته‌اند از فقر خارج شوند و به درآمد بیش از ۴۰هزار دلار در سال دست یابند. بخش‌های قرمز مناطقی را نشان می‌دهد که فرزندان خانواده‌های کم درآمد، درآمدی باندازه‌ی خانواده خود و یا کمتر دارند.این نقشه به خوبی نشان می‌دهد که در بخش‌هایی از آمریکا، کودکان فرصتی بهتر از هر کشور دیگری در جهان برای پیشرفت دارند و از سوی دیگر در بخش‌های دیگری از آمریکا، شانس کودکان برای پیشرفت بدتر از هر کشوری است که داده آن موجود است.تصویر بالا نقشه مهمی برای ادامه مسیر این کورس آموزشی است و بارها به آن ارجاع می‌شود. می‌توانید از طریق این لینک این نقشه را بصورت آنلاین ببینید. با زوم کردن در بخش‌های مختلف این نقشه متوجه می‌شوید که می‌توان فرصت‌ رشد یا شکست را محله به محله و یا بر اساس جنسیت و نژاد در بخش‌های مختلف بررسی کرد. از شما دعوت می‌کند قبل از آغاز مطالعه بخش دوم، از کار با این نقشه لذت ببرید.۲. تاثیرات ناشی از زندگی در محله‌های متفاوت کمی روی نقشه‌ای که بالاتر معرفی کردیم، زوم می‌کنیم و به بوستون جنوبی می‌رویم. این نقشه به وضوح نشان می‌دهد که در بخش خاصی از بوستون جنوبی، درآمد فرزندان خانواده‌های کم‌درآمد بیشتر از بقیه مناطق است. ولی سوال اینجاست که آیا منطقه زندگی تاثیری در میزان درآمد کودکان در آینده دارد؟ یعنی اگر خانواده‌ای را از منطقه‌ی آبی به منطقه‌ی قرمز منتقل کنیم، احتمال اینکه درآمد فرزندشان در آینده کاهش یابد، وجود دارد؟ برای تایید یا رد این نظریه از یک شیوه‌ی شبه تجربی و از داده‌ای که در دست داریم، بهره می‌بریم. داده خانواده‌هایی را بررسی می‌کنیم که در طی زمان و با کودکانی در سنین مختلف از مناطقی به مناطق دیگر نقل مکان کرده‌اند. (برای مثال از منطقه روکسبری که میانگین درآمد فرزندان در آن ۲۳۰۰۰ دلار است به منطقه‌ی ساوین هیل نقل مکان کرده‌اند که میانگین درآمد فرزندان در آن ۴۰۰۰۰ دلار است.) نمودار زیر روند تغییر میانگین درآمد در سنین مختلف نقل مکان فرزندان را نشان می‌دهد.منطقه‌ای که در آن زندگی می‌کنید، واقعا حائز اهمیت است.منطقه‌ای که در دوران کودکی در آن زندگی می‌کنید، از منطقه‌ای که در بزرگسالی در آن هستید به مراتب حائز اهمیت‌تر است.هر یک سال حضور در منطقه‌ی بهتر، منجر به خروجی بهتر در دراز مدت می‌شود.سوال بعدی که مطرح می‌شود این است که تفاوت این مناطق در چیست؟ چرا کودکانی که در برخی مناطق رشد می‌کنند، درآمد بیشتر نسبت به دیگری دارند؟ ممکن است اولین پاسخی که به ذهن می‌رسد این باشد که در این مناطق موقعیت‌های شغلی بیشتری وجود دارد ولی نمودار زیر این ادعا را رد می‌کند. همانطور که مشاهده می‌کند این نمودار هیچ الگوی مشخصی ندارد و بصورت نسبتا رندم پراکنده شده است. ۵ تفاوت مهم در مناطق مختلف که منجر به تفاوت در میزان درآمد فرزندان می‌شوند:تفکیک نژادی: مناطقی که نژادهای مختلف در محله‌های مختلف زندگی می‌کنند و با هم ترکیب نشده‌اند.نابرابری درآمدی:‌ مناطقی که قشر متوسط کوچک‌تری دارند.کیفیت مدارسساختار خانواده: مناطقی که تعداد افراد مطلقه در آن بیشتر است.سرمایه اجتماعی: مناطقی که افراد در مواقع دشوار بیشتر به همدیگر کمک می‌کنند.دو راهکار اصلی برای بهبود این وضعیت وجود دارد:یک. تغییر محل زندگی به مناطقی با وضعیت بهتر.دو. بهبود وضعیت مناطق فعلی.۳. آزمایش‌ تاثیر تغییر یا بهبود منطقه‌ی زندگیآزمایش تغییر محل زندگی به مناطقی با وضعیت بهتر بین سال‌های ۱۹۹۴ تا ۱۹۹۸ در پنج شهر اصلی آمریکا یعنی بالتیمور، بوستون، شیکاگو، لس‌آنجلس و نیویورک صورت گرفت. در این آزمایش ۴۶۰۰ خانواده را بصورت تصادفی به سه گروه تقسیم کردند. گروه اول کسانی بودند که کمک مالی تهیه مسکن دریافت می‌کردند به شرطی که به منطقه‌ای با فقر پایین‌تر نقل مکان کنند. (Experimental voucher) گروه دوم کسانی بودند که همین کمک مالی را دریافت می‌کردند ولی لزوما شرط خاصی برای انتخاب محل زندگی بعدی نداشتند (Section 8) و گروه سوم کسانی که هیچ کمک مالی دریافت نمی‌کردند (Control).نتایج این آزمایش را در این نمودار مشاهده می‌کنیم. کودکانی که در سنی کمتر از ۱۳ سال بهمراه خانواده‌شان به محلات بهتری نقل مکان کرده‌اند مشخصا عملکرد بهتری نسبت به آن‌هایی که باقی‌مانده‌اند، دارند. ولی این شیوه‌ی آزمایش نیز محدودیت‌های قابل توجهی دارد:ابتدا اینکه وقتی بحث آزمایش‌های طولانی مدت به میان می‌آید، دنبال کردن تغییرات زندگی افراد سخت می‌شود.دوم اینکه انجام چنین آزمایشی بسیار سخت است و نمی‌توان مطمئن بود که می‌توان نتیجه‌ی حاصل از فضای نمونه را به کل تعمیم داد.مسئله سوم نیز امکان نتیجه‌گیری کلی از این آزمایش است. آیا این آزمایش در شهرهای دیگر یا تحت شرایط دیگر نیز همین نتایج را تولید می‌کند؟ به جای آزمایش واقعی می‌توان از آزمایش‌های شبه تجربی نیز استفاده کرد. برای مثال داده خانواده‌های شبیه به هم را در دو منطقه مختلف مقایسه کرد. ولی این آزمایش نیز لزوما بر پایه این فرضیه استوار است که دو خانواده شبیه هم هستند.نمودار زیر، میزان اجاره‌ی واحدهای دو خوابه را با میانگین درآمد فرزندان خانواده‌های کم درآمد ترسیم کرده است. شیب مثبت رگرسیون خطی نشان می‌دهد که هر قدر به سمت محلات گران‌قیمت حرکت کنیم، میانگین درآمد هم بیشتر خواهد شد. ولی از سوی دیگر مناطقی را می‌بینیم که اجاره بهای بالایی دارند ولی میانگین درآمد در آنها پایین‌تر از محله‌های ارزان‌تر است. برای مثال‌ خانواده‌ای کم درآمد در سنترال دیستریکت می‌تواند به نورمندی پارک مهاجرت کند تا هم اجاره‌ی کمتری بپردازد و هم فرزندش از فرصت بهتری در زندگی برخوردار شود.تغییر محل زندگی حتی اگر آزمایش موفقی باشد با سه معضل اصلی روبه‌رو است:برای دولت بسیار هزینه‌بر است.مهاجرت کم‌درآمدها به نقاط پردرآمد ممکن است منجر به تغییر مناطق پردرآمد شود.در مقیاس بزرگ امکان پیاده‌سازی ندارد.رویکرد سرمایه‌گذاری در بهبود مناطق موجود گزینه‌ی بعدی مورد بحث است. پیش‌تر به عوامل مهم که در هر منطقه منجر به تفاوت در میزان درآمد فرزندان می‌شوند پرداختیم. تفکیک نژادی، نابرابری درآمدی، کیفیت مدارس، ساختار خانواده و سرمایه اجتماعی مهم‌ترین آن‌ها بودند. دولت‌های مختلف تلاش بسیاری برای بهبود هر یک از این‌ها کرده‌اند ولی هنوز هم کسی نمی‌داند که بهترین راه‌حل ممکن چیست.۴. رویای آمریکایی در طول تاریخهمانطور که در سه بخش قبلی دیدیم، یکی از پارامترهای اصلی اندازه‌گیری موفقیت در نسل‌های مختلف آمریکایی، ارزیابی زندگی نسل‌های بعد نسبت به نسل قبلی خودشان (مشخصا پدر و مادرشان) است. در این بخش، با جزییات بیشتری به این موضوع می‌پردازیم.بیایید ابتدا به نمودار پایین نگاهی بیاندازیم:این نمودار درصد افرادی را نشان می‌دهد که در دهه‌های مختلف نسبت به پدر و مادر خود درآمد بهتری داشته‌اند. (شکل دیگر و تفکیک شده‌تری از اولین نمودار اولِ پست). برای مثال ۹۵٪ از کودکانی که در دهه ۱۹۴۰ بدنیا آمده‌اند، درآمدی بیشتر از پدر و مادرشان داشته‌اند ولی اگر فرزندی در دهه‌ ۱۹۸۰ در خانواده‌ای بدنیا بیاید که بین ۴۰ تا ۶۰ هزار دلار در سال درآمد دارد، ~۴۰٪ امکان دارد که به درآمدی بیشتر از خانواده‌ی خود برسد. اگر رویای آمریکایی را کسب درآمد بیشتر فرزندان از پدر و مادرانشان تعریف کنیم، این رویا در حال رنگ باختن است.ولی این نمودار چگونه بدست آمده است؟ مگر ما به داده‌ی همه کودکان و پدر و مادران‌شان و ارتباط موجود بین‌ آن‌ها، در طول سال‌های گذشته دسترسی داریم؟ نه! این مجموعه داده در دسترس نیست. با این حال، نگاه به نمودار توزیع چگالی احتمال، در یافتن راه‌ حل به ما کمک می‌کند.برای مثال توزیع چگاهی احتمال برای کودکان متولد دهه ۱۹۴۰ و اولیای آن‌ها را در نظر بگیرید:از این نمودار می‌توان پی برد که برای کودکان متولد دهه ۱۹۴۰، ۸۰٪ از اولیا حقوقی کمتر از ۲۷۰۰۰ دلار در سال داشته‌اند در حالی که ۸۶٪ از فرزندانشان حقوقی بیشتر از این عدد را دارند. با این حساب نیازی به داشتن داده‌ی دقیق وجود دارد. خوشبختانه برای سال‌های اخیر نیز داده دقیق این ارتباطات در دسترس است.از سال ۱۹۴۰ تا کنون دو تغییر عمده در اقتصاد آمریکا رخ داده است. اول اینکه در حالت کلی رشد اقتصادی از سال ۱۹۷۳ به این طرف کمتر بوده است و دوم اینکه به صورت نابرابرتری توزیع شده است. نمودار میله‌ای آبی، نشان می‌دهد که بین سال‌های ۱۹۴۷ تا ۱۹۷۳ تقریبا تمامی اقشار جامعه بین ۲-۳ درصد رشد اقتصادی را تجربه کرده‌اند، در حالی که بین سال‌های ۱۹۷۳ تا ۲۰۱۳ این رشد برای طبقه ضعیف منفی بوده است. در یک مطالعه‌ی دیگر که به همین موضوع پرداخته است، مشاهده می‌کنیم که در سال ۱۹۸۰ طبقه‌ی ضعیف و متوسط شاهد بیشترین میزان رشد اقتصادی بوده است در حالیکه در سال ۲۰۱۴ رشد طبقه‌ی ضعیف و متوسط به حداقل رسیده و طبقه‌ی مرفه (کسانی که سالانه حدود ۱ میلیون دلار درآمد دارند) با اختلاف بسیار زیاد سالانه ۶٪ رشد را تجربه کرده می‌کنند. حال اگر همین داده‌ را با نمودار قبلی ترکیب کنیم، متوجه خواهیم شد که دو دلیل عمده در کاهش درآمد فرزندان نسبت به پدرومادرنشان کاهش رشد اقتصادی و عدم توزیع عادلانه‌ آن است. خط نارنجی در نمودار پایین شرایطی را نشان می‌دهد که کودکان متولد دهه‌ی ۱۹۸۰ با رشد اقتصادی معادل ۱۹۴۰ مواجه بودند. خط سبز رنگ نیز شرایطی را نشان می‌دهد که رشد اقتصادی بصورت برابری توزیع شده باشد.می‌توان نتیجه گرفت، ۱/۳ از کاهش در‌آمد فرزندان نسبت به پدران و مادرانشان بخاطر کاهش رشد اقتصادی و ۲/۳ آن بخاطر توزیع ناعادلانه‌ی آن است.نمودار زیر نیز از منظری دیگر، یافته‌های نمودار بالا را تایید می‌کند. خط سیاه روند درآمد فرزندان نسبت به پدر و مادرانشان در طول سال‌های مختلف است. خط آبی همین داده را تحت شرایطی نمایش می‌دهد که رشد اقتصادی بالاتری وجود داشته باشد. خط خاکستری شرایطی است که رشد اقتصادی بصورت عادلانه توزیع شده باشد.همین یافته‌ها را برای کشورهای دیگر نیز می‌توان مشاهده کرد:برای احیای رویای آمریکایی دو راه‌حل اصلی وجود دارد: افزایش مالیات اقشار پردرآمد و توزیع آن بین اقشار کم درآمدتر.ارائه آموزش به اقشار کم‌ درآمد جهت رشد مجموعه مهارت‌ها و دستیابی به جایگاه شغلی بهتر: منظور از آموزش صرفا آموزش مهارت‌های سخت (مانند ریاضیات) نیست. نمودار زیر به خوبی مشخص می‌کند که افزایش درآمد در میان کسانی بیشتر است که حتما مهارت‌های نرم (مانند مهارت‌های اجتماعی) بالایی داشته‌اند. ۵. برابری در فرصت‌ها و رشد اقتصادیبررسی ارتباط مستقیم بین فرصت‌های برابر و رشد اقتصادی، ساده نیست. یکی از کانال‌های ارزیابی رشد اقتصادی توسط اقتصاد‌دانان، نوآوری است. برای ارزیابی نوآوری، از پتنت‌ها [۲]، داده‌ مالیاتی افراد (مانند دانشگاه محل تحصیل، میزان تحصیلات و ...) و نمرات دانش‌آموزان در مدارس نیویورک استفاده خواهیم کرد.نمودار پایین، تعداد مخترعان در هر ۱۰۰۰ کودک را در مقابل درآمد خانواده ترسیم کرده است. هرقدر میزان درآمد خانواده بیشتر می‌شود، تعداد پتنت‌های ثبت شده نیز بیشتر می‌شود. در صورتی که همین داده را با نمرات افراد در درس ریاضی و میزان درآمد خانواده ترکیب کنیم، به نمودار بسیار جالب زیر دست می‌یابیم:خط آبی عملکرد فرزندان خانواده‌های فقیر و خط نارنجی عملکرد فرزندان خانواده‌های ثروتمند را نمایش می‌دهد. خط افقی، نمرات دانش‌آموزان در درس ریاضی است و خط عمودی تعداد مخترعان در هر ۱۰۰۰ دانش آموز. یعنی در آمریکا اگر کودکی بخواهد مخترع شود هم باید نمرات خوبی در درس ریاضی بگیرد و هم از خانواده ثروت‌مندی باشد. توزیع نمرات ریاضی برای خانواده‌های پردرآمد و کم‌درآمد نیز ثابت می‌کند اختلاف معناداری بین عملکرد کودکان در درس ریاضی و سطح درآمد خانواده وجود دارد.با انجام آزمایش آماری propensity score reweighting، می‌توان دریافت که اگر توزیع نمرات کودکان خانواده‌های کم‌درآمد مانند کودکان خانواده‌های پردرآمد باشد، ۳۱٪ از گپ در تعداد اختراعات آن‌ها کاهش پیدا می‌کند. پس ~ ۷۰٪ از این گپ بدلیل میزان درآمد خانواده است.داده‌ی نمودار بالاتر را می‌توان برای نژادها و جنسیت‌های مختلف نیز بررسی کرد. برای مثال مشخصا حتی اگر جزو بهترین شاگردان کلاس باشید ولی نژادتان سیاه یا هیسپان باشد، نرخ ثبت اختراع برای شما به شدت پایین‌تر خواهد بود.در بحث جنسیت، اگر به درصد زنان مخترع متولد شده در طول زمان نگاه کنیم، شاهد رشد ۰.۲۷٪ سالانه هستیم. یعنی با ادامه‌ی روند فعلی، در آمریکا ۱۱۸ سال دیگر طول می‌کشد تا تعداد زنان و مردان مخترع مساوی شود.حال به این می‌پردازیم که چقدر محیط خلاق بر تعداد اختراعات کودکان در آینده موثر است. برای شروع کودکانی که پدر و مادر مخترعی دارند را با کودکان عادی مقایسه می‌کنیم. اگر پدر و مادر شما مخترع باشند، ۱۰ برابر شانس مخترع شدنتان بیشتر است. ولی این می‌تواند بدلیل مباحث ژنتیکی یا محیطی باشد. باید معیار بهتری برای ارزیابی تاثیر محیط پیدا کنیم. برای این‌کار می‌توان به دسته‌بندی اختراعات فرزندان و فاصله‌ی آن از اختراعات اولیایشان نگاه کرد. در تصویر پایین می‌بینید که بیش از ۹۰٪ کودکان دقیقا در همان حوزه‌ای اختراع داشته‌اند که پدر یا مادرشان اختراعی داشته است. (فاصله‌ طبقه‌بندی اختراع‌ آن‌ها با اختراع والدینشان صفر است.) همین روند را در نقشه‌ی پراکندگی جغرافیایی اختراعات هم می‌توان دید. برای مثال کودکانی که در سیلیکون ولی رشد می‌کنند اغلب اختراعاتشان در زمینه‌ی کامپیوتر است در حالی که کودکانی که در مینیاپولیس هستند، بیشتر در حوزه‌ی پزشکی اختراع دارند.در ادامه می‌توان تاثیر جنسیت‌های مختلف بر مخترع شدن کودکان را بسنجیم. نمودار میله‌ای زیر نشان می‌دهد که پسرها و دخترها در صورتی که در محیطی قرار بگیرند که مردان و زنان مخترع بیشتری در آن وجود دارد، احتمال مخترع شدنشان افزایش می‌یابد. پسرها بیشتر تحت تاثیر مردان و دخترها بیشتر تحت تاثیر زنان هستند. تاثیر محیطی با زنان مخترع بر پسران منفی ۰.۲ است.اگر زنان، اقلیت‌ها و کودکان خانواده‌های کم‌درآمد باندازه مردان خانواده‌های پردرآمد، اختراع داشته باشند؛ نرخ نوآوری در آمریکا ۴ برابر می‌شود.۶ و ۷. نقش آموزش عالی و افزایش میزان درآمد فرزندان نسبت به والدینارزیابی تاثیر تحصیلات عالی در درآمد افراد طی نسل‌های مختلف، تحت تاثیر سه عامل مهم است:یک. توزیع درآمد والدین بین دانشگاه‌های مختلف.توزیع چگالی احتمال درآمد والدین برابر با نمودار زیر است. بالاتر نیز به شکل‌های گوناگون، به داده‌ی این نمودار پرداخته بودیم. حال بیایید برای نمونه به داده دانشگاه هاروارد نگاهی بیاندازیم. همانطور که می‌بینید ۷۰٪ از دانشجویان هاروارد از خانواده‌های پردرآمد هستند. جالب است بدانید که ۱۵.۴٪ از دانشجویان هاروارد فرزندان ۱٪ پردرآمد جامعه هستند (کسانی که سالانه بیش از نیم میلیون دلار درآمد دارند.) این یعنی احتمال ورود به هاروارد برای کسانی که از طبقه‌ی ۱٪ مرفه جامعه هستند ۱۰۳ برابر بیشتر از کم‌درآمدترین اقشار جامعه است!این پدیده مختص به هاروارد نیست و برای بقیه‌ی دانشگاه‌های آمریکا نیز تکرار می‌شود:درک نمودار میله‌ای پایین توجه بیشتری طلب می‌کند! اغلب، تصور ما این است که دانشگاه باعث می‌شود افراد با افراد دیگری از طبقه‌های مختلف جامعه در ارتباط باشند ولی نمودار زیر ثابت می‌کند که درباره دانشگاه‌های برتر آمریکا اینگونه نیست.در واقع نمودار زیر ثابت می‌کند که ثروتمندان در محل زندگی خود بیشتر شانس مواجه با طبقات محروم را دارند تا در دانشگاه!همچنین روند ثبت نام فرزندان قشر کم‌درآمد جامعه در طی زمان، با وجود اجرای برنامه‌های حمایتی مختلف تغییر چندانی نکرده است و در برخی دانشگاه‌ها کمتر نیز شده است. دو. میزان درآمد دانشجویان بر اساس دانشگاه محل تحصیل بررسی میزان درآمد دانشجویان دانشگاه‌های مختلف نتیجه‌ی جالبی بهمراه دارد. نمودار پایین دو دانشگاه مختلف و میزان درآمد والدین در آن را نمایش می‌دهد. خطوطی که روی تصویر هستند، درصد دانشجویانی را نشان می‌دهد که جزو ۲۰٪ پردرآمدترین افراد در سن ۳۴ سالگی خود رسیده‌اند.در واقع فرقی نمی‌کند از خانواده فقیر باشید یا پولدار، اگر به دانشگاه بروید احتمال اینکه به درآمد بالایی برسید زیاد و برای همه یکسان است.حال بیایید واحدی به نام "نرخ حرکت" تعریف کنیم. نرخ حرکت، در واقع نرخ دانشجویانی است که از خانواده‌های کم درآمد هستند ولی به درآمد بالا در اواسط ۳۰ سالگی رسیده‌اند. برای مثال نرخ حرکت برای دانشجویان دانشگاه سانی، ۸.۴٪ است.حال می‌توانیم این نرخ را برای همه دانشگاه‌های آمریکا محاسبه کنیم و لیستی از بهترین دانشگاه‌هایی را پیدا کنیم که می‌توانند افراد از خانواده‌های کم‌درآمد را جذب کنند و خروجی خوبی از آن‌ها بگیرند.سه. میزانی از درآمد دانشجو که مشخصا به دلیل تاثیر دانشگاه بوده است. این بخش از تحقیق، تلاش می‌کند به این پرسش پاسخ دهد که اگر دانشجویانی که در هاروارد درس می‌خوانند، ۳۰٪ بیشتر از دانشجویان دانشگاهی دیگر درآمد داشته باشند؛ چه بخشی از این درآمد صرفا ناشی از تحصیل در هاروارد بوده است؟ آیا اگر همین دانشجویان که برای تحصیل در هاروارد انتخاب شده‌اند، مسیر دیگری را در زندگی در پیش می‌گرفتند، همین مقدار پیشرفت مالی را داشتند یا خیر؟بدست آوردن این رقم، کار بسیار پیچیده‌ای است؛ چرا که نیازمند یک آزمایش واقعی و انتخاب تصادفی دانشجویان برای تحصیل در دانشگاه‌های آمریکا است (کاری که انجام آن عملا غیرممکن است). با این حال، می‌توان به شیوه‌های آماری دیگر یک تخمین برای این موضوع بدست آورد.بیایید به یک دانشگاه دولتی سطح پایین در ایالت فلوریدا نگاهی بیاندازیم. جدول زیر معدل و امتیازاتی را نشان می‌دهد که هر دانشجو باید داشته باشد تا اجازه ورود به این دانشگاه را بگیرد. البته این نمرات یکی از معیارهای تصمیم‌گیری برای پذیرش دانشجو در این دانشگاه است. برای مثال می‌بینیم که اگر امتیاز SAT برابر با ۹۷۰ باشد، معدل لازم برای ورود به این دانشگاه ۲.۹ است و یا اگر امتیاز SAT کمتر از ۹۷۰ باشد، معدل باید ۳.۰ باشد. قشر بزرگی از دانشجویان (۷۳٪) جزو این دسته هستند. حالا با دقت! به نمودار پایین توجه کنید. در تصویر سمت چپ، در خط افقی؛ فاصله‌ی معدل تا امتیاز SAT را می‌بینید. برای مثال اگر امتیاز شما زیر ۹۷۰ باشد عدد صفر به منزله‌ی معدل ۳.۰ است. خط عمودی تعداد دانشجویانی را نشان می‌دهد که از دانشگاه فلوریدا پذیرش گرفته‌اند. در واقع اگر با امتیاز زیر ۹۷۰، معدل ۳.۰۱ داشته باشید ۲۳.۴٪ شانس بیشتری برای پذیرش گرفتن از کسانی دارید که معدلشان ۲.۹۹ بوده است. این موضوع به ما کمک خواهد کرد تا تاثیر ورود به این دانشگاه را متوجه بشویم. تصویر سمت راست هم میزان حضور همین دانشجویان در کلاس را نمایش می‌دهد. در واقع دانشجویانی که معدلشان ۳.۰۱ بوده، گروهی هستند که تحت آموزش در دانشگاه قرار گرفته‌اند (treatment group) ولی آنهایی که معدلشان ۲.۹۹ بوده با وجود شرایط یکسان و بصورت اتفاقی، تحت آموزش قرار نگرفته‌اند (control group).با فرض بر اینکه دیگر شرایط این افراد، تا حدودی یکسان بوده است، می‌توان مشخصا نتیجه گرفت که شرکت در این دانشگاه منجر به ۵٪ رشد در درآمد برای این افراد شده است.۸ و ۹. نقش تحصیلات پیش از دانشگاه (مهدکودک تا پیش‌دانشگاهی‌)در آمریکا سالانه بیش از ۱ تریلیون دلار صرف مقاطع تحصیلی پیش از دانشگاه می‌شود. با این حال سهم ایالت‌های مختلف، وابسته به میزان مالیاتی که دریافت می‌کنند؛ متفاوت است.بحث و جدل بسیاری نیز بصورت فعالانه در این زمینه در جریان است. مدارس دولتی، خصوصی و چارتری هر یک طرفداران و مخالفان خود را دارند. سوال اصلی که کماکان وجود دارد این است که چگونه می‌توان کیفیت این مقاطع تحصیلی را افزایش داد؟یکی از مجموعه‌های داده اصلی برای بررسی خروجی مدارس، نمرات دانش‌آموزان است. هرچند میزان درآمد در آینده و یا میزان ورود به دانشگاه می‌توانند معیارهای بهتری برای ارزیابی موفقیت باشند ولی نمرات در دسترس‌تر هستند و به سرعت به روز می‌شوند.قبل از پرداختن به تحلیل‌های اصلی، باید ببینیم که آیا نمره معیار خوبی برای سنجش موفقیت افراد هست یا خیر؟ بیایید به سوالاتی که از یک دانش‌آموز مقطع مهدکودک پرسیده می‌شود نگاهی بیاندازیم. برای مثال از او می‌پرسند که کدام‌یک از تصاویر زیر با حرف آخر واژه cup آغاز می‌شود؟نمونه سوال مهدکودک در آمریکانمودار زیر نمرات ۱۲۰۰۰ دانش‌آموز مهدکودک در سال ۱۹۸۵ را در یکی از ایالت‌های کم‌درآمد آمریکا (Tennessee) در مقابل میزان درآمدشان در بزرگسالی نمایش می‌دهد. [۳] (توجه کنید که هر نقطه‌ روی نمودار میانگین درآمد یک بازه از نمرات را نشان می‌دهد. برای مثال لزوما کسی که نمره مهدکودکش در میانه بوده، درآمد ۱۷۰۰۰ دلار در سال ندارد. ممکن است بیشتر یا کمتر باشد. این نقطه نشان‌گر میانگین همه این افراد است.)این روند در میزان موفقیت در ورود به دانشگاه هم مشاهده می‌شود:این داده مربوط به یک مدرسه در آمریکا است. حال اگر بخواهیم داده‌ی چندین مدرسه را باهم مقایسه کنیم، به این مشکل برمی‌خوریم که مدارس مختلف، آزمون‌های مختلفی برگزار می‌کنند و مقیاس نمرات در هر یک متفاوت است. محققی به نام ریردون (Reardon) با در دست داشتن ۲۱۵ میلیون نمره از مدارس ۱۱۰۰۰ منطقه در آمریکا، راه‌حل آماری برای این مسئله یافت. با استانداردسازی همه این نمرات به توزیع زیر می‌توان دست یافت. مشخصا میانگین نمرات دانش‌آموزان در دیترویت به مراتب پایین‌تر از پالو آلتو یا کمبریج است.می‌توان همین ارقام را بر روی نقشه نمایش داد. نقاط سبز، مناطق تحصیلی را نشان می‌دهد که میانگین نمرات بالاتری دارند و نقاط بنفش مناطقی با میانگین نمرات پایین‌تر است. این نقشه را با جزییات بیشتر در این آدرس ببینید. حال، همین مجموعه داده را بر روی داده درآمدی افراد در مناطق مختلف آمریکا ترسیم می‌کنیم و به این نمودار جالب دست می‌یابیم. در این نمودار خط افقی میزان درآمد خانواده را نمایش می‌دهد و خط عمودی میانگین نمرات فرزندان را. روند کلی حاکی از این است که با افزایش درآمد، میانگین نمرات و موفقیت تحصیلی نیز افزایش پیدا می‌کند. تفکیک دانش‌آموز فقیر و غیرفقیر، ثابت می‌کند که حضور دانش‌آموز فقیر در مدارس باصطلاح بالاشهر! هم چیزی را بهتر نمی‌کند و حتی شاهد فاصله‌ی بیشتری بین نمرات در این مدراس هستیم.در نموداری دیگر می‌توان میزان سرمایه‌گذاری در آموزش پیش از دانشگاه را با خروجی میانگین نمرات در آزمون‌های استاندارد، مشاهده کرد. همانطور که واضح است، کشور آمریکا هر چند بیش از فنلاند سرمایه‌گذاری می‌کند ولی میانگین پایین‌تری دارد. در واقع این تصویر ثابت می‌کند که نباید دلیل مشکلات را صرفا در میزان سرمایه‌گذاری جستجو کرد. میزان سرمایه‌گذاری مهم است. ولی تنها عامل نیست.دو شیوه‌ی کلی برای بهبود وضعیت مدارس پیشنهاد می‌شود:۱. راه‌حل‌های مبتنی بر دولت که نیازمند دخالت مستقیم دولت در افزایش کیفیت مدارس است.برای بررسی نتایج و آثار این راه‌حل‌ها باید ابتدا ببینیم که چه عواملی در ارتقا کیفیت مدارس موثر هستند. تعداد نفرات داخل کلاس و سطح کیفی معلم دو عامل مهم در کیفیت مدارس هستند.برای بررسی ابعاد مختلف آزمایشی به نام استار [۳] انجام گرفت. در این آزمایش دانش‌آموزان بصورت تصادفی در کلاس‌هایی با اندازه‌های مختلف قرار گرفتند. نتایج این آزمایش در جدول زیر گزارش شده است. نتایج آزمون‌ها بصورت میانگین ۴.۸۱ صدک افزایش پیدا کرده است. (در بازه‌ی اطمینان ۳ تا ۷ درصد). میزان ورود به دانشگاه به ازای هر سال حضور در کلاس کم جمعیت می‌توان بصورت میانگین ۲.۰۲٪ افزایش پیدا کند. ولی این مجموعه داده باندازه‌ای کافی نیست که بتواند تاثیر کلاس کوچک در میزان درآمد را به خوبی تخمین بزند.برای بررسی تاثیر اندازه کلاس، به آزمایش دیگری که در سوئد انجام گرفته است، می‌توان پرداخت. حداکثر نفرات در کلاس‌های مدارس سوئد، ۲۵ نفر هستند و اگر کلاسی حتی یک نفر بیشتر از ۲۵ نفر باشد، باید به دو کلاس ۱۳ نفره تبدیل شوند. این موضوع، شرایط خوبی را برای آمارشناسان فراهم می‌کند تا تاثیر کلاس کوچک را بر خروجی کودکان ببینند. (همان کودکی که قرار بوده در کلاس بزرگ‌تر باشد ناگهان در کلاس کوچک‌تر قرار گرفته).با افزایش تعداد دانش‌آموزان میانگین نمرات کم و کم‌تر می‌شود ولی وقتی به نقطه صفر می‌رسیم (یعنی جایی که کلاس ها را دوباره کوچک‌تر می‌کنیم) میانگین نمرات دوباره افزایش می‌یابد.همین روند را برای درآمد افراد بین ۲۷ تا ۴۲ سالگی‌شان بررسی می‌کنیم. درآمدها در نقطه‌ی کوچک‌تر کردن کلاس‌ها، حدود ۴٪ افزایش پیدا می‌کنند.نتیجه مهم این بخش، این است که با تقسیم یک کلاس ۳۰ نفره به دو کلاس ۱۵ نفره، می‌توان مجموع درآمد دانش‌آموزان را در آینده بیش از ۶۰۰.۰۰۰ دلار افزایش داد. استخدام یک معلم و تخصیص یک کلاس بسیار کم‌هزینه تر از این است! ولی سطح کیفی معلم چه تاثیری در خروجی دانش‌آموزان دارد؟معیار کیفیت معلمان چیست؟ یکی از این معیارهای مهم مقداری است که یک معلم می‌تواند به میانگین نمرات دانش‌آموزان یک کلاس اضافه کند (Teacher Value-Added). ولی چند دغدغه مهم در اینباره وجود دارد:آیا ارتقاء نمرات، مشخصا به خاطر معلم است یا اینکه بصورت تصادفی دانش‌آموزان باهوش‌تری به این معلم داده شده‌اند؟یک شیوه‌ی موثر برای پاسخ به این سوال، نگاه به بخش‌هایی از داده است که یک معلمِ بهتر یا بدتر در سال مشخص به یک مدرسه رفته است.نمودار خطی نتایج کلاسم چهارم و نمودار نقطه‌چین نتایج کلاس سوم هستند.نمودار خطی نتایج کلاسم چهارم و نمودار نقطه‌چین نتایج کلاس سوم هستند. آیا افزایش نمرات به معنای واقعی منجر به بهبود زندگی فرد در آینده می‌شود یا صرفا این معلم‌ها دانش‌آموز را برای یک آزمون خاص تربیت می‌کنند؟نمودارهای زیر نشان می‌دهند که داشتن یک معلم بهتر، به ازای هر سال از تحصیل، احتمال رفتن به دانشگاه را ۲٪ افزایش می‌دهد. میانگین درآمد را ۵۰۰ دلار افزایش می‌دهد و نرخ فرزندآوری دختران در نوجوانی را کاهش می‌دهد!افزایش میانگین درآمد با افزیش کیفیت معلم.کاهش نرخ فرزندآوری دختران در نوجوانی با افزایش کیفیت معلم.سوالی که هنوز پاسخ مشخصی ندارد این است که اگر کسی ۱۰ سال پشت سرهم معلم خوبی داشته باشد، آیا درآمدش ۱۰ * ۵۰۰ بیشتر می‌شود؟ آیا شانس ورود به دانشگاه برای او ۲۰٪ افزایش می‌یابد؟ یا صرفا یک معلم در یک مقطع برای انگیزه بخشیدن کافی است؟با همه‌ی اینها، اغلب معلمان بر اساس سال‌های تجربه درآمد بیشتری دریافت می‌کنند و نه بر اساس شیوه‌ی عملکردشان.۲. راه‌حل‌هایی که مسئولیت دولت را ارتقاء مستقیم کیفیت آموزش نمی‌داند و این موضوع را به بخش خصوصی ارجاع می‌دهد.آیا مدارس خصوصی یا چارتری، خروجی بهتری از مدارس عمومی دارند؟ با توجه به شرایط متفاوت مناطق این مدارس و پارمترهای دیگر، نمی‌توان یک مقایسه‌ی موردی انجام دادم و نتیجه‌گیری کرد و می‌بایست مانند موارد قبل از آزمایش‌های شبیه‌سازی شده استفاده کرد. اگر دانش‌آموزی بصورت تصادفی (سیستم پذیرش در این مدارس حالت بخت‌آزمایی دارد و کاملا تصادفی است) موفق به رفتن به یک مدرسه چارتی در آمریکا شود، عملکرد بهتری از مدارس عمومی و پایلوت خواهد داشت. تحقیقات بسیاری در زمینه‌ی مدارس چارتری شده است ولی نتایج کاملا وابسته به نوع مدرسه چارتری دارد و نمی‌توان به یک نتیجه‌گیری کلی دست یافت.ایده‌ی پرطرفدار این است که سودآوری در مدارس خصوصی باعث خروج بازیگران ضعیف خواهد شد و همان اتفاقی میافتد که در بازار شرکت‌های خصوصی افتاده است. پس چرا نمی‌توان کل سیستم آموزشی را اینگونه کرد: ممکن استبه درستی ارزیابی نشوند. یک مدرسه لزوما مانند شرکت آمازون نیست که بتواند بصورت لحظه‌ای خروجی‌های خود را اندازه‌گیری کند. سال‌ها طول می‌کشد تا خروجی یک مدرسه ارزیابی شود.مدارس خصوصی از پذیرش دانش‌آموزان ضعیف‌تر سرباز می‌زنند.خانواده‌ها به اندازه کافی مطلع نیستند که بتوانند بهترین مدرسه‌ها را انتخاب کنند. آنچه خواندید، خلاصه‌ای از ۹ بخش ابتدایی کورس آموزشی تحت عنوان نقش بزرگ داده در حل مشکلات اقتصادی و اجتماعی است که سال گذشته در دانشگاه هاروارد تدریس شده است.این کورس آموزشی، ثابت می‌کند که با دسترسی به داده صحیح و یک نگرش موشکفانه‌ی تحلیلی، می‌توان ریشه‌ی بسیاری از مسائل اقتصادی و اجتماعی را یافت و برای آن‌ها راه‌حل‌های عملیاتی پیشنهاد کرد.در صورت تمایل، نظرات خود را درباره این نوشته با من به اشتراک بگذارید و اگر مطلب مرتبطی را قبلا در ‌این‌باره خوانده‌اید، در بخش نظرات لینک کنید.مطالعه بخش دوم: https://virgool.io/@saeed.choobani/%D8%A2%DB%8C%D8%A7-%D8%B1%D9%88%DB%8C%D8%A7%DB%8C-%D8%A2%D9%85%D8%B1%DB%8C%DA%A9%D8%A7%DB%8C%DB%8C-%D8%AA%D8%AD%D9%82%D9%82-%DB%8C%D8%A7%D9%81%D8%AA%D9%87-%D8%A7%D8%B3%D8%AA-%D8%B2%D9%86%D8%AF%DA%AF%DB%8C-%D8%A7%D9%82%D8%AA%D8%B5%D8%A7%D8%AF%DB%8C-%D9%88-%D8%A7%D8%AC%D8%AA%D9%85%D8%A7%D8%B9%DB%8C-%D8%A2%D9%85%D8%B1%DB%8C%DA%A9%D8%A7%DB%8C%DB%8C%D9%87%D8%A7-%D8%B2%DB%8C%D8%B1-%D8%B0%D8%B1%D9%87%D8%A8%DB%8C%D9%86-%D8%A8%D8%B2%D8%B1%DA%AF-%D8%AF%D8%A7%D8%AF%D9%87-%D8%A8%D8%AE%D8%B4-%D8%AF%D9%88%D9%85-n2ly0zdlwdjr برخی لینک‌های مرتبط:[۱] پاسخ به این سوال در مقاله‌ای با عنوان The Opportunity Atlas: Mapping the Childhood Roots of Social Mobility مطرح شده است که بخش‌هایی از خلاصه آن در این پست وبلاگی هم آمده است. [۲] قبلا در یک پست وبلاگی دیگر درباره پتنت‌ها، شیوه جمع‌آوری آن‌ها و انواع تحلیل‌ روی آن‌ها نوشته‌ام: متن‌‌کاوی؛ چگونه به کمک صنعت کشاورزی می‌آید؟[۳] آزمایش معروف نرخ موفقیت دانش‌آموز و معلم. (STAR) سعید چوبانی سعید چوبانی Sun, 13 Sep 2020 19:52:29 +0430 https://virgool.io/@saeed.choobani/%DB%B3-%DA%AF%D8%A7%D9%85-%D8%B3%D8%A7%D8%AF%D9%87-%D8%AF%D8%B1-r-%D8%A8%D8%B1%D8%A7%DB%8C-%D9%81%DB%8C%D8%AA-%DA%A9%D8%B1%D8%AF%D9%86-%D9%85%D9%86%D8%A7%D8%B3%D8%A8%D8%AA%D8%B1%DB%8C%D9%86-%D8%AA%D8%A7%D8%A8%D8%B9-%D8%AA%D9%88%D8%B2%DB%8C%D8%B9-%D8%A7%D8%AD%D8%AA%D9%85%D8%A7%D9%84-fnqs5epe94h8 بسیار خوب. به مبحث بسیار شیرین آمار می‌رسیم. کسانی که تحلیل داده را بعنوان شغل اصلی خود انتخاب می‌کنند، از اهمیت بی‌ چون و چرای دانش آماری مطلع هستند. بدون سواد آماری، یک تحلیل‌گر داده ممکن نیست بتواند دید صحیحی از آنچه که انجام می‌دهد، داشته باشد.اگر شما هم مانند من در مباحث آماری تازه کار هستید، ممکن است به این سوال برخورده باشید که چگونه می‌توان مناسب‌ترین تابع توزیع احتمال را برای یک مجموعه داده بدست آورد؟ (و یا باصطلاح فیت کرد) پاسخ به این سوال از این نظر اهمیت دارد که می‌توانیم رفتار مجموعه‌ داده خود را بشناسیم و انواع آزمایش‌های آماری را روی آن انجام دهیم. در وبگردی‌ به جواب سریع و کاربردی برای این سوال نرسیدم و همین بهانه‌ای شد که یک مطلب کوتاه درباره‌ی آن بنویسم.اگر درباره توزیع‌های احتمال هیچ اطلاعاتی از پیش ندارید، پیشنهاد می‌کنم این ویدیو را تماشا کنید.من بیشتر اوقات از پایتون استفاده می‌کنم ولی توابع از پیش آماده‌ای که در R وجود دارند، کار را برای تحلیل‌های آماری بسیار آسوده‌تر می‌کنند. (همچنین بد نیست به این بهانه سری به R بزنیم تا بببینم آنجا چه خبر است!)تصویر کاملا تزیینی است! گام اول: آماده سازی مجموعه دادهاگر قبلا R را نصب نکرده‌اید می‌توانید از اینجا به راحتی نصب و با ویرایشگر پیش‌فرض از آن استفاده کنید و یا از برنامه‌ی R Studio بهره ببرید.حالا یک مجموعه داد بصورت رندم تولید می‌کنیم. شما از هر کدی برای تولید داده‌ی رندم می‌توانید استفاده کنید. همچنین به جای داده‌ی رندم می‌توانید از مجموعه داده‌ی در دست خودتان استفاده کنید.data = rnorm(100, 20, 5)مجموعه‌ داده‌ی بدست آمده، به شکل اعداد زیر است:همین داده را بصورت یک هیستوگرام می‌توانیم نمایش دهیم:hist(data)حالا همین داده را به شکل چگالی احتمال تغییر می‌دهیم. به بردار طول‌ها دقت کنید که تغییر پیدا می‌کند و احتمال وقوعِ آن مقدار می‌شود. در واقع در این حالت مجموع اعداد روی نمودار یک است. توجه کنید که ما توزیع‌‌های احتمال مختلف را روی این نمودار فیت می‌کنیم.plot(density(data))گام دوم: فیت کردن توزیع‌های احتمال مختلفبرای فیت‌ کردن توزیع‌های احتمال مختلف می‌توانیم از پکیج fitdistrplus در R استفاده کنیم. ابتدا این پکیج را نصب و بارگذاری می‌کنیم.install.packages(&quotfitdistrplus&quot)library(&quotfitdistrplus&quot)دستور زیر یک دید کلی و جامع درباره‌ی میزان نزدیکی داده‌ی ما با انواع توابع توزیع‌های احتمال ارائه می‌دهد. descdist(data, boot=1000)نمودار  Cullen and Frey علائم مختلف روی نمودار، هرکدام نشانگر نوع خاصی از تابع توزیع هستند. برای مثال مثلث به معنای توزیع uniform، ستاره توزیع Normal، مثبت توزیع Logistic، خط چین درشت توزیع Gamma و خط چین ریز توزیع Lognormal است. نقطه‌ی آبی به هر نشانه‌ای که نزدیک‌تر باشد، احتمالا داده‌ی ما آن توزیع را دنبال می‌کند. همانطور که می‌بینید، نمودار Cullen and Frey پیش‌بینی می‌کند که توزیع داده ما نزدیک به تابع توزیع نرمال است. در واقع این نمودار یک دید کلی (intuition) درباره شبیه‌ترین توزیع به داده‌ی ما ارائه می‌دهد.حالا ۴ توزیع مختلف نرمال (normal)، گاما (Gamma)، لاگ نرمال (Lognormal) و نمایی (exponential) را روی داده، فیت می‌کنیم تا نتایج را ببینیم. کتابخانه fitdistrplus بصورت پیشفرض از شیوه‌ی برآورد درست‌نمایی بیشینه (Maximum Liklihood Estimation) برای محاسبه مناسب‌ترین پارامترها استفاده می‌کند. با این حال شما می‌توانید از دیگر شیوه‌ها هم استفاده کنید.fnorm = fitdist(data, &quotnorm&quot) fgamma = fitdist(data, &quotgamma&quot) flognorm = fitdist(data, &quotlnorm&quot) fexp = fitdist(data, &quotexp&quot)اول نگاهی به توزیع‌های فیت شده بیاندازیم. برای این‌کار یک لیست و یک وکتور ساده، اول از اسامی توزیع‌ها و دومی خودِ توزیع‌ها ایجاد می‌کنیم:plot.legend = c(&quotNormal&quot, &quotGamma&quot, &quotLogNormal&quot, &quotExponential&quot) dist.list = list(fnorm, fgamma, flognorm, fexp)با اجرای دستور کوتاه زیر نمودار توزیع‌های تئوریک بر روی داده واقعی خود را می‌بینیم:denscomp(dist.list,legendtext = plot.legend)توزیع‌های مختلف تئوریک بر روی داده‌همچنین می‌توانیم نمودار توزیع CDF یا همان تابع توزیع تجمعی (Cumulative distribution function) را هم ببینیم. cdfcomp(dist.list, legendtext = plot.legend)از هر دو این نمودارها مشخص است که توزیع نمایی (Expnential) توزیع مناسبی برای مجموعه داده ما نیست. ولی بین سه توزیع ما بقی کدام‌یک توزیع بهتری است یا (باصطلاح بهتر فیت شده است؟) گام سوم: مقایسه بین توزیع‌ها و انتخاب بهترینشیوه‌های مختلف آماری برای محاسبه توزیعِ "بهتر" وجود دارد. برای مثال آزمون کولموگروف–اسمیرنف (KS-TEST) یکی از شناخته‌شده‌ترین‌ها آزمایش‌ها است. هر قدر که عدد حاصل از آزمون KS پایین‌تر باشد، نشان‌ دهنده‌ی این است که توزیع بهتر فیت شده است. gofstat(dist.list , fitnames=plot.legend)نتیجه‌ی آزمون KS به ما نشان می‌دهد که توزیع نرمال بهترین فیت برای داده است. (البته انتظاری جز این نداشتیم چراکه داده را بصورت رندم از توزیع نرمال ایجاد کرده بودیم.) بقیه آزمون‌های انجام شده نیز ثابت می‌کنند که توزیع نرمال، توزیع مناسب‌تری برای این مجموعه داده است.اگر با این اعداد قانع نمی‌شوید و برای اطمینان می‌خواهید p-value را برای هر آزمون ببینید، می‌توانید از دستور مستقیم آزمون KS بصورت مجزی برای هر توزیع فیت شده استفاده کنید. من برای توزیع نرمال و نمایی جهت مقایسه این کار را انجام می‌دهم.ks.test(data, pexp, fexp$estimate[1], fexp$estimate[2])در نتیجه‌ی این آزمون P-value صفر است. یعنی تابع نمایی اصلا توزیع مناسبی برای این مجموعه داده نیست و فرض پیروی از این توزیع رد می‌شود. D همان مقداری است که در جدول بالا هم نمایش داده شده است.حال P-value را برای توزیع نرمال بدست می‌آوریم:ks.test(data, pnorm, fnorm$estimate[1], fnorm$estimate[2])در نتیجه‌ی این آزمون P-value معادل 0.736 است. این عدد بسیار بالاتر از مقدار مد نظر است و فرض دنبال کردن دیتا از این تابع توزیع احتمال را تایید می‌کند. خلاصهمباحث آماری گسترده و بی‌پایان هستند. اگر علاقه داریم در حوزه‌ی تحلیل داده کار کنیم، مجبوریم با آن‌ها سروکار داشته باشیم. در این نوشته‌ی کوتاه من تلاش کردم یک موضوع مبتدی را گام به گام توضیح بدهم. خوشحال می‌شوم اگر اشتباهی کرده باشم در کامنت‌ها یادآوری کنید و اگر سوالی داشتید بپرسید. قول می‌دهم برای پیدا کردن پاسخ تلاشم را کنم. سعید چوبانی سعید چوبانی Sat, 27 Jun 2020 19:13:01 +0430 https://virgool.io/@saeed.choobani/goodreads-part1-jgimcnudnbma جهان ما مملو از نویسندگانی است که فضای فکری ما را از پشت نوشته‌های روی کاغذشان شکل می‌دهند. نگارندگان کتب آسمانی، داستان‌های کودک، شاعران، فیلسوفان، اقتصاددانان، تاریخ‌ نگاران، رمان نویسنان، عاشقانه‌‌ها، هنرمندان مانگا و ... هزاران نوع دیگری که هر یک به قدری در شکل‌گیری ایدئولوژی کنونی ما نقش داشته‌اند. پافشاری ما در تبدیل همه‌ عوامل کیفی زندگی به اعداد و نگاه به همه چیز از دریچه‌ی نمودارها؛ این هوس را ایجاد کرد که سری به دنیای نویسندگان و کتاب‌ها بزنیم. در قسمت اول از این نوشته، نگاه کلی انداخته‌ایم به داده بیش از دویست هزار نویسنده‌ از سراسر جهان و سعی کرده‌ایم به ۱۰ پرسش پیش‌ آمده، پاسخ‌هایی ارا‌ئه دهیم. شیوه جمع‌آوری دادهقرار بر این نیست که این نوشته، یک متن فنی باشد. برای همین، من تا جای ممکن از درج کد و جزییات فنی خودداری می‌کنم. با این حال درک شیوه‌ی جمع‌آوری داده برای تشخیص صحت مطالعه حائز اهمیت است. بهترین و بزرگ‌ترین منبع برای جمع‌آوری داده نویسندگان و سایر داده‌ مربوط به کتاب‌ها و کتاب‌خوانی؛ سایت گودریدز (GoodReads) است. گودریدز علاوه بر اینکه مجموعه داده نسبتا کاملی از نویسندگان، کاربران و بازخورد کاربران به آنها دارد؛ به لحاظ فنی، امکان جمع‌آوری داده را نیز به راحتی فراهم کرده است. API گودریز امکان دسترسی به بخش بزرگی از این داده را می‌دهد و بخش‌های دیگر با استفاده از BS4 قابل جمع‌آوری است. اسکریپت پایتون جمع‌آوری داده را می‌توانید روی گیتهاب بیابید و خود به راحتی (با صرف کمی حوصله)‌ آن را پیاده سازی کنید یا بهبود بدهید.بخشی از داده جمع‌آوری شده از روی سایت گودریدزدر نهایت، داده‌ی جمع‌آوری شده برای نویسندگان به فرم جدول زیر است. برای جمع‌آوری این حجم از داده به چیزی حدود ۸۰۰ ساعت زمان نیاز داشتیم که با توزیع روی ۱۵ سیستم ابری مختلف، این کار، سه روز طول کشید.همانطور که می‌بینید داده‌ی ۲۰۹۵۱۷ نویسنده‌ی مختلف جمع‌آوری شده است. طبیعی است که با ردیف‌های خالی برای نویسندگان مواجه شویم. برای مثال ما فقط به جنسیت ۸۸۵۸۷ نویسنده دسترسی داریم و یا فقط ۷۸۸۲ نویسنده مشخص است از چه کسی در مسیر حرفه‌ای خود تاثیر گرفته‌اند و یا اینکه ۷۴۰۷۱ نویسنده، ژانر خود را مشخص کرده‌اند.جدول داده جمع‌آوری شده از گودریدز بهمراه نام ستون‌ها و تعداد ردیف‌های موجود در هر یک. قبل از اینکه به سراغ سوال‌ها و پاسخ‌ آن‌ها برویم، فراموش نکنید که ممکن است برای دیدن جزییات نمودارها نیاز باشد روی آن‌ها کلیک کنید. دوست نداشتیم داده‌ها را به خاطر شیوه‌ی نمایش خلاصه کنیم.۱. کدام نویسنده‌ها بیشترین نظرات و آرا را دریافت کرده‌اند؟توزیع تعداد نظرات، تعداد امتیازها و تعداد دنبال‌کننده‌ها همگی از یک توزیع شبیه Power Law تبعیت می‌کند. برای مثال نمودار زیر را ببینید. نمودار به وضوح نشان می‌دهد برای تعداد بسیار زیادی از نویسندگان (بیش از صد هزار نفر) کمتر از ۱۰۰ نظر ثبت شده است و تعداد بسیار کمی از نویسنده‌ها، تعداد نظرات بیشتری دارند. (بخش‌های پایانی نمودار). این روند برای امتیاز‌ها و تعداد دنبال‌کننده‌ها نیز تکرار می‌شود.اگر نویسنده‌ها را بر اساس تعداد نظرات و امتیازهای دریافتی مرتب کنیم به نمودار زیر می‌رسیم. جی.کی.رولینگ (هری پاتر) با اختلاف بیشتر از همه مورد توجه بوده است. استیون کینگ (درخشش)، سوزان کالینز (بازی‌های گرسنگی)، استفانی مایر(گرگ و میش) و تالکین (ارباب حلقه‌ها) در رده‌های بعدی قرار دارند. با توجه به شهرت جهانی فیلم‌های الهام گرفته شده از آثار این نویسندگان، این نتایج دور از انتظار نیستند.نمودار نویسندگانی که بیشترین امتیاز (۱ تا ۵ ستاره) و نظرات را دریافت کرده‌اند.توزیع میانگین رای (از ۱ تا ۵) یک توزیع نرمال با مشخصات زیر است. میانگین امتیازی که برای کتاب‌ها ثبت شده، ۳.۸۷ است. اگر نمودار بالایی را به ترتیب امتیاز هر نویسنده مرتب کنیم به این نمودار می‌رسیم. هرچند جی‌.کی.‌رولینگ صدر جدول را نگه داشته است ولی جابجایی زیادی در رده‌بندی نویسندگان صورت می‌گیرد. برای مثال جورج. آر. آر. مارتین (بازی تخت و تاج) و خالد حسینی (بادباک باز) به رتبه‌ی بالاتری می‌آیند و امتیاز بهتری دریافت کرده‌اند. ۲. آیا بین تعداد کتاب‌ها و پرطرف‌دار بودن نویسنده رابطه‌ای وجود دارد؟تعداد کتاب‌ هر نویسنده در گودریدز معادل کتاب‌هایی که است که منحصرا آن شخص نوشته، یا در آن‌ها نویسنده‌ی همکار بوده و یا ترجمه آن کتاب روی گودریدز ثبت شده است. بعنوان نمونه برای جی.کی.رولینگ، ۲۴۶ کتاب ثبت شده است که ترجمه‌های فارسی ویدا اسلامیه نیز بین آن‌ها دیده می‌شود.نکته این است که گودریدز امکان ثبت ترجمه‌های یک کتاب به عنوان Edition را به کاربران می‌دهد. بنابراین در حالت ایده‌آل ثبت داده‌ها، تعداد کتاب‌های یک نویسنده دقیقا نشان‌دهنده‌ی تعداد آثار تالیفی آن نویسنده است. با این حال به این دلیل که مجموعه‌داده‌ی گودریدز به شکل جمع‌سپاری و توسط کاربران پر شده است، این خطا (ثبت ترجمه‌ها یا ویرایش‌های یک کتاب به دفعات) بسیار رایج است و ما از آن چشم می‌پوشیم.اما پرطرف‌دار بودن عبارت مبهمی است. آیا می‌توان تعداد بالای دنبال کننده در گودریدز را نشان پرطرف‌داری دانست؟ آیا می‌توان تعداد بالای نظرات ثبت شده را نشان از پرطرفداری دانست؟ آیا تعداد دفعات زیاد خوانده شدن هر نویسنده را می‌توان نشان از پرطرفداری دانست؟ و آیا می‌توان میانگین امتیاز را به عنوان معیاری برای پرطرف‌دار بودن در نظر گرفت؟ماتریس همبستگی زیر، ممکن است دید کلی خوبی به ما ارائه دهد. این جدول به وضوح نشان می‌دهد که همبستگی بسیار اندکی بین تعداد کتاب‌ها (work count) و تعداد طرفداران آثار (fan count) یک نویسنده وجود دارد. (مواردی که مقدار بالای ۰.۴ دارند، پررنگ شده‌اند). لزوما پرکاری یک نویسنده به معنای شهرت او نیست!ماتریس همبستگی مجموعه داده نویسندگان برای اینکه بدانیم کتاب‌های هر نویسنده چند بار خوانده شده است، باید برای هر کتاب از هر نویسنده، تعداد دفعاتی که در قفسه‌های مختلف (روی گودریدز) ثبت شده است (shelved books) را استخراج کنیم و این کارِ زمان بری است. برای مثال برای استیون کینگ، ۱۶۴۸ کتاب ثبت شده است که بدست آوردن دفعات خوانده شدن برای هر کتاب ۲ ثانیه طول می‌کشد (حدود یک ساعت برای کل کتاب‌ها). ما این کار را فقط برای ۲۰۰ نویسنده‌ی پرطرفدار انجام داده‌ایم و (همانطور که در جدول بالا می‌بینید) به این نتیجه رسیدیم که ارتباط نزدیکی بین تعداد نظرات ثبت شده (review count) برای هر نویسنده و دفعات اضافه شدن به کتابخانه شخصی وجود دارد.۳. بیشتر نویسنده‌ها در کدام قرن به دنیا آمده‌اند؟آنچه از داده جمع‌آوری‌شده برمی‌آید، اطلاعات کمی برای نویسندگان قرن‌های گذشته ثبت شده است. با افزایش تعداد نویسنده‌ها در طی زمان، تعداد نظرات و آرایی که روی کتاب‌ها ثبت شده، افزایش یافته است. نویسندگانی که از سال‌ها ۱۸۶۰ تا ۱۹۶۰ بدنیا آمده‌اند، بیشترین توجه را به خود جلب کرده‌اند. مشخصا نویسندگانی که بعد از حوالی سال ۱۹۶۰ بدنیا آمده‌اند، کتاب‌های کمتری از خود به جای گذاشته‌اند و یا هنوز کتاب‌هایشان مورد توجه قرار نگرفته است. تغییرات از قرن ۱۴ تا امروز۴. نویسنده‌ها از چه کسانی تاثیر گرفته‌اند؟بنابر داده جمع‌آوری شده، پاسخ اولیه به این سوال ساده است. نزدیک به ۸۰۰۰ نویسنده، مشخص کرده‌اند که از کدام نویسنده‌‌های دیگر تاثیر گرفته‌اند. نمودار زیر ترتیب نویسندگانی را نشان می‌دهد که بیشترین اثرگذاری روی بقیه نویسنده‌ها را داشته‌اند. در این لیست تقریبا می‌توان نام تمامی نویسندگان نام‌دار جهان را دید. (برای مشاهده دقیق‌تر اسامی رو تصویر کلیک کنید.)برای نمونه فرانتس کافکا بین ۲۰ نویسنده‌ای قرار دارد که تاثیر بیشتری روی بقیه نویسنده‌ها داشته‌اند. این در حالیست که اثری از کافکا در بین ۵۰ نویسنده‌ی پرطرفدار روی GoodReads نیست.۵. توزیع جنسیت نویسندگان چگونه است؟تعداد نویسندگان زن و مرد تقریبا برابر و هر کدام ۴۰۰۰۰~ نفر است. تعداد انگشت‌شماری هم Non-Binary بین نویسندگان دیده می‌شود. متاسفانه جنسیتِ بخش بزرگی از نویسندگان مشخص نیست. ولی همانطور که در تصویر زیر می‌بینید، نویسنده‌هایی که جنسیت مشخصی روی Goodreads برای آن‌ها ثبت نشده است، از نویسنده‌های کمتر شناخته شده‌ای هستند که توجه چندانی به خود جلب نکرده‌اند.در مجموع نویسندگان زن، هم طرف‌داران بیشتری دارند و هم نظرات بیشتری روی کتاب‌هایشان ثبت شده است. ۶. پرتعداد‌ترین و پرطرف‌دارترین ژانرها کدام‌ها هستند؟برای من، بررسی ژانر نویسنده‌ها از بخش‌های محبوب این تحلیل است. غالب بر ۷۴۰۰۰ نویسنده، ژانر مشخصی روی گودریدز دارند. داده ثبت شده برای ژانرها در گودریدز نظیر بقیه فیلدهای اطلاعاتی نیاز به پاکسازی دارد. از جمله موارد عدم تطابق، استفاده از اختصارات مختلف برای یک ژانر (نظیر sci-fi، sf، و scifi برای ژانر Science Fiction)، استفاده از عبارات مختلف برای اشاره به یک ژانر (نظیر humor و comedy) و وجود زیرمجموعه‌های متعدد برای یک ژانر (memoir و biography) است. برای پاک‌سازی این داده‌ها از تعریف دیکشنری و جستجو در ژانرها استفاده کردیم.نمودار زیر تعداد کتاب‌های منتشر شده را در ژانرهای مختلف، به تفکیک جنسیت نویسنده، نمایش می‌دهد. قضاوت و نتیجه‌گیری درباره‌ی توزیع جنسیت در ژانرهای مختلف را بر عهده‌ی شما می‌گذارم. ولی می‌توان با نگاهی دقیق، به الگوهای جالبی در ژانرهای مختلف دست یافت.تعداد کتاب‌های موجود در ژانرهای مختلف به تفکیک جنسیت نمودار زیر تعداد نظرات ثبت شده برای آرای مختلف را نمایش ی‌دهد. کتاب‌های تخیلی و عاشقانه در صدر جدول و فلسفی، علمی و کسب‌وکار با قشر مخاطب محدودتر در قعر جدول قرار دارند.تعداد نظرات ثبت شده برای ژانرهای مختلف ۷. ژانر کتاب‌ها در طول زمان چگونه تغییر کرده است؟ما داده‌ی تاریخ تولد برخی نویسندگان را از قرن ۶ تا ۲۰ در دسترس داریم. برای تحلیل تغییرات ژانر در طول قرن‌ها و دهه‌ها ابتدا نگاهی داشته باشیم به نمودار راداری تعداد نویسندگان ژانرهای پرطرفدار در قرن ۲۰.قرن ۲۰ ام فرصت بیشتری به تخیلی‌نویس‌ها داده است. پس از آن ادبیات، نوشته های غیرتخیلی، علمی و بیوگرافی‌ها بیشترین تعداد نویسنده را درگیر خود کرده‌اند.برای مقایسه ژانرها بین قرن‌های مختلف، می‌توانیم به نمودار پویای مقایسه پرطرفدارترین ژانرها را در طی زمان نگاهی بیاندازیم. توجه کنید تاریخی که اینجا مشاهده می‌کنید، تاریخ تولد نویسندگان است ولی روندهای جالبی در آن قابل مشاهده است. با گذشت زمان تعداد نویسندگانی که درباره‌ی مباحث مذهبی و معنویات می‌نویسند کمتر می‌شوند و جای خود را به کتب علمی، تخیلی، تاریخ، بیوگرافی و ... می‌دهند.۸. کدام کشورها نویسندگان بیشتری دارند؟با وجود اینکه محل تولد ۴۶۰۰۰~ نویسنده مشخص شده است ولی تشخیص دقیق کشور نویسندگان از روی داده‌ی جمع‌آوری شده کار دشواری بود چرا که اسامی مختلفی برای محل تولد درج شده بود. برای مثال نویسنده‌ای که در ایران بدنیا آمده، ممکن است محل تولد خود را طهران، Teheran، تبریز یا طوس و ... ذکر کرده باشد. همین موضوع را به تمامی شهرها و کشورهای دنیا تعمیم دهید.برای یکسان سازی و حل این مشکل ما از سرویس متن‌باز و رایگان به نام Geonames استفاده کردیم که دیتاست عظیمی از نام‌ شهرهای مختلف جهان را دارد. پراکندگی نویسندگان جهان چیزی شبیه نقشه زیر است. همانطور که مشاهده می‌کند بیشترین تمرکز نویسندگان جهان در آمریکای شمالی و اروپا است. پراکندگی ۴۶۰۰۰ نفر از نویسندگان جهان به لحاظ جغرافیایینگاهی دقیق‌تر به تعداد نویسندگان هر کشور مشخص می‌کند که آمریکا با فاصله، بیشترین تعداد نویسندگان را در خود جای داده است و بریتانیا، کانادا، فرانسه و آلمان در رتبه‌های بعدی قرار دارند.در صورتی که داده‌ی بدست آمده از محل تولد نویسندگان را با داده‌ی جنسیت آن‌ها ترکیب کنیم به نمودار راداری زیر می‌رسیم. در این نمودار، رنگ آبی نشان‌‌دهنده‌ی تعداد نویسندگان مرد، رنگ نارنجی تعداد نویسندگان زن و رنگ سبز نویسندگانی است که جنسیت آن‌ها مشخص نشده است. نمودار راداری جنسیت نویسندگان به تفکیک محل تولد مشخصا با توجه به نمودار بالا، در اغلب کشورها تعداد نویسندگان مرد بر نویسندگان زن چیره است. با این وجود در برخی کشورها همچون ایالات متحده آمریکا، کانادا، استرالیا، سوئد، نیوزیلند و ژاپن تعداد نویسندگان زن و مرد برابری می‌کنند. در این بین حضور جاماییکا با نویسندگان زن بیشتر مورد توجه است. حال اگر داده‌ی نویسندگان را بر اساس کشورها و تاریخ تولدشان ترکیب کنیم به نمودار متحرک زیر خواهیم رسید. همانطور که مشاهده می‌کنید، تعداد نویسندگان در کشورهای مختلف طی زمان‌های مختلف تغییر کرده است. ۹. توزیع ژانر کتاب‌ها در کشورهای مختلف چگونه است؟توزیع ژانر کتاب‌ها در کشورهای مختلف وابسه به عوامل مختلفی همچون فرهنگ، وضعیت اجتماعی، اقتصادی و ... است. نمودارهای راداری زیر توزیع ژانرهای مختلف در کشورهایی از نقاط مختلف جهان را نمایش می‌دهند. برای نمونه به تفاوت بین ژاپن و عربستان سعودی نگاهی بیاندازید. در ژاپن، پرطرفدارترین ژانرها مانگا و کمیک هستند، در حالی که در عربستان سعودی بعد از کتاب‌های تخیلی، کتب مذهبی در صدر قرار گرفته‌اند.۱۰. درباره نویسندگان ایرانی چه می‌دانیم؟مجموعا ۲۸۲ نویسنده‌ی ایرانی در مجموعه‌ داده ما دیده می‌شوند. از این بین، نمودار زیر نویسندگانی را نمایش می‌دهد که بیشتر از همه مورد توجه بوده‌اند و گفتگو ایجاد کرده‌اند. نویسندگان ایرانی که بیشترین نظرات روی کتاب‌های آنها ثبت شده است.درباره‌ی نویسندگان ایرانی کنجکاو شدیم که به تعداد کتاب‌هایی که از هر نویسنده در قفسه‌ی خوانندگان قرار گرفته است نیز، نگاهی بیاندازیم. بصورت مجزا ستون Shelved_books را برای این نویسندگان جمع‌آوری کردیم. همانطور که مشاهده می‌کنید، ترتیب نویسندگان تا حد زیادی تغییر کرده است. هر سه نفری که در صدر لیست قرار گرفته‌اند از مترجمان بنام کشور هستند. برای مثال آرش حجازی، ۱۷۳۸۶۷۶ بار به لیست‌های مختلف کاربران اضافه شده است. اگر نگاهی به ژانر کتاب‌های منتشر شده در ایران بیاندازیم نیز به نموداری راداری پایین می‌رسیم. همانطوری که مشاهده می‌کنید، قسمت قابل توجهی شعر، ادبیات و کتب مذهبی در بین ژانر نویسندگان ایرانی دیده می‌شود. جمع‌بندی و گام‌های بعدی با در دسترس داشتن آزاد این مجموعه داده، امکان بصری‌سازی‌های متفاوت‌تر و کسب اطلاعات بیشتر امکان‌پذیر است. برای این کار می‌توانید به راحتی این مجموعه داده را از  Kaggle دانلود کنید و دست به کار شوید. در قسمت دوم از این تحلیل، نگاهی به تحلیل متن توضیحات ‌Bio در نویسندگان و توضیحات کتاب‌هایی که نوشته‌اند خواهیم پرداخت. سپس در قسمت‌های بعدی شبکه‌ی نویسندگانی را تحلیل می‌کنیم که توسط کاربران مختلف، بصورت مشترک خوانده شده‌اند. در نهایتجمع‌آوری داده و ‌همه‌ی تحلیل‌ها و بصری‌سازی‌های انجام شده در این پست وبلاگی با همکاری ندا سلطانی صورت گرفته است. سپاس‌گزار از وهاب خوش‌مقام بابت افزودن المان‌های بصری به نمودارها.لینک‌های مرتبطاسکریپت پایتون جهت جمع‌آوری داده از GoodReadsدیتاست جمع‌آوری شده روی Kaggleمتن انگلیسی همین پست وبلاگی روی Medium سعید چوبانی سعید چوبانی Thu, 21 May 2020 02:11:55 +0430 https://virgool.io/@saeed.choobani/%D9%86%DA%AF%D8%A7%D9%87%DB%8C-%D8%A8%D9%87-%D8%B4%D8%A8%DA%A9%D9%87-%DA%A9%D8%A7%D8%B1%D8%A8%D8%B1%D8%A7%D9%86-%D9%88%DB%8C%D8%B1%DA%AF%D9%88%D9%84-%D9%88-%D8%B3%D9%88%D8%A7%D9%84%D9%87%D8%A7%DB%8C-%D8%A8%DB%8C%D8%B4%D8%AA%D8%B1%DB%8C-%DA%A9%D9%87-%D9%85%DB%8C%D8%AA%D9%88%D8%A7%D9%86-%D9%BE%D8%B1%D8%B3%DB%8C%D8%AF-yb3wdvivewps ویرگول؛ شبکه اجتماعی دوست داشتنی برای وبلاگ‌نویسان ایرانی است. شاید بعد از افول ابزارهایی مانند میهن‌بلاگ، بلاگفا و بلاگ.آی‌آر و از طرف دیگر رشد کاربران تلگرام و اینستاگرام، کسی باور نمی‌کرد یک ابزار ایرانی بتواند دوباره به بستری پرطرفدار برای انتشار ایده‌ها تبدیل شود.من در این نوشته‌ی کوتاه، (از روی کنجکاوی) نگاهی گذرا به شبکه‌ی کاربران ویرگول انداخته‌ام. جمع آوری مجموعه دادههر کاربر در ویرگول تعدادی کاربر را دنبال می‌کند و توسط تعدادی دیگر دنبال می‌شود. پس برای شکل دادن این شبکه به نام‌کاربری کاربران بعنوان راس‌ (node) و اطلاعات ارتباطات‌ آن‌ها، بعنوان یال‌ها (Edges) نیاز دارم. شبکه‌ی نهایی یک شبکه‌ی Directed خواهد بود. برای جمع‌آوری داده‌ی کاربران ویرگول از کتابخانه‌ی مشهور beautifulsoup4 در پایتون استفاده می‌کنم. (اسکریپت پایتون برای جمع‌آوری مجموعه داده‌ از کاربران ویرگول را می‌توانید روی گیت‌هاب ببینید.) علاوه بر کتابخانه‌ی استفاده شده، شیوه‌ی جمع‌آوری داده نیز حائز اهمیت است. در اینجا از یک کاربر مبدا به فاصله‌ی ۴ پرش، این داده را جمع‌آوری کرده‌ام و از ذخیره‌ی لینک‌ها در یک دیکشنری برای کنترل عدم تکرار لینک‌ها استفاده می‌کنم. گراف ارتباطات نهایی شبیه تصویر زیر است. هر نقطه‌ی آبی یک کاربر ویرگول را نمایش میدهد و فضای سیاه‌رنگ، یال‌های بین این کاربران است. کاربرانی که در مرکز گراف متمرکز شده‌اند هاب‌های شبکه هستند.شبکه‌ی کاربران ویرگولحالا بیایید با جزییات بیشتر به ویژگی‌های این شبکه نگاه کنیم:شبکه‌ی ما دارای ۳۱۲۹۰ راس و ۱۵۰۲۷۷ یال است و مانند هر شبکه‌ی دیگری در دنیای واقعی، توزیع درجه‌ی راس‌ها، یک Power Distribution است. همانطور که در تصویر زیر می‌بینید تعداد زیادی هستند که کاربرهای کمی را دنبال می‌کنند و از طرف دیگر تعداد کمی کاربر هستند که افراد زیادی را دنبال می‌کنند. (اگر بصورت تصادفی یک کاربر را انتخاب کنیم، احتمال اینکه ۱۰ نفر را دنبال کند چیزی حدود ۰.۰۱ است.)توزیع درجه‌ی رئوس در شبکه کاربران ویرگولتوجه کنید که من صرفا داده‌ی دنبال کردن افراد را جمع‌آوری کرده‌ام. شما می‌توانید برای انواع دیگری از تحلیل، داده‌ی دنبال شدن افراد را هم (با کدی که بالاتر لینکش را درج کرده بودم) اضافه کنید. برای اینکه همه چیز کمی هیجان‌انگیزتر! شود، رئوس گراف را به کاربرانی محدود می‌کنم که در توضیحات حساب کاربری خود، رشته‌ی خود را مرتبط با فناوری معرفی کرده‌اند. (برای این‌کار قبلا یک لیست دستی از حدود ۱۰۰ واژه‌‌ی پر کاربرد در این زمینه درست کردم، واژگانی مانند نرم‌افزار، استارتاپ، داده و ... ). گراف نهایی ۷۲۲۸ راس و ۶۰۱۸۴ یال دارد و چگالی آن ۰.۰۰۱۱۳۶ است. هر کاربر بصورت میانگین ۸.۲۵ کاربر دیگر را دنبال می‌کند.مهم نیست چند نفر را دنبال می‌کنید، مهم این است چه کسی را دنبال می‌کنیدبرای چند تحلیل‌ ساده‌ از کتابخانه‌ NetworkX در پایتون استفاده می‌کنم. جدول زیر لیست رئوس با میزان Betweenness Centrality و درجه‌ی هر راس را نشان می‌دهد. در واقع BC مشخص می‌کند از هر یک راس چه تعداد مسیر عبور می‌کند. برای مثال در گراف زیر، آلیس BC بالاتری نسبت به بقیه دارد. یعنی Mark برای رسیدن به Doug، Bridget، Charles و Michael باید از Alice عبور کند. یعنی BC برای Alice معادل ۴ است. این عدد برای Charles معادل ۲ است. چرا که Alice و Mark برای رسیدن به Michael باید از Charles عبور کنند. همانطوری که در جدول پایین می‌بینید اهمیت مرکزیت فرد در شبکه لزوما وابسته به تعداد کاربرانی که دنبال می‌کند نیست، بلکه به کسانی که دنبال می‌کند وابسته است. برای مثال، ali را در نظر بگیرید. با وجود اینکه فقط ۵۲ نفر را دنبال می‌کند ولی رتبه‌ی دهم در شبکه‌ دارد. (حواستان باشد که ali در حالت عادی ۱۰۳ نفر را دنبال می‌کند ولی من فقط دیتای ۵۲ نفرشان را در شبکه دخیل کرده‌ام.) یا islamizad که با ۱۴ لینک خروجی در رتبه‌ی ۲۰ است.علی به نسبت افراد کمی را دنبال ولی BC بالایی در شبکه دارد.به حساب کاربری pooriavakili09، niloofar.majdii یا naderabdi نگاهی بیاندازید. اینها کاربرانی هستند که هزاران نفر را دنبال می‌کنند و طبیعی است که تعدادی از این کاربران از اعضای اکوسیستم باشند. برای مثال نادر عبدی ۱۱۶۴۴ نفر را دنبال می‌کند که ۹۰۸ راس در شبکه‌ی ما هستند.دلیل اینکه من با افتخار! در صدر جدول هستم، این است که داده‌ای که جمع‌آوری شده ممکن است نسبت به حساب کاربری من biased شده باشد چرا که در برخی مواقع من از حساب شخصی خودم آغاز به جمع‌آوری مجموعه داده‌ کردم. همچنین من ربات کوچکی در پایتون ساختم که روی ویرگول حرکت می‌کرد و هر کسی که در توضیحات نامش "برنامه‌ نویس"، "تحلیل گر" یا عبارت‌های مشابه‌ را داشت دنبال می‌کرد. حالا بیایید گراف را به یک گراف قوی تبدیل کنیم. اگر یادتان باشد گفتیم که گراف ما یک گراف جهت‌دار است. پس یعنی ممکن است موفق نشویم از بعضی نقاط به نقاط دیگر دسترسی داشته باشیم. در حال حاضر شبکه‌ی موجود ساختاری شبیه تصویر زیر دارد. یعنی برای رئوس مانند A قابل دسترسی نیستند.نمونه‌ی شماتیک از یک گراف ضعیف. دسترسی به راس A به هیچ طریقی ممکن نیست.پس من با استفاده از دستور زیر، فقط رئوسی را نگه می‌دارم که از همه جا قابل دسترسی هستند و یک شبکه‌ی قوی ایجاد می‌کنم:nx.strongly_connected_componentsبزرگ‌ترین کامپوننت شبکه‌ی قوی، شبیه تصویر زیر است و همانطوری که انتظار داریم بسیار کوچک‌تر از شبکه اولیه است و در آن ۹۲۵ کاربر با ۱۳۳۱۱ یال به یک دیگر به صورت قوی وصل شده‌اند. چگالی این گراف ۱۴.۳۹ است. (حواسمان باشد که این با یک گراف کامل متفاوت است. در گراف کامل همه‌ی اعضا به یک دیگر متصل هستند و همدیگر را دنبال می‌کنند. اگر قرار بود شبکه‌ی جهت دار فعلی کامل باشد n در n-1 یال، یعنی ۸۵۴۷۰۰ یال داشتیم.)تصویر یک گراف قوی از کاربران ویرگول که واژگان مرتبط با فناوری در توضیحات بیوی خود دارند.اگر جدول قبلی را برای همین گراف نیز بدست بیاوریم، متوجه تغییرات در رده‌بندی و همچنین حذف برخی از کاربران می‌شویم.برای مثال کاربری مانند mahdi با پروفایل پایین به صدر جدول می‌آید. این نشان می‌دهد که مهدی در انتخاب افرادی که دنبال می‌کند (حداقل در مجموعه داده‌ای که من جمع‌ کرده‌ام) دقیق‌تر از کاربر دیگری مانند toopmarket عمل می‌کند که در لیست اولیه وجود داشته ولی در لیست دوم حذف شده است.البته بحث دقت کاملا نسبی است و بستگی به حیطه کاری دارد. منطقی به نظر می‌رسد که توپ مارکت به خاطر اینکه مخاطبانش، اغلب مادران هستند از صدر شبکه‌ی ما حذف شود.در نمودار زیر فاصله‌ی هر راس از دورترین راس را در این شبکه‌ی قوی می‌بینید. همانطور که واضح است، پدیده‌ی جهان کوچک (که قبلا درباره آن صحبت کردیم) اینجا نیز مشاهده می‌شود. هر قدر تعداد رئوس بیشتری در شبکه‌ی خود داشته باشیم، نمودار زیر بیشتر و بیشتر شبیه یک توزیع نرمال خواهد شد. یعنی افراد کمی هستند که به همه نزدیکند و افراد کمی هستند که از همه دورند. میانگین فاصله هر راس از دورترین نقطه ۵.۲۱۲ با انحراف معیار ۰.۷۳۳ است. (توجه داشته باشیم که فاصله‌ی نقاط از یکدیگر را در NetworkX فقط زمانی می‌توانیم محاسبه کنیم که یک گراف غیرجهت‌دار و یا یک گراف جهت‌دار کامل داشته باشیم.) ۱۱۶ نفر از اعضای‌ شبکه قوی ما در مرکز گراف قرار دارند. یعنی فاصله‌ی آن‌ها با دورترین نقطه (Eccentricity) حداقل و به میزان شعاع گراف (‌Radius) است. یعنی برای مثال با نهایت ۴ حرکت از کاربری مانند amir.habibzadeh که در مرکز گراف قرار دارد، می‌توانیم به همه‌ اعضای گراف دست پیدا کنیم.یک نگاه پایین به بالا و سوالات بیشتری که می‌توان پرسیدآنچه که خواندید یک نگاه پایین به بالا (Down to Top) به یک مجموعه داده‌ی نسبتا کوچک در شبکه‌ی کاربران ویرگول بود که من طی دو روز گذشته آن را انجام دادم و قصد ندارم فعلا وارد جزییات بیشتری شوم. در این نوع نگاه، پاسخ به سوال خاصی را دنبال نمی‌کردم و صرفا کنجکاو بودم تا نگاهی به این شبکه بیاندازم. ولی برای تحلیل هدفمند‌تر، می‌توان پاسخ به سوالات زیر را دنبال کرد. ۱- چه جامعه‌هایی داخل گراف من هستند؟اینکه چه جوامعی داخل گراف هستند، موضوع جالب و پر اهمیتی است. این جامعه‌ها اگر به درستی تشخیص داده شوند، می‌توانند در ارسال پیشنهاد‌های مختلف از طریق سرویس ویرگول موثر باشند. الگوریتم‌های پیدا کردن جوامع کوچک‌تر داخل شبکه‌های بزرگ بسیار زیادند. برای مثال من روی داده‌ی اولیه (با حدود ۳۱۰۰۰ کاربر) الگوریتم ledien را پیاده سازی کردم. (طبیعتا بدون اینکه متن بیو را در نظر بگیرم.) این الگوریتم نسخه‌ی بهبود یافته‌ی الگوریتم Louvain است که از معیار Modularity برای یافتن جامعه‌ها استفاده می‌کند. (در حالت کلی هر راس را به یک جامعه اختصاص می‌دهد و معیار Modularity را اندازه‌گیری می‌کند. این معیار فاصله‌ی بین دو جفت جامعه را محاسبه می‌کند و هرقدر این فاصله افزایش پیدا کند یعنی الگوریتم ما بهتر عمل کرده است و جوامع صحیح‌تری را انتخاب کرده است. البته معیارهای مختلفی برای پیش‌بینی صحت جوامع بدست آمده وجود دارد.)این کار نتیجه جالب و تا حدودی قابل پیش‌بینی داشت. الگوریتم leiden در هر بار اجرا ۱۰ جامعه پیدا می‌کرد. در برخی از این جامعه‌ها که ۵ تا ۶ هزار راس داشتند، کمتر از ۱ درصد کسانی بودند در بیویِ خود از واژگان تکنولوژیک استفاده کرده باشند. با همین شیوه می‌توان جامعه‌های پزشکان، هنرمندان، روزنامه‌نگاران و یا حتی کاربران زرد یا تقلبی! را با تقریب خوبی در شبکه‌ تشخیص داد.برای پیاده‌سازی فنی این الگوریتم‌ها، پیشنهاد می‌کنم از کتابخانه‌ی CDlib برای پایتون استفاده کنید. https://arxiv.org/pdf/1810.08473.pdf - منبع تصویر: وایت پیپر الگوریتم لایدن ۲- چه کاربرانی جایگاه مهمی در شبکه من دارند؟تعریف جایگاه مهم، پیچیده است. صرفا کسی که مطالب زیادی منتشر می‌کند یا کسی که بازدید زیادی می‌گیرد ، لزوما کاربر مهمی نیست. می‌تواند اهمیت کاربر در شبکه را به پارامترهای کمی‌تر در تئوری گراف تبدیل کرد. (همانند کاری که بالاتر کردیم.) شاید این لیست از کتابخانه‌ی NetworkX برای معیارهای مرکزیت کاربردی باشد.برای مثال می‌توانید کاربرانی را بیابید که همسایه‌هایش، همدیگر را بیشتر دنبال می‌کنند و امثال این.۳- چه کاربرانی قرار است یکدیگر را در آینده دنبال کنند؟پیش‌بینی شکل‌‌گیری لینک‌های جدید هم یکی دیگر از رویکردهای مهم و جالب در این شبکه می‌تواند باشد. و...آستین‌ها را بالا بزنید!تحلیل شبکه‌های اجتماعی بحث جذابی است و با هر مجموعه داده‌ی جدید، الگوهای جالبی را می‌توان کشف کرد. ویرگول، بنا به هر سیاستی که دارد، فعلا جمع‌آوری داده از سرویس خود را آزاد گذاشته است و این فرصت خوبی برای جمع‌آوری و تحلیل رفتار کاربرهای ایرانی در یک شبکه‌ اجتماعی حرفه‌ای است. برای شروع می‌توانید نگاهی به اسکریپتی که روی گیتهاب گذاشته‌ام بیاندازید و ایراداتش را برطرف کنید :) اگر هم ایده‌‌ای دارید یا متوجه اشتباهی در تحلیل من شده‌اید، همینجا بنویسید یا با آدرس saeed.choobani روی جیمیل، ارتباط بگیرید. سعید چوبانی سعید چوبانی Tue, 28 Apr 2020 18:40:28 +0430 https://virgool.io/@saeed.choobani/text-analysis-precision-farming-vimgrsuma2xs تصور ارتباط شیوه‌های متن‌کاوی و صنعت کشاورزی کمی دور از ذهن است؛ ولی بیایید تصور کنیم که شما، مدیر یک استارتاپ در حوزه‌ی صنایع کشاورزی هستید و در حال تحقیق روی ساخت رباتی هستید که علف‌های هرز در باغ‌های انگور را هرس می‌کند. برای موفقیت چنین محصولی در بازار به تحقیقات بسیاری نیاز خواهید داشت. شاید مهم‌تر از همه نیاز دارید که بدانید چه تکنولوژی‌هایی در این حوزه وجود دارند؟ در اینجا نگاهی گذرا انداخته‌ایم به کمکی که متن‌کاوی، در یافتن پاسخ این سوال به شما می‌کند.مجموعه داده برای متن‌کاوی: شیرجه در اقیانوس‌ پتنت‌هاپتنت‌ها، یکی از ارزشمند‌ترین مجموعه‌های داده برای تحلیل هستند. بیش از ۸۰ درصد از اطلاعات جدید در حوزه فناوری‎ها، تنها از طریق پتنت‎ها قابل‌ دستیابی است. اطلاعات حاصل از تحلیل پتنت در سطح استراتژیک، می‌تواند از طریق استخراج روند فناوری، به شرکت‌ها در تعریف پروژه‌های توسعه فناوری و انتخاب شرکای مناسب، کمک کند. [۱]رباتی که بتواند علف‌های هرز را در باغ انگور هرس کند، در حیطه‌ی فناوری‌های مربوط به کشاورزی دقیق (Precision Agriculture) دسته‌بندی می‌شود. در کشاورزی دقیق، تولیدکنندگان تجهیزات کشاورزی می‌توانند تغییرات و غیریکنواختی‌های داخل مزرعه را شناسایی کرده و سپس با مدیریت این تغییرات در جهت افزایش محصولات زراعی و افزایش بهره وری گام بردارند. [۲]پس از اینکه به اهمیت پتنت‌ها پی بردیم و تعریف اولیه‌ی کشاورزی دقیق را متوجه شدیم، به EscpaceNet مراجعه می‌کنیم. EscpaceNet یک پایگاه داده‌ی عظیم از پتنت‌های جهان است که بیش از ۱۱۰ میلیون پتنت را در خود جای داده است. با جستجو در این پایگاه داده، چیزی حدود ۲۸۰۰۰ پتنت را که در حوزه‌ی کشاورزی دقیق هستند، جمع‌آوری می‌کنیم. کمی بیشتر درباره‌ی پتنت‌هادر حالت کلی تحلیل پتنت یک موضوع تخصصی است. افراد و شرکت‌هایی هستند که تخصص آن‌ها تهیه گزارش‌های زمینه‌ی پتنت (Patent Landscape Report) است. [۳][۴] این گزارش‌ها، شامل جزییات بسیار زیادی هستند و به سوالات متعددی درباره‌ی یک زمینه‌ی فناوری خاص پاسخ می‌دهند. هر پتنت از بخش‌های زیر تشکیل شده است:تاریخ‌ها (الویت، ثبت و نشر)اعداد (شماره الویت، شماره ثبت، شماره نشر، شماره خانواده، دفعات ارجاع)اسامی (نام ثبت‌کنندگان پتنت - حقیقی یا حقوقی)کدهای تقسیم‌بندی فیلدهای متنی (عنوان، چکیده، توضیحات، ادعا و ..)تصاویردیگر اطلاعات (مباحث قانونی و .. )نمونه صفحه‌ی یک پتنت در Espacenetبرای مثال با بررسی مجموعه‌ داده جمع‌آوری شده، نمودار زیر سهم هر کشور از پتنت‌های حوزه‌ی کشاورزی دقیق را نشان می‌دهد. همچنین رنگ قرمز نشان‌دهنده‌ی این است که پتنت توسط یک شرکت خصوصی و رنگ آبی نشان‌دهنده‌ی اینکه پتنت توسط مخترع شخصی ثبت شده است.توزیع پتنت‌های حوزه‌ی کشاورزی دقیق از منظر کشور یا سازمان محل ثبتو یا نمودار زیر که نشان می‌دهد ۱۰ ثبت کننده‌ی برتر، در کدام رده‌ی فناوری، تعداد پتنت‌های بیشتری ثبت کرده‌اند:و یا نمودارهای دیگری که روند تعداد پتنت‌ها در دسته‌بندی‌های مختلف در طی زمان را مشخص می‌کنند:روند تعداد پتنت‌ها در زمینه‌های فناوری مختلف طی زمانو اما متن‌کاوی پتنت‌هاهر جا که صحبت از متون باشد، پای متن‌کاوی هم در میان خواهد بود. در این مورد ما تنها بخش ادعا (CLAIM) از متن پتنت‌ها را جدا کرده و بعنوان مجموعه داده متن‌کاوی مورد استفاده قرار می‌دهیم. ادعا مهم‌ترین بخش پتنت است که در آن مالک پتنت، مستقیما ادعا می‌کند که پتنت او شامل چه چیزی می‌شود. فلوچارت زیر روندی است که برای پاک‌سازی این مجموعه‌ داده استفاده می‌شود:هیستوگرام پایین، توزیع تعداد توکن‌ها، پس از پاک‌سازی؛ در هر یک از پتننت‌ها را نمایش می‌دهد:با توجه به اینکه هدف از متن‌کاوی یافتن تکنولوژی‌های مختلف در حوزه کشاورزی دقیق است، نیاز به پیاده‌سازی یک الگوریتم مدل‌سازی عناوین (Topic Modelling) داریم. الگوریتم‌های بسیاری در این زمینه موجود هستند که بر اساس متدهای مختلف از جمله فاصله‌ی وکتورِ توکن‌ها از یکدیگر و یا تعداد دفعات تکرار هر توکن در جملات و ... عمل می‌کنند. الگوریتم LDA یکی از شناخته‌ شده‌ترین الگوریتم‌ها در این زمینه است که بر روی کتابخانه‌ی GENSIM در پایتون به خوبی پیاده‌سازی شده و قابل استفاده است. [۵] اجرای چندباره‌ی این الگوریتم، ثابت می‌کند که حدود ۱۰ عنوان مجزا در مجموعه داده‌، بیشترین امتیاز Coherence را دارد.۱۰ عنوان بدست آمده توسط الگوریتم LDA و برترین کلمات در هر عنوانبا بررسی کلمات داخل هر عنوان، می‌توان به راحتی موضوعات را برچسپ‌گذاری کرد. برای مثال عنوان هفتم داری مجموعه کلماتی به شکل زیر است که با برچسپ Image Recognition مشخص می‌کنیم:Image, detection, laser, illumination, beam, module, hand-supportable, IFD, speckle noise, symbol, camera, light, element, FOV, lens, code, optic, frameدر صورتی که بقیه عناوین را هم به همین شیوه برچسپ‌گذاری کنیم به ۹ عنوان اصلی زیر دست خواهیم یافت: (یکی از تگ‌ها در دو عنوان تکرار شده‌ است.)Mechanical Assemblies of different partsIrrigationBiological and physiologicalGeographic InformationHydromechanicsData Transmission and sensorsImage recognition and analysisMechanical Assemblies of different partsSeeding the SoilControlling the Vehicle from Distanceدسته‌بندی تکنولوژی‌های استفاده شده در پتننت‌های کشاورزی دقیق، موضوعی است که در جزییات پتنت‌ها ثبت نمی‌شوند و می‌بایست از شیوه‌های داده‌کاوی (مانند متن‌کاوی) برای یافتن آن استفاده کرد. حال می‌توان به سراغ هر یک از این دسته‌بندی‌ها رفت و فعال‌ترین مالکان پتنت در آن‌ها را بررسی کرد.علاوه بر پتنت‌ها، می‌توان متن‌کاوی را روی مجموعه‌داده‌های بیشتری نیز پیاده‌سازی کرد. برای مثال مجموعه داده‌ای از مقالات منتشر شده‌ی دانشگاهی و یا پست‌های وبلاگی. برای نمونه اینجا، من بیش از هزار پست وبلاگی با کیورد "کشاورزی دقیق" را از وب‌سایت‌های مرتبط کشاورزی جمع‌آوری کرده و ابر کلمات آن‌ها را تشکیل داده‌ام، همانطور که می‌بینید این تکنولوژی‌ تاثیر مهمی در آینده‌ی محیط زیست ما خواهد داشت.ابر کلمات ۱۰۰۰ پست وبلاگی در زمینه‌ی کشاورزی دقیقآنچه مطالعه کردید، بخشی از یک گزارش هوش رقابتی [۶] (‌Competitive Intelligence) بود که در یک پروژه‌ی دانشگاهی برای شرکت Vitibot تدوین شده است. این گزارش شامل‌ بخش‌های دیگری مانند تحلیل شبکه‌ی ارجاع (Citation Network) و یا گزارش‌های کیفی‌تر مانند SWOT و PERSEL نیز می‌شود. هوش رقابتی به معنی کسب شناخت از هر آن‌ چیزی است که در محیط بیرونی یک کسب‌وکار رخ می‌دهد تا بتوان قدرت رقابت‌پذیری آن کسب‌وکار را افزایش داد.[۷] همانطور که دیدیم، متن‌کاوی (و در حالت کلی داده‌کاوی) می‌تواند به کمک استارتاپ کشاورزی شما آمده و شناخت بهتری نسبت به رقبا و وضعیت موجود صنعت به شما ارائه دهد و به یکی از ابزارهای مهم در هوش رقابتی تبدیل شود.منابع و نوشته‌های مرتبط:[۱] تحلیل پتنت؛ ابزاری کلیدی برای موفقیت کسب‌وکار - کانون پتنت ایران[۲] کشاورزی دقیق چیست؟ - وبلاگ اگرونیک[۳] راهنمای کامل تهیه‌ی گزارش زمینه‌ی پتنت (Patent Landscape Report)[۴] یک راهنمای کامل و بسیار ارزشمند برای آشنایی با پتنت‌ها و ابزارهای مفید در تحلیل آن‌ها.[۵] یک راهنمای کامل و گام به گام برای پیاده‌سازی LDA.[۶] مدخل هوش رقابتی - ویکی‌پدیایی انگلیسی[۷] پیوند هوش رقابتی و استراتژی‌های کارآفرینانه - وبلاگ مدیریار[۸] یک رویکرد (از نظر من بسیار جذاب!) مبنی بر شبکه‌های عصبی برای تحلیل پتننت‌ها و تشخیص فناوری‌های نوظهور سعید چوبانی سعید چوبانی Sun, 29 Mar 2020 15:18:06 +0430 https://virgool.io/@saeed.choobani/%DB%B2%DB%B0-%D8%B3%D9%88%D8%A7%D9%84-%D8%AF%D8%B1%D8%A8%D8%A7%D8%B1%D9%87%DB%8C-%D8%AA%D8%AD%D8%B5%DB%8C%D9%84-%D8%AF%D8%B1-%D8%A7%DB%8C%D8%AA%D8%A7%D9%84%DB%8C%D8%A7-%DA%A9%D9%87-%D9%87%D8%B2%D8%A7%D8%B1-%D8%A8%D8%A7%D8%B1-%D8%A7%D8%B2-%D9%85%D9%86-%D9%BE%D8%B1%D8%B3%DB%8C%D8%AF%D9%87-%D8%B4%D8%AF%D9%87-geucvfvg6fer مطالبی از این دست روی وب زیاد پیدا می‌کنید و من هم علاقه‌ای به تکرارِ مکرّرات ندارم. با این حال طی دو سال گذشته سوال‌های بسیاری به صورت مداوم از من پرسیده شده‌ است. این سوال‌ها را لیست‌ کردم تا شاید به کار دوستانی که به همین زودی‌ها قصد مهاجرت تحصیلی به ایتالیا دارند، بیاید.۱- آیا برای تحصیل در ایتالیا به وکیل مهاجرتی نیاز داریم؟ سوال اول و پاسخ مهم: خیر! به چند دلیل مهم استفاده از وکلای مهاجرت تحصیلی توصیه نمی‌شود و نیازی به آن‌ها نیست. اول - همه‌ی اطلاعات مورد نیاز به صورت شفاف روی سایت دانشگاه، اداره‌ی‌ بورس، سفارت و ... درج شده است. دوم - پولی که وکیل از شما طلب می‌کند تقریبا معادل هزینه‌ی سه ماه زندگی دانشجویی شما در اینجاست و می‌توانید پس اندازش کنید. سوم - وکیل باندازه خود شما دلسوز کارتان نیست و شانس اینکه کارتان را خراب‌تر کند بسیار بالاست. (نگاهی به دور و بر بیاندازید تا افراد زیادی را ببینید که به خاطر اشتباه وکیل چند سال زندگی‌شان عقب افتاده است.) چهارم - اگر شما نمی‌توانید از پس فرایند اپلای اولیه و گرفتن ویزا بربیایید چطور می‌توانید از پس مشکلات متعدد پس از مهاجرت بربیایید!؟پیامی که مرتب در گروه‌های مختلف بین اعضا رد و بدل می‌شود. ۲- زبان ایتالیایی یاد بگیریم یا زبان انگلیسی؟انتخاب نوع زبان مهم‌تر از همه به رشته‌ی شما مرتبط است. در صورتی که زبان رشته‌ی شما انگلیسی باشد برای گرفتن ویزا نیازی به مدرک زبان ایتالیایی ندارید و بالعکس. ولی در حالت کلی دانستن هر دوی این زبان‌ها برای مهاجرت به ایتالیا مورد نیاز است و کار شما را در ارتباطات روزمره راحت‌تر می‌کند. با این حال اگر عجله‌ دارید که سریع‌تر مهاجرت کنید، روی یکی (ترجیحا انگلیسی!) تمرکز کنید و بعدی را، اینجا فرصت دارید که به تدریج تقویت کنید.نکته‌ی دیگر اینکه برخی دانشگاه‌ها در هنگام اپلای مدرک زبان شما را نیز می‌خواهند ولی بیشتر آن‌ها این مدرک را نیاز ندارند. برای اطمینان از این باید نیازمندی‌های رشته‌تان را در سایت دانشگاه به دقت بررسی کنید. با این حال داشتن مدرک زبان (انگلیسی یا ایتالیایی) از سوی سفارت الزامی است و بهتر است مدرک را بگیرید و با خیال راحت بقیه کارهایتان را بکنید.توجه کنید که هر قدر به جنوب ایتالیا نزدیک‌تر می‌شوید امکان برقراری ارتباط به زبان انگلیسی سخت‌تر می‌شود و حتما باید ته مایه‌ای از زبان ایتالیایی داشته باشید.آپدیت ۲۹ نوامبر ۲۰۲۰: توصیه اکید می‌کنم که اگر با زبان انگلیسی وارد ایتالیا می‌شوید فرصت مطالعه‌ی ۲-۳ ساعته‌ی هفتگی برای زبان ایتالیایی جدا کنید. کیفیت زندگی شما در ایتالیا بالاتر می‌رود و اعتماد به نفس و حس بهتری خواهید داشت.۳- چه رشته‌ی دانشگاهی بخوانیم؟انتخاب رشته‌ی دانشگاهی موضوعی کاملا شخصی است. با این حال ایتالیا با وجود دانشگاه‌هایی با قدمت بعضا هزار ساله! قدیمی‌ترین دانشگاه‌های جهان را دارد و تقریبا در هر رشته‌ای که دوست داشته باشید، می‌توانید در آن تحصیل کنید. لیست رشته‌ها را باید از سایت دانشگاه‌ها به دقت پیدا کنید و پیشنهاد می‌کنم قبل از اپلای برای رشته‌های دانشگاهی، سیلاب‌های درسی آن‌ها را به دقت بررسی کنید و حدالمقدور با کسی که در حال حاضر در همان رشته و همان دانشگاه تحصیل می‌کند، صحبتی داشته باشید. به کرّات دیده شده که دانشجویان ایرانی فقط با هدف خروج از کشور! رشته‌ای را انتخاب می‌کنند و به محض مواجهه با محتوای دروس و رفع تب و تاب‌های اولیه، دیگر توان ادامه‌ی مسیر را ندارند. ۴- هزینه‌ی زندگی و دانشگاه را چگونه تامین کنیم؟طبیعتا بخشی از هزینه‌های اولیه‌ی مهاجرت غیرقابل اجتناب است و باید از پس‌انداز شخصی یا جیب سرپرست محترم فکری به حالشان کنید. (هزینه‌ی آیلتس، آزاد سازی مدرک، سفارت، تایید مدارک، خرید، کارهای اداری در ایران و ایتالیا و .. ). بهترین گزینه برای تامین هزینه‌های زندگی و دانشگاه طی ۲-۳ سال تحصیل (مقطع ارشد) استفاده از بورس استانی است. (که پایین‌تر توضیح میدهم.)در صورتی که نتوانید این بورس را به هر دلیلی بدست بیاورید این موارد را به خاطر داشته باشید:می‌توانید از بورس‌های دیگر که توسط مجموعه‌های دولتی و خصوصی ارائه می‌گردند، استفاده کنید. می‌توانید در دفاتر دولتی (چیزی شبیه پیشخوان دولت خودمان) عدد ISEE خود را بر حسب درآمد خانواده در ایران محسابه کنید. اگر این عدد کمتر از میزان مشخصی باشد (که اغلب هست!) با ارائه‌ی بقیه مدارک لازم می‌توانید شهریه دانشگاه را صفر کنید. (این قانون می‌تواند استان به استان و دانشگاه به دانشگاه متفاوت باشد!)کارهای پاره وقت دانشجویی! (سوال ۵)می‌توانید به موسسات خیریه مراجعه کنید! NGOهای بسیاری هستند که توسط اساتید دانشگاه یا نهادهای مذهبی اداره می‌شوند و حاضرند هزینه‌های تحصیل شما را پرداخت کنند. (با رعایت موارد ایمنی!) به آن‌ها مراجعه کنید و کمک بگیرید. ۵- آیا می‌توانیم همراه با تحصیل، کار کنیم و چقدر می‌توانیم پول دربیاوریم؟دانشجویان می‌توانند چیزی حدود ۲۰ ساعت در هفته بصورت قانونی کار کنند. ولی درآمد آن‌ها نباید سالانه بیشتر از ۶۰۰۰ یورو باشد و در غیراینصورت باید ویزای خود را از ویزای دانشجویی به کاری تبدیل کنند و مالیات پرداخت کنند. از جمله شغل‌های متداولی که در بین دانشجویان زیادی دیده‌ام دلیوری پیتزا، گارسونی، آزادکاری در اینترنت و کارهایی از این دست است. در صورتی که بخواهید بصورت جدی در شرکتی مرتبط با رشته‌تان مشغول به کار شوید، مسیر شما برای دریافت سریع‌تر ویزای کاری هموارتر می‌شود ولی شانس اینکه سریع‌تر درس‌تان را به اتمام برسانید به شدت کمتر می‌شود. درس خواندن در ایتالیا یک شغل تمام وقت است و کار کردن همراه درس خواندن بسیار دشوار است. پیشنهاد شخصی من این است که تمام تلاش خود را کنید تا بورس تحصیلی را به هر نحوی شده به دست بیاورید و در طول تحصیل با حفظ بورس تحصیلی تمرکزتان بر روی اتمام تحصیل باشد تا بعد با خیال راحت مشغول کار شوید.آپدیت ۱ سپتامبر ۲۰۲۰: برای انجام کارهای رسمی و عقد قرارداد کاری حتما نیاز به داشتن کارت Identita دارید. این کارت یکی از مهمترین کارت‌هایی است که هویت شما را نمایش می‌دهد. مهم‌ترین مدارک مورد نیاز برای داشتن این کارت قرارداد رسمی اجاره نامه و کارت اقامت (پرمسو) است.آپدیت ۲۹ نوامبر ۲۰۲۰: نوعی از قرارداد کاری با عنوان Extra Curricular Internship وجود دارد که اغلب شامل دانشجویانی است که در حال پایان دوره‌ی تحصیلی خود هستند. در این قرارداد حدود مبلغ ۵۰۰ یورو در ماه (بنا به توافق) پرداخت می‌شود و شخص می‌تواند حداکثر ۳۹ ساعت (بنا به توافق) مشغول به کار باشد. ۶- اگر بورس نداشته باشیم، سالانه چقدر هزینه داریم؟هزینه‌ی سالانه‌ی زندگی در شهرهای مختلف ایتالیا متفاوت است و می‌توانید هزینه‌ی تقریبی زندگی را از این سایت ببینید. تخمین کلی من مبلغی بین ۶ تا ۸ هزار یورو در سال برای زندگی دانشجویی (بدون بورس!) است. دسته‌بندی هزینه‌های شخصی خودم را در نمودار زیر می‌بینید. همانطور که مشاهده می‌کنید بیشترین هزینه‌ی زندگی دانشجویی صرف محل زندگی می‌شود و باید چیزی در حدود ۳۰۰ یورو در ماه را برای خانه کنار بگذارید. این هزینه در اغلب شهرهای ایتالیا با دریافت بورس تحصیلی صفر می‌شود و شما به خوابگاه رایگان دانشگاه نقل مکان می‌کنید. کارهای اداری از جمله بیمه و تمدید پرمسو هم بخش مهمی از هزینه‌های هستند که نباید نادیده بگیرید. (پرمسو و بیمه بیش از ۳۰۰ یورو هزینه دارد و سالانه باید تمدید شود و طی سال اول اغلب بدلیل اینکه پرمسو‌ی ۶ ماهه صادر می‌شود این مبلغ را باید دو بار پرداخت کنید.)دسته‌بندی هزینه‌های ۱۲ ماه زندگی دانشجویی در شهر پیزا در ایتالیا۷- گرفتن ویزای تحصیلی ایتالیا چقدر طول می‌کشد؟ به نظر می‌رسد فرایند دریافت ویزای تحصیلی ایتالیا یکی از ساده‌ترین‌ها باشد (به نسبت کشورهایی مثل آلمان، فرانسه، انگلستان و بقیه کشورهای حوزه‌ی شنگن.) شما کافی است از بهمن ماه فرایند اپلای خود را آغاز کنید و همز‌مان با انتظار برای دریافت نتایج، کارهای اداری‌تان را انجام دهید. در اینصورت می‌توانید از مهر ماه سال پیش‌رو (سپتامبر) تحصیل‌تان را آغاز کنید.آپدیت ۲۹ نوامبر ۲۰۲۰: یکی از مشکلات عدیده‌ی سال‌های اخیر رد شدن درخواست ویزا به دلیل عدم انگیزه کافی است. این دلیل گنگ که هیچ روشی هم برای اثبات خلاف آن وجود ندارد! یکی از موانع برای اخذ ویزا در سال‌های اخیر شده است. از همان ابتدای آغاز مسیر ریسک ویزا نشدن را با وجود همه‌ی مدارک کامل شده بپذیرید.۸- چه بورسیه‌های تحصیلی وجود دارند و چگونه دریافت‌شان کنیم؟بورس استانی: مهم‌ترین و مشهورترین بورسیه تحصیلی ایتالیا بورس استانی است. اداره بورس، اداره‌ای مجزی از دانشگاه است و با بررسی مدارک تک تک دانشجویان به دانشجویانی که ثابت کنند درآمد کمی در کشور محل زندگی خود دارند بورس ارائه می‌دهد. بورس چیزی حدود ۵۰۰۰ یورو در سال به شکل نقد و خدمات به شما ارائه می‌دهد. (برای مثال بورس استان توسکانی، DSU نام دارد و شامل خوابگاه، دو وعده غذا در روز، شهریه دانشگاه و ۱۴۰۰ یورو وجه نقد طی سال می‌شود.) قوانین بورس استانی در ایتالیا استان به استان متفاوت است. هر سال حوالی ماه July یک لیست جدید از مدارک مورد نیاز برای آن سال در هر استان منتشر می‌شود که حتما باید به دقت مطالعه کنید. (برای مثال سایت بورس توسکانی را ببینید). مدارک مورد نیاز کلی به این شکل است:شناسنامه سرپرست خانواده (می‌تواند پدر یا مادر باشد)میزان درآمد سرپرست خانواده در همه‌ی ماه‌های سال میلادی گذشته و مجموع درآمد سالانه (جمع ۱۲ ماه)وضعیت شغلی بقیه‌ی اعضای خانواده (تاهل، دانشجو، زیر سن قانونی و ... )مدرکی که موجودی حساب سرپرست در آخرین روز سال گذشته را نمایش دهد.اجاره نامه یا سند خانه که نشان دهنده‌ی وضعیت سکونت اعضا باشد. و مدارک دیگری که ممکن است نسبت به هر استان متفاوت باشد.این مدارک را باید تهیه کنید، به ایتالیایی ترجمه کنید، به امضای قوه‌ی قضاییه و وزارت خارجه برسانید و سپس مورد تایید سفارت ایتالیا در تهران قرار دهید. برای تایید مدارک در سفارت اگر پاییز، زمستان یا اوایل بهار صبح زود بروید می‌توانید به راحتی وارد سفارت شوید و تایید بگیرید در غیراینصورت باید در گروه‌های هماهنگی تلگرامی! عضو شوید و یک شب جلوی سفارت بخوابید تا نوبت‌تان برسد. (کلا دنگ و فنگ دارند ولی به هر نحوی شده باید بورس استانی را بدست بیاورید!) - (شرایط تایید مدارک بورس دانشگاه پلی تکنیک میلان متفاوت است و باید بررسی کنید.!) بورس سرمایه‌گذاری استعداد در ایتالیا: اگر این بورسیه Invest your talent in italy را برنده شوید، ماهیانه ۹۰۰ یورو وجه نقد دریافت می‌کنید و می‌توانید زندگی دانشجویی نسبتا خوبی در ایتالیا با این مبلغ داشته باشید.علاوه بر این‌ها بورسیه‌ی تحصیلی وزارت امور خارجه ایتالیا (MEACI) و STUDY IN ITALY نیز دارد که می‌توانید پیگیری کنید. در مجموع، توجه زیادی به قشر دانشجو وجود دارد و اگر حواستان جمع باشد بالاخره نوعی از بورس را پیدا می‌کنید که متناسب شما باشد و طی تحصیل هزینه‌هایتان را تامین کند.آپدیت ۲۹ نوامبر ۲۰۲۰: در سال ۲۰۲۰ بدلیل وقوع پاندمی بورس بسیاری از دانشجویان جدیدالورود با اختلال مواجه شد. برای مثال سفارت ایتالیا در ایران برای مدتی بسته شد و امکان تایید مدارک بورس فراهم نشد. از طرفی نیز تاریخ ارائه به موقع مدارک برای برخی از استان‌ها از دست رفت و دانشجویان جدیدالورود نتوانستند بورس بگیرند. با این حال برخی استان‌ها، پذیرفتند که مدارک بورس استانی در سفارت ایران در ایتالیا مورد تایید قرار بگیرد. آپدیت ۲۹ نوامبر ۲۰۲۰: دولت ایتالیا به دلیل پاندمی حمایت‌های مالی بسیاری از دانشجویان و اقشار مختلف انجام داد. دانشجویان ایرانی نیز در صورت داشتن مدارک کافی قادر به دریافت این کمک‌ها بودند.۹- در ایتالیا غذا چه چیزی می‌خورید؟ آیا با مزاج ما ایرانی‌ها سازگار است یا نه؟از بابت غذا اصلا نگران نباشید. غذای ایتالیای خوشمزه است و با مزاج ما ایرانی‌ها سازگار است. غذا در رستوران دانشگاه به ۴ قسمت اول، دوم، دسر و سالاد تقسیم می‌شود. قسمت اول اغلب کربوهیدرات است که ‌می‌توانید از بین پاستا، برنج یا سوپ و حبوبات انتخاب کنید. قسمت دوم غذای اصلی است که اغلب حاوی پروتئین است و شامل گوشت مرغ، گاو، خوک و ماهی با دورچین می‌شود. نیاز به ذکر نیست که غذا هم بخشی از بورس استانی شماست و کیفیت و نوع آن می‌تواند استان به استان تفاوت داشته باشد.نمونه‌ای از غذای سلف دانشگاه برای دانشجوهای دارای بورس استانی در توسکانیدر صورتی که از بورس استفاده نمی‌کنید، فروشگاه‌ها تقریبا همه‌ی آن‌ چیزی که در ایران می‌توانید بیابید را دارند. با این تفاوت که در ایتالیا فروشگاه‌های ایرانی کمتری نسبت به بقیه اروپا پیدا می‌کنید. با این وجود خود را برای مقادیر بسیار زیادی از پاستا، رب گوجه، پنیر، پیتزا و ادویه‌های ایتالیایی آماده کنید. (از بستنی ایتالیایی هم که نگم براتون.) در شهرهای بزرگ‌تر مانند رم، میلان، بولونیا و فلورس فروشگاه‌های ایرانی پیدا می‌کنید. همچنین رستوران‌های ایرانی هم در گوشه و کنار ایتالیا (بسیار کمتر نسبت به اقصی نقاط اروپا) قابل دستیابی هستند.۱۰- برای مدتی که بورس نداریم و تازه وارد هستیم چگونه خانه پیدا کنیم؟اینکه چه مدت ممکن است بدون خوابگاه دانشجویی باشید کاملا بستگی به استان شما دارد. برخی استان‌ها مثل لومباردی از خوابگاه خبری نیست و در عوض اداره‌ی بورس مبلغ قرارداد خانه‌ی شما را پرداخت می‌کند. در استان لاتزیو هم آنقدر همه چیز شلوغ و بهم ریخته است که احتمالا سال اول تحصیلتان را باید بیخیال خوابگاه دانشجویی شوید و در خانه شخصی بمانید. اغلب ایرانیانی که به استان توسکانی می‌آیند چیزی حدود ۲ تا ۳ ماه باید منتظر اعلام نتایج بورس بمانند و این مدت را باید خانه اجاره کنند. اجاره کردن خانه برای مدت کوتاه یک چالش بزرگ است. صاحب خانه‌ها اغلب حاضر نیستند قرارداد کمتر از ۶ ماه ببندند و یا شما را مجبور به پرداخت مبلغ بیشتر می‌کنند. پیشنهادی که باید جدی بگیرید این است که قبل از مهاجرت تحصیلی محل زندگی خود را پیدا کنید. از نظر من بهترین شیوه، عضویت در گروه‌های مرتبط با هر شهر و پیگیری از خود دانشجویان است. هر کسی یک زمانی سابقه‌ی اجاره‌ کردن خانه را داشته و حتما هنوز شماره تماس صاحب‌خانه‌ی قبلی‌اش را دارد. در صورتی‌ که این گزینه‌ کارساز نبود پیشنهاد می‌کنم روی سایت Subito خانه‌ها را ببینید و به صاحب‌خانه در واتس‌اپ پیام ارسال کنید.۱۱- حجم درس‌ها چه میزان است و چقدر وقت آزاد دارم؟وقت آزاد؟ شوخی می‌کنید؟ - دانشگاه‌های ایتالیا در اغلب رشته‌ها حجم بسیار زیادی از دروس و امتحانات را روی شمار تلنبار می‌کنند. برای دست‌یابی به یک نتیجه‌ی خوب علاوه بر شرکت در کلاس‌ها به حداقل روزانه ۵ تا ۷ ساعت مطالعه منظم نیاز دارید. با برنامه‌ریزی خوب می‌توانید به ورزش، صحبت با خانواده، دورهمی‌های دوستانه و ... هم برسید ولی در مجموع فرصت بسیار کمی دارید و تمام زندگی شما تحت تاثیر واحدهای دانشگاهی‌تان است. دانشگاه در ایتالیا برخلاف ایران یک کار جانبی که به موازات زندگی برای سال‌های متمادی ادامه دارد نیست و یک فعالیت تمام وقت و نیازمند تمرکز بسیار بالا است. یکی از سالن‌های مطالعه دانشگاه پیزا ساعت ۷ عصر یکشنبه شب (روز تعطیل) در روزهای عادی (غیر امتحانی)۱۲- سیستم تحصیلی و ارتباط دانشجویان و اساتید چگونه است؟ مهم‌ترین تفاوت سیستم تحصیلی ایتالیا و ایران در شیوه‌ی امتحانات آن است. در سیستم تحصیلی دانشگاه‌های ایتالیا شما می‌توانید امتحان هر درس را چیزی حدود ۶ بار در سال تکرار کنید و زمانی که از عملکرد خود راضی بودید نمره‌تان را بپذیرید. آزمون دروس به سه شیوه‌ی کتبی، پروژه و شفاهی گرفته می‌شود و برخی اوقات مجبور خواهی بود برای گذراندن یک درس هر سه آزمون را بدهید.در برخی رشته‌های خاص حضور و غیاب جدی گرفته می‌شود و دانشجویان می‌بایست هنگام ورود به کلاس کارت بزنند و یا دفترچه‌ای را امضا کنند ولی در اغلب مواقع حضور در کلاس‌ها اجباری نیست. در برخی حالات این خود استاد است که پیشنهاد می‌کند بهترین شیوه‌ی یادگیری‌تان را انتخاب کنید و اگر از تماشای ویدیو‌ها بیشتر می‌آموزید، به ویدیویی‌های کلاس در خانه نگاه کنید و صرفا برای آزمون بروید.۱۳- هزینه‌ی فرایند مهاجرت چقدر است؟متاسفانه برآورد هزینه در ایران با توجه نوسانات بازار واقعا کار دشواری است. با این حال لیست هزینه‌های خودم در ایران را که مربوط به سال ۲۰۱۸ است همینجا برایتان قرار می‌دهم. با توجه به شرایط شما این هزینه‌ها می‌توانند متفاوت باشند. (برای مثال من نیاز به آزادسازی مدرک داشتم که ممکن است شما نیازی به آن نداشته باشید). اگر هزینه‌ی لوازم اولیه‌ای که خریداری می‌کنید را هم حساب کنید چیزی حدود ۱۰ تا ۲۰ میلیون تومان به نرخ امروز (۲۰۲۰) برای شروع فرایند نیاز خواهید داشت. (دقت این تخمین تایید نمی‌شود!)آپدیت: با توجه به قیمت یورو (۳۲۰۰۰ تومان!) در آخرین روز تابستان سال ۹۹ جدول بالا فاقد ارزش می‌باشد! ولی می‌تواند یک دید کلی از نوع هزینه‌ها ارائه دهد.۱۴- کارهای اداری در ایتالیا چقدر طول می‌کشد؟ کارهای اداری در ایتالیا تا عمر دارید طول می‌کشند و بسیار طاقت فرسا هستند! (البته در مقایسه با بقیه جاهای اروپا و نه ایران). کارهای اداری در ایتالیا بخشی از روند زندگی روزمره هستند. همه‌ی شهروندان بخشی از ساعات هفته یا ماه خود را برای کارهای اداری‌شان جدا می‌کنند. خود ایتالیایی‌ها هم از این وضعیت کلافه هستند ولی قادر به تغییرش نیستند. برای همین باید خود را برای صف‌های طولانی برای کارهای ساده‌ی اداری و امضاهای بی‌شمار آماده کنید. مهم‌ترین کارهای اداری که برایتان پیش می‌آید:دریافت Codice Fiscale به محض ورود به ایتالیا.تکمیل کیت پرمسو و پست کردن کیت پرمسو از باجه‌های پستی. مراجعه به اداره پلیس و انگشت‌نگاری.باز کردن حساب بانکی.دریافت ID Card. (این مدرک را جدی بگیرید. اقامت شما در ایتالیا از تاریخی شروع می‌شود که این مدرک را دریافت کرده باشید. همچنین برای بهر‌ه‌مندی از بسیاری از خدمات دولتی به این کارت هویتی نیاز خواهید داشت.)ثبت نام دانشگاهتشکیل پرونده تحصیلی در سفارت ایران! (که خودش مصائب خاص خودش را دارد!)ثبت نام دانشگاه و کارهای اداری مربوط به دانشگاه.مراجعه به بیمارستان و انتخاب پزشک شخصی و ... .مراجعه‌ به دفاتر مختلف بابت اطلاع اینکه آدرس‌تان تغییر کرده است. فرایند دریافت ISEE از اداره‌جات  CAF.قرارداد خانه (در صورتی که صاحب خانه اصرار داشته باشد، فرایند بیش از اندازه اصولی طی شود!)۱۵- آیا ایتالیا مقصد خوبی برای کار و زندگی همیشگی است؟پاسخ این سوال کاملا نسبی و تا حدود زیادی شخصی است. بسیاری تصورشان درباره ایتالیا، ایرانِ اروپا است. تجربه‌ی من از ایتالیا اینگونه نیست. هرچند ایتالیا برای بسیاری از ایرانی‌ها پلی برای ورود به اروپا و بعد مهاجرت به اروپای شمالی یا کانادا و آمریکا است ولی از نظر من می‌تواند مقصد خوبی نیز برای زندگی و کار همیشگی باشد. دلایلم را برای دوست داشتن یا نداشتن ایتالیا بعنوان مقصد نهایی می‌نویسم: چرا بمانیم؟ آب و هوای خوب (آفتابِ فراوان) / فاصله‌ی کوتاه با دریا.غذای خوب.عدم وجود فشار کاری خیلی بالا.مردمان خندان و خوش مشرب.چرا نمانیم؟فرصت‌های کمتر شغلی. (برای رشته‌های کامپیوتری کار کافی وجود دارد ولی درباره‌ی بقیه اطلاعات کافی ندارم.)سرانه‌ی پایین درآمد.کمتر بودن خدمات اجتماعی از سمت دولت نسبت به بقیه کشورهای اروپایی.بروکراسی بالای اداری.آشنایی اندک مردم عادی با زبان انگلیسی.باید حداقل ۱۰ الی ۱۴ سال اقامت ایتالیا را داشته باشید تا بتوانید پاسپورت ایتالیایی بگیرید. برای اخذ اقامت دایم ۵ سال حضور کافی است. (قوانین را باید دقیق‌ بررسی کنید).زندگی در ایتالیا سبک و سیاق خود را دارد. ممکن است شما را آنقدر دچار خود کند که دیگر قادر به زندگی در هیچ جای اروپا نباشید. / تصویر از جستجوی گوگل: طبیعت زیبای منطقه توسکانی.۱۶- آیا ارزش دارد در مقطع دکتری در ایتالیا تحصیل کنیم؟به دو دلیل عمده دکتری در ایتالیا برای مهاجران خارجی پیشنهاد خوبی نیست. اول اینکه ویزای دانشجویان دکتری برخلاف آلمان، هلند و اغلب کشورهای اروپایی، ویزای کاری نیست و ویزای دانشجویی است. این موضوع باعث می‌شود که پس از ~۵ سال دکتری امکان درخواست اقامت دائم وجود نداشته باشد. دوم اینکه درآمد دانشجویان دکتری چندان دندان گیر نیست و شغل عادی درآمد بیشتری نسب به آن دارد. (مگر اینکه از بورس‌های خاص استفاده شود.)این را هم در نظر بگیرید که پذیرفته شدن در مقطع دکتری در دانشگاه‌های ایتالیا چندان ساده نیست. چرا که به سابقه‌ی علمی شخص اهمیت بسیار زیادی قائل هستند و رقابت بالایی برای جایگاه‌های دکتری وجود دارد.البته از طرف دیگر برخی موقعیت‌های دکترای کوتاه مدت‌تر نیز وجود دارند که می‌توانند آغاز خوبی برای فرایند مهاجرت شما باشند. هرچند مشکل اول (ویزای دانشجویی) هنوز پابرجا است ولی روند به شدت آکادمیک دکتری در ایتالیا، می‌تواند شما را آماده‌ی فعالیت در سطوح مختلف آکادمیک و یا صنعت در کل اروپا کند.۱۷- بهترین وسیله حمل و نقل داخل ایتالیا چیست؟در شهرهای کوچک‌تر دوچرخه جان شما را نجات می‌دهد ولی در شهرهای بزرگ مثل میلان و رم باید از مترو استفاده کنید. برای سفرهای بین شهری فلیکس‌باس، بلا بلا کار و قطار بین‌شهری پرکاربرد و مقرون به صرفه هستند و همچنین رایان ایر برای سفرهای هوایی بهترین و ارزان‌ترین گزینه است.۱۸- چه وسیله‌هایی را حتما باید با خودمان بیاوریم؟به تعداد زیاد چک لیست سفر روی اینترنت پیدا می‌کنید و تقریبا همه‌شان شامل ایتالیا هم می‌شود. نمونه این چک لیست‌ را اینجا ببینید. ۱۹- شرایط بیمه دانشجویی و خدمات پزشکی چگونه است؟برای اینکه بتوانید در ایتالیا اقامت داشته باشید (از هر نوعی) می‌بایست بیمه‌ داشته باشید. بهتر است به محض ورود به ایتالیا به یک باجه‌ی پستی مراجه کنید و یک برگه بیمه‌ی ۱۵۰ یورویی پرداخت کنید. این نوع بیمه تا پایان سال میلادی اعتبار دارد و تقریبا تمام خدمات پزشکی عمومی را برای شما رایگان می‌کند. همچنین در تهیه دارو نیز شامل تخفیف زیادی خواهید شد. برای اینکه بتوانید از خدمات این بیمه بصورت کامل استفاده کنید می‌بایست به ادارات بیمه مراجعه و فرم‌هایی را پر کنید که در آن‌ پزشک شخصی خود را انتخاب می‌کنید. از این پس مراجعه به این پزشک برای شما رایگان خواهد بود و برای مراجعه به متخصص تخفیف خواهید داشت. در واقع این تقریبا همان نوع بیمه‌ی سلامت عمومی است که خود ایتالیایی‌ها نیز شامل آن هستند. بیمه‌های ارزان‌تر از بیمه‌ی ۱۵۰ یورویی هم وجود دارد ولی بسیاری خدمات شامل آن نمی‌شود و خدایی نکرده در صورت بروز حادثه ممکن است مجبور به پرداخت هزینه‌های هنفگ درمانی شوید. ۲۰- آیا می‌توانم سوالات بیشتری در کامنت‌ها بپرسم؟حتما. بپرسید و من در اولین فرصت به آن‌ها پاسخ می‌دهم.پی‌‌نوشت: لینک‌های خوب درباره‌ی ایتالیارم شهر ابدی: اپیزود رادیو دیو درباره‌ی ایتالیاکانال تلگرامی Italia F.A.Q.پی‌نوشت ۲: اگر در ایتالیا دانشجو هستید و فکر می‌کنید هر یک از موارد بالا اشتباه است یا باید موردی اضافه شود اطلاع دهید. به هر نحوی که کمک کنید تا این نوشته، کامل‌تر و بهتر شود، استقبال می‌کنم و ممنون شما خواهم بود. سعید چوبانی سعید چوبانی Sat, 01 Feb 2020 02:58:28 +0330 https://virgool.io/@saeed.choobani/%D9%85%D9%88%D8%AB%D8%B1-%D8%A8%D9%87-%D8%B3%D8%A8%DA%A9-%D8%A2%D9%84%D9%85%D8%A7%D9%86%D9%87%D8%A7-%DB%B7-%D8%B1%D9%88%D8%B2-%D8%AF%D9%88%D8%B1%D9%87%DB%8C-%DA%A9%D8%A7%D8%B1%D8%A2%D9%81%D8%B1%DB%8C%D9%86%DB%8C-%D8%A7%D8%AC%D8%AA%D9%85%D8%A7%D8%B9%DB%8C-%D8%AF%D8%B1-%D9%85%D9%88%D9%86%DB%8C%D8%AE-ogs2fkhc43df در مسیر برگشت به پیزا، به مناظر زیبای اتریش خیره‌ام و به تجربه‌ی ارزشمندی که از ۷ روز زندگی در کنار ۳۵ نفر از ۲۱ کشور دنیا در مونیخ بدست آورده‌ام فکر می‌کنم. حوالی بهار بود که از طریق تبلیغات اینستاگرام با این رویداد آشنا شدم. اطلاعاتی که می‌خواستند را فرستادم و از قضا پذیرفته شدم. هنگام پرداخت مبلغی که درخواست کرده‌ بودند هنوز دو به شک بودم که تصمیم درستی گرفته‌ام یا نه ولی حالا مطمئنم که یکی از بهترین اتفاقات امسال همین یک هفته‌ای بود که گذشت.ما فقط ۱۲ سال فرصت داریم.مونیخ، یکی از توسعه یافته‌ترین شهرهای جهان است. استفاده از انرژی‌های پاک را در گوشه و کنار شهر می‌بینید. دوچرخه‌ها و اسکوترها باندازه‌ی حمل و نقل عمومی طرفدار دارند. طراحی شهری مبنای توسعه پایدار دارد؛ شاید شبیه بیشتر شهرهای اروپای مرکزی. ولی همه‌ این‌ها چه فرقی می‌کند وقتی طبق گزارش سازمان ملل برای نجات جهان فقط ۱۲ سال فرصت داریم. خودخواهی و منفعت طلبی ما، ۷ میلیارد ساکن کره‌ی زمین، در حال نابود کردن همه چیز است. زمین ما مسیر خود را برای بقا پیدا می‌کند ولی با روند فعلی ممکن است موجودات بعدی که منقرض می‌شوند خود ما انسان‌ها باشیم.در کنار هم باید راه‌حلی پیدا کنیم.آثار نابودگر گازهای گل‌خانه‌ای، تولید انبوه پلاستیک، جنگل زدایی و ... هزاران اتفاق فاجعه‌باری هستند که مرز نمی‌شناسند. نسل کودکان آینده انبوه گازهای گل‌خانه‌ای را تنفس خواهند کرد که ما امروز با تصمیمات خود تولید می‌کنیم. سخنرانی چند روز پیش گرتا، رهبر نوجوان جنبش FFF صدای نسلی است که از همه‌ی ظلم رفته بر زمین عصیان کرده است. حتما ویدیو سخنرانی گرتا در سازمان ملل را ببینید. فاجعه‌هایزیست‌محیطیتیتراصلیرسانه‌هایغربهستند.تمرکزبسیاریوجودداردتاتصمیماتسریعیگرفتهشود.هرکسیبایدهرکاریمی‌تواندسریعانجامدهدوقدمیبردارد.ازمبارزهجدیبامافیایقاچاقچوبگرفتهتاجریمه‌هایسنگینبرایرهاکردنپلاستیکدرطبیعت،ازتجمع‌هاوخواسته‌هایمیلیونیگرفتهتاحملکیسه‌‌هایپارچه‌ای،ازتوسعهفناوریگرفتهتاراه‌اندازیکسب‌وکارهایاجتماعی. استارتاپ‌ها بخش مهمی از راه‌حل‌ هستند.مدرسه تابستانی کارآفرینی اجتماعی در مونیخ به همت یک شتابدهنده شکل گرفته است. شتابدهنده‌‌ای که تمرکزش بر روی سودآوری استارتاپ‌هایی که درشان مستقر هستند، نیست؛ بلکه میزان تاثیرگذاری‌ این استارتاپ‌ها است که اهمیت دارد. در آلمان و انگلستان تا دلتان بخواهد از این دست شتابدهنده‌ها می‌بینید.این شتابدهنده توسط دانشگاه LMU ،TUM (که دو تا از موثرترین دانشگاه‌های اروپا هستند) و همکاری چند موسسه‌‌ی دیگر آغاز به کار کرده است و هدف خود را توسعه کارآفرینی اجتماعی می‌داند.این دوازدهمین سالی است که این مجموعه، مدرسه تابستانی برگزار می‌کند. هر سال موضوع متفاوتی بوده و با توجه به اهمیت موضوع، امسال تغییرات اقلیمی و گرمایش زمین انتخاب شده است. این رویداد علاوه بر مونیخ امسال در چین، مکزیک و آفریقای جنوبی هم برگزار شد و مجموعا ۱۴۰ نفر شرکت کننده داشت.ایده‌ی پشت ماجرا چیست؟آدم‌های مختلف، با تخصص‌های مختلف، در سنین مختلف، در شرایط زندگی مختلف یک هفته کنار هم جمع می‌شوند تا: بتوانند به تکنولوژی‌های موجود در زمینه‌ی محیط زیست خلاقانه‌تر و بعنوان یک ناظر بیرونی نگاه کنند.با این تکنولوژی‌ها آشنا شوند و ظرفیت‌شان را بشناسند. چالش‌های محیط زیستی را بهتر بشناسند. با ظرفیت کشورهای هم آشنا شوند و بتوانند به راه‌حل‌های چندملیتی فکر کنند.آغازگر کسب‌وکارهای اجتماعی (*Social Business) در کشورهای خود باشند.و ....موثر به سبک آلمانی‌ها!تجربه‌ی کوتاه من در برگزاری رویدادهای استارتاپی، ثابت کرده است که تاثیرگذاری واقعی روی مخاطب، کار راحتی نیست. اینکه انرژی و حسی را منتقل کنیم که شخص بتواند برای باقی عمر یا حداقل مدت طولانی همراه خود داشته باشد چالش سختی است. اغلب رویدادها فضای هیجانی را پدید می‌آورند که شرکت کننده تا چند ساعت بعدی همراه خود دارد ولی شب که به خانه می‌رسد مشغول تماشای سریال می‌شود و همه چیز را فراموش می‌کند. همه چیز وقتی پیچیده‌تر می‌شود که آدم‌ها را از اقصی نقاط جهان و با پیشینه‌‌های گوناگون دور هم جمع‌شان کرده باشید. ولی آلمان‌ها خیلی خوب از پس این موضوع برآمدند. آن‌ها ما ۳۵ نفر را که از مکزیک و چین و ایران و ایتالیا و سوییس و آفریقای جنوبی و کلمبیا و پاکستان و ترکیه و ۱۱ کشور دیگر کنار هم جمع شده بودیم حول موضوع محیط زیست دور هم جمع کردند و به چنان دوستان خوبی تبدیل کردند که تقریبا همه‌ با چشم‌هایی پر و بغضِ خداحافظی رویداد را ترک کردیم. برای ثانیه به ثانیه این یک هفته برنامه‌ریزی شده بود. همه چیز دقیق و خلاقانه اتفاق می‌افتاد.برنامه این یک هفته شامل این‌ها و بیشتر بود: تمرین‌های ورزشی مختلف در آغاز روز.۸ کارگاه آموزشی موثر در زمینه‌های مختلف کسب‌وکارها و کارآفرینی اجتماعی. از نیاز به این کسب‌وکارها گرفته تا شیوه‌های جذب سرمایه‌گذار برای آن‌ها. بازی‌های گروهی مختلف. حداقل روزانه ۲ بازی جدید که هم انرژی را به کار تیمی برمی‌گرداند و هم ما را بهم نزدیک‌تر و باهم مهربان‌تر می‌کردند. تشکر از تیم روز و تمرین دیدن جنبه‌ی مثبت شخصیت افراد:‌ در پایان هر روز یکی از تیم‌ها روی سکو می‌ایستادند و بقیه می‌گفتند که چیزی را درباره تک تک اعضای آن تیم دوست داشته‌اند. تمیزکاری گروهی. برنامه‌های تفریحی و آموزشی: از جمله پختن غذای بین‌المللی، حضور در فستیوال بزرگ اکتبرفست در مونیخ (البته بدون پرداخت هزینه‌ نوشیدنی‌‌های الکلی!)، حضور در تجمع جنبش جمعه‌ها برای فردا (FFF)، گشت و گذار شهری، دورهمی‌های مرتب برای بیان احساسات شخصی درباره اتفاقات مختلف طی رویداد و .... صبحانه‌، ناهار و شام خوب و کافی بهمراه دسترسی به انواع اسنک‌ها و نوشیدنی‌ها و میوه‌های در طی روز.و .... تکنولوژی‌ کافی: بدون مدل‌های کسب‌وکار واقعیمشکل ساده است. ما تکنولوژی‌های کافی برای نجات زمین را ساخته‌ایم ولی نمی‌دانیم چگونه باید ازشان استفاده کنیم. برای مثال امروزه تکنولوژی وجود دارد که آب‌های سرد را از اعماق اقیانوس به سطح آن بیاورد تا مرجان‌های دریایی قادر به ادامه حیاط باشند و یا تکنولوژی‌ وجود دارد که زباله‌های پلاستیکی کف اقیانوس را بازیافت کند و .... ولی چرا همه این‌ها به ندرت عملیاتی می‌شوند؟ زیرا ما مدل‌ کسب‌وکار پایدار برایشان طراحی نمی‌کنیم. اینجاست که پای افرادی با پیشینه‌ها و فرهنگ‌های مختلف به موضوع باز می‌شود. افراد خلاقی که خارج از جعبه به موضوع نگاه می‌کنند. حرف آخرهمین چند ساعت پیش، در گروه رویداد نوشتم که باورم نمی‌شود که چنین حس ارزشمندی را با خود بهمراه برمی‌گردانم. سالیان سال این حس همراه من خواهد بود. شاید نتیجه‌ی آن بسیار کوچک باشد شبیه استفاده نکردن از کیسه‌ی پلاستیکی در هنگام خرید یا بسیار بزرگ باشد مانند راه‌اندازی یک کسب‌وکار اجتماعی برای حفاظت از محیط زیست. ولی حسی است که همواره، همراه من خواهد ماند.پانویس‌ها: اینکه Social Business دقیقا چیست. چه ساختاری دارد، چگونه سرمایه‌ جذب می‌کند و چطور چرخش می‌چرخد بحث مفصلی است و تخصص من نیست. ولی سعی می‌کنم در آینده نزدیک درباره‌اش یک پست وبلاگی جداگانه‌ای بنویسم. تصاویر از اینستاگرام مدرسه تابستانی مونیخ هستند. گزارش روز به روز رویداد را روی هایلات‌های اینستاگرام فناوری به وقت تبریز می‌توانید دنبال کنید.هر سوالی درباره‌ی رویداد و جزییاتش داشته باشید را می‌توانید روی کامنت‌ها بپرسید. سعید چوبانی سعید چوبانی Sat, 28 Sep 2019 12:31:51 +0330 https://virgool.io/@saeed.choobani/%D8%AA%D8%AD%D9%84%DB%8C%D9%84-%D8%B4%D8%A8%DA%A9%D9%87-%D9%87%D8%A7%DB%8C-%D8%A7%D8%AC%D8%AA%D9%85%D8%A7%D8%B9%DB%8C-fbo1rf7tqdrj ۳۱مین جلسه از سری جلسات باز نرم‌افزاری تبریز بهانه‌ای شد برای پرداختن به تاثیرات علم تحلیل شبکه‌های اجتماعی در رفتارها و زندگی اجتماعی. این نوشته خلاصه‌ای است از آنچه در این جلسه گذشت. از معرفی و آشنایی با موضوع عبور می‌کنم و شما را به منابع آموزشی انتهای صفحه ارجاع می‌دهم و مستقیم می‌روم سراغ پاسخ به این ۳ سوال جذاب. پدیده‌ی جهان کوچک: با چند نفر فاصله، هر دو نفر در جهان ما به یکدیگر متصل می‌شوند؟حدس می‌زنم قبلا درباره‌ی این پدیده شنیده باشید. پدیده‌ای که اولین بار در سال ۱۹۶۷، روان‌شناس نام‌آشنای آمریکایی به نام استنلی میلگرام، دست به آزمایش آن زد. (البته قبلا یک شاعر هم به آن پرداخته بود که ازش می‌گذریم.) آزمایشی که در آن از افراد مختلف خواسته شده بود نامه‌ای را به پروفسور دانشگاهی در دانشگاه بوستن پست کنند. اگر او را شخصا می‌شناسند، مستقیم برایش پست کنند و اگر او را نمی‌شناسند؛ به کسی که حدس می‌زنند او را بشناسند بفرستندش. هرچند بیشتر نامه‌ها گم و گور شدند و به مقصد نرسیدند ولی ۶۴ نامه با موفقیت به مقصد رسیدند. نتیجه‌ی آزمایش نموداری شبیه نمودار زیر بود. این جرقه‌ی پدیده‌ی جهان کوچک بود.بیشتر نامه‌ها با گذر از ۴ تا ۶ نفر به مقصد رسیدند.با شکل‌گیری فیس‌بوک و دیگر شبکه‌های اجتماعی و امکان تحلیل بزرگ‌داده‌ها راستی آزمایی این پدیده راحت‌تر شد. همانطور که در نمودار زیر می‌بینیم، ۶۰٪ جمعیت فیس‌بوک در سال ۲۰۱۱ با چیزی حدود ۵ فاصله بهم متصل می‌شوند.با توجه به اینکه ⟨d⟩ = logN / log⟨k⟩ می‌توان نتیجه گرفت که هرقدر شبکه ما پرچگال‌تر شود میانگین فاصله‌ بین دو نقطه نیز کاهش پیدا می‌کند. در صورتی که ۷ میلیارد نفر جمعیت جهان در فرمول بالا قرار بگیرند و میانگین ارتباطات هر شخص در طول زندگی ۱۰۰۰ نفر تصور شود، می‌توان پیش‌بینی کرد که هر شخص در جهان واقعی ۳.۲۸ نفر از دیگر افراد جامعه فاصله دارد.از این پدیده در آموزش‌های مربوط به کارآفرینی بسیار یاد می‌شود. مربیان کارآفرینی معتقدند که برای تامین مالی، کسب آموزش‌های لازم و یا پیدا کردن هم‌تیمی‌های جدید، مهم‌ترین مانع افراد خود افراد هستند. اگر آن‌ها به این باور برسند که فاصله واقعی آن‌ها با بهترین‌های اکوسیستم‌شان چندان زیاد نیست، موفق‌تر عمل خواهند کرد. قدرت ارتباطات ضعیف: امکان پیشنهاد شغل به شما توسط دوستان نزدیک‌تان بیشتر است یا دوستان دور؟آقای گرانو وتر بخشی از زندگی تخصصی‌اش را صرف پاسخ به این سوال کرده است. در سال ۱۹۷۳ بود که او تئوری قدرت ارتباطات ضعیف را مطرح کرد. سعی می‌کنم منطق پشت ایده‌ی آقای گرانو وتر را به شما در ساده‌ترین شکل توضیح بدهم.اول از همه، شبکه‌ی ساده‌ی زیر را در نظر بگیرید. در صورتی که رابطه A - B و رابطه‌ی A - C یک رابطه‌ی قدرتمند باشد حتما حداقل یک رابطه‌ی ضعیف بین B - C برقرار است. اگر شما دو دوست خیلی صمیمی داشته باشید احتمال بسیار قوی این دو نفر حداقل همدیگر را می‌شناسند.به احتمال بالا بین B و C یک رابطه‌ی ضعیف وجود دارد.حالا بیایید، گراف زیر را در نظر بگیریم. اگر رابطه‌ی A - B و A - E یک رابطه‌ی قوی باشد پس حتما ارتباطی بین E - B نیز وجود دارد و این خاصیت پل بودن A - B را از بین می‌برد و یک شبکه‌ی بزرگ‌تر بدون پل بوجود میاورد. زمانی که یک نفر بدنبال یافتن شغلی جدید است، می‌بایست وارد جامعه‌هایی شود که قبلا کمتر با آن‌ها در ارتباط بوده است. در جمع‌های قبلی، ارتباطات و شناخت کافی وجود دارد و شانس یافتن شغل جدید بدلیل آشنایی قبلی و شناخت همه موقعیت‌ها کمتر است. پس باید به سراغ افراد دورتر و دوستی‌های ضعیف‌تر رفت. بهمین دلیل است که به این تئوری، تئوری قدرت لینک‌های ضعیف می‌گویند. لینک A - B برای اینکه در یافتن شغل کمک ما باشد، باید دوستی (لینک) ضعیفی باشد.شکاف فکری اجتماعی: شبکه‌های اجتماعی چگونه ما را از یکدیگر دور می‌کنند؟شکاف فکری در هر جامعه‌ای که باشد، نشانه‌ی بدی است. نشانی از دور شدن آدم‌ها از یکدیگر و عدم درک متقابل بیشتر افکار هم. رواج خشونت و افراطی‌گری. تک‌بعدی شدن ذهن‌ها و از یاد بردن تفکر انتقادی. مذهبی‌تر شدن مذهبی‌ها. چپ‌تر شدن چپ‌ها. ترامپی‌تر شدن ترامپی‌ها و احمدی‌نژادی‌تر شدن احمدی‌نژادی‌ها. مرگ تدریجی میانه‌روها و مستقل‌ها. [بیشتر] بسیاری نقش رسانه‌های مدرن را در این زمینه غیرقابل انکار می‌بینند. رسانه‌های اجتماعی مدرن، دسترسی تک تک اعضای جامعه را به اطلاعات مقدور کرده‌اند و سعی می‌کنند پیچیده‌ترین مفاهیم سیاسی و اجتماعی را در قالب کپسول‌های سریع تزریق کنند. جریان اخبار در رسانه‌های مدرن به شکلی متعادل توزیع نشده است بلکه الگوریتم‌هایی که با یک هدف مهم طراحی شده‌اند این جریان را ایجاد می‌کنند: نگه‌ داشتن بیش از پیش کاربر در بستر خود. در اینجا، خلاصه تحقیقی بسیار جدید را در این‌باره می‌خوانید که در آزمایشگاه‌ KDDLabs شهر پیزا تهیه شده است. بیایید تصور کنیم در جامعه‌ای زندگی می‌کنیم که طرز فکر اعضای این جامعه درباره موضوع مشخصی در طیف ۰ تا ۱ قرار گرفته است. هدف از این‌ کار تبدیل پارامترهای کیفی جامعه به عددهای قابل تحلیلی است که نتایج معنادار به ما بدهند. طرز فکر اعضای جامعه در این طیف رنگی بین ۰ تا ۱ است - [Opinions xi ∈ [0,1 شرایط ریاضیاتی را طوری رقم می‌زنیم که دو طرز فکر متفاوت در طی زمان به یک طرز فکر متعادل و شبیه هم تبدیل شوند. این اتفاق در نمونه آزمایشی ما پس از چند تکرار اتفاق می‌افتد ولی در نهایت اتفاق می‌افتد.حال بیایید برای احتمال تبادل افکار در بین نودهای مختلف شبکه (اعضای مختلف جامعه) عدد قائل شویم. در واقع احتمال اینکه دو نفر از یکدیگر تاثیر بگیرند را متفاوت از دو نفر دیگر در نظر بگیریم.وقتی بایاس صفر باشد یعنی احتمال تبادل افکار یکسان است. هر قدر بایاس بیشتر می‌شود احتمال تاثیرگذاری دو نفر بر همدیگر بیشتر از بقیه اعضای جامعه است.تصویر زیر نتیجه‌ی هر دو حالت را در یک شبکه‌ی اجتماعی واقعی (غیر رندم) بررسی می‌کند. همانطور که مشاهده می‌کنید بعد از چندین تکرار در یک حالت بدون بایاس (حالت اول) جامعه به یک توافق کلی دست می‌یابد ولی وجود بایاس (حالت دوم و سوم) باعث دو تکه شدن (قطبی شدن) افکار در جامعه می‌شود. تحت این شرایط پدیده‌ی جالبی رخ می‌دهد که به آن قطبی شدن عقاید گفته می‌شود. قطعا در جامعه‌ی ما و روابط میان ما این بایاس‌ها وجود دارند ولی چیزی که موضوع را پیچیده می‌کند، حضور شبکه‌های اجتماعی است. شبکه‌های اجتماعی تلاش می‌کنند فقط محتوایی را به ما نشان بدهند که پیش‌بینی می‌کنند دوستشان داریم. (دستکاری در احتمال‌ها و دور کردن ما از عقاید مخالف عقاید خودمان) این موضوع به تدریج جامعه‌های دو قطبی را شکل می‌دهد که امکان تنش در آن‌ها بیشتر است. تا اینجا که آمدید حیفم می‌آید این مقاله جالب که کاری مشترک از محققان دانشگاه‌هایی در قطر و فنلاند است را نیز پیشنهاد نکرده باشم.تحلیل شبکه‌های اجتماعی، می‌تواند پاسخگوی سوالات بسیار بیشتر و پیچیده‌تر اجتماعی، سیاسی، اقتصادی و ... باشد. آشنایی با ابزارهای تحلیل شبکه‌های اجتماعی را برای همه روزنامه‌نگاران، متخصصان روابط عمومی، بازاریابان، داده‌کاوان و ... پیشنهاد می‌شود. برای شروع می‌توانید از لینک‌های زیر کمک بگیرید: آموزش فارسی ویدیویی کار با نرم‌‌افزارهای Gephi و Pajek از دکتر ندا سلطانی در فردارس.پست‌های مختلف وبلاگی فارسی و انگلیسی.ویدیوهای آموزشی متعدد تئوری و عملی روی یوتوب. (مخصوصا آموزش‌های کار با کتابخانه NetworkX)کتاب انگلیسی آنلاین و رایگان باراباسی بهمراه دیتاست‌های آماده - کورس آموزشی مجموعه آموزش ویدیویی انگلیسی، ساخت یکی از دانشگاه‌های هندکتاب Complex Network Analysis in Python که روی Ketab.io است. سعید چوبانی سعید چوبانی Wed, 21 Aug 2019 16:14:19 +0430 https://dataio.ir/dataset-bias-k3cen5h2ii5m پیش از آغاز: ویرگول (که دیگر به جرات می‌توانیم به آن مدیوم فارسی بگوییم) آغاز دوباره زندگی وبلاگ‌نویسی من است. اولین شبکه اجتماعی ایرانی که مشتاقانه عضوش می‌شوم و امیدوارم بتوانم فارغ از شلوغی‌ شبکه‌های اجتماعی، در گوشه‌ای خلوت، خوانده‌ها، دیده‌ها، شنیده‌ها و ایده‌هایم را کنار هم جمع کنم.تمرکز بیشتر نوشته‌هایم بر روی علمِ داده و تاثیر آن در کسب‌وکار و جامعه خواهد بود. حوزه‌ای که اگر تا اینجا آمده‌اید حتما از اهمیت آن باخبر هستید و نیازی به توضیح اضافی درباره‌ آن نیست. به خاطر داشته‌ باشیم که وبلاگ‌نویسی یادگیری در کنار اشتراک‌گذاری است، پس پیشاپیش از خطاهای محتمل فنی و لفظی در نوشته‌ها عذرخواهی می‌کنم.در یک بعد از ظهر بهاری در سال ۲۰۱۴، بریشا بوردن ۱۸ ساله دوچرخه‌ی پسربچه ۶ ساله‌ای که کنار خیابان رها شده است را سوار می‌شود. مادر پسربچه که متوجه این اتفاق شده، با داد و فریاد بدنبال بوردن می‌افتد و متوقفش می‌کند. پلیس بوردن را به جرم سرقت دستگیر می‌کند. ورنون پراتر ۴۱ ساله نیز حوالی تابستان گذشته دستگیر شده است. او چیزی در حدود ۸۶ دلار ابزارآلات از یک فروشگاه محلی سرقت کرده بود. هرچند هر دو سرقت، سرقت‌های سبکی تلقی می‌شوند ولی پرونده کیفری این دو نفر متفاوت است. بوردن یک جوجه دزد است. جز چند دزدی نوجوانانه چیزی در پرونده‌اش نیست. اما پراتر سابقه یک دزدی مسلحانه را نیز در پرونده‌اش دارد که قبلا او را ۵ سال به زندان فرستاده است. الگوریتم‌ها نقش مهمی در تصمیم‌گیری ایالت‌های مختلف آمریکا در رهایی افراد از زندان‌ها و کمک به تصمیم‌گیری قضات دارند. یکی از این الگوریتم‌ها که توسط شرکت Northpointe توسعه داده شده است و بصورت گسترده در ایالت فلوریدا استفاده می‌شود، میزان خطرناک بودن زندانیان در آینده را تخمین می‌زند. علی‌رغم سابقه کیفری افراد، این مدل کامپیوتری بوردن را - که سیاه‌پوست است- بسیار خطرناک و پراتر را - که سفید پوست است- کم‌خطر تشخیص می‌دهد. دو سال بعد از رهایی هر دو، بوردن هنوز هیچ جرمی مرتکب نشده است ولی پراتر به جرم حمله به یک انبار لوازم الکترونیکی به ۸ سال حبس محکوم می‌شود. مدل کامپیوتری بریشا بوردن را پرخطر و ورنون پراتر را کم خطر تشخیص می‌دهد. رفتار در دنیای واقعی خلاف این موضوع را ثابت می‌کند. این الگو در بررسی آماری دیگر جرایم سال‌های ۲۰۱۳ و ۲۰۱۴ ایالت فلوریدا نیز قابل مشاهده است. در واقع فقط ۲۰٪ کسانی که پیش‌بینی شده است جرم جدیدی مرتکب شوند، مرتکب این جرم شده‌اند. اما موضوع وقتی جالب‌تر می‌شود که سوالاتی را بررسی کنیم که پاسخ آن‌ها بعنوان ورودی‌های این مدل یادگیری ماشین استفاده شده‌اند: آیا یکی از اعضای درجه یک خانواده شما تا بحال در زندان بوده است؟آیا به نظر شما یک فرد گرسنه حق دزدی دارد؟چند نفر از دوستان شما مواد مخدر مصرف می‌کنند؟و سوالاتی از این دست (لیست کامل سوال‌ها) که پاسخ آن‌ها با پرسش از خود شخص یا بررسی پرونده او بدست می‌‌آیند. همانطوری که می‌بینید، هیچ سوالی درباره جنیست، سن و نژاد افراد پرسیده نمی‌شود و بعنوان ورودی در اختیار مدل قرار نمی‌گیرد. پس چرا این مدل به اشتباه سیاه‌پوستان را خطرناک‌تر از سفیدپوستان تشخیص می‌دهد؟ پاسخ روشن است: طی سالیان طولانی قضاوت در دادگاه‌های آمریکایی توسط قضّاتی صورت گرفته است که بایاس ذهنی نسبت به سیاه‌پوستان داشته‌اند. این مدل یادگیری ماشین نیز از روی همین داده‌ها آموزش دیده است، پس طبیعی است که بر اساس دانسته‌های خود عمل کند.مثالی که بررسی کردیم یکی از نمونه‌های شناخته‌ شده‌ی بایاس در مجموعه‌ داده (بایاس دیتاست) است. گزارش کامل و جنجالی این اتفاق را در پروپابلیکا بخوانید.بیایید در چند مثال‌ بعدی نگاه به تصمیم‌هایی بیاندازیم که نقش مهم‌تری در زندگی روزمره ما دارند:بایاسِ مجموعه داده و تبعیض جنسیتی در تبلیغات گوگلدر سال ۲۰۱۵ تحقیقی توسط دانشگاه کارنگی ملون (Carnegie Mellon) صورت گرفت که میزان عدالت (Fairness) در تبلیغات آنلاین گوگل را بررسی می‌کرد. نتایج این تحقیق شگفت‌آور بودند و ثابت می‌کردند که مشخصا تعداد زنان کمتری نسبت به مردان تبلیغ شغل‌هایی با پرداخت بیش از ۲۰۰هزار دلار در سال را دریافت می‌کنند. این تحقیق که توسط ابزاری به نام Adfisher صورت گرفت، نشان می‌داد در مقابل ۱۸۰۰ بار نمایش شغل‌های با درآمد بالا به مردان فقط این تبلیغ‌ها ۳۰۰ بار به زنان نمایش داده شده‌اند که مشخصا نشان از تبعیض جنسیتی در تصمیم‌گیری را دارد. پروفسور آناپوم داتا در این‌باره می‌گوید:بسیاری از تصمیم‌های مهم در نمایش یا عدم نمایش تبلیغ‌های آنلاین توسط خود الگوریتم‌ها گرفته می‌شوند. ما باید قدرت کنترل بیشتری روی این جعبه‌های سیاه تصمیم‌گیری اعمال کنیم تا قادر باشیم ارزش‌های انسانی‌مان را حفظ کنیم.بایاسِ مجموعه داده و تبعیض نژادی در ارسال بسته‌های پستی آمازونیکی دیگر از مواردی که در بین مثال‌های بایاسِ مجموعه داده بسیار شناخته شده است مربوط به آمازون است. راه‌ اندازی سرویس "تحویل آنی" آمازون خبر مهمی برای این شرکت بود. از این پس آمازون می‌توانست سفارشات برخی مشتریان خود را بصورت آنی و طی همان روز تحویل دهد. اما چیزی نگذشته بود که سرویس خبری بلومبرگ به پدیده عجیبی پی برد. تحقیقات بلومبرگ نشان می‌داد که ارائه سرویس "تحویل آنی" آمازون برای محله‌هایی از آمریکا که جمعیت سیاه‌پوستان آن بیشتر است امکان‌پذیر نبود. بلومبرگ کدپستی تمامی خانه‌های ایالت‌های مختلف را وارد سیستم آمازون و امکان یا عدم امکان "تحویل آنی" را برایشان ثبت می‌کرد. پس از بررسی همه کدهای پستی نقشه زیر بدست آمد:مناطق سفید رنگ تحت پوشش سرویس "تحویل آنی" آمازون نیستند. این مناطق اغلب محل زندگی سیاه‌پوستان است.بسیار عجیب بود که چرا الگوریتم آمازون محله‌ای با ۱۵ دقیقه فاصله را جزو لیست سیاه "تحویل آنی" خود قرار می‌داد. به گفته‌ی کریگ برمن، معاون ارتباطات جهانی آمازون: ساختار نژادی محله‌ها هیچ‌گاه بخشی از داده‌هایی نبوده است که آمازون در طراحی نقشه‌های این سرویس دخیل کرده باشد. دموگرافیک شهروندان هیچ دخل و تصرفی در پردازش این داده‌ها نداشته است. پس چرا آمازون به صورت اتوماتیک محله‌های سیاه‌پوست‌ نشین را از نقشه "تحویل آنی" خود حذف می‌کند؟ آمازون به هیچ وجه حاضر نیست جزییات داده‌های مورد استفاده در الگوریتم‌های خود را عمومی کند. این جزییات یکی از مهم‌ترین نقاط قوت آمازون در ارائه این سرویس هستند. برمن معتقد است که احتمالا این محلات به خاطر فاصله دور از مراکز تامین اینگونه شده‌اند ولی تحقیقات بلومبرگ ثابت می‌کند که حتی محلاتی در فاصله دورتر امکان بهره‌گیری از این سرویس آمازون را داشته‌اند. حتی بر اساس تحقیقات بلومبرگ تبعیض در توزیع کالا نمی‌تواند بخاطر درآمد سالیانه نیز باشد چراکه در شیکاگو، نیویورک، بوستون، آتلانتا شهروندانی که درآمد کمتری دارند نیز از این سرویس بهره‌مند بوده‌اند. چیزی که مشخص است این است که داده‌های آمازون دچار بایاسی هستند که الگوریتم را مجاب می‌کند سیاه‌پوستان را از این سرویس محروم کند. در واشنگتن گوشه‌ی متراکمی از سیاه‌پوستان از "سرویس آنی" آمازون حذف شده‌اند.سه نوع شناخته شده از بایاسِ مجموعه داده وجود دارد:۱. بایاس در جمع‌آوری داد‌ه‌ها (Sample Bias)این نوع از بایاس در مجموعه داده زمانی رخ می‌دهد که داده‌های مورد استفاده برای ماشین با موقعیت‌های واقعی تفاوت داشته باشند. یکی از نمونه‌های شناخته شده در این نوع از بایاس، حادثه تصادف اتوموبیل خودران تسلا با یک کامیون است که منجر به مرگ براون، کنترل‌گر این اتوموبیل شد. (براون در زمان حادثه مشغول تماشای هری پاتر بود). در این حادثه، اتوموبیل تسلا بخش سفید کامیون را به اشتباه یک آسمان صاف تشخیص داده و ترمز را فعال نکرده بود. سانحه اتوموبیل خودران تسلا با کامیون۲. بایاس تعصبی (Prejudice Bias)نمونه‌هایی از بایاس تعصبی را بالاتر دیدیم. تشخیص این نوع از بایاس در مجموعه داده، به مراتب سخت‌تر است ولی قطعا در مدل‌های پیش‌بینی، تاثیر خواهد گذاشت. (مثلا ممکن است افراد را سال‌های بیشتری در زندان نگه دارد!). برای فهم بهتر موضوع طرح این مثال نیز خالی از لطف نیست: تصور کنید قصد داریم مدلی را برای تشخیص جنیست افراد آموزش دهیم. داده‌های ورودی‌ ما اغلب خانم‌ها را در آشپزخانه و مردان را پشت کامپیوتر نشان می‌دهند. این داده‌ها مدل‌ نهایی را در تشخیص جنیست دچار بایاس کرده و بدون توجه به پارامترهای مختلف بیشتر کسانی که پشت کامپیوتر باشند را مرد تشخیص خواهد داد. (افزایش FP و کاهش Acc)۳. بایاس سیستمی (Systematic Value Distortion)این نوع از بایاس در زمان جمع آوری اطلاعات و توسط سیستم اتفاق می‌افتد. دوربینی را تصور کنید که به دلیل ایراد داخل آن یه لایه رنگ آبی به تمامی تصاویر اضافه می‌کند.گریز از بایاس در مجموعه داده گریز از بایاس در مجموعه داده کار دشواری است. هر داده‌ای که نتیجه‌ی تصمیم‌گیری انسانی باشد، شانس بایاس در آن وجود دارد. اولین گام در حذف بایاس پرسش صادقانه این سوال است که چه پیش‌فرض‌های ذهنی در افراد وجود دارد که ممکن است منجر به بایاس شود؟ بسیاری شرکت‌ها برای این‌کار نیازمندی افرادی بیرون از سازمان‌شان می‌شوند که قادر باشد قضاوت بهتری از تصمیم‌گیری‌ها ارائه دهد.-پ.ن: سعی می‌کنم این نوشته را رها نکنم. بارها به آن برگردم و به روزش کنم. سعید چوبانی سعید چوبانی Mon, 01 Apr 2019 12:36:54 +0430