نوشته های حسن رضوانی

بررسی اجمالی بر شیوه منت کارلو (Monte Carlo) - قسمت ۱/۲

حسن رضوانی — Sun, 20 Sep 2020 22:14:30 +0430

روش های مونت کارلو (MC) زیرمجموعه ای از الگوریتم های محاسباتی است که از فرایند نمونه گیری تصادفی مکرر برای تخمین عددی پارامترهای ناشناخته استفاده می کند. آنها برای ما مدلسازی موقعیتهای پیچیده که بسیاری از متغیرهای تصادفی در آن دخیل هستند، و همچنین ارزیابی تأثیر ریسک را میسر می سازند. کاربرد های منت کارلو (MC) به طرز باورنکردنی گسترده است و منجر به تعدادی از کشفیات پیشگامانه در زمینه های فیزیک، نظریه بازی ها (Game Theory) و امور مالی شده است. طیف گسترده ای از روشهای منت کارلو (MC) وجود دارد، اما همه آنها برای حل مسائل قطعی (Deterministic Problems) به تولید اعداد تصادفی متکی هستند. امیدوارم در قسمت اول از سری مقاله‌های منت کارلو (MC) برخی از اصول اساسی MC آن را بیان کنم و شاید کمی شما را در مورد کاربردهای احتمالی آنها مشتاق کنم.این مفهوم توسط ریاضیدان استانیسلاو اولام (Stanislaw Ulam)، که این روش ها را به عنوان بخشی از همکاری و کمک خود در پروژه منهتن (Manhattan Project) ارائه داده بود، ابداع شد. او از ابزارهای نمونه گیری تصادفی و آمار استنباطی (Inferential Statistics) برای مدل سازی احتمالات نتایج استفاده کرد، که در اصل برای یک بازی با کارت (Monte Carlo Solitaire) اعمال شد بود. بعد ها اولام (Ulam) با همكار جان فون نویمان (John von Neumann)، با استفاده از فن آوری های رایانه ای تازه توسعه یافته در زمینه شبیه سازی برای شناخت بهتر خطرات مرتبط با پروژه هسته ای ، كار كرد. همانطور که می توانید تصور کنید، فناوری مدرن محاسباتی به ما امکان می دهد تا بتوانیم سیستم های بسیار پیچیده تری را با تعداد بیشتری از پارامتر تصادفی همانند بسیاری از سناریوها و رخدادهای روزمره زندگی که با آنها روبرو می شویم، مدل کنیم. قبل از اینکه سیستم های پیچیده را در نظر بگیریم، اجازه دهید درباره ای استفاده از مونت کارلو (MC) یک مورد ساده صحبت کنیم؛ بازی BlackJack.اگر می خواستیم احتمال گرفتن BlackJack (یک کارت ACE به همراه یک کارت شماره ۱۰) را پیدا کنیم، می توانیم به راحتی نسبت تعداد عقربه های ممکن را که این ترتیب از کارت‌ها در آن اتفاق می‌‌افتد، بر تعداد کل ترکیبات ممکن کارت بدست آوریم. احتمال (اگر کنجکاو هستید حدود ۱/۲۱ است). اما اکنون تصور کنید محاسبه فضای نمونه ما بسیار دشوارتر است. به عنوان مثال دسته کارتهای ما در عوض فقط ۵۲ کارت، دارای هزاران مورد است. یا حتی بهتر است بگوییم ما حتی نمی دانیم چند کارت در دسته موجود است. روش دیگری برای یافتن این احتمال وجود دارد.می توانیم پشت میز بنشینیم و صد بازی انجام دهیم و نتایج را هنگام بازی ثبت کنیم. ممکن است ما ۱۹، ۲۰ یا حتی ۲۸ بار برنده شویم. با استفاده از هر یک از این نتایج می توانیم مقداری به احتمال برنده شدن اختصاص دهیم. به نظر می رسد یک روش کاملاً بد برای ارزیابی شانس ما در بازی است، اما امیدوارم که ما فقط برای سرگرمی بازی می کنیم. حالا اگر دوباره برویم و هزار، ده هزار، میلیون ها بار بازی کنیم، قانون اعداد بزرگ به ما اظهار دارد:"همانطور که تعداد یکسان توزیع شده (Identically Distributed) متغیرهایی که به طور تصادفی (Randomly Generated) ایجاد شده ا‌ند افزایش می‌‌یابد، میانگین نمونه آنها به میانگین نظری (Theoretical Mean) آنها نزدیک می شود."این علاوه بر اینکه به راحتی یکی از مهمترین قوانین آماری است، اساس شبیه سازی مونت کارلو (Monte Carlo Simulation) می‌ باشد و به ما امکان آن را می دهد که با استفاده از آزمایشات آماری، یک مدل تصادفی بسازیم. حالا به نمونه مورد علاقه من (و احتمالاً ساده ترین) برآورد MC نگاه کنیم.برآورد مونت کارلو از عدد Piهمانطور که همه ما در دوره متوسطه آموزش دیدیم، عدد Pi یک ثابت است که نسبت محیط به قطر یک دایره را نشان می دهد. این غیر منطقی است، به این معنی که عدد Pi دارای ارقام بی نهایت است که از هیچ الگویی پیروی نمی کنند. آیا برای شما باور کردنی است اگر به شما بگویم می توانیم به سادگی و با انجام یک بازی دارت رقم Pi را به همان تعداد ارقام اعشار که تمایل داریم تخمین بزنید؟ البته تا حدودی از عدم اطمینان را باید در نظر گرفت، چون ما در حال انجام یک بازی کاملا بر پای شانس هستیم! بیایید یک اسکریپت کوتاه پایتون بنویسیم تا ببینیم چگونه می‌ توان این تخمین را پیدا کرد.همانطور که مشاهده می کنید، ما در حال تولید نقاط تصادفی در یک جعبه و تعداد نقاطی که در یک دایره تعبیه شده قرار می گیرند را می شماریم. برای سادگی، ما فقط ربع بالایی تخته دارت خود را نگاه می کنیم که دارای شعاع R است و روی یک قطعه چوب مربع با همان عرض نصب شده است. اگر ۱۰۰ دارت پرتاب کنیم، و تعداد دارت هایی را که با موفقیت به تخته دارت اصابت کرده ا‌ند بشماریم، ممکن است طرح زیر را بدست آوریم.اگر فکر می کنید: "چرا ما به این مقدار بد پرتاب کرده ایم؟" شما سوال درستی مطرح کرده اید. برای این مثال، مکان دارت ما باید به طور یکنواخت در سراسر منطقه توزیع شود، بنابراین قطعاً در اینجا بازی های زیادی برنده نخواهیم شد. از از شروع بازی ما، احتمال برخورد دارت به صفحه π / ۴ خواهد بود. همانطور که بازی را ادامه می دهیم، ∞ <- n به این مقدار واقعی نزدیک می شویم (با تشکر از برنولی!). با افزایش n با ترتیب ده ، میبینیم که تخمین ما دقیق تر می شود.ممکن است بگویید: این ها اطلاعات مفیدی هستند، اما من از قبل می دانم که مقدار عدد پای ...۳.۱۴۱۵۹ است و چه چیزی در دنیای واقعی به طور یکنواخت توزیع می شود؟ نترسید، زیرا هنگام استفاده از روشهای MC برای مدل سازی سیستم های با ابعاد بالاتر، ما باید انواع متغیرهای تصادفی را با توزیع احتمالات مختلف که با دقت بیشتری اثر پارامترهای آنها در مدل ما تاثیر دارند، را نمونه برداری کنیم. چه کارهایی‌ در دنیای واقعیی‌ با این ابزار می توانیم انجام دهیم؟سرمایه گذاری (Finance)تجزیه و تحلیل مونت کارلو (Monte Carlo Analysis) به طور گسترده ای در مهندسی مالی (Financial Engineering) برای پیش بینی بازار سهام استفاده می شود. این یک حس شهودی برای تحلیلگر بازار ایجاد می ‌کند، زیرا مدل سازی بازار غیرممکن است، و از ابعادی باور نکردنی بالایی برخوردار است و داده های زیادی برای نمونه برداری دارد. اهمیت ریسک عامل موثر دیگری بر دلیل استفاده تحلیل گران مالی از روش های MC است. یکی از کاربردهای نسبتاً ساده مونت کارلو در این زمینه بهینه سازی اوراق بهادار است. من این پست وبلاگ را در مورد این موضوع بسیار توصیه می کنم، که به طور کامل اما خلاصه جزئیات نحوه نوشتن کد برای این نوع تجزیه و تحلیل را توضیح می دهد:هنگام انتخاب سبد سهام، ممکن است تمایل داشته باشید که بسته به اهداف خود، سطوح مختلف ریسک را بپذیرید. اما صرف نظر از تمایل به پذیرش ریسک، می توانید بازده خود را در هر نوسانی از پرتفلیو با استفاده از مونت کارلو به حداکثر برسانید تا ترکیبات مناسب و سوده ترین نسبت سهام را پیدا کنید. با استفاده از داده‌های تاریخ گذاری شده در گذشته (Historical Data) می توان صدها هزار ترکیب مختلف سهام را در نسبت های مختلف ایجاد کرد، تا ببینیم عملکرد هر یک از آنها در آن دوره زمانی نسبت به یکدیگر چگونه است. سپس می توان پیکربندی بهینه را با استفاده از معیاری به نام نسبت شارپ - Sharpe Ratio (معیاری از عملکرد بازده سرمایه گذاری با توجه به ریسک آن) انتخاب کرد.اگر وعده های افزایش ثروت و دانش برای جلب توجه شما کافی نبودند، روش های Markov Chain Monte Carlo ابزاری قدرتمند را برای آموزش الگوریتم های یادگیری عمیق (Deep Learning) ارائه می دهند. دانشمندان داده (Data Scientist) و مهندسان یادگیری ماشین (Machine Learning Engineers) می توانند با استفاده از این روش ها انواع کارهای عجیب و خارق العاده ای را انجام دهند. اگر شما علاقه مند به مطالعه بیشتر در مورد مونت کارلو هستید ، من منابع زیر را به شما توصیه می کنم:مبتدی: http://www.statisticshowto.com/monte-carlo-simulationمتوسط: http://mathforum.org/library/drmath/view/51909.htmlپیشرفته:لینک - https://www.youtube.com/watch?v=OgO1gpXSUzUلینک - http://farside.ph.utexas.edu/teaching/329/lectures/node109.htmlلینک - https://www.coursera.org/lecture/bayesian-methods-in-machine-learning/bayesian-neural-networks-HI8taلینک مقاله: An Overview Of Monte Carlo Methodsمترجم: حسن رضوانی - گروه مالی صدر

چگونگی به کارگیری علم داده (Data Science) در بازار سهام

حسن رضوانی — Fri, 11 Sep 2020 16:33:13 +0430

شرح مباحث علم داده با استفاده از بازار های مالیاین روز ها علم داده (Data Science) بحث رایج در صنعت ‌های مختلف محسوب می شود. همه به دنبال این هستند که داده‌ ها (Data) چه مفهومی دارند و چطور می‌ توانند به ما کمک کنند. بیشتر اوقات این داده ‌ها (Data) می‌ توانند به صورت یه سری اعداد باشند و این اعداد قادر هستند اطلاعات مختلفی به ما دهند. برای مثال این اعداد می‌ توانند مقدار فروش، فهرست موجودی، مشتری و از همه مهم تر - در مورد پول باشند.تمرکز این مقاله بر روی بازار مالی و به طور دقیق تر بر روی بازار سهام (Stock Market) است. سهام، کالا و اوراق بهادار همگی معنای یکسانی دارند، وقتی در مورد بازار معامله صحبت می‌کنیم. ما سهام را می فروشیم، می خریم یا نگه می داریم برای اینکه سود بیشتری نصیب ما بشود. سوالی که پیش می‌ آید این است که:چطور علم داده می تواند در زمینه داد و ستد در بازار های مالی به ما کمک کند؟مفاهیم علم داده (Data Science) در بازار سهامبسیاری از افراد از مفاهیم علم داده مطلع نیستند. بگذارید در اول بحث به توضیح آنها بپردازیم. علم داده به صورت ذاتی با دانش‌ آمار (Statistics)، ریاضیات و برنامه نویسی در ارتباط است. در این مقاله لینک‌ هایی مختلف در مورد این موضوعات موجود است که می‌ توانید از آنها بازدید فرمایید. حالا به موضوعی می پردازیم که مطمئنم همه ما اینجا برای آن جمع شده ایم - استفاده از علم داده برای تحلیل بازار سهام. علم داده کمک می کند که با تجزیه و تحلیل اطلاعات یک سهام مطلع شویم که باید روی سهام مورد نظر سرمایه گذاری انجام شود یا خیر.الگوریتم (Algorithm)در علم داده (Data Science) الگوریتم ‌ها بسیار زیاد استفاده می شوند. الگوریتم ‌ها مجموعه‌ ایی از قوانین هستن که به ما کمک می کنند تا کار مشخصی (Task) را انجام دهیم. شما شاید با اصطلاح تجارت الگوریتمی (Algorithmic Trading) روبرو شده باشید که به صورت رایج از این تکنیک در بازار سهام استفاده می شود. تجارت الگوریتمی از یکسری الگوریتم هایی که برای بازار سهام طراحی شده استفاده می کند. برای مثال، خرید سهامی که ارزش آن در همان روز ۵% کاهش یافته است. یا فروش سهامی که ۱۰% ارزش خود را از زمان خرید از دست داده است.این دسته از الگوریتم‌ ها قادر به انجام معامله در بازار سهام بدون هیچ نیاز به کمک از سمت انسان‌ ها هستند. این الگوریتم‌ ها ربات تجاری نامگذاری شده ا‌ند زیرا از یکسری قوانین برای معامله استفاده می کنند. اگر مایل به دیدن مثالی در مورد درست کردن الگوریتم‌ های تجاری هستید به لینک پایین مراجعه فرمایید.لینک: Coding Your Way to Wall Streetآموزش (Training)در علم داده (Data Science) و هوش مصنوعی (Machine Learning) منظور از آموزش دادن انتخاب داده ‌ها (Data) یا قسمتی از داده‌ ها برای آموزش دادن مدل هوش مصنوعی (Machine Learning Model) بر روی آنها است. تمام اطلاعات (Data Set) به دو دسته متفاوت آموزش (Training) و آزمون (Testing) تقسیم می شوند، که آموزش ۸۰% و امتحان ۲۰% آن را دربر می‌گیرد. این دسته از اطلاعات که برای آموزش استفاده می شوند Training Data یا Training Set نیز نام دارند. برای اینکه مدل هوش مصنوعی تخمین دقیق تری را ارائه دهد، از اطلاعاتی که از قبل در دسترس است استفاده می شود. به فرض اگر ما مایل هستیم تا مدل هوش مصنوعی قیمت سهام مورد نظر کاربر در ماه آینده را تخمین بزند، باید اطلاعات در مورد قیمت همان سهام در سال گذشته در اختیار مدل هوش مصنوعی قرار دهیم.آزمون (Testing)بعد از پایان مرحله آموزش با استفاده از Training set، حالا فرصت به بررسی بازدهی مدل می رسد. در اینجا ما از ۲۰% باقیمانده اطلاعات که Testing Data یا Testing Set نام دارند استفاده می‌کنیم. در واقع ما تخمین بدست آماده توسط مدل را با Testing Set مقایسه و بازدهی مدل را محاسبه می‌کنیم.ویژگی ‌ها و هدف (Features & Target)در علم داده معمولا اطلاعات به صورت جدول بندی نشان داده می شوند (برای نمونه Excel Sheets یا DataFrames). این اطلاعات می‌توانند نقش مهمی رو ایفا کنند. برای مثال، یک ستون می تواند قیمت سهام ها، نسبت P/B، حجم (Volume) یا اطلاعات مالی دیگری در خود گنجانده باشد.در این مورد قیمت سهام ‌ها - هدف (Target) و بقیه اطلاعات مالی - ویژگی ‌های بازار (Features) محسوب می شوند. در علم داده‌ ها (Data Science) یا آمار (Statistics) هدف همان متغیر وابسته (Dependent Variable) و بقیه ویژگی های بازار متغیر‌ غیر وابسته (Independent Variable) محسوب می شوند. در واقع، مدل هوش مصنوعی سعی بر تخمین مقدار هدف با استفاده از ویژگی های بازار دارد.مدل سازی: سری زمانی (Time-Series)علم داده از مدل سازی (Modeling) استفاده زیادی می‌کند. مدل سازی استفاده از رویکرد ‌های ریاضیاتی بر روی اطلاعات موجود در گذشت برای پیشبینی مقدار هدف در آینده می‌ باشد. وقتی از اطلاعات مالی در بازار سهام صحبت می‌کنیم منظور از مدل سازی، مدل سازی سری زمانی (Time Series Modeling) است. سوالی که پیش می‌ آید این است که سری زمانی چه تعریف می‌شود؟سری زمانی به یک سری از اطلاعات گفته می شود که به صورت ماهانه، روزانه، ساعتی، یا دقیقه ای نشان گذاری (Indexed) شده ا‌ند. در مورد بازار سهام، اطلاعات و نمودار‌ های یک سهام بر اساس سری زمانی ساخته شده ا‌ند. بر همین اساس، زمانی که یک Data Scientist قصد مدل سازی برای یک بازار سهامی را دارد باید از سری زمانی استفاده کند. برای کار کردن با یک مدل سری زمانی (Time-Series Model) بر روی قیمت ‌های بازار سهام باید از هوش مصنوعی یا یادگیری عمیق (Deep Learning) استفاده شود. این مدل ها به ما کمک می‌کند تا پیشبینی بر روی قیمت ‌های بازار سهام در بازه زمانی مشخص داشته باشیم. برای آشنایی بیشتر در مورد اینکه چگونه می شود از هوش مصنوعی یا یادگیری عمیق در مورد پیشبینی قیمت Bitcoin استفاده کنیم، به لینک‌های پایین مراجعه کنید.لینک: Predict Bitcoin Prices with Machine Learningلینک: Predict Bitcoin Prices with Deep Learningمدل سازی: طبقه بندی (Classification)گونه دیگری از مدل سازی در علم داده و هوش مصنوعی طبقه بندی (Classification) نام دارد. در این نمونه از مدل سازی، اطلاعاتی در مورد بازار سهام به مدل داده شده و مدل تعیین می‌کند یا تخمین می زند که اطلاعات ارائه شده به کدام دست بندی تعلق دارد.در بازار سهام، ما می توانیم اطلاعاتی مالی یک سهم از قبیل نسبت P/E، حجم روزانه، کل بدهی، و غیر به هوش مصنوعی دهیم. مدل پس از بررسی سهام را در یکی از دست‌های خرید، فروش یا نگه داشتن قرار می دهد و معین می‌کند که آیا این سهام از نظر اقتصادی دارای یا فاقد ارزش می‌ باشد.این لینک‌ها شامل مثل هایی در مورد طبقه بندی سهام ها هستند.لینک: Teaching a Machine to Trade Stocks like Warren Buffett, Part I لینک: Teaching a Machine to Trade Stocks like Warren Buffett, Part IIپوشیدن بیش از حد و پوشیدن غیر کافی (Overfitting & underfitting) در زمان ارزیابی کارایی یک مدل، ما ممکن است به اشتباه "دمای بسیار" بالا یا "دمای بسیار پایین" را به جای "دمای کاملا مناسب" انتخاب کنیم؛ مثال تخم مرغ. این‌ها از قبیل اشکالاتی هستند که باید زمان بررسی مدل‌های خود در نظر داشته باشیم. در بازار سهام، پوشیدن بیش از حد زمانی اتفاق می افتد که مدل نمی‌تواند گرایش‌های بازار را تشخیص دهد و قادر به سازگاری و وقف به شرایط آینده بازار نیست. همچنین، پوشش غیر کافی زمانی اتفاق می افتاد که مدل تنها میانگین قیمت تمام سهام‌های موجود در بازار بورس را به ما ارائه می دهد. به عبارت دیگر، پوشیدن بیش از حد و پوشیدن غیر کافی منجر به پیشبینی ضعیف و غیر قابل اعتماد در مورد قیمت سهام در آینده می شود.لینک: Underfitting and Overfitting in Machine Learning در پایانموضوع هایی که مورد بحث قرار گرفته اند مفاهیم مشترک میان علم داده و هوش مصنوعی است. این مفاهیم نقش بسیار مهمی را برای یادگیری علم داده دارند. این مفاهیم قسمت کوچکی از مجموعه موضوع‌های هستند که به علم داده مرتبط می شوند. امیدوارم این مقاله کمکی باشد به علاقه مندان به علم داده در بازار سهام.لینک مقاله: How to Use Data Science on the Stock Marketمترجم: حسن رضوانی - گروه مالی صدر