https://virgool.io/feed/@s.m.moghadas2012 fa 2026-06-16 15:04:56 https://files.virgool.io/upload/users/44763/avatar/avatar.png?height=120&width=120 https://virgool.io/@s.m.moghadas2012 https://virgool.io/@s.m.moghadas2012/%D9%85%D9%82%D8%A7%DB%8C%D8%B3%D9%87-%D8%A8%DB%8C%D9%86-%D8%A7%D8%A8%D8%B2%D8%A7%D8%B1%D9%87%D8%A7%DB%8C-%D9%85%D9%88%D8%AC%D9%88%D8%AF-%D8%A8%D8%B1%D8%A7%DB%8C-%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D8%A7%D9%88%DB%8C-ui26seyaxdsr مقدمهامروزه با گسترش ابزار ها و کتابخانه­های داده کاوی انتخاب یک ابزار پایه کارا برای توسعه الگوریتم­ها جهت برآورده نمودن نیاز­های یک محصول از دغدغه­های مهم سازمان­ها می­باشد در نتیجه مطالعه و مقایسه ابزار­های موجود از اهمیت دوچندان برخوردار است. در این نوشتار ابزار­های موجود را با معیار­های نوع جواز نرم­افزاری، زبان توسعه و کاربرد­ها در صنعت را به طور اجمالی بررسی خواهیم نمود.2-1- معرفی ابزار هاابزار هایی که قرار است در این نوشتار بررسی شوند به طور کلی در چند دسته قرار می گیرند:1. کتابخانه­های زبان های برنامه نویسی2. نرم افزار­های متن باز3. نرم­افزار­های اختصاصیدامنه استفاده هر ابزار الزاماً با سایر ابزار­ها یکسان نمی­باشد.2-2- کتابخانه­­ های زبان­ های برنامه­نویسیبا گسترش زبان­های اسکریپتی نظیر پایتون یا R در حوزه­های مرتبط با مهندسی داده کتابخانه­های کاربردی جهت اعمال مرتبط نیز توسعه داده شده است. به طور مثال در زبان پایتون به کتابخانه­های زیر اشاره نمود:· Numpy· Scipy· Scikitlearn· Matplotlib· Tensorflow· Pytorch· Seaborn· Plotly· …در مجموع هر کدام از این کتابخانه­ها بخشی از قابلیت­ها را ارایه می­دهند تا توسعه دهنده با بهره­گیری از ترکیب چند کتابخانه به حل مساله خواهد پرداخت. البته لازم به ذکر است که زبان R اغلب برای کاربرد­های آماری استفاده می­شود و دامنه کاربرد­های آن به گستردگی زبان پایتون نیست. از همین رو موقعیت­های شغلی برای زبان R به مراتب کمتر از پایتون است. نکته قابل توجه دیگر محیط­های توسعه است که برای زبان R به برنامه R studioمحدود شده اما برای پایتون چنین محدودیتی وجود ندارد.2-3- نرم­افزار های متن بازبا گسترش جامعه پروژه­های متن باز، شرکت­های بزرگ به این رویکرد پرداختند. در نتیجه در حوزه داده کاوی شاهد ظهور ابزار­های زیر هستیم:2-3-1- Knimeاین نرم افزار امکان ساخت و مدیریت workflow های داده­کاوی از مرحله خواندن داده تا کشف حقایق را فراهم می­آورد. مطابق شکل 1 کاربران می­توانند یک workflow ساده را توصیف نمایند. روند کار در واقع یک توصیف انتزاعی و مرحله به مرحله اجرای فرآیند داده­کاوی را تعیین می­کند. بنابرین با اجرای دستی یا خودکار فرآیند دلخواه انجام می گردد. نرم­ افزار مذکور دارای دو نسخه رایگان و پولی می­باشد.شکل1. روند ایجاد workflow در نرم افزار Knime2-3-2- Rapid Minerاین ابزار در سال 2001 توسط Klinkenberg بر بستر زبان جاوا همراه با رابط گرافیکی توسعه داده شد.[2] از ویژگی­های کلیدی این ابزار می­توان به موارد زیر اشاره کرد:· ورود داده و انجام تبدیل­های لازم(ETL)· پیش­پردازش و مصورسازی داده­ها· ارایه تحلیل­های آماری و پیش­بینی· مهیا کردن استقرار­سازی مدل روی سرور· قابلیت توسعه ماژول­های بیشتر توسط زبان­های R و پایتونهمچنین قابل ذکر است که نرم­افزار­های جانبی زیر نیز ارایه شده است:· RapidMiner Studio· RapidMiner Auto Model· RapidMiner Turbo Prep· RapidMiner Go· RapidMiner Server· RapidMiner Radoop2-3-3- Wekaاین نرم افزار متن­باز یکی از محبوب­ترین زیرساخت­های مهندسی داده است(برای یادگیری عمیق نیز نرم­افزار مخصوصی به نام Wekadeeplearning4j). از ویژگی­های خوب این محصول می­توان به سازگاری با پایتون و R و اسپارک اشاره نمود[3]. از قابلیت­های کلیدی این محصول می­توان به رابط کاربر پسند و مدل­های ازپیش آماده و جامع آن اشاره نمود.2-3-4- SQLاین زبان مدیریت ارتباط به زیرساخت های مدیریتی پایگاه­های داده(DBMS) را به عهده دارد و به تنهایی ارتباطی با داده­کاوی ندارد اما در قابلیت های مربوط به داده­کاوی در هر پلتفرم به طور اختصاصی پیاده­سازی شده است. به عنوان مثال SQL Server به عنوان یکی از این پلتفرم­ها این امکان را مهیا کرده است. ورود و پاکسازی داده­ها و مدل­های از پیش آماده مانند درخت تصمیم، شبکه­های عصبی و خوشه­بندی نمونه­ای از قابلیت­های ارزشمند این پلتفرم است. در هر پلتفرمی این گونه خدمات نام اختصاصی خود را دارد. به عنوان مثال در SQL Server عنوان این مجموعه سرویس­ها Ssas می­باشد[4].2-4- نرم افزار­های اختصاصی2-3-5- Tableauاین نرم­افزار به دلیل قابلیت­های متنوع مصورسازی دارای شهرت فراوان است. در واقع امکان پرس و جو روی پایگاه­داده­های رابطه­ای داخلی(local)، ابری، فایل­های صفحه­گسترده جهت مصورسازی را فراهم آورده است. در سال 2003 در دانشگاه استنفورد این ابزار توسعه یافته است در نتیجه از قدمت خوبی برخوردار است[5].از ویژگی­های کلیدی این نرم­افزار پشتیبانی ویژه از داده­های مکان محور است؛ در واقع فایل­های از نوع GeoJSON و KML را می­تواند پشتیبانی کند.2-3-6- IBM SPSS Modelerاین نرم افزار توسط شرکت IBM با هدف تمرکز در صنایع زیر توسعه داده شده است[6]:· مدیریت ارتباط با مشتری· کشف تقلب· بیمه· مدیریت رسیک· سلامتروال کاری این محصول همانند محصولات مشابهش مبتنی بر تعریف Workflow داده کاوی و مدیریت آن می­باشد. یکی از دلایل محبوبیت این محصول قابل اعتماد بودن آن به دلیل پشتیبانی توسط یک شرکت قوی می­باشد. این نرم افزار در کنار محصولات دیگر شرکت مانند IBM SPSS Statistics می­تواند به نتایج ارزشمندی برای یک پروژه به ارمغان بیاورد. محصولات دیگر این شرکت در همین حوزه در [7] قابل مشاهده است.2-5- جمع­بندیدر مجموع بنا بر هدف تیم­ها و بودجه آن­ها پیشنهاد ابزار پایه داده کاوی برای آن­ها می­تواند متفاوت باشد. اگر شرکتی بودجه کافی دارد و قابل اطمینان بودن محصول برایش اولویت دارد می­تواند از محصولی مانند IBM SPSS Modeler استفاده کند درحالی که ممکن است شرکتی زمان عرضه به بازار در اولویت بالاتری برایش باشد بنابرین بدلیل وجود نیروی کار بیشتر[8] در حال حاضر از کتابخانه­های پایتونی استفاده کند. هر چند که بعضی شرکت­ها ترجیح می­دهند از افزودن تکنولوژی جدید در تیم­هایشان امتناع ورزند بنابرین از گزینه­های مبتنی بر SQL استفاده خواهند کرد.منابع[1] https://www.knime.com/getting-started-guide[2] https://en.wikipedia.org/wiki/RapidMiner[3] https://www.cs.waikato.ac.nz/ml/weka/[4] https://docs.microsoft.com/en-us/analysis-services/data-mining/data-mining-ssas?view=asallproducts-allversions[5] https://en.wikipedia.org/wiki/Tableau_Software[6] https://en.wikipedia.org/wiki/SPSS_Modeler#cite_note-3[7] https://www.ibm.com/products/software[8] https://towardsdatascience.com/top-10-in-demand-programming-languages-to-learn-in-2020-4462eb7d8d3e mohammad moghadas (Seyed) mohammad moghadas (Seyed) Fri, 06 Nov 2020 11:38:50 +0330 https://virgool.io/@s.m.moghadas2012/%D8%A7%D9%84%D8%A7%D9%86-%D9%88%D9%82%D8%AA%D8%B4%D9%87-ptp3pbrdcqz9 ما ایرونیا از هر فرصتی نهایت استفاده رو می کنیم ( اگه اون فرصت رایگان باشه که چه بهتر!) بنابرین می خوام برا علاقه مندان و دل شیفتگان کامپیوتر ساینس لیست یه سری کتاب تازه رایگان شده از Springer بذارم. فقط لطفا سریع بذارید رو دانلود تا تموم نشده(!).کتابای یادگیری ماشین، بینایی کامپیوتر، طراحی شی گرا و کلی موضوع جذاب توشون هست. در پایان خوشحال می شم نظراتتون رو بشنوم.لیست ۶۵ کتاب منتخبThe Elements of Statistical LearningTrevor Hastie, Robert Tibshirani, Jerome Friedmanhttp://link.springer.com/openurl?genre=book&isbn=978-0-387-84858-7Introductory Time Series with RPaul S.P. Cowpertwait, Andrew V. Metcalfehttp://link.springer.com/openurl?genre=book&isbn=978-0-387-88698-5A Beginner’s Guide to RAlain Zuur, Elena N. Ieno, Erik Meestershttp://link.springer.com/openurl?genre=book&isbn=978-0-387-93837-0Introduction to Evolutionary ComputingA.E. Eiben, J.E. Smithhttp://link.springer.com/openurl?genre=book&isbn=978-3-662-44874-8Data AnalysisSiegmund Brandthttp://link.springer.com/openurl?genre=book&isbn=978-3-319-03762-2Linear and Nonlinear ProgrammingDavid G. Luenberger, Yinyu Yehttp://link.springer.com/openurl?genre=book&isbn=978-3-319-18842-3Introduction to Partial Differential EquationsDavid Borthwickhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-48936-0Fundamentals of Robotic Mechanical SystemsJorge Angeleshttp://link.springer.com/openurl?genre=book&isbn=978-3-319-01851-5Data Structures and Algorithms with PythonKent D. Lee, Steve Hubbardhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-13072-9Introduction to Partial Differential EquationsPeter J. Olverhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-02099-0Methods of Mathematical ModellingThomas Witelski, Mark Bowenhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-23042-9LaTeX in 24 HoursDilip Dattahttp://link.springer.com/openurl?genre=book&isbn=978-3-319-47831-9Introduction to Statistics and Data AnalysisChristian Heumann, Michael Schomaker, Shalabhhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-46162-5Principles of Data MiningMax Bramerhttp://link.springer.com/openurl?genre=book&isbn=978-1-4471-7307-6Computer VisionRichard Szeliskihttp://link.springer.com/openurl?genre=book&isbn=978-1-84882-935-0Data MiningCharu C. Aggarwalhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-14142-8Computational GeometryMark de Berg, Otfried Cheong, Marc van Kreveld, Mark Overmarshttp://link.springer.com/openurl?genre=book&isbn=978-3-540-77974-2Robotics, Vision and ControlPeter Corkehttp://link.springer.com/openurl?genre=book&isbn=978-3-319-54413-7Statistical Analysis and Data DisplayRichard M. Heiberger, Burt Hollandhttp://link.springer.com/openurl?genre=book&isbn=978-1-4939-2122-5Statistics and Data Analysis for Financial EngineeringDavid Ruppert, David S. Mattesonhttp://link.springer.com/openurl?genre=book&isbn=978-1-4939-2614-5Stochastic Processes and CalculusUwe Hasslerhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-23428-1Statistical Analysis of Clinical Data on a Pocket CalculatorTon J. Cleophas, Aeilko H. Zwindermanhttp://link.springer.com/openurl?genre=book&isbn=978-94-007-1211-9Clinical Data Analysis on a Pocket CalculatorTon J. Cleophas, Aeilko H. Zwindermanhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-27104-0The Data Science Design ManualSteven S. Skienahttp://link.springer.com/openurl?genre=book&isbn=978-3-319-55444-0An Introduction to Machine LearningMiroslav Kubathttp://link.springer.com/openurl?genre=book&isbn=978-3-319-63913-0Guide to Discrete MathematicsGerard O’Reganhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-44561-8Introduction to Time Series and ForecastingPeter J. Brockwell, Richard A. Davishttp://link.springer.com/openurl?genre=book&isbn=978-3-319-29854-2Multivariate Calculus and GeometrySeán Dineenhttp://link.springer.com/openurl?genre=book&isbn=978-1-4471-6419-7Statistics and Analysis of Scientific DataMassimiliano Bonamentehttp://link.springer.com/openurl?genre=book&isbn=978-1-4939-6572-4Modelling Computing SystemsFaron Moller, Georg Struthhttp://link.springer.com/openurl?genre=book&isbn=978-1-84800-322-4Search MethodologiesEdmund K. Burke, Graham Kendallhttp://link.springer.com/openurl?genre=book&isbn=978-1-4614-6940-7Linear Algebra Done RightSheldon Axlerhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-11080-6Linear AlgebraJörg Liesen, Volker Mehrmannhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-24346-7AlgebraSerge Langhttp://link.springer.com/openurl?genre=book&isbn=978-1-4613-0041-0Understanding AnalysisStephen Abbotthttp://link.springer.com/openurl?genre=book&isbn=978-1-4939-2712-8Linear ProgrammingRobert J Vanderbeihttp://link.springer.com/openurl?genre=book&isbn=978-1-4614-7630-6Understanding Statistics Using RRandall Schumacker, Sara Tomekhttp://link.springer.com/openurl?genre=book&isbn=978-1-4614-6227-9An Introduction to Statistical LearningGareth James, Daniela Witten, Trevor Hastie, Robert Tibshiranihttp://link.springer.com/openurl?genre=book&isbn=978-1-4614-7138-7Statistical Learning from a Regression PerspectiveRichard A. Berkhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-44048-4Applied Partial Differential EquationsJ. David Loganhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-12493-3RoboticsBruno Siciliano, Lorenzo Sciavicco, Luigi Villani, Giuseppe Oriolohttp://link.springer.com/openurl?genre=book&isbn=978-1-84628-642-1Regression Modeling StrategiesFrank E. Harrell , Jr.http://link.springer.com/openurl?genre=book&isbn=978-3-319-19425-7A Modern Introduction to Probability and StatisticsF.M. Dekking, C. Kraaikamp, H.P. Lopuhaä, L.E. Meesterhttp://link.springer.com/openurl?genre=book&isbn=978-1-84628-168-6The Python WorkbookBen Stephensonhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-14240-1Machine Learning in Medicine — a Complete OverviewTon J. Cleophas, Aeilko H. Zwindermanhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-15195-3Object-Oriented Analysis, Design and ImplementationBrahma Dathan, Sarnath Ramnathhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-24280-4Introduction to Data ScienceLaura Igual, Santi Seguíhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-50017-1Applied Predictive ModelingMax Kuhn, Kjell Johnsonhttp://link.springer.com/openurl?genre=book&isbn=978-1-4614-6849-3Python For ArcGISLaura Tateosianhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-18398-5Concise Guide to DatabasesPeter Lake, Paul Crowtherhttp://link.springer.com/openurl?genre=book&isbn=978-1-4471-5601-7Digital Image ProcessingWilhelm Burger, Mark J. Burgehttp://link.springer.com/openurl?genre=book&isbn=978-1-4471-6684-9Bayesian Essentials with RJean-Michel Marin, Christian P. Roberthttp://link.springer.com/openurl?genre=book&isbn=978-1-4614-8687-9Robotics, Vision and ControlPeter Corkehttp://link.springer.com/openurl?genre=book&isbn=978-3-642-20144-8Foundations of Programming LanguagesKent D. Leehttp://link.springer.com/openurl?genre=book&isbn=978-3-319-70790-7Introduction to Artificial IntelligenceWolfgang Ertelhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-58487-4Introduction to Deep LearningSandro Skansihttp://link.springer.com/openurl?genre=book&isbn=978-3-319-73004-2Linear Algebra and Analytic Geometry for Physical SciencesGiovanni Landi, Alessandro Zampinihttp://link.springer.com/openurl?genre=book&isbn=978-3-319-78361-1Applied Linear AlgebraPeter J. Olver, Chehrzad Shakibanhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-91041-3Neural Networks and Deep LearningCharu C. Aggarwalhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-94463-0Data Science and Predictive AnalyticsIvo D. Dinovhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-72347-1Analysis for Computer ScientistsMichael Oberguggenberger, Alexander Ostermannhttp://link.springer.com/openurl?genre=book&isbn=978-3-319-91155-7Excel Data AnalysisHector Guerrerohttp://link.springer.com/openurl?genre=book&isbn=978-3-030-01279-3A Beginners Guide to Python 3 ProgrammingJohn Hunthttp://link.springer.com/openurl?genre=book&isbn=978-3-030-20290-3Advanced Guide to Python 3 ProgrammingJohn Hunthttp://link.springer.com/openurl?genre=book&isbn=978-3-030-25943-3 mohammad moghadas (Seyed) mohammad moghadas (Seyed) Sat, 02 May 2020 15:52:18 +0430