https://virgool.io/data-analysis/feed محلی برای انتشار پایه ای ترین مفهوم ها درمورد تحلیل داده و علم داده. شما در اینجا تحلیلگر داده نمی شوید، اما با هم می تونیم مسیری رو پیدا کنیم تا از سعی و خطای دیگران جلوگیری کنیم و یادگیری هامون رو به دیگران منتقل کنیم. fa 2026-06-19 00:25:51 https://files.virgool.io/upload/publication/vojs3pj4wpv3/2fxfy7.png https://virgool.io/data-analysis https://virgool.io/data-analysis/%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D8%A7%D9%88%DB%8C-%DA%86%DB%8C%D8%B3%D8%AA-%D8%A8%D9%87-%D8%A7%D9%86%DA%AF%D9%84%DB%8C%D8%B3%DB%8C-data-mining-mcxi33okc1t1 https://lifeweb.ir/blog/6/what-ia-datamining داده کاوی جزو علومی است که جای خود را در دنیای امروز به خوبی باز کرده است. دیتا ماینینگ ابزاری شده تا با استفاده از آن تصمیمات کلان و سرنوشت سازی بتوان گرفت. ابزاری که به شما کمک می کند بفروشید، بشناسید، تصمیم بگیرید و حتی درمورد موضوعات مختلف پیش بینی های بسیار دقیقی داشته باشید. پس اگر اول راه هستید و یا هنوز به صورت دقیقی تعاریف داده کاوی را نمی دانید، این مقاله را از دست ندهید.آموزش داده کاوی توسط لایف وبداده‌‌‌‌کاویما در دنیایی داده‌‌محور و غنی از اطلاعات زندگی می‌‌‌‌کنیم.اطمینان از در دسترس بودن دانش فراوان دلگرم کننده است، اما حجم بسیار بالای آن‌‌ها ما را با چالش جدی روبرو خواهد کرد.هرچه اطلاعات بیشتری در دسترس باشد، مدت زمان بیشتری نیاز خواهد بود تا بتوانیم اطلاعات مفید مورد نیاز خودمان را پیدا کنیم.در تمامی جنبه‌‌های داده‌‌کاوی از جمله معنا و مفهوم، مراحل پیاده‌‌سازی، تکنیک‌‌ها، مزایا و ابزارهای داده‌‌کاوی توضیحات مفصلی ارائه خواهد شد.داده‌‌‌‌کاوی چیست؟معمولاً، وقتی کسی در مورد «کاوش» صحبت می‌‌‌‌کند، به افرادی اشاره دارد که از کلاه ایمنی با چراغ‌‌های متصل به آن برای کشف منابع طبیعی به منظور حفاری در زیر زمین استفاده می‌‌‌‌کنند. اما داده‌‌کاوی در فضای اینترنت بحثی متفاوت است.داده‌‌‌‌کاوی فرایند تجزیه و تحلیل حجم عظیمی از داده‌‌ها، استخراج اطلاعات مفید برای کمک به سازمان‌‌‌‌ها برای حل تعارضات، پیش‌‌‌‌بینی روندها، کاهش خطرات و یافتن فرصت‌‌‌‌های جدید است.داده‌‌‌‌کاوی مانند کاوش واقعی در یک معدن است زیرا در هر دو حالت، کاوشگران برای یافتن منابع و عناصر ارزشمند، حجم عظیمی از اطلاعات و مواد را بررسی و الک می‌‌‌‌کنند.داده‌‌‌‌کاوی همچنین شامل کشف و تشخیص روابط و یافتن الگوها، آنومالی‌‌‌‌ها و همبستگی‌‌‌‌ها برای حل مشکلات، و خلق اطلاعات کاربردی در این فرآیند است. داده‌‌‌‌کاوی یک فرآیند گسترده و متنوع است که شامل مولفه‌‌‌‌های بسیاری است، حتی برخی از این مولفه‌‌‌‌ها، خودشان به جای داده‌‌‌‌کاوی به اشتباه استفاده می‌‌‌‌شوند. به عنوان مثال، آمار، بخشی از روند کلی داده‌‌‌‌کاوی است.علاوه بر این، داده‌‌‌‌کاوی و یادگیری ماشین هر دو تحت عنوان کلی علمِ داده قرار می‌‌‌‌گیرند، و اگرچه شباهت‌‌‌‌هایی به هم دارند، هرکدام از این دو فرآیند بر روی داده‌‌‌‌ها به روشی متفاوت کار می‌‌‌‌کنند. داده‌‌کاوی را گاهی کشف دانش در دل داده نیز می‌‌‌‌نامند.اکنون پس از آموختن داده‌‌‌‌کاوی، به توضیح مراحل داده‌‌‌‌کاوی خواهیم پرداخت.مراحل داده‌‌‌‌کاویمراحل داده کاوی و یا دیتا ماینینگدر مواجه با این سوال که «داده‌‌‌‌کاوی چیست»، اجازه دهید آن را به گام‌‌‌‌های متخصصان و تحلیل‌‌‌‌گران داده در مواجه با یک پروژه داده‌‌‌‌کاوی تفکیک کنیم:درک کسب وکارشرایط کنونی شرکت چگونه است، اهداف پروژه و تعریف از موفقیت چیست؟درک دادهمشخص کنید که چه نوع داده‌‌‌‌ای برای حل مسئله مورد نیاز است و سپس آن‌‌ها را از منابع مناسب جمع‌‌‌‌آوری کنید.آماده‌‌سازی دادهنقایص کیفیت داده مانند داده‌‌‌‌های تکراری، مخدوش یا مفقود را برطرف کنید، سپس داده‌‌‌‌ها را در قالبی مناسب برای حل مشکل کسب و کار آماده کنید.مدل سازی دادهبرای تعیین الگوهای داده از الگوریتم‌‌‌‌ها استفاده کنید. متخصصین داده، مدل را ایجاد، تست و ارزیابی می‌‌‌‌کنند.ارزیابی دادهتصمیم بگیرید که آیا نتایج ارائه شده توسط یک مدل خاص به شما کمک می‌‌‌‌کند تا هدف کسب و کار را برآورده یا مشکل را برطرف کنید و همچنین نتایج مدل به چه میزان موثر بوده‌‌‌‌اند. گاهی اوقات یک مرحله تکراری برای پیدا کردن بهترین الگوریتم وجود دارد، به خصوص اگر متخصصین داده دقیقاً در بار اول به آن نرسند.اجرای راه حلنتایج پروژه را جهت تصمیم‌‌گیری در اختیار مسئولان ذیربط قرار دهید.مزایای داده‌‌‌‌کاویاز آنجا که ما در دنیای داده‌‌محور زندگی و کار می‌‌‌‌کنیم، ضروری است تا حد امکان از مزایای آن بهره‌‌‌‌مند شویم. داده‌‌‌‌کاوی، ابزارهای حل و فصل مشکلات و مسائل را در عصر چالش اطلاعاتی، در اختیار ما قرار می‌‌‌‌دهد.مزایای داده‌‌‌‌کاوی شامل موارد زیر است:جمع‌‌آوری اطلاعات قابل اعتماد برای شرکت‌‌‌‌ها·راه‌‌حلی کارآمد و مقرون به صرفه در مقایسه با سایر برنامه‌‌‌‌های داده‌‌‌‌محور·داده‌‌‌‌کاوی به کسب و کارها کمک می‌‌‌‌کند تا از نظر تولید و سازگاری عملیاتی، سودآور عمل کنند.استفاده از هر دو سیستم جدید و قدیمی·دستیاری به منظور تصمیم آگاهانه برای کسب و کارها·دستیاری برای تشخیص ریسک اعتباری و کلاهبرداری·داده‌‌‌‌کاوی به متخصصین داده کمک می‌‌‌‌کند تا حجم عظیمی از داده‌‌ها را به راحتی تجزیه و تحلیل کنند.متخصصین داده می‌‌‌‌توانند از این اطلاعات برای کشف کلاهبرداری، ساخت مدل‌‌‌‌های ریسک و بهبود ایمنی محصول استفاده کنند.داده‌‌‌‌کاوی به متخصصین داده کمک می‌‌‌‌کند تا سریعاً پیش‌‌‌‌بینی‌‌‌‌های خودکار رفتارها و روندها را آغاز کرده و الگوهای پنهان را کشف کنند.آیا عیب و ایرادی در داده‌‌‌‌کاوی وجود دارد؟هیچ چیز کامل نیست، از جمله داده‌‌‌‌کاوی!این موارد مهمترین مسائل در مورد داده‌‌‌‌کاوی است:استفاده از بسیاری از ابزارهای نرم‌‌‌‌افزار تجزیه و تحلیل داده‌‌‌‌ها پیچیده و چالش برانگیز است. متخصصین داده برای استفاده موثر و مفید از ابزارها به آموزش صحیح و دقیق نیاز دارند.ابزارهای مختلف بسته به الگوریتم‌‌‌‌هایی که به کار می‌‌‌‌برند، با انواع مختلف داده‌‌‌‌کاوی کار می‌‌‌‌کنند. بنابراین، تحلیلگران داده باید مطمئن شوند که ابزار صحیحی را انتخاب می‌‌کنند.تکنیک‌‌‌‌های داده‌‌‌‌کاوی عاری از خطا نیستند‌‌‌‌، بنابراین همیشه این ریسک وجود دارد که اطلاعات کاملاً دقیق نباشد. چنین ایرادی به ویژه در صورت عدم تنوع در مجموعه داده بسیار مهم است.شرکت‌‌‌‌ها به طور بالقوه می‌‌‌‌توانند اطلاعات مشتریان خود را که به دست آورده‌‌‌‌اند به سایر مشاغل و سازمان‌‌‌‌ها بفروشند و این امر نگرانی درباره حریم خصوصی را به وجود می‌‌‌‌آورد.داده‌‌‌‌کاوی به پایگاه داده‌‌‌‌های بزرگی نیاز دارد و مدیریت فرآیند را دشوار می‌‌‌‌کند.چه نوع ابزار و تکنیک‌‌‌‌هایی در داده‌‌‌‌کاوی وجود دارد؟همان طور که مهندسان می‌‌گویند: «از ابزار مناسب برای کار مناسب استفاده کنید» در اینجا نیز مجموعه‌‌‌‌ای از ابزارها و تکنیک‌‌‌‌هایی وجود دارد که ویژگی‌‌‌‌های متنوعی از داده‌‌‌‌کاوی را در اختیار تحلیلگران داده قرار می‌‌‌‌دهد.هوش مصنوعیسیستم‌‌‌‌های هوش مصنوعی عملکردهای تحلیلی را انجام می‌‌‌‌دهند که از هوش انسان تقلید می‌‌‌‌کنند، مانند یادگیری، برنامه ریزی، حل مسئله و استدلال.یادگیری قاعده ارتباطاین مجموعه ابزار که تجزیه و تحلیل سبد بازار نیز نامیده می شود، روابط بین متغیرهای مجموعه داده را جستجو می‌‌‌‌کند. به عنوان مثال، یادگیری قاعده ارتباط می‌‌‌‌تواند تعیین کند که کدام محصولات به طور مکرر با هم خریداری می شوند (به عنوان مثال، تلفن هوشمند و قاب محافظ)خوشه بندیاین فرایند، مجموعه داده‌‌‌‌ها را به تعدادی زیرمجموعه معنا‌‌‌‌دار تقسیم می‌‌‌‌کند که به عنوان خوشه شناخته می‌‌‌‌شوند. این فرایند به کاربران کمک می‌‌‌‌کند ساختار طبیعی یا گروه‌‌‌‌بندی درون داده‌‌‌‌ها را درک کنند.طبقه بندیاین تکنیک، موارد خاصی را در یک مجموعه داده، به دسته‌‌‌‌ها یا کلاسهای مختلف هدف اختصاص می‌‌‌‌دهد. هدف از این کار، طراحی و توسعه پیش‌‌‌‌بینی‌‌‌‌های دقیق در گروه هدف، برای هر کدام از دسته‌‌‌‌ها در داده‌‌‌‌ها است.تجزیه و تحلیل دادهفرایند تجزیه و تحلیل داده‌‌‌‌ها، متخصصان را قادر می‌‌‌‌سازد تا اطلاعات دیجیتالی را ارزیابی کرده و آنها را به یک هوش تجاری مفید تبدیل کنند.پاکسازی و آماده‌‌‌‌سازی داده‌‌‌‌هااین روش، داده‌‌‌‌ها را به فرم بهینه‌‌‌‌ای برای تجزیه و تحلیل و پردازش بیشتر تبدیل می‌‌‌‌کند. آماده‌‌‌‌سازی شامل فعالیت‌‌‌‌هایی مانند شناسایی و حذف خطاها و داده های مخدوش یا تکراری است.ذخیره‌‌‌‌سازی داده‌‌‌‌هامحل ذخیره داده شامل مجموعه‌‌‌‌ای گسترده از داده‌‌‌‌های تجاری است که مشاغل از آنها در تصمیم‌‌‌‌گیری خود کمک می‌‌‌‌گیرند. ذخیره‌‌‌‌سازی داده‌‌‌‌ها یکی از مولفه های اساسی و ضروری اکثر فعالیت‌‌‌‌های داده‌‌‌‌کاوی در مقیاس بزرگ است.یادگیری ماشینییادگیری ماشینی مرتبط با تکنیک هوش مصنوعی است که قبلاً ذکر شد. یادگیری ماشینی یک تکنیک برنامه‌‌‌‌نویسی رایانه‌‌‌‌ای است که با استفاده از احتمالات آماری، قابلیت یادگیری را بدون دخالت انسان یا برنامه‌‌‌‌ریزی دستی به کامپیوتر می‌‌‌‌دهد.همگرایی یا رگرسیونروش رگرسیون طیف وسیعی از مقادیر عددی را در دسته هایی مانند فروش، قیمت سهام یا حتی دما پیش بینی می‌‌‌‌کند. دامنه‌‌‌‌ها براساس اطلاعات موجود در یک مجموعه داده خاص است. حال نیاز به ذکر دو ابزار خاص دیگر است:زبان برنامه نویسی Rاین زبان برنامه‌‌‌‌نویسی، ابزاری متن باز است که برای گرافیک و محاسبات آماری استفاده می‌‌‌‌شود. این مجموعه، انتخاب گسترده‌‌‌‌ای از آزمون‌‌‌‌های آماری، طبقه بندی و تکنیک های گرافیکی و تحلیل سری زمانی را برای تحلیلگران فراهم می‌‌‌‌کند.داده‌‌‌‌کاوی اوراکلاین ابزار، ماژولی از پایگاه داده تجزیه و تحلیل پیشرفته اوراکل است. این ابزار به تحلیلگران داده کمک می‌‌‌‌کند تا پیش‌‌‌‌بینی کرده و درک دقیقی ایجاد کنند. تحلیلگران از داده‌‌‌‌کاوی اوراکل برای پیش‌‌‌‌بینی رفتار مشتری، ایجاد مشخصات مشتری و شناسایی فرصت‌‌‌‌های فروش متقابل استفاده می‌‌‌‌کنند.اپلیکیشن‌‌‌‌های داده‌‌‌‌کاویداده‌‌‌‌کاوی ابزاری مفید و پرکابرد برای مشاغل رقابتی امروز است. در اینجا چند نمونه داده‌‌‌‌کاوی آورده شده است که طیف گسترده‌‌‌‌ای از برنامه‌‌‌‌های کاربردی را نشان می‌‌‌‌دهد.بانک‌‌‌‌هاداده‌‌‌‌کاوی به بانک‌‌‌‌ها کمک می‌‌‌‌کند تا با رتبه‌‌‌‌بندی اعتباری و سیستم‌‌‌‌های ضد کلاهبرداری کار کنند، داده‌‌‌‌های مالی مشتری، تراکنش‌‌‌‌های خرید و معاملات کارت را تجزیه و تحلیل نمایند. داده‌‌‌‌کاوی همچنین به بانک‌‌‌‌ها کمک می‌‌‌‌کند تا عادات و ترجیحات آنلاین مشتریان خود را بهتر درک کنند، که در طراحی یک کارزار بازاریابی جدید کمک می‌‌‌‌کند.مراقبت های سلامتی و پزشکیداده‌‌‌‌کاوی با جمع‌‌‌‌آوری تاریخچه پزشکی هر بیمار، نتایج معاینات جسمی، داروها و الگوهای درمانی، به پزشکان کمک می‌‌‌‌کند تا تشخیص دقیق‌‌‌‌تری داشته باشند. داده‌‌‌‌کاوی همچنین به مبارزه با جعل و کلاهبرداری و اتلاف هزینه کمک می‌‌‌‌کند و یک استراتژی مدیریت منابع سلامت با صرفه‌‌‌‌تری ایجاد می‌‌‌‌کند.بازاریابیاگر تنها یک برنامه وجود داشته باشد که از داده‌‌‌‌کاوی بهره‌‌‌‌مند شود، آن بازاریابی است! در حقیقت، قلب و روح بازاریابی، هدف‌‌‌‌گذاری بر روی مشتریان برای دستیابی به بهترین نتیجه است. البته بهترین روش برای هدف‌‌‌‌گذاری بر روی مخاطبان این است که تا آنجا که ممکن است بیشتر در مورد آنها بدانید. داده‌‌‌‌کاوی کمک می‌‌‌‌کند تا داده‌‌‌‌های یکپارچه‌‌‌‌ای در مورد سن، جنس، سلیقه، سطح درآمد، محل سکونت و عادت‌‌‌‌های مختلف مشتریان در کنار هم قرار گیرند تا برای ایجاد کارزارهای وفاداری شخصی سازی شده و موثرتر مورد استفاده قرار گیرند. بازاریابی داده حتی می‌‌‌‌تواند پیش بینی کند که چه مشتریانی اشتراك خود را در لیست پستی یا سایر خدمات مرتبط لغو خواهند کرد. شرکت‌‌‌‌های مجهز به این اطلاعات می‌‌‌‌توانند قبل از اینکه مشتریان فرصت ترک آن شرکت را پیدا کنند، در جهت حفظ آن مشتریان گام بردارند!خرده فروشیدنیای خرده‌‌‌‌فروشی و بازاریابی با یکدیگر ارتباط مستقیم دارند، اما خرده‌‌‌‌فروشی همچنان بازار جداگانه خود را تضمین می‌‌‌‌کند. خرده فروشی‌‌‌‌ها و سوپرمارکت‌‌‌‌ها می‌‌‌‌توانند از الگوی خرید برای محدود کردن ارتباطات محصولات و تعیین اینکه چه کالاهایی باید در فروشگاه ذخیره شوند و کجا باید بروند استفاده کنند. داده‌‌‌‌کاوی همچنین مشخص می‌‌‌‌کند که کدام کارزار بهترین نتیجه را خواهد داشت.مدر تمامی جنبه‌‌های داده‌‌کاوی از جمله معنا و مفهوم، مراحل پیاده‌‌سازی، تکنیک‌‌ها، مزایا و ابزارهای داده‌‌کاوی توضیحات مفصلی ارائه خواهد شو مفهوم، مراحل پیاده‌‌سازی، تکنیک‌‌ها، مزایا و ابزارهای داده‌‌کاوی توضیحات مفصلی ارائه خواهد شو مفهوم، مراحل پیاده‌‌سازی، تکنیک‌‌ها، مزایا و ابزارهای داده‌‌کاوی توضیحات مفصلی ارائه خواهد شو مفهوم، مراحل پیاده‌‌سازی، تکنیک‌‌ها، مزایا و ابزارهای داده‌‌کاوی توضیحات مفصلی ارائه خواهد ش تحلیل داده - آنالیز داده - علم داده تحلیل داده Fri, 02 Apr 2021 00:35:07 +0430 https://virgool.io/data-analysis/data-driven-vs-data-misleading-ghfaiefnztp8 این روزها بسیاری از کسب و کارها حرف از استفاده از داده و داده محوری می‌زنند. داستان‌های بیزنس‌هایی که با استفاده از دیتا و آزمایشاتی نظیر A/B Testing و Split Testing توانسته‌اند بدون افزایش هزینه‌ها بهبودهای ژگرفی در فروش و درآمد خود ایجاد کنند، نقل مجالس کسب و کار‌های ایران بخصوص کسب و کارهای اینترنتی ایران شده است. اما آیا واقعا می‌دانیم چطور از دیتا استفاده کنیم؟در این نوشته به چهار تله از پرتکرار‌ترین تله‌هایی که کسب و کارهای داخلی در آن گیر می‌کنند، اشاره کلی کرده‌ام.خوراک جو پرک باعث سرطان می‌شود!نظارت کردن بر همه چیزاولین چیزی که بعد از صحبت در مورد داده-محوری به ذهن بیزنس-من‌های ایرانی می‌رسد، ساخت دشبوردهای BI و KPIها هست که بتوانند تمام عملکرد بیزنس را در یک نگاه ببینند. بعد از مدتی این دشبورد توسط ساخته شده و در اختیار بیزنسمن قرار میگیرد. دشبوردی که معولا شامل ۲۰ تا ۴۰ شاخص است و قرار است یک تصویر از بالا به مدیر برای تصمیم گیری بدهد. اما نکته اصلی اینجاست که اگر ۲۰ شاخص مهم برای سنجیدن دائمی دارید، در واقع نمی‌دانید کدام شاخص برای شما مهمتر است. به قول معروف وقتی همه چیز مهم است، هیچ چیز مهم نیست. در یک کسب و کار با توجه به مقیاس آن، افرادی تصمیم گیرنده وجود دارند که برای هر یک شاخص هایی مهم‌تر از بقیه وجود خواهد داشت. به طور میانگین هر شخص می‌تواند روی 3 تا 7 شاخص تمرکز کند. پس اگر در یک بیزنس مسئولیتی در قبال بهبود یک بخش دارید به دنبال مهمترین شاخص‌ها برای بهبود آن باشید. پیشنهاد می کنم کتاب Measure what matters رو مطالعه کنید.مبنا قراردادن جامعه‌ی محدود یا متعصب(biased)یکی از اولین اقدامات کسب و کارها برای تصمیم گیری در مورد شروع یک کار جدید، مصاحبه و پرسشنامه است. دو تله در این گونه داده‌ها وجود دارد. تله اول این است که افرادی که به عنوان نمونه انتخاب شده‌اند، از کل جامعه‌ی هدف ما انتخاب نشده‌اند. به عنوان مثال جامعه هدف ما برای اپلیکشن فروش بیمه آنلاین افراد 30 تا 40 سال است که خودرو دارند ولی ما پرسشنامه را صرفا برای کاربران ios ارسال می کنیم. این نمونه یک نمونه متعصب یا biased و رفتار آن را نمی‌توان به کل جامعه هدف تعمیم داد.تله دوم صرف توجه به نسبت پاسخ‌هاست بدون در نظر گرفتن تعداد آن‌ها. به عنوان مثال یک A/B test را در نظر بگیریم. می‌خواهیم تاثیر رنگ یک دکمه‌ی CTA را آزمایش کنیم. در یک آزمایش از 10 نفر که ورژن A را میبینند 4 نفر و از 10 نفر که ورژن B را می‌بینند 5 نفر روی دکمه کلیک می‌کنند. در آزمایش دوم از 200 در ورژن A وارد می‌شوند 80 نفر و 100 نفر از 200 نفر ورودی به ورژن B روی دکمه کلیک می کنند. با نگاه کلی هر دو آزمایش به ما گوید که ورژن B عملکرد 25%ای بهتری نسبت به ورژن A دارد. اما آیا نتیجه این دو آزمایش با هم برابر است؟ در آزمایش اول با سطح اطمینان برای نتیجه 68% است در حالی که در آزمایش دوم این اطمینان به 98% می رسد. به عبارت تست اول با این که افزایش 25% را نشان می‌دهد، تست موفقی به حساب نمیاید ولی تست دوم با احتمال 98% یک تست موفق است. برای بررسی معناداری آماری (statistical significance) آزمایش‌های A/B testing می‌توانید از ابزارهای رایگانی مانند splitly استفاده کنید.آزمودن(Testing) بدون طراحی آزمایش(Design of Experiment)یکی از بزرگترین چالش‌های شخصی من با کسب و کارهای مختلف، جا انداختن مفهمون طراحی آزمایش بوده است. خیلی‌ها با مطالعه در مورد تصمیم‌گیری داده-محور، توسعه لین، هک رشد و ... رویکرد آزمون‌های سریع و متعدد را برای خود اتخاذ می کنند. اما هر کدام از این آزمون‌ها چطور قرار است به ما کمک کند؟آزمودن مرحله قبل از مرحله نهایی یک آزمایش است. آزمایش با طرح سوال شروع می‌شود، و با تعریف یک نظریه (hypothesis) ادامه می‌یابد. حال برای این نظریه باید شاخص و تعیین نمود و هدف آن‌را پیشبینی کرد. با توجه به هدف، اندازه نمونه تعیین می‌شود و اقدام بعدی آزمودن (test) است. و در نهایت با تحلیل نتایج آزمون، می‌توان فهمید که این آزمایش را موفق یا نا موفق بوده است و یا نیاز به تعریف مجدد آن است. بدون در نظر گرفتن فرآیند آزمایش، بعد از انجام دادن آزمون‌های متعدد، اولا ممکن است برخی از این آزمون‌ها گمراه کننده(misleading) باشند. ثانیا اگر بهبودی رخ دهد، چون نظریه‌ها و شاخص‌ها مشخص نیستند، نمی‌توان متوجه شد که کدام تست‌ها تاثیر مثبت و کدام تست‌ها تاثیر منفی داشته‌اند.استناد بر داده نا صحیحپایه‌ای ترین مشکل در خیلی از کسب و کارها، عدم به کار گیری داده صحیح از منبع صحیح است. خیلی وقت‌ها شاخص‌های تعریف شده بسیار مفید و کارساز هستند و نظریه‌های خوشتعریفی را بر پایه‌ی آنان میتوان تحلیل کرد، اما در محاسبه شاخص ایراداتی وجود دارد. انتخاب درست تکنولوژی‌های مربوط به پایگاه داده، تعریف ساختار درست، استفاده از ابزارهای تحلیلی دقیق و پیاده سازی درست آن‌ها اقداماتی است که می‌تواند به محاسبه صحیح شاخص‌ها کمک کند، در نهایت مهم‌ترین اقدام تعریف درست شاخص‌هاست. در تعریف یک شاخص، علاوه بر فرمول ریاضی محاسبه آن، همواره به سورس دیتای ورودی نیز باید توجه شود. تحلیل داده - آنالیز داده - علم داده Parsa Hakmi Mon, 02 Mar 2020 15:09:34 +0330 https://virgool.io/data-analysis/%D8%B0%D8%AE%DB%8C%D8%B1%D9%87-%DA%A9%D8%B1%D8%AF%D9%86-%D8%AF%D8%A7%D8%AF%D9%87-%D9%87%D8%A7-%D8%A8%D8%A7-nodejs-%D8%AF%D8%B1%D9%88%D9%86-%D8%A8%D8%A7%D9%86%DA%A9-%D8%AF%D8%A7%D8%AF%D9%87-mongodb-red8jte3deuo مونگو یک بانک داده غیر رابطه است بر خلاف بانک های داده رابطه ای در این نوع بانک داده معمولا ساختار داده منعطف تری وجود دارد به عنوان مثال در بانک داده mongo لازم نیست طراح در ابتدا ساختار دقیق اسنادی که قرار است ذخیره کند را تعیین کند. بر خلاف بانک های داده رابطه ای که نه تنها باید تعداد فیلد ها، نوع فیلد ها رابطه آنها با هم و اندازه فیلد ها مشخص شوند. این اصرار بر ساختارمند بودن گاه در تناقض با جهان پیچیدی است که ما در آن کار می کنیم. به همین دلیل در بانک های داده ی جدید آن ساختارمندی قبلی کاهش یافته است. یکی از بانک های داده ای که اخیرا مورد توجه قرار گرفته است بانک داده mongo است. یکی از ویژگی های جالب این بانک داده این است که از زبان و ساختار جاوااسکریپت برای تبادل داده استفاده می کند به همین دلیل گزینه مناسبی برای کار با استفاده از nodejs می باشد در این پست با استفاده از درایور mongoose یک سند داده را در بانک داده ذخیره می کنیم. اتصال به بانک داده mongodb برای اتصال و تبادل داده در بانک داده mongo می توان از کتابخانه mongoose استفاده کرد کد زیر نحوه اتصال به بانک داده با استفاده از این کتابخانه را نشان می دهد:خط ۱ کتابخانه را معرفی می کندخطوط ۳ تا ۵ نحوه اتصال به بانک داده را نشان می دهد.طرح ها (schema ) در بانک داده در کتابخانه mongoose از schema برای تعیین طرح اسنادی که قرار است در بانک داده ذخیره شود استفاده می شود. مثال در کد های زیر دو schema ایجاد می شود با استفاده از این scheme نوع فیلد ها، ضروری بودن آنها، معتبر بودن آنها، طول و اندازه آنها و ... مشخص می شود.کد فوق دو schema را تعیین می کند با استفاده از این scheme می توان نام فیلدها، نوع آنها و مقدار پیش فرض آنها را تعیین کرد حتی می توان قبل از ذخیره کردن داده ها در بانک داده مقدار ارسالی به فیلد ها را اعتبار سنجی کرد. تا از ثبت داده ها نامعتبر در بانک داده جلوگیری کرد.ایجاد model در بانک داده:برای ذخیره کردن یا بازیابی اسناد از بانک داده لازم است با استفاده از schema یک مدل در بانک داده ایجاد کرد خط کد زیر با استفاده از schema پست یک مدل به نام post ایجاد می کند بعد از اجرای این دستور یک کالکشن با نام posts در بانک داده ایجاد خواهد شد:ذخیره کردن یک داده فرضیدر کدهای زیر یک شی جاوااسکریپت ایجاد می کنیم و با استفاده از تابع save ‌آن را در بانک داده ذخیره می کنیم:منابعبرای مطالعه بیشتر و دقیق تری می توانید به اسناد کتابخانه mongoose در لینک زیر مراجعه کنید https://mongoosejs.com/docs/guide.html تحلیل داده - آنالیز داده - علم داده mehdi sedighi Sun, 08 Dec 2019 15:29:35 +0330 https://virgool.io/data-analysis/%D8%AF%D8%B1-%D8%AF%D9%84-%D8%AF%D8%A7%D8%AF%D9%87%D9%87%D8%A7-trag6wqliicg پایان هفته گذشته در بین روزهای خلوت تابستانی دانشگاه اگر سری به تالارها می‌زدید، با دانشجویان زیادی مواجه می‌شدید که در تالار یک و دو مشغول یادگیری بودند. این 200 نفر از دانشگاه‌های مختلف در شریف حضور داشتند و مهمان جمعی از بچه‌های دانشکده مهندسی صنایع بودند و هدفشان رقابت در چالشی جدید بود. رویداد IEC برای دومین سال با هدف آشنایی دانشجویان با حوزه بسیار سودمند و کمتر شناخته شده داده‌کاوی از سوی بسیج دانشجویی مهندسی صنایع برگزار شد.مرحله حضوری IEC در چهار روز چالش برانگیز برگزار شد؛ چهار روزی که برای تیم اجرایی بی‌خوابی و استرس برگزاری مناسب مسابقه و برای تیم‌های شرکت‌کننده هیجان شرکت در مسابقه‌ای خاص را به همراه داشت. نیمی از این چهار روز به آموزش مهارت‌های اولیه داده‌کاوی گذشت و بخش دیگر آن مختص رقابت دانشجویان با یکدیگر بود. مسابقه از این قرار بود که داده‌های کشورهای مختلف دنیا در زمینه فروش تلفن‌های همراه در اختیار شرکت‌کنندگان قرار می‌گرفت و دانشجویان باید با توجه به این داده‌ها و تمایل خریداران در کشورهای مختلف گوشی مناسب را طراحی می‌کردند. سپس تیم‌ها در بازار شبیه‌سازی شده توسط تیمی علمی مسابقه به فروش محصولاتشان می‌پرداختند. از جذابیت‌های مسابقه تعامل تیم‌ها با یکدیگر بود، گاه دو تیم به این نتیجه می‌رسیدند که برای فروش محصولی با یکدیگر لابی کنند و یا برای خراب کردن بازار تیمی دیگر قیمت محصولی را به طور چشم‌گیری کاهش دهند. تیم‌ها در ساختمان نوساخت باکس، در کنار جهاد دانشگاهی با یکدیگر رقابت کردند. در آخر سه تیمی که بیشترین سود را داشتند، به عنوان برنده اعلام شدند و به ترتیب 7، 5 و 3 میلیون تومان دریافت کردند.تیم‌های برتر مسابقهفرآینده آماده‌سازی اولیه منطق علمی مسابقه از مهرماه سال 97 آغاز شده و تیم اجرایی از چند هفته قبل مشغول هماهنگی‌های لازم برای مسابقه بود. ناگفته نماند که در روز دوم مسابقه سایت بارگذاری اطلاعات تیم‌ها با مشکل همراه شد. البته در روند کلی مسابقه خللی وارد نکرد.رویداد بزرگ IEC با مساعدت و همکاری دانشکده مهندسی صنایع و دانشگاه شریف سرانجام در ساعت 20 جمعه با برگزاری مراسم اختتامیه و حضور دکتر سهراب پور به پایان رسید. تحلیل داده - آنالیز داده - علم داده روزنامه شریف Tue, 16 Jul 2019 17:46:56 +0430 https://virgool.io/data-analysis/%D8%AD%D9%81%D8%B8-%D8%B5%D8%AD%D8%AA-%D9%88-%DB%8C%DA%A9%D9%BE%D8%A7%D8%B1%DA%86%DA%AF%DB%8C-%D8%AF%D8%A7%D8%AF%D9%87-%D9%87%D8%A7-%D8%AF%D8%B1-%D9%BE%D8%A7%DB%8C%DA%AF%D8%A7%D9%87-%D8%AF%D8%A7%D8%AF%D9%87-d7hp3mjalfsf در برخی از نرم افزارها که از سایز به نسبت بزرگی برخوردار هستند، به دلایلی گاهی بیشتر از یک پایگاه داده استفاده می شود. هنگامی که می خواهیم تغییری در داده های سیستم اعمال کنیم، نیاز هست تا هم زمان بر روی دو یا چند پایگاه داده، داده های جدید را ثبت کنیم. اما چطور مطمئن شویم که این عملیات بر روی همه پایگاه های داده ها با موفقیت ثبت شده و یا اگر مشکلی هست، مطمئن شویم در هیچ کدام هیچ تغییری صورت نپذیرفته است (Atomicty) و به عبارتی دقیق تر با شرابطی مواجه نشویم که یکپارچگی داده ها در سیستم از بین رفته باشد و داده ای در جایی ثبت شده باشد و در جایی دیگر موجود نباشد. جواب این سوال استفاده از Transaction می باشد. یک Transaction به ما این امکان را می دهد تا کارهای ما به صورت اتمیک انجام بگیرند. یعنی یا همه با هم صورت بپذیرند و یا مطمئن باشیم هیچ کدام صورت نگرفته اند. در SQL Server می توانیم یک Transaction را بین چند پایگاه داده به اشتراک بگذاریم تا عملیات ما بر روی آن ها به صورت اتمیک صورت بگیرد.یا در سناریو های ساده تر نیاز هست تا در Entity Framework چند بار متد SaveChanges را پشت سر هم صدا بزنیم. اگر در یکی از این دفعات متد SaveChanges با خطا رو به رو شد، با شرایطی مواجه می شویم که یکپارچگی داده ها از بین می رود چرا که یک سری از داده ها ذخیره شده اند و یک سری از داده ها از دست رفته اند. راه حل این مشکل هم استفاده از Transaction ها می باشد.استفاده از Transaction ها در EF 6.x:https://msdn.microsoft.com/en-us/data/dn456843.aspx تحلیل داده - آنالیز داده - علم داده احسان میرسعیدی Wed, 18 Apr 2018 20:45:53 +0430