https://virgool.io/feed/@elibugy #مدیر محصول #علاقه‌مند به هوش مصنوعی #هوادار نرم‌افزار آزاد #هم‌بنیان‌گذار جامعه آزاد رایانش ابری اصفهان fa 2026-04-15 00:45:51 https://files.virgool.io/upload/users/5254/avatar/PfTDNs.jpg?height=120&width=120 https://virgool.io/@elibugy https://virgool.io/@elibugy/%D8%A2%DB%8C%D8%A7-%DB%8C%D8%A7%D8%AF%DA%AF%DB%8C%D8%B1%DB%8C-%D8%B1%DB%8C%D8%A7%D8%B6%DB%8C-%D8%B3%D8%AE%D8%AA-%D8%A7%D8%B3%D8%AA-%D8%B1%D9%88%D8%B4-%DB%8C%D8%A7%D8%AF%DA%AF%DB%8C%D8%B1%DB%8C-%D8%B1%DB%8C%D8%A7%D8%B6%DB%8C-%D9%85%D8%B9%D8%B1%D9%81%DB%8C-%DA%A9%D8%AA%D8%A7%D8%A8-%D9%88-%D8%A2%D9%85%D9%88%D8%B2%D8%B4-hmmbokcsuw3e احتمالا برای برخی از افراد حتی طرح این پرسش که آیا یادگیری یک مبحث علمی سخت و یا آسان است، کمی عجیب به نظر برسد. اما حقیقت این است که دستکم در مورد ریاضیات، این پرسش همواره ذهن بسیاری از افراد را به خود مشغول کرده است. در این مطلب، ضمن پاسخگویی به پرسش آیا یادگیری ریاضی سخت است یا خیر، راهکارهایی نیز برای حل چالش یادگیری ریاضی ارائه شده است. همچنین، یک کتاب و آموزش بسیار مفید که می‌تواند برای همه افراد به ویژه فارغ‌التحصیلان دوره متوسطه، دانشجویان، افراد در حال یادگیری مهارت‌های دارای پیش‌نیاز ریاضیات، کلیه علاقه‌مندان به ریاضی و دیگر افراد برای یادگیری ریاضی جذاب و کارآمد باشد معرفی شده است. یادگیری ریاضی دغدغه‌ای به قدمت پیدایش انسانآموزش در دوران ماقبل تاریخ آغاز شد؛ زمانی که بزرگسالان به افراد جوان‌تر دانش و مهارت‌های مورد نیاز در جوامع خود را می‌آموختند. قدمت مفهوم ریاضیات اما از این نیز بیش‌تر است. تاریخچه ریاضیات ریشه در مجموعه‌ای از انتزاعات تکامل‌یابنده دارد. از نظر تکاملی، اولین انتزاع مشترک بین بسیاری از حیوانات، احتمالا مفهوم عدد است. پژوهش‌ها حاکی از آن است که نوزاد انسان پیش از یک‌سالگی قادر به درک اعداد است و حتی در نتایج برخی از مطالعات پیرامون یادگیری ریاضی آمده است که درکی که نوزاد انسان از اعداد در سن شش ماهگی دارد، می‌تواند توانایی ریاضیاتی او در آینده را مشخص کند. به نظر می‌رسد که احتمالا قدمت دغدغه یادگیری ریاضیات برای هر کس نیز اگر چیزی بیش‌تر از این نباشد، کم‌تر نیست.از زمانی که در دوران پیش‌دبستانی افراد به طور رسمی و در برنامه درسی متمرکز یادگیری ریاضیات را آغاز می‌کنند، یادگیری ریاضی و پیشرفت در آن، به یکی از دغدغه‌های اصلی والدین و دانش‌آموزان مبدل می‌شود. با ورود به دوران متوسطه و افزایش اهمیت یادگیری ریاضی برای فراگیری دیگر دروس مانند فیزیک و البته مطرح شدن بحث مهم ورود به دانشگاه و رشته‌های گوناگون، بار دیگر این پرسش مطرح می‌شود که «آیا یادگیری ریاضی سخت است؟». یادگیری ریاضی و فراگیری دروسی که ریاضی برای آن‌ها از جمله پیش‌نیازها یا مباحث کلیدی محسوب می‌شود، تا جایی برای افراد دغدغه می‌شود که برای انتخاب رشته دانشگاهی نیز بررسی جدی روی این موضوع انجام می‌دهند که کدام رشته‌ها نیاز به پایه ریاضی قوی دارد و کدام رشته‌ها کم‌تر به دانش ریاضی نیاز دارند. دغدغه یادگیری ریاضی محدود به حوزه‌های آکادمیک نیست و افراد برای یادگیری مهارت‌های مختلف نیز با این پرسش مواجه هستند که آیا فراگیری آن مبحث نیاز به یادگیری ریاضی دارد یا خیر؟ دو مورد از حوزه‌های مهارتی که افراد به طور متداول این پرسش را مطرح می‌کنند که آیا نیاز به یادگیری ریاضی دارند یا خیر، برنامه‌نویسی و علم داده هستند. همین اشارات به خوبی حاکی از اهمیت پاسخگویی به این پرسش هستند که آیا یادگیری ریاضی سخت است ؟از سوی دیگر، یکی از مهم‌ترین چالش‌ها در حوزه یادگیری ریاضی نیز به دلیل وجود همین پرسش و پاسخ مثبتی است که معمولا به آن داده می‌شود. بنابراین، در ادامه به این پرسش پاسخ داده می‌شود که آیا یادگیری ریاضی سخت است یا خیر و سپس چند روش یادگیری ریاضی مورد بررسی قرار می‌گیرد.پیش‌زمینه ذهنیپیش زمینه ذهنی اغلب افراد این است که یادگیری ریاضیات سخت است. بنابراین، یادگیری ریاضیات برای آن‌ها دشوار خواهد شد. این پیش‌زمینه ذهنی باعث می‌شود که با نگرانی یادگیری را آغاز کنند و در عین حال، وقتی موضوعی را به خوبی یاد نمی‌گیرند سریع‌تر با این استدلال که یادگیری آن سخت است و یا من در یادگیری ریاضی استعداد ندارم، کنار بکشند. چنین پیش‌زمینه ذهنی منفی به سرعت موجب چرخه معیوب اعتماد به نفس پایین، انگیزه کم و کارایی ضعیف می‌شود. راهکار کلیدی غلبه بر این چالش یادگیری ریاضی : فراموش نکنید که یادگیری ریاضی سخت نیست و تنها، نیاز تمرکز و صرف زمان دارد. پس با پیش‌زمینه ذهنی منفی و اعتقاد به این باور غلط که یادگیری ریاضی سخت است به سراغ ریاضیات نروید و اگر مبحثی را نیاموختید، ناامید نشوید.یادگیری ریاضی یک هنر تجسمیدر اغلب افراد، یادگیری زمانی تحقق پیدا می‌کند که بتوانند موضوع مورد یادگیری خودشان را به دنیای واقعی ارتباط دهند. در واقع، تجسمی از مفهومی که یاد می‌گیرند را در دنیای واقعی پیدا کنند. در رابطه با ریاضیات نیز همینطور است. اما چالش از جایی آغاز می‌شود که با سخت‌تر شدن یادگیری ریاضی ، ارتباط دادن ریاضیات با دنیای واقعی برای افراد سخت‌تر می‌شود. در نتیجه، دانشجویان نیاز دارند برای یادگیری ریاضی تمرین بیشتری کنند و همین باعث می‌شود این ذهنت در آن‌ها شکل بگیرد که یادگیری ریاضی سخت است و یا من در یادگیری ریاضی استعداد ندارم و برای یادگیری ریاضی باید وقت زیادی بگذارم.راهکار کلیدی غلبه بر این چالش یادگیری ریاضی : سعی کنید برای هر مفهومی که در ریاضیات می‌آموزید، کاربرد آن در مسائل و موضوعات جهان واقعی را پیدا کنید. یافتن این کاربرد با وجود اینترنت کار دشواری نیست و به شما در تجسم کردن یک موضوع ریاضی کمک می‌کند.جهش از ریاضیات دبیرستان به دانشگاهاگر ریاضیات را با دنیای خودروها مقایسه کنیم، ریاضیات دبیرستان متناظر با یادگیری رانندگی است. در حالی که در ریاضیات دانشگاه، فرد چگونگی عملکرد خودرو، روش نگهداری و تعمیر آن را می‌آموزد. حتی اگر این مبحث را به طور جدی دنبال کند، روش طراحی و ساخت خودرو خود را نیز خواهد آموخت. ویژگی کلیدی مورد نیاز برای یادگیری تفکر ریاضیاتی داشتن تفکر خارج از چارچوب است. در حالی که در ریاضیات دبیرستان، افراد یادگیری درون چارچوب را دنبال می‌کنند؛ ولی در دوران دانشگاه، افراد نیاز به یادگیری تفکر ریاضیاتی خارج از چارچوب دارند. به همین دلیل است که یادگیری ریاضی در این سطح، به افراد توانایی فکر کردن خارج از چارچوب را می‌دهد که در زندگی واقعی نیز برای آن‌ها مفید است. این در حالی است که همین تفاوت جنس تفکر ریاضی که افراد در دو مقطع تحصیلی مهم و مختلف به آن نیاز دارند، مواجهه با ریاضیات دانشگاه را پس از دوران دبیرستان دشوار می‌کند.در یک مقایسه ساده می‌توان گفت که افراد در ریاضیات دوران دبیرستان دستورالعمل‌ها را مانند دستورهای مدون آشپزی می‌آموزند. اما در دوران دانشگاه می‌آموزند که از ترکیب کردن اقلام مختلف به چه خروجی‌هایی خواهند رسید. در ریاضیات دانشگاه افراد با این مفهوم آشنا می‌شوند که «مسئله چیست و چه می‌گوید؟» و «چگونه می‌توان مسئله را حل کرد؟».راهکار کلیدی غلبه بر این چالش یادگیری ریاضی : در رابطه با تفاوت‌های ریاضیات کلاسیک و مدرن مطالعه کنید. تفکر انتقادی را بیاموزید و با روش‌های حل مسئله به عنوان یک مهارت نرم مهم آشنا شوید. خلاقیت خود را توسعه دهید و مفهوم فکر کردن خارج از چارچوب را بیاموزید.حفظ کردن به جای درک مفاهیم و دلایلبسیاری از کسانی که به یادگیری ریاضیات می‌پردازند، مفاهیم و فرمول‌ها را بدون درک عمیق آن‌ها حفظ می‌کنند. این کار ممکن است در کوتاه مدت جوابگو باشد، ولی ضمن پیشرفت مباحث و مواجهه با مباحث جدیدتر، تکمیلی‌تر و پیچیده‌تر، دیگر پاسخگو نیست و فرد متوجه خواهد شد که نمی‌تواند موضوعات جدید را بیاموزد و مسائل مرکب یا جدید را حل کند چون مهارت حل مسئله ندارد.راهکار کلیدی غلبه بر این چالش یادگیری ریاضی : مفاهیم ریاضی را بیاموزید و حفظ نکنید. به خوبی درک کنید که چرا از یک علامت، معادله، فرمول یا تعریف برای حل یک مسئله استفاده می‌شود. با روش اثبات فرمول‌ها آشنا شوید و یاد بگیرید که چرا یک مسئله به یک شکل حل می‌شود و از روش‌های دیگر برای حل آن استفاده نمی‌شود.یادگیری ریاضی دوی سرعت نیستهدف از آموزش ریاضی، یادگیری ریاضی و نه تمام کردن یک مجموعه موضوع آموزشی است. اما متاسفانه در برنامه‌های درسی دوران مدرسه یک سیستم سرعتی برای یادگیری ریاضیات وجود دارد. دانش‌آموزان باید مباحث مختلف ریاضی را بی‌وقفه، بدون تکرار و تمرین کافی، بدون داشتن تجسمی از آن‌ها در دنیای واقعی و بدون صرف زمان کافی برای یادگیری بیاموزند. یادگیری ریاضی واقعا نیاز به تخصیص زمان دارد. متاسفانه همین روش اشتباه آموزش در مدارس (در کنار سایر اشتباهاتی که در آموزش ریاضیات به دانش‌آموزان می‌شود) اثرات منفی زیادی را در یادگیری ریاضیات می‌گذارد.راهکار کلیدی غلبه بر این چالش یادگیری ریاضی : اگر در مدرسه زمان نمی‌گذارند، در خانه زمان کافی را اختصاصی دهید. هر مبحث را پس از یادگیری در مدرسه در خانه نیز مطالعه کنید و یاد بگیرید. از منابع مکمل آموزش استفاده کنید.توانا بود هر که تمرین کنددر Dictionary.com، کلمه سخت اینطور ترجمه شده:به سادگی و راحتی قابل انجام نیست. نیازمند کار، مهارت و یا برنامه‌ریزی زیاد برای انجام موفقیت‌آمیز است.این تعریف برای سختی، به صورت خلاصه و فوری، پاسخ پرسش آیا یادگیری ریاضی سخت است را می‌دهد. در واقع، یادگیری ریاضی بیشتر از آن جهت سخت می‌نماید که نیازمند کار زیاد، داشتن مهارت در مباحث پایه برای یادگیری مباحث تکمیلی و برنامه‌ریزی جهت یادگیری است. آنچه یادگیری ریاضیات را برای بسیاری از افراد دشوار می‌سازد، نیاز به صبوری و تداوم یادگیری است. یادگیری ریاضی نیازمند تخصیص انرژی زیاد است.در اینجا قصد پرداختن به مقالات علمی متعدد و متنوعی که پیرامون بحث توانایی مغزی انسان‌ها در یادگیری مباحث مختلف و تفاوت‌های افراد در این حوزه است را نداریم. این موضوع که آیا افراد مختف توانایی مغزی متفاوتی برای یادگیری ریاضی دارند یا خیر موضوع بحث مقالات بسیاری بوده است. اما در مجموع حقیقت این است که هر انسانی با توانایی‌های مغزی طبیعی (و احتمالا حتی غیر طبیعی!) می‌تواند ریاضیات را بیاموزد. فقط میزان زمان و انرژی که لازم است افراد مختلف برای یادگیری ریاضی صرف کنند، ممکن است متفاوت باشد. راهکار کلیدی غلبه بر این چالش یادگیری ریاضی : در مجموع در بحث یادگیری ریاضی همه افراد باید یک اصلی کلی را رعایت کنند و آن اصل این است که «توانا بود هر که تمرین کند». ریاضیاتی مبحثی نیست که فرد در لحظه آن را بیاموزد و دیگر نیازی به تکرار و تمرین نداشته باشد. در واقع، ریاضی نسبت به دیگر علوم و مهارت‌ها، نیاز به تکرار و تمرین بیشتری دارد. حال اگر با یک ذهنیت منفی نسبت به سخت بودن و خسته کننده بودن ریاضیات، اقدام به یادگیری آن کنیم، طبیعتا تمایلی به تخصیص زمان به یادگیری آن نداریم و از یادگیری دست می‌کشیم و همین موجب عدم یادگیری می‌شود.ریاضیات صفر و یکریاضیات در حالت کلی یک زمینه کاملا صفر و یکی است. یعنی یا یک پاسخ درست و یا غلط است. همین باعث می‌شود که یادگیری ریاضیات، حل تمرینات این حوزه و در نهایت، آزمون دادن چه به صورت تئوری و چه در حوزه‌های کاربردی ریاضیات، کاری بسیار استرس‌آور باشد. حقیقت این است که بحث قدیمی «بها دادن به نتیجه و نه تلاش و ارزش محسوب شدن نتیجه صحیح و نه راهکار» ظاهرا در بحث یادگیری ریاضی نیز چالش ایجاد کرده است. راهکار کلیدی غلبه بر این چالش یادگیری ریاضی : تمرکز خود را روی راه حل صحیح بگذارید و سعی کنید روش حل مسئله را بیاموزید. اگر با جنس مسائل، انواع آن‌ها، چگونگی انتخاب روش حل مسئله و مراحل گام به گام حل مسئله آشنا شوید و دایره روش‌هایی که عمیقا به آن‌ها تسلط دارید را افزایش بدهید، نتیجه نیز درست خواهد بود.ریاضیات یک دومینوی عظیممباحث ریاضیات به صورت زنجیروار و به هم مرتبط هستند. یعنی هنگامی که فرد قصد یادگیری یک مبحث را دارد، باید مباحث پیشین آن را که تماما ریاضیاتی هستند به خوبی بداند و به آن‌ها تسلط داشته باشد. همین باعث می‌شود اگر فرد یک مبحث را نداند، در یادگیری مباحث جدید با چالش مواجه شود؛ درست مثل یک دومینو. یکی از مشکلات اساسی و کلیدی ضمن یادگیری ریاضیات این است که فرد بدون درک عمیق و یادگیری اساسی مباحث پایه‌ای، سراغ یادگیری مباحث بعدی می‌روند. همین، یادگیری ریاضیات را دشوارتر و پیچیده‌تر می کند. همانطور که پیش‌تر نیز بیان شد، مباحث ریاضی مثل یک زنجیره هستند. اگر جایی از زنجیره شکسته شده و آسیب دیده باشد، اتصال با ادامه زنجیره مشکل‌دار خواهد بود.راهکار کلیدی غلبه بر این چالش یادگیری ریاضی : طی سلسله مراتب یادگیری ریاضی هیچ مبحثی را بدون یاد گرفتن، رها نکنید. اگر مبحثی را نیاموختید، زمان بیشتری به آن تخصیص دهید و درباره آن بیش‌تر بپرسید. فراموش نکنید اگر امروز هم مبحثی را نیاموزید و به همین شکل آن را رها کنید، فردا ناگزیر با چالش بیشتر باید آن را یاد بگیرید.یادگیری ریاضی یک کار خسته کنندهریاضی به این معروف است که یادگیری آن کاری سخت و خسته کننده است. همین باور موجب شده که افراد علاقه و هیجان کمتری برای یادگیری ریاضیات داشته باشند و به همین دلیل، مطالعه ریاضیات و زمان گذاشتن برای آن، برای آن‌ها دشوار می‌شود.این در حالی است که یادگیری ریاضیات به شیوه درست، حقیقتا کاری جذاب است. حس خلق کردن و پاسخ به مسئله از جذابیت‌های یادگیری ریاضی به روش درست است که قطعا افراد با سرمایه‌گذاری روی یادگیری ریاضی، لذت آن را تجربه خواهند کرد.راهکار کلیدی غلبه بر این چالش یادگیری ریاضی : درباره روش‌های اصولی یادگیری ریاضی بیشتر پژوهش و مطالعه کنید و از روش‌های جذاب و خلاقانه برای یادگیری استفاده کنید. بدین شکل می‌توانید لذت حل مسئله، یادگیری ریاضی و به کارگیری ریاضی در مسائل دنیای واقعی را کشف کنید.معرفی کتاب و منبع یادگیری ریاضیریاضیات در واقع یک روش تفکر است. اهمیت یادگیری تفکر ریاضیاتی به ویژه هنگامی برجسته‌تر می‌شود که افراد قصد دارند از دبیرستان وارد دانشگاه شوند و یا در حوزه‌های مهارتی گوناگون مشغول به کار شوند. زیرا در این دوران است که به سمت استفاده از کاربرد هر چه بیشتر ریاضی در مسائل جهان واقعی می‌روند. کتاب و آموزش ویدئویی معرفی شده، نه تنها به این پرسش پاسخ داده‌اند که آیا یادگیری ریاضی سخت است یا نه، خود به نوعی راهکارهایی اساسی برای یادگیری ریاضی به روشی لذت‌بخش و متفاوت محسوب می‌شوند.اما پیش از معرفی کتاب و آموزش، مولف آن‌ها معرفی شده است. پروفسور «کیث دلوین» (Dr. Keith Devlin) هم‌بنیان‌گذار و مدیر اجرایی موسسه H-STAR دانشگاه استنفورد و هم‌بنیان‌گذار شبکه تحقیقاتی Media X دانشگاه استنفورد است. او عضو مجمع جهانی اقتصاد، عضو انجمن ریاضیدانان آمریکا و عضو انجمن پیشبرد علوم آمریکا است. پژوهش‌های اخیر او در حوزه رسانه‌های گوناگون برای آموزش ریاضی و برقراری ارتباط ریاضی با مخاطب‌های گوناگون است. او همچنین روی طراحی سیستم‌های اطلاعاتی/استدلال برای تحلیل هوشمند کار می‌کند. سال‌ها دانش، مهارت، تجربه، پژوهش و توان فکری پروفسور کیث دلوین در پس کتاب و آموزش معرفی شده نهفته است. در آموزش ویدئویی می‌توان با بیان شیوا و مدل آموزشی جذاب این دانشمند حوزه ریاضی بیش از پیش آشنا شد.کتاب «مقدمه‌ای بر تفکر ریاضیاتی» (Introduction to Mathematical Thinking) اثر پروفسور «Keith Delvin» به مفهوم تفکر ریاضیاتی و چگونگی یادگیری آن می‌پردازد. در قرن ۲۱، داشتن تفکر ریاضیاتی یک نیاز اساسی برای آحاد جامعه است. داشتن تفکر ریاضی مترادف با یادگرفتن ریاضی نیست. هرچند که در آن افراد با فرمول‌ها، روال‌ها،‌ دستکاری نمادین و دیگر موارد مشابه سر و کار دارند. تفکر ریاضی یک روش قدرتمند فکر کردن و در واقع روش تفکر منطقی، تحلیلی، کمی و با دقت درباره همه چیز در دنیا است.لینک کتاب در آمازون [کلیک کنید.]آموزشی با همین عنوان یعنی Introduction to Mathematical Thinking نیز توسط مولف این کتاب و بر اساس همین کتاب در کورسرا (Coursera) منتشر شده است که مشاهده آن پیشنهاد می‌شود.لینک دوره در کورسرا [کلیک کنید.]فهرست منابع[۱] Dehaene, Stanislas; Dehaene-Lambertz, Ghislaine; Cohen, Laurent (August 1998). "Abstract representations of numbers in the animal and human brain". Trends in Neurosciences. 21 (8): 355–61. doi:10.1016/S0166-2236(98)01263-6. PMID 9720604. S2CID 17414557.[۲] Raymond L. Wilder, Evolution of Mathematical Concepts; an Elementary Study, ISBN 0470944137.[۳] Pappas Stephanie (2013), www.livescience.com/40576-infant-math-ability.html[۴] Zaslavsky, Claudia. (1999); Africa Counts : Number and Pattern in African Culture, Chicago Review Press, ISBN 978-1-61374-115-3. [۵] Greade Power Learning (2018), www.gradepowerlearning.com/why-students-struggle-with-math. elham.hesaraki elham.hesaraki Thu, 30 Jun 2022 17:19:25 +0430 https://virgool.io/dataio/%D9%85%D9%90%D9%87%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D9%84%D8%A7%D9%86-%D8%AF%D8%A7%D8%AF%D9%87-%DA%86%DB%8C%D8%B3%D8%AA-%DB%B7-uo6kknubr9tb در قسمت‌های پیشین این مجموعه نوشتار به مقدمه، تعاریف، تاریخچه، زنجیره ارزش، نقشه راه فناوری و معماری مِه‌داده پرداختم. لینک قسمت‌های پیشین در پایین همین صفحه گذاشته شده. در ادامه به چالش‌های طراحی سیستم مِه‌داده می‌پردازم:طراحی و ساخت یک سیستم تحلیل مِه‌داده کاری آسان نیست. همانطور که در تعاریف بیان شد، مِه‌داده ماورای توانایی بسترهای نرم‌افزاری و سخت‌افزاری موجود است. نرم‌افزارها و سخت‌افزارهای جدید نیازمند زیرساخت‌ها و مدل‌های جدیدی برای برطرف کردن یا کاهش چالش‌های مربوط به مِه‌داده است. پژوهش‌های اخیر [۱، ۲ و ۳] به بررسی و بحث پیرامون موانع اصلی و بالقوه رشد نرم‌افزارها و سخت‌افزارهای مِه‌داده پرداخته‌اند. این موانع و چالش‌ها به سه دسته تقسیم‌بندی می‌شوند که عبارتند از:۱. چالش‌های مربوط به جمع‌آوری و مدیریت داده‌ها۲. چالش‌های تحلیل داده‌ها۳. مشکلات و چالش‌های سیستم۱. چالش‌های جمع‌آوری و مدیریت داده‌هاجمع‌آوری و مدیریت داده‌ها به حجم زیادی از داده‌های ناهمگن و پیچیده اشاره دارد. برخی از چالش‌های این حوزه که باید مورد توجه قرار گیرند در ادامه ذکر شده است.نمایش داده‌ها: بسیاری از مجموعه داده‌ها در نوع، ساختار، مفهوم، سازماندهی، دسته‌بندی و غیره ناهمگن هستند. یک سیستم نمایش داده مناسب باید طراحی شود تا این ساختار، تنوع و مفاهیم داده‌ها را به خوبی نمایش دهد و یک فن یکپارچه‌سازی باید طراحی شود تا این عملیات را به صورت موثر بروی مجموعه داده‌های مختلف انجام دهد.کاهش افزونگی و فشرده‌سازی داده‌ها: به طور معمول مقدار زیادی افزونگی داده در مجموعه داده‌های خام وجود دارد. روش‌های کاهش افزونگی و فشرده‌سازی خوب می‌توانند موثرترین راه برای کاهش سربار باشند.مدیریت چرخه عمر داده‌ها: انجام سنجش و محاسبات گسترده روی داده‌های در حال تولید با نرخ بی‌سابقه‌ای در حال افزایش است و مقیاس آن بسیار فراتر از پیشرفت‌های بسیار کوچک در فناوری ساخت سیستم‌های ذخیره‌سازی است. یکی از چالش‌های اساسی این است که سیستم‌های ذخیره‌سازی کنونی نمی‌توانند میزبان این حجم از داده‌ها باشند. در کل ارزش پنهان شده در مِه‌داده وابسته به تازگی و مداوم بودن داده‌ها است. در اینجا باید یک تصمیم اساسی گرفته شود که چه قسمت‌هایی از داده‌ها باید ذخیره و تحلیل شوند و چه قسمت‌هایی را باید نادیده گرفت.حفظ حریم خصوصی و امنیت داده‌ها: با زیاد شدن خدمات خطوط و گوشی‌های تلفن همراه نگرانی‌ها از امنیت و حفظ حریم خصوصی در دسترسی و تحلیل اطلاعات شخصی در حال افزایش است و فهمیدن آنچه باید به منظور حفظ حریم خصوصی انجام شود تا به حریم خصوصی افراد تجاوز نشود بسیار ضروری است.۲. چالش‌های تحلیل داده‌هاچالش‌های مربوط به تحلیل شامل چالش‌های حوزه‌های مدل‌سازی، پیش‌بینی و شبیه‌سازی که اغلب به دلیل تنوع و ناهمگن بودن در ساختار و کاربرد داده‌ها به وجود می‌آید که در ادامه بیان شده‌اند.تحلیل تقریبی: با توجه به این که حجم داده‌ها در حال افزایش است تحلیل بلادرنگ یک نیاز اساسی است. به دلیل دشوار بودن تحلیل بلادرنگ در چنین مجموعه‌هایی می‌توان از نتایج تقریبی استفاده کرد.تحلیل عمیق: یکی از مباحث مورد توجه در حوزه تحلیل مِه‌داده کسب دید عمیق و مفید از داده‌ها است. فنون تحلیلی خبره مانند فنون یادگیری ماشین جهت تحقق این امر بسیار اساسی هستند.مهم‌ترین ارکان مکانیسم حفظ حریم خصوصی و امنیت، کنترل دسترسی، تبادل امن داده‌ها و تحلیل با حفظ حریم خصوصی وجود امنیت در ذخیره‌سازی و مدیریت داده‌ها است.۳. چالش‌های سیستمسیستم‌های موازی با مقیاس بزرگ مشکلاتی دارند که برخی از آن‌ها در ادامه بیان شده‌اند.قیاس‌پذیری: یک سیستم تحلیل مِه‌داده باید توانایی پشتیبانی از مجموعه داده‌های بسیار بزرگ را هم اکنون و هم در آینده داشته باشد. تمامی اجزای یک سیستم مِه‌داده باید توانایی مقیاس‌پذیری و انعطاف‌پذیری را با رشد حجم و پیچیدگی داده‌ها داشته باشند.همکاری: تحلیل مِه‌داده یک زمینه تحقیقاتی بین رشته‌ای است که نیازمند همکاری چندین رشته برای تحلیل و کاوش اطلاعات مخفی و ارزشمند است. یک زیرساخت منسجم مِه‌داده به دانشمندان و مهندسان از بسیاری از رشته‌ها اجازه دسترسی به داده‌ها را می‌دهد. همین امر ضمن داشتن مزایای متعدد، نیاز به متخصصان از حوزه‌های گوناگون برای طراحی سیستم‌های مِه‌داده را ایجاد می‌کند.پ.ن.۱. باگی‌نامه (وبلاگ شخصیم) با مطالبی در رابطه با داده‌کاوی و دیگر مسائل مورد علاقه‌ام به روز می‌شود.پ.ن.۲. قسمت‌های پیشین را مطالعه کنید:قسمت اول: مِه‌داده (کلان داده) چیست؟ (۱)قسمت دوم: مِه‌داده (کلان داده) چیست؟ (۲)قسمت سوم: مِه‌داده (کلان داده) چیست؟ (۳)قسمت چهارم: مِه‌داده (کلان داده) چیست؟ (۴)قسمت پنجم: مِه‌داده (کلان داده) چیست؟ (۵)قسمت ششم: مِه‌داده (کلان داده) چیست؟ (۶)مراجع: [۱]E. B. S. D. D. Agrawal et al., ‘‘Challenges and opportunities with big data—A community white paper developed by leading researchers across the united states,’’ The Computing Research Association, CRA White Paper, Feb. 2012[۲]A. Labrinidis and H. V. Jagadish, ‘‘Challenges and opportunities with big data,’’ Proc. VLDB Endowment, vol. 5, no. 12, pp. 2032–2033, Aug. 2012.[۳] S. Chaudhuri, U. Dayal, and V. Narasayya, ‘‘An overview of business intelligence technology,’’ Commun. ACM, vol. 54, no. 8, pp. 88–98, 2011. elham.hesaraki elham.hesaraki Sat, 24 Mar 2018 20:31:21 +0430 https://virgool.io/dataio/%D9%85%D9%90%D9%87%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D9%84%D8%A7%D9%86-%D8%AF%D8%A7%D8%AF%D9%87-%DA%86%DB%8C%D8%B3%D8%AA-%DB%B6-f89xdffgcetv در قسمت‌های پیشین این مجموعه نوشتار به مقدمه، تعاریف، تاریخچه، زنجیره ارزش و نقشه راه فناوری مِه‌داده پرداختم. لینک قسمت‌های پیشین در پایین همین صفحه گذاشته شده. در ادامه به معماری مِه‌داده و لایه‌های آن می‌پردازم:با ظهور مِه‌داده امکان ساخت معماری که بتواند حجم عظیمی از داده‌ها در فرمت‌های گوناگون را یکپارچه ساخته و تحلیل بلادرنگ ارائه دهد فراهم شد. مِه‌داده یک پارادایم جدید در معماری داده ایجاد کرد. در گذشته سیستم‌های داده براساس نیازهای از پیش تعریف شده داده، طراحی و ساخته می‌شدند. در جهان مِه‌داده، سکوهای ذخیره‌سازی داده محدود به مدل‌های از پیش تعریف شده نیستند و قادر به مدیریت هر نوع از داده‌های ساخت‌یافته و ساخت‌نیافته هستند. معماری سیستم مِه‌داده را می‌توان در یک ساختار لایه‌ای، چنانکه در شکل یک نمایش داده شده، نشان داد. این معماری شامل سه لایه زیرساخت، رایانش و کاربرد است. کارکردهای هر لایه در ادامه توضیح داده شده‌اند.لایه زیرساخت: این لایه شامل منابع متعدد زیرساخت‌های اطلاعاتی و ارتباطی که قابل سازمان‌دهی به وسیله زیرساخت‌های رایانش ابری هستند، می‌شود. این لایه به عنوان اساس سایر لایه‌های معماری سیستم مِه‌داده است و از توافق‌های سطح سرویس خاصی پشتیبانی می‌کند. در این مدل، منابع باید براساس نیازی که برای منابع موجود است اختصاص داده شوند تا پاسخگوی تقاضا و نیاز مِه‌داده ضمن افزایش کارایی سیستم، باشند.شکل ۱: معماری سه لایه سیستم‌های مِه‌داده.لایه رایانش: این لایه ابزارهای داده را به یک لایه میانی که بر فراز لایه زیرساخت‌های اطلاعاتی و ارتباطی خام اجرا می‌شود تبدیل می‌کند. ابزارهای معمول در حوزه کلان داده عبارتند از ابزارهای یکپارچه‌سازی داده، مدیریت داده و مدل‌های برنامه‌نویسی. یکپارچه‌سازی داده به معنای جمع‌آوری داده از منابع گوناگون و یکپارچه‌سازی این داده‌ها به یک فرم یکتا با پیش‌پردازش‌های مورد نیاز انجام شده، است. مدل‌های برنامه‌نویسی منطق برنامه‌کاربردی را به صورت انتزاعی پیاده‌سازی کرده و کار با برنامه‌های کاربردی تحلیل داده را تسهیل می‌کنند. از این مدل‌ها می‌توان به نگاشت کاهش، Dryad، Pregel و Dremel اشاره کرد.لایه کاربرد: رابط مورد نیاز برای مدل‌های برنامه‌نویسی را برای پیاده‌سازی کارکردهای تحلیلی متعدد شامل تحلیل‌های آماری، پرس‌و‌جو، خوشه‌بندی و دسته‌بندی ارائه می‌کند. سپس فنون تحلیلی اساسی را برای توسعه برنامه‌های کاربردی مبتنی بر حوزه‌های خاص، ترکیب می‌کند. مک‌کنزی پنج حوزه بالقوه برای برنامه‌های کاربردی حوزه کلان داده را بهداشت و درمان، مدیریت بخش عمومی، خرده‌فروشی، ساخت و تولید جهانی و حوزه مسائل شخصی، برمی‌شمارد [۱].پ.ن.۱. باگی‌نامه (وبلاگ شخصیم) با مطالبی در رابطه با داده‌کاوی و دیگر مسائل مورد علاقه‌ام به روز می‌شود.پ.ن.۲. قسمت‌های پیشین را مطالعه کنید:قسمت اول: مِه‌داده (کلان داده) چیست؟ (۱)قسمت دوم: مِه‌داده (کلان داده) چیست؟ (۲)قسمت سوم: مِه‌داده (کلان داده) چیست؟ (۳)قسمت چهارم: مِه‌داده (کلان داده) چیست؟ (۴)قسمت پنجم: مِه‌داده (کلان داده) چیست؟ (۵)مراجع:[۱] J. Manyika et al., Big data: The Next Frontier for Innovation, Competition, and Productivity. elham.hesaraki elham.hesaraki Thu, 22 Mar 2018 16:49:25 +0430 https://virgool.io/dataio/%D9%85%D9%90%D9%87%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D9%84%D8%A7%D9%86-%D8%AF%D8%A7%D8%AF%D9%87-%DA%86%DB%8C%D8%B3%D8%AA-%DB%B5-ti9x3mok44ba شکل ۱: نقشه راه فناوری مِه‌داده با دو محور زنجیره ارزش داده و زمان [۱].در قسمت‌های پیشین این مجموعه نوشتار به مقدمه، تعاریف، تاریخچه و زنجیره ارزش مِه‌داده پرداختم. در این قسمت نقشه راه فناوری مِه‌داده را مورد بررسی قرار می‌دهم. لینک قسمت‌های پیشین در پایین همین صفحه گذاشته شده. در ادامه، ابتدا یک تعریف کوتاه از مفهوم «نقشه راه فناوری» ارائه کرده و سپس به نقشه راه فناوری مِه‌داده می‌پردازم:نقشه راه فناوری یک روش برنامه‌ریزی برای پشتیبانی از اهداف استراتژیک و برنامه‌ریزی در گسترده وسیع به‌وسیله تطابق دادن اهداف کوتاه مدت و بلند مدت با راهکارهای فناورانه ویژه است.پژوهش‌های حوزه مِه‌داده دارای گستره وسیعی است و با فناوری‌های گوناگون مرتبط می‌شود. نقشه راه فناوری مِه‌داده به صورت نمایش داده شده در شکل یک است. در این نقشه راه فناوری، لیستی از فناوری‌های متن‌باز و انحصاری با سطوح مختلف در زنجیره ارزش مِه‌داده آورده شده‌اند.این نقشه مباحث داغ و گرایش‌های در حال توسعه مِه‌داده را نمایش می‌دهد. در تولید داده، ساختار مِه‌داده مساله پیچیده‌ای است که شامل داده‌های ساخت‌یافته و ساخت‌نیافته با انواع گوناگون که از منابع داده بسیار متنوع تولید شده‌اند، می‌شود. در گام کسب داده، گردآوری، تبدیل و پیش‌پردازش داده در زمان‌های مختلفی اتفاق می‌افتد. اغلب پژوهش‌های حوزه ذخیره‌سازی داده در حدود سال ۲۰۰۵ میلادی انجام شده است. شیوه‌های بنیادی برای تحلیل داده پیش از سال ۲۰۰۰ میلادی ایجاد شده و از آن‌ها برای حل مسائل مبتنی بر دامنه‌های خاص استفاده می‌شود. به علاوه، می‌توان از فناوری‌ها یا فنون مرتبط با فازهای مختلف مِه‌داده که در این نقشه نمایش داده شده‌اند برای سفارشی‌سازی یک سیستم مِه‌داده بهره برد.پ.ن.۱. باگی‌نامه (وبلاگ شخصیم) با مطالبی در رابطه با داده‌کاوی و دیگر مسائل مورد علاقه‌ام به روز می‌شود.پ.ن.۲. قسمت‌های پیشین را مطالعه کنید:قسمت اول: مِه‌داده (کلان داده) چیست؟ (۱)قسمت دوم: مِه‌داده (کلان داده) چیست؟ (۲)قسمت سوم: مِه‌داده (کلان داده) چیست؟ (۳)قسمت چهارم: مِه‌داده (کلان داده) چیست؟ (۴)مراجع:[۱] Hu H, Wen Y,Chua T.S, Li X "Toward sable systems for big data analytics: A technology tutorial", 2014, IEEE. elham.hesaraki elham.hesaraki Fri, 09 Mar 2018 00:03:57 +0330 https://virgool.io/dataio/%D9%85%D9%90%D9%87%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D9%84%D8%A7%D9%86-%D8%AF%D8%A7%D8%AF%D9%87-%DA%86%DB%8C%D8%B3%D8%AA-%DB%B4-uwyyl2xtty2k در قسمت‌های پیشین این مجموعه نوشتار به مقدمه، تعاریف و تاریخچه مِه‌داده پرداختم. در این قسمت زنجیره ارزش مِه‌داده را مورد بررسی قرار می‌دهم. لینک قسمت‌های پیشین در پایین همین صفحه گذاشته شده. اما بپردازیم به بحث زنجیره ارزش مِه‌داده:زنجیره ارزش مِه‌داده شامل چهار گام تولید، گردآوری، ذخیره‌سازی و پردازش است. سیستم مِه‌داده سیستمی پیچیده است که کارکردهایی را برای اداره فازهای مختلف در چرخه حیات داده دیجیتال از تولد داده گرفته تا پایان عمر آن ارائه می‌کند. در عین حال این سیستم معمولا شامل فازهای چندگانه‌ای برای کاربردهای گوناگون است [۱ و ۲]. در این مورد از رویکرد مهندسی سیستمی استفاده شده که به خوبی در صنعت پذیرفته شده است [۳ و ۴]، و یک سیستم مرسوم مِه‌داده را به چهار فاز متوالی شامل تولید داده، کسب داده، ذخیره‌سازی داده و تحلیل داده فازبندی می‌کند. توجه به این نکته لازم است که بصری‌سازی داده یک شیوه کمکی برای تحلیل داده است. در مجموع، برای تحلیل داده ابتدا باید آن را بصری‌سازی کرد تا بتوان الگوهای خامی را به دست آورد و سپس از روش‌های داده‌کاوی خاصی استفاده کرد. جزئیات هر فاز در ادامه آمده است.تولید داده: در این فاز به چگونگی تولید داده پرداخته می‌شود. اصطلاح مِه‌داده طراحی شده تا مفهوم مجموعه داده‌های بزرگ، متنوع و پیچیده را که از منابع متمرکز یا توزیع شده متعدد شامل حسگرها، ویدئوها، جریان‌های کلیک و سایر منابع داده دیجیتال تولید شده‌اند، برساند. معمولا هر یک از این مجموعه داده‌ها دارای سطوح مختلفی از ارزش مبتنی بر دامنه هستند.در جدول یک چندین منبع تولید مِه‌داده از سه دامنه شبکه و اینترنت، تجارت و علم به همراه ویژگی‌های آن‌ها از دید کاربر و نیازمندی‌های تحلیل نشان داده شده‌اند. همانطور که در شکل نشان داده شده اغلب منابع داده حجم بسیار زیادی (پتابایت) از داده‌های ساخت‌نیافته را تولید کرده و نیازمند تحلیل سریع و دقیق برای تعداد بسیار زیادی کاربر هستند.جدول ۱: منابع مرسوم تولید مِه‌داده [۵].کسب داده: کسب داده به فرآیند مشاهده اطلاعات و تقسیم آن‌ها به مجموعه داده‌ها، انتقال داده و پیش‌پردازش داده اشاره دارد. گاهی به این فرآیند گردآوری داده نیز گفته می‌شود. گاه به دلیل آنکه داده‌ها از منابع متعددی می‌آیند دارای فرمت‌های گوناگون است. گردآوری داده به فرآیند کسب داده از یک محیط تولید داده خاص اشاره دارد. پس از گردآوری داده، نیاز به یک مکانیزم سریع برای انتقال داده‌ها به یک سیستم ذخیره‌سازی مناسب برای انجام تحلیل‌های گوناگون است. در نهایت مجموعه داده‌های گردآوری شده ممکن است شامل داده‌های بدون معنا باشند که حجم داده‌ها را افزایش داده و فضای ذخیره‌سازی را بیهوده اشغال می‌کند و تحلیل داده را دستخوش تاثیر می‌کنند. وجود افزونگی در بسیاری از مجموعه داده‌ها از جمله مجموعه داده‌هایی که توسط حسگرها تولید شده‌اند، امری طبیعی است. به منظور مقابله با افزونگی نیاز به فرآیندهای پیش پردازش داده برای ذخیره‌سازی و کاوش کارآمد وجود دارد. گام‌های کسب داده در شکل یک نمایش داده شده‌اند.گام‌های کسب داده [۵].ذخیره‌سازی داده: این فاز به ذخیره‌سازی و مدیریت مجموعه داده‌های کلان مقیاس می‌پردازد. یک سیستم ذخیره‌سازی داده می‌تواند شامل دو بخش باشد: زیرساخت‌های سخت‌افزاری و مدیریت داده. زیرساخت‌های سخت‌افزاری شامل مجموعه‌ای از منابع فناوری‌های اطلاعاتی و ارتباطی به اشتراک گذاشته شده که به شیوه‌ای الاستیک برای انجام وظایف متعدد در پاسخ به تقاضاهای آنی سازمان‌دهی شده‌اند، می‌شود. زیرساخت‌های سخت‌افزاری باید دارای قابلیت مقیاس‌پذیری و پیکربندی پویا جهت سازگاری با برنامه‌های کاربردی گوناگون باشد. نرم‌افزارهای مدیریت داده بر فراز زیرساخت‌های سخت‌افزاری برای نگهداری از مجموعه داده‌های کلان مقیاس مستقر می‌شوند. به علاوه، به منظور تعامل با داده‌های ذخیره شده، سیستم‌های ذخیره‌سازی باید دارای قابلیت رابط‌های عملیاتی، پرس‌و‌جوی سریع و سایر مدل‌های برنامه‌نویسی باشند.تحلیل داده: به فنون و ابزارهای کاوش، تبدیل و مدل‌سازی داده برای استخراج ارزش اشاره دارد. تحلیل داده را می‌توان به شش حوزه فنی اساسی تقسیم‌بندی کرد: تحلیل داده‌های ساخت‌یافته، تحلیل متن، تحلیل چند رسانه‌ای، تحلیل وب، تحلیل شبکه وتحلیل داده‌های سیار. این دسته‌بندی برای تعیین خصوصیات کلیدی هر حوزه بسیار حائز اهمیت است. برنامه‌های کاربردی متعدد قابلیت‌های گوناگونی به منظور تحلیل داده و استخراج الگوهای ارزشمند از حجم انبود داده ارائه می‌کنند که سعی ما بر آن است تا در نوشتارهای آتی به آن‌ها بپردازیم.پ.ن.۱. باگی‌نامه (وبلاگ شخصیم) با مطالبی در رابطه با داده‌کاوی و دیگر مسائل مورد علاقه‌ام به روز می‌شه: https://www.elibugy.irپ.ن.۲: قسمت اول این مطلب، یعنی «مِه‌داده (کلان داده) چیست؟» رو از لینک زیر مطالعه کنید:https://dataio.ir/%D9%85%D9%87-%D8%AF%D8%A7%D8%AF%D9%87-vnu8ykhlsed3پ.ن.۳: قسمت دوم این مطلب، یعنی «مِه‌داده (کلان داده) چیست؟» رو از لینک زیر مطالعه کنید:https://dataio.ir/%D9%85%D9%90%D9%87%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D9%84%D8%A7%D9%86-%D8%AF%D8%A7%D8%AF%D9%87-%DA%86%DB%8C%D8%B3%D8%AA-%DB%B2-tznwitz86ljrپ.ن.۴: قسمت سوم این مطلب، یعنی «مِه‌داده (کلان داده) چیست؟» رو ز لینک زیر مطالعه کنید:https://dataio.ir/%D9%85%D9%90%D9%87%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D9%84%D8%A7%D9%86-%D8%AF%D8%A7%D8%AF%D9%87-%DA%86%DB%8C%D8%B3%D8%AA-%DB%B3-ywgez3c7y0khمراجع:[۱] E. B. S. D. D. Agrawal et al., ‘‘Challenges and opportunities with big data—A community white paper developed by leading researchers across the united states,’’ The Computing Research Association, CRA White Paper, Feb. 2012.[۲] A. Labrinidis and H. V. Jagadish, ‘‘Challenges and opportunities with big data,’’ Proc. VLDB Endowment, vol. 5, no. 12, pp. 2032–2033, Aug. 2012.[۳] S. Chaudhuri, U. Dayal, and V. Narasayya, ‘‘An overview of business intelligence technology,’’ Commun. ACM, vol. 54, no. 8, pp. 88–98, 2011.[۴] P. Mell and T. Grance, ‘‘The NIST definition of cloud computing,’’ National Inst. Standards Technol., vol. 53, no. 6, p. 50, 2009.[۵] Hu H, Wen Y,Chua T.S, Li X "Toward sable systems for big data analytics: A technology tutorial", 2014, IEEE. elham.hesaraki elham.hesaraki Thu, 08 Mar 2018 00:15:00 +0330 https://virgool.io/dataio/%D9%85%D9%90%D9%87%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D9%84%D8%A7%D9%86-%D8%AF%D8%A7%D8%AF%D9%87-%DA%86%DB%8C%D8%B3%D8%AA-%DB%B3-ywgez3c7y0kh پس از بیان مفهوم مِه‌داده و ویژگی‌هایی که مِه‌داده‌ها را از مجموعه داده‌های سنتی مجزا می‌سازد (در قسمت‌های شماره یک و دو که لینک آن‌ها در پایان همین مطلب آمده) به بررسی تاریخچه مِه‌داده می‌پردازم: به دلیل آنکه برجسته‌ترین ویژگی مِه‌داده حجم بالای این مجموعه داده‌ها است تاریخچه آن معمولا از این منظر و از هنگامی که داده‌ها حجیم‌تر شده و نیاز به پایگاه داده‌ها و ابزارهای ذخیره‌سازی با قابلیت ذخیره حجم انبوه داده به میان آمده و پایگاه داده‌ها و ابزارهای مدیریت داده معمول در پشتیبانی از مجموعه داده‌های کلان ناکارآمد شدند مورد بررسی قرار می‌گیرد. از همین رو تاریخچه مِه‌داده به دوره‌های زمانی زیر تقسیم می‌شود:مگابایت به گیگابایت: در اواخر سال ۱۹۷۰ و سال ۱۹۸۰ میلادی داده‌های تاریخی کسب‌و‌کارها با افزایش حجم از مگابایت به گیگابایت پژوهشگران حوزه فناوری اطلاعات را با اولین چالش مِه‌داده مواجه کرد. نیاز به زمان برای ذخیره‌سازی داده‌ها و اجرای پرس‌و‌جوهای رابطه‌ای برای تحلیل‌های کسب‌و‌کار و گزارش‌گیری از جمله این چالش‌ها بودند. در همین زمان بود که پژوهشگران پی بردند پایگاه داده‌های مبتنی بر سخت‌افزار خاص برای ذخیره‌سازی داده‌ها کافی و مقرون به صرفه نیستند.گیگابایت به ترابایت: در اواخر سال ۱۹۸۰ میلادی افزایش استفاده‌های عمومی از فناوری‌های دیجیتال منجر به افزایش حجم داده‌ها به چندین گیگابایت و حتی ترابایت شد. این افزایش حجم ماورای توانایی ذخیره‌سازی و پردازش یک رایانه بزرگ بود. در این زمان موازی‌سازی داده به عنوان راهکاری برای افزایش قابلیت ذخیره‌سازی و حجم مطرح شد. توزیع داده‌ها و پردازش‌های مربوط به آن‌ها روی سخت‌افزارهای مجزا اساس این ایده بود. بر اساس همین ایده و معماری سخت‌افزاری چندین پایگاه داده موازی، پایگاه داده با دیسک اشتراکی و پایگاه داده‌های بدون اشتراک ساخته شدند. ترابایت به پتابایت: در اواخر سال ۱۹۹۰ میلادی توسعه وب ۱.۰ جهان را به سمت اینترنت هدایت کرد و این خود منجر به ایجاد حجم انبوهی از صفحات وب دارای داده‌های ساخت‌نیافته و نیمه‌ساخت‌یافته شد. در همین دوران جهش حجم داده از ترابایت به پتابایت رخ داد. شرکت‌های فعال در حوزه فناوری اطلاعات اقدام به شاخص‌گذاری محتوای وب و جستجو برای محتوا کردند. پایگاه داده‌های موازی با وجود اینکه در زمینه داده‌های رابطه‌ای عملکرد خوبی داشتند اما پشتیبانی کمی از داده‌های ساخت‌نیافته ارائه می‌کردند. برای حل مساله داده‌های در مقیاس وب، گوگل فایل سیستم جدیدی با عنوانGoogle File System (فایل سیستم گوگل) [۱] و مدل برنامه‌نویسی جدیدی تحت عنوان نگاشت کاهش ارائه کرد [۲]. GFS و نگاشت کاهش امکان موازی‌سازی خودکار و توزیع محاسبات کلان مقیاس را در خوشه‌های بزرگی از سرورها امکان‌پذیر ساختند.پتابایت به اگزابایت: بدون شک با روند کنونی تولید داده‌ها حجم داده‌های سازمان‌های بزرگ از چندین پتابایت نیز بیشتر خواهد شد. اگرچه فناوری‌های کنونی موجود قابلیت مدیریت داده‌ها در حجم پتابایت را دارا هستند ولی هیچ فناوری انقلابی برای اداره حجم انبوه داده‌ای که به زودی جهان را فرا خواهد گرفت ایجاد نشده است. در ژوئن سال ۲۰۰۱ EMC گزارشی تحت عنوان «استخراج ارزش از هرج و مرج» [۳] منتشر کرد و در آن به همین موضوع پرداخت. در شکل یک چهار دوره زمانی مِه‌داده نمایش داده شده است.شکل ۱: چهار دوره زمانی مِه‌دادهپ.ن.۱. باگی‌نامه (وبلاگ شخصیم) با مطالبی در رابطه با داده‌کاوی و دیگر مسائل مورد علاقه‌ام به روز می‌شه: https://www.elibugy.irپ.ن.۲: قسمت اول این مطلب، یعنی «مِه‌داده (کلان داده) چیست؟» رو از لینک زیر مطالعه کنید:https://dataio.ir/%D9%85%D9%87-%D8%AF%D8%A7%D8%AF%D9%87-vnu8ykhlsed3پ.ن.۳: قسمت دوم این مطلب، یعنی «مِه‌داده (کلان داده) چیست؟» رو از لینک زیر مطالعه کنید:https://dataio.ir/%D9%85%D9%90%D9%87%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D9%84%D8%A7%D9%86-%D8%AF%D8%A7%D8%AF%D9%87-%DA%86%DB%8C%D8%B3%D8%AA-%DB%B2-tznwitz86ljrمراجع:[۱] S. Ghemawat, H. Gobioff, and S.-T. Leung, ‘‘The Google file system,’’ in Proc. 19th ACM Symp. Operating Syst. Principles, 2003, pp. 29–43.[۲]J. Dean and S. Ghemawat, ‘‘Mapreduce: Simplified data processing on large clusters,’’ Commun. ACM, vol. 51, no. 1, pp. 107–113, 2008.[۳] J. Gantz and D. Reinsel, ‘‘Extracting value from chaos,’’ in Proc. IDC iView, 2011, pp. 1–12. elham.hesaraki elham.hesaraki Tue, 06 Mar 2018 22:49:40 +0330 https://virgool.io/dataio/%D9%85%D9%90%D9%87%D8%AF%D8%A7%D8%AF%D9%87-%DA%A9%D9%84%D8%A7%D9%86-%D8%AF%D8%A7%D8%AF%D9%87-%DA%86%DB%8C%D8%B3%D8%AA-%DB%B2-tznwitz86ljr در قسمت دوم از سری مطالب «مِه‌داده (کلان داده) چیست؟» تعاریف مِه‌داده رو مورد بررسی قرار دادم:سازمان‌های فعال در حوزه فناوری اطلاعات و پژوهشگران مختلف، تعاریف گوناگونی برای مِه‌داده ارائه کرده‌اند. هر یک از این سازمان‌ها و افراد ویژگی‌هایی را برای مِه‌داده برشمرده‌اند که برخی از این ویژگی‌ها در تعاریف مختلف مشترک هستند و برخی دیگر تنها از نقطه نظر یک سازمان یا پژوهشگر خاص برای مِه‌داده صدق می‌کنند و رسیدن به یک تعریف مشترک اندکی دشوار است. مِه‌داده فقط به معنای حجم بسیاری از داده‌ها نیست و مِه‌داده‌ها ویژگی‌های برجسته دیگری نیز دارند که آن‌ها را از مفاهیم داده‌های حجیم یا داده‌های بسیار بزرگ متمایز می‌کند. در ادامه برخی از تعاریف ارائه شده برای مِه‌داده از منظرهای گوناگون، ارائه شده است.تعریف وصفی: سازمان بین‌المللی داده یک سازمان پیشگام در زمینه پژوهش و مطالعات در حوزه مِه‌داده و تأثیرات آن است. این موسسه مِه‌داده را در یک مقاله در سال ۲۰۱۱ اینگونه تعریف می‌کند: «فناوری‌های مِه‌داده یک نسل از فناوری‌ها و معماری‌هایی هستند که برای استخراج به صرفه اطلاعات ارزشمند از حجم بسیار زیادی از داده‌های بسیار متنوع طی دریافت، استخراج و تحلیل بسیار سریع داده‌ها طراحی شده‌اند». این تعریف چهار ویژگی حجم، تنوع، سرعت و ارزش را برای مِه‌داده معرفی می‌کند. در گزارش دیگر این سازمان در سال ۲۰۱۱ تعریف مشابهی ارائه شده که چالش‌های رشد داده و اطلاعات را از سه بعد حجم، نرخ تولید و تنوع بر می‌شمارد. IBM، مایکروسافت و بسیاری از سازمان‌ها از این مدل برای تشریح و تعریف کلان داده استفاده می‌کنند[۱ و ۲]. تعریف قیاسی: مک‌کنزی در گزارش سال ۲۰۱۱ خود، مِه‌داده را اینگونه تعریف می کند: «مجموعه داده‌هایی که اندازه آن‌ها ماورای توانایی ابزارهای پایگاه داده معمول در جمع‌آوری و ذخیره‌سازی، مدیریت و تحلیل است [۳]». البته این یک تعریف ذهنی است و مِه‌داده را از نقطه نظر یک سنجه خاص تعریف نمی‌کند.تعریف ساختاری: موسسه ملی استاندارد و فناوری، مِه‌داده را اینچنین تعریف می‌کند:«مجموعه داده‌هایی که در آن حجم داده‌ها، سرعت تولید یا نمایش داده‌ها توانایی ما را برای تحلیل کارا و موثر با استفاده از روش‌های سنتی محدود می‌کند و نیاز به استفاده از سیستم‌های مقیاس‌پذیر برای پردازش موثر دارد، مِه‌داده است.[۴] »سازمان جهانی استاندارد و فناوری پنج ویژگی برای دسته‌بندی مِه‌داده بیان کرده که عبارتند از [۴]:حجم: شاید مهم‌ترین ویژگی مِه‌داده را بتوان حجم عظیم داده برشمرد. امروزه شرکت‌های صاحب نام در عرصه اینترنت و فناوری اطلاعات خصوصا شبکه‌های اجتماعی به تنهایی می‌توانند روزانه بیشتر از ۵۰۰ ترابایت اطلاعات جدید تولید کنند. به عنوان مثال سرویس اشتراک ویدئو گوگل و یوتیوب در هر دقیقه بیش از ۱۰۰ ساعت ویدئو بارگذاری شده توسط کاربران را دریافت و مدیریت می‌کند. حجم داده‌ها تنها یک معیار تمایز بین مِه‌داده و داده معمولی است. برای مثال در گزارش ارائه شده توسط فیس‌بوک بیان شده که کاربران آن روزانه ۲/۷ میلیارد پیام و ارتباطات اجتماعی ثبت می‌کنند [۵]. نرخ تولید: بدین معناست که داده‌ها از طریق منابع اطلاعاتی مختلف با چه سرعتی تولید و منتقل می‌شوند. مقیاس‌پذیری: به معنای توانایی اضافه شدن مداوم داده‌ها با اندازه‌های متفاوت است.محدودیت‌های منطقی یا هوشمندی: شامل دو دسته هستند یکی اشکال خاص داده‌ها و دوم پرس‌و جوهای خاص. اشکال خاص داده شامل داده‌های موقتی (داده‌های زمانی و مکانی) و پرس‌و‌جوهای خاص (به صورت بازگشتی یا انواع دیگر) است.شکل۱: پنج ویژگی بیان شده توسط سازمان جهانی استاندارد برای کلان داده [۶].همانطور که در شکل بالا نشان داده شده، داده‌های تولید شده از منابع علمی کمترین مقدار از ویژگی‌های مِه‌داده را دارا هستند حال آنکه داده‌های مربوط به تجارت دارای بیشترین مقیاس‌پذیری و هوشمندی و داده‌های مربوط به شبکه‌های اجتماعی و اینترنت دارای بیشترین حجم و سرعت و تنوع هستند. در مجموع می‌توان مرز اکوسیستم مجموعه داده‌های معمول و مِه‌داده‌ها را با ویژگی‌های زیر تبیین کرد:حجم داده: حجم داه‌هایی که در جهان تولید می‌شود به صورت نمایی در حال رشد است. منابع مختلفی نظیر شبکه‌های اجتماعی، لاگ سرورهای وب، جریان‌های ترافیک، تصاویر ماهواره‌ای، جریان‌های صوتی، تراکنش‌های بانکی، محتوای صفحات وب، اسناد دولتی و غیره منابعی هستند که حجم داده بسیار زیادی را تولید می‌کنند.نرخ تولید: داده‌ها از طریق برنامه‌های کاربردی و حسگرهای بسیار زیادی که در محیط وجود دارند با سرعت بسیار زیاد و به صورت بلادرنگ تولید می‌شوند. در بسیاری از کاربردها نیاز است تا به محض ورود داده به درخواست کاربر پاسخ داده شود.تنوع: تنوع هم از جهت تنوع منابع تولید داده (انسان/ماشین) و هم از جهت تنوع فرمت‌های داده (متن، عکس، ویدئو و صوت) قابل بررسی است.صحت: با توجه به اینکه داده‌ها از منابع مختلف دریافت می‌شوند ممکن است نتوان به همه آن‌ها اعتماد کرد. به عنوان مثال در یک شبکه اجتماعی، ممکن است نظرهای زیادی در خصوص یک موضوع خاص ارائه شود اما اینکه آیا همه آن‌ها صحیح و قابل اطمینان هستند، موضوعی است که نمی‌توان به سادگی از کنار آن در حجم بسیار زیاد اطلاعات گذشت.اعتبار: با فرض اینکه داده صحیح باشد، ممکن است برخی از داده‌ها برای کاربردهای خاصی مناسب نباشد یا به عبارت دیگر از اعتبار کافی برای استفاده در برخی کاربردها برخوردار نباشد.نوسان: سرعت تغییر ارزش داده‌های مختلف در طول زمان می‌تواند متفاوت باشد. در یک سیستم معمولی تجارت الکترونیک، سرعت نوسان داده‌ها زیاد نیست و ممکن است داده‌های موجود مثلا برای یک سال ارزش خود را حفظ کنند. اما در کاربردهایی نظیر تحلیل ارز و بورس، داده‌ها با نوسان زیادی مواجه هستند و به سرعت ارزش خود را از دست می‌دهند و مقادیر جدیدی به خود می‌گیرند. اگرچه نگهداری اطلاعات در زمان طولانی به منظور تحلیل تغییرات و نوسان داده‌ها حائز اهمیت است، افزایش دوره نگهداری اطلاعات، مسلما هزینه‌های پیاده‌سازی زیادی را در بر خواهد داشت که باید در نظر گرفته شوند.نمایش: یکی از چالش‌های حوزه مِه‌داده، نمایش اطلاعات است. نمایش حجم عظیم اطلاعات با ارتباطات پیچیده به گونه‌ای که به خوبی قابل فهم و مطالعه باشد از طریق روش‌های تحلیلی و بصری‌سازی خاصی امکان‌پذیر است.ارزش: این ویژگی به ارزش اطلاعاتی داده برای تصمیم‌گیری اشاره می‌کند. به عبارت دیگر آیا هزینه‌ای که برای نگهداری و پردازش داده‌ها می‌شود در مقابل ارزش افزوده‌ای که ایجاد می‌کند ارزش اقتصادی دارد یا خیر.در جدول یک ویژگی‌های داده‌های سنتی و مِه‌داده‌ها به منظور تبیین هرچه دقیق‌تر مرزهای اکوسیستم مِه‌داده مورد بررسی قرار گرفته است.جدول ۱: مقایسه داده‌های سنتی و مِه‌داده [۶].پ.ن. واژگان انگلیسی همه ویژگی‌هایی بیان شده در بالا با حرف V انگلیسی شروع می‌شوند.پ.ن.۱. تعداد دیگری ویژگی معرفی شده که در این مطلب نوشته نشده. در مطلب دیگری به آن‌ها می‌پردازم.پ.ن.۲. باگی‌نامه (وبلاگ شخصیم) با مطالبی در رابطه با داده‌کاوی و دیگر مسائل مورد علاقه‌ام به روز می‌شه: https://www.elibugy.irپ.ن.۳. قسمت اول این مطلب یعنی «مِه‌داده (کلان داده) چیست؟» رو از لینک زیر مطالعه کنید:https://dataio.ir/%D9%85%D9%87-%D8%AF%D8%A7%D8%AF%D9%87-vnu8ykhlsed3مراجع:[۱] E. Meijer, ‘‘The world according to LINQ,’’ Commun. ACM, vol. 54, no. 10,pp. 45–51, Aug. 2011.[۲] D. Laney, ‘‘3d data management: Controlling data volume, velocity and variety,’’ Gartner, Stamford, CT, USA, White Paper, 2001[۳] J. Manyika et al., Big data: The Next Frontier for Innovation, Competition, and Productivity.[۴] M. Cooper and P. Mell. (2012). Tackling Big Data[Online]. [۵] V. R. Borkar, M. J. Carey, and C. Li, ‘‘Big data platforms: What’s next?’’XRDS, Crossroads, ACM Mag. Students, vol. 19, no. 1, pp. 44–49, 2012.[۶] Hu H, Wen Y,Chua T.S, Li X "Toward sable systems for big data analytics: A technology tutorial", 2014, IEEE elham.hesaraki elham.hesaraki Mon, 05 Mar 2018 00:07:09 +0330 https://virgool.io/dataio/%D9%85%D9%87-%D8%AF%D8%A7%D8%AF%D9%87-vnu8ykhlsed3 در یک مجموعه مطلب با عنوان «مِه‌داده (کلان داده) چیست؟»، قصد دارم به بررسی اکوسیستم مِه‌داده بپردازم. مِه‌داده، واژه برگزیده فرهنگستان زبان و ادب فارسی برای واژه Big Data است که پیش‌تر با عنوان کلان‌داده مرسوم بود. در اولین قسمت سعی دارم یک مقدمه بر کل موضوع ارائه بدم و در قسمت‌های بعد به جزئیات بیشتر بپردازم. اما بپردازیم به اصل مطلب:پیشرفت فناوری، گسترش اینترنت و استفاده از خدمات الکترونیکی و فناوری اطلاعات منجر به تولید حجم انبوهی از داده‌ها و اطلاعات در دامنه‌ها و زمینه‌های گوناگون مانند پزشکی، علمی، تجارت، نجوم و غیره شده است. این داده‌ها را می‌توان به دو گروه دسته‌بندی کرد. داده‌هایی که توسط افراد یا شرکت‌ها (تجاری، علمی، فناوری) تولید می‌شوند و داده‌هایی که توسط ماشین‌های مختلف مانند حسگرها، مسیریاب‌ها، دوربین‌های مداربسته و غیره تولید می‌شوند.مِه‌داده در مقایسه با مجموعه داده‌های معمول، علاوه بر حجم زیاد ویژگی‌های دیگری دارد. به عنوان مثال مِه‌داده‌ها اغلب به صورت ساخت‌نیافته هستند و نیاز به تحلیل و پردازش بلادرنگ دارند. از این رو نمی‌توان آن‌ها را به وسیله پایگاه داده‌ها و ابزارهای سنتی پردازش و تحلیل کرد و نیازمند معماری جدید برای گردآوری، انتقال، ذخیره‌سازی و پردازش داده‌ها در مقیاس بزرگ هستند. حجم بسیار زیاد و عظیم اطلاعات تنها یک جنبه مِه‌داده است. گوناگونی اطلاعات تولید و ذخیره شده، سرعت تولید، مقادیر و پیچیدگی اطلاعات همگی از ویژگی‌های مِه‌داده‌ها هستند. چالش‌های این حوزه صرفا مربوط به ذخیره‌سازی و مدیریت داده‌ها نیست، بلکه پردازش و تحلیل این داده‌ها و به دست آوردن اطلاعات ارزشمند از مهم‌ترین مسائل این حوزه است. پارادایم در حال ظهور مِه‌داده با توجه به تاثیر گسترده آن بر جوامع، توجه کارشناسان فناوری اطلاعات و افراد زیاد دیگری را به خود جلب کرده است. واضح است که بشر در عصر انفجار اطلاعات زندگی می‌کند و حجم اطلاعاتی که از منابع مختلف تولید می‌شوند همچنان در حال افزایش است. سازمان بین‌المللی داده در گزارشی پیش‌بینی کرده است که از سال ۲۰۰۵ تا ۲۰۲۰ حجم جهانی داده‌ها با ضریب ۳۰۰ در حال افزایش است و حجم داده‌ها از ۱۳۰ اگزابایت در سال ۲۰۰۵ به ۱۴۰۰۰۰ اگزابایت تا سال ۲۰۲۰ افزایش خواهد یافت. این یعنی داده‌ها هر سال رشد دو برابری خواهند داشت[۱]. IBM در گزارشی اعلام کرده است که هر روز ۵/۱۲ اگزابایت اطلاعات به داده‌های جهان افزوده می‌شود و به عبارتی ۹۰ درصد مقدار اطلاعاتی که در حال حاضر وجود دارد تنها در دو سال گذشته تولید شده است [۲] . اصطلاح «مِه‌داده» برای نشان دادن معنای این روند انفجاری تولید داده مناسب است و در حقیقت داده را به عنوان یک نفت جدید برای حرکت و تغییر جامعه معرفی می‌کند. پتانسیل عظیم در ارتباط با مِه‌داده منجر به ایجاد زمینه‌های تحقیقاتی جدیدی شده است که بسیار مورد علاقه و توجه دانشگاهیان، صنایع و سازمان‌ها قرار گرفته است. در نتیجه این رشد و توجه و علاقه به مبحث مِه‌داده توسط پژوهشگران و سازمان‌های مختلف، نیاز به یک فهم صریح و دقیق از تعریف، تاریخچه پیدایش، فناوری‌های گسترش داده شده و چالش‌های مهم موجود در این حوزه وجود دارد که در این مجموعه مطلب سعی دارم به آن بپردازم. امروزه مِه‌داده و کاربردهای آن در صنایع گوناگون و فناوری‌های مختلف، مانند تجارت، امنیت و دیگر زمینه‌ها به اثبات رسیده است و بشر به کمک تحلیل این حجم عظیم داده می‌تواند به دانش و اطلاعات ارزشمندی در مدیریت بهتر و موثر کسب‌و‌کار دست پیدا کند. مدیریت و تحلیل اطلاعات همواره برای شرکت‌ها، سازمان‌ها و دولت‌ها در هر محیط کاری از اهمیت به‌سزایی برخوردار است. آن‌ها همواره در تلاش هستند که اطلاعات مفید و مهمی از محصولات، مشتریان و یا خدمات خود به دست آورند. هنگامی که یک سازمان تعداد محدودی محصول، خدمات و مشتری دارد تحلیل اطلاعات مربوط به آن‌ها کار دشواری نیست اما در طول زمان حجم اطلاعات مربوط به این شاخه‌ها مانند اطلاعات مربوط به فروش، بازار، انتخاب مشتریان و غیره بیشتر شده و در نهایت سازمان با حجم انبوهی از داده‌ها مواجه است که نیاز به پردازش و تحلیل دارند. در تجارت، مدیران همواره نیاز دارند که با علایق و خواسته‌های مشتریان و کاربرانشان آشنا شده و سیاست‌های جدید خود را بر اساس آن‌ها طراحی کنند. کاربرد مِه‌داده به مسائل حوزه کسب‌و‌کار محدود نمی‌شود، بلکه به عنوان مثال امروزه با استفاده از تحلیل داده‌های شبکه‌های اجتماعی می‌توان نتایج انتخابات یک کشور را با درصد خطای پایینی پیش‌بینی کرد یا تبلیغات یک کالا یا خدمت را در جهت تغییر افکار مردم و با هدف بالا رفتن محبوبیت آن انجام داد.پ.ن.۱. باگی‌نامه (وبلاگ شخصیم) با مطالبی در رابطه با داده‌کاوی و دیگر مسائل مورد علاقه‌ام به روز می‌شه: https://www.elibugy.irمراجع [۱] J. Gantz and D. Reinsel, ‘‘The digital universe in 2020: Big data, bigger digital shadows, and biggest growth in the far east,’’ in Proc. IDC iView, IDC Anal. Future, 2012.[۲] What is Big Data, IBM, New York, NY, USA [Online] elham.hesaraki elham.hesaraki Sun, 04 Mar 2018 22:19:39 +0330