برای پاسخ به این سوال باید اول با مفاهیم بیگ دیتا آشنا شد
به بیان ساده، بیگ دیتا مجموعه داده های بزرگ و پیچیده تری هستند، به ویژه از منابع جدید داده ها. این مجموعه داده ها آنقدر حجیم هستند که نرم افزارهای قدیمی پردازش داده، نمی توانند آنها را مدیریت کنند. اما این حجم عظیم از داده را می توان برای رفع مشکلات تجاری که قبلا قادر به حل آن ها نبودند را مورد استفاده قرار داد.
کلان داده ( big data ) داده هایی هستند که تنوع بیشتری دارند و حجم آنها با سرعت بیشتری افزایش می یابد. که با عنوان 3V شناخته می شدند که البته امروزه با عنوان 5V از آنها یاد می شود.
مقدار داده مهم است. با کلان داده ها، مجبورید حجم زیادی از داده های بدون ساختار با تراکم کم را پردازش کنید. که می تواند داده هایی با ارزش ناشناخته باشد، مانند فیدهای داده توییتر، پخش جریانی کلیک در یک صفحه وب یا یک برنامه تلفن همراه، یا تجهیزات دارای حسگر که برای برخی از سازمان ها ممکن است ده ها ترابایت داده باشد یا صدها پتابایت باشد.
” velocity ” سرعت زیاد دریافت و عمل بر روی داده ها است. به طور معمول، بالاترین سرعت داده ها مستقیماً در حافظه در مقابل نوشتن بر روی دیسک جریان می یابد. برخی از محصولات هوشمند دارای اینترنت، در زمان واقعی یا نزدیک به زمان واقعی کار می کنند و برای ارزیابی و اقدام به زمان واقعی نیاز دارند.
تنوع به انواع مختلفی از داده ها اطلاق می شود. انواع داده های قدیمی در یک پایگاه داده رابطه ای ساختارمند و متناسب بودند اما با ظهور کلان داده ها، داده ها در انواع داده های جدید غیر ساختاری عرضه می شوند. انواع داده های غیر ساختاری و نیمه ساختاری، مانند متن، صدا و فیلم، برای استخراج معنا و پشتیبانی از فراداده به پیش پردازش اضافی نیاز دارند.
“veracity ” به اطمینان از کیفیت / یکپارچگی / اعتبار / صحت داده ها اشاره دارد. از آنجا که داده ها از چندین منبع جمع آوری می شوند، ما باید قبل از استفاده از آنها برای بینش کسب و کار، صحت داده ها را بررسی کنیم.
اینکه ما داده های زیادی را جمع آوری کردیم، هیچ ارزشی ندارد، مگر اینکه اطلاعات مفیدی از آن بدست آوریم.سوالی که پیش می آید این است که چگونه از داده ها اطلاعات مفیدی بدست بیاوریم؟ما درمقاله “استفاده از داده های استفاده نشده” پاسخ جامعی را به این پرسش داده ایم. مقدار، به میزان مفید بودن داده ها در تصمیم گیری اشاره دارد. ما باید ارزش Big Data را با استفاده از تجزیه و تحلیل مناسب بدست آوریم.
با توسعه و افزایش برنامه ها و رسانه های اجتماعی و فعالیت افراد و مشاغل به صورت آنلاین، تعداد داده ها بسیار زیاد شده است. اگر فقط به سیستم عامل های رسانه های اجتماعی نگاه کنیم، آنها روزانه بیش از یک میلیون کاربر را مورد توجه و جذب خود قرار می دهند، که این امر داده ها را بیش از هر زمان دیگری افزایش می دهد. سوال بعدی این است که این مقدار عظیم داده ها دقیقاً چگونه اداره، پردازش و ذخیره می شود. اینجاست که Big Data وارد عمل می شود.
تجزیه و تحلیل Big Data در زمینه IT انقلابی ایجاد کرد و مزیت های بیشتری را به سازمان ها افزوده. که شامل استفاده از تجزیه و تحلیل، فن آوری عصر جدید مانند یادگیری ماشین، استخراج، آمار و موارد دیگر است. کلان داده ها می تواند به سازمان ها و تیم ها کمک کند تا چندین عملیات را در یک پلتفرم انجام دهند، Tbs داده را ذخیره کنند، قبل از پردازش آن، تجزیه و تحلیل همه داده ها، صرف نظر از اندازه و نوع، و همچنین تجسم آنها.
مقاله ای وجود دارد که به تمامی این سوالات در آن پاسخ داده شده است:
