داده بزرگ چیست

داده های بزرگ زمینه خاصی برای تحلیل، پردازش و ذخیره سازی مجموعه بزرگی از داده ها هستند که اغلب از منابع مختلف سرچشمه می گیرند. راه حل ها شیوه های داده های بزرگ معمولا هنگامی مورد نیاز هستند که فناوری و تکنیک های سنتی تحلیل، پردازش و ذخیره سازی داده های سنتی کافی نیستند. به طور خاص، داده های بزرگ به نیازهای متمایزی می پردازند مانند ترکیب محموعه داده های متعدد نامربوط، پردازش مقادیر زیادی از داده های بدون ساختار و برداشت اطلاعات به شیوه حساس به زمان.

اگرچه داده های بزرگ ممکن است به عنوان یک رشته جدید به نظر برسد، اما این داده ها طی سال های متمادی در حال توسعه هستند. مدیریت و تحلیل مجموعه داده های بزرگ یکی از مسائلی است که از گذشته مطرح بوده و از رویکردهای مبتنی بر کار متمرکز گرفته تا روش های سرشماری اولیه و علوم آماری مربوط به محاسبات حق بیمه را تحت پوشش قرار می دهد. علم داده های بزرگ از این ریشه ها تکامل یافته است.

تحلیل مجموعه داده های بزرگ یک تلاش میان رشته ای است که ریاضیات، آمار و علوم کامپیوتر را در بر می گیرد. این ترکیب مهارت ها و دیدگاه ها تا حدی منجر به سردرگمی در زمینه داده های بزرگ و تحلیل آن ها شده است، چون معمولا پاسخی که یک نفر دریافت می کند وابسته به دیدگاه فرد پاسخ دهنده به این پرسش خواهد بود. مرزهای آنچه که به منزله یک مسله داده بزرگ شناخته می شود با توجه به چشم انداز همیشه در حال تغییر است و پیشرفت نرم افزار و فناوری سخت افزاری نیز در حال تغییر است. این موضوع به خاطر این واقعیت است که تغریف داده های بزرگ تاثیر ویژگی های داده ها در طراحی محیط راه حل را نیز در نظر می گیرد. سی سال پیش، یک گیگابایت داده می توانست یک مساله داده بزرگ محسوب شود و نیاز به منابع محاسباتی خاصی داشت. در حال حاضر، گیگابایت یک حجم کاملا معمولی محسوب می شود و به راحتی می تواند روی دستگاه های مصرف کننده انتقال، پردازش ذخیره شود.

نتایج به دست آمده از طریق پردازش داده های بزرگ می تواند به طیف گسترده ای از بینش ها و منافع منجر شوند، مانند:

• بهینه سازی عملیاتی (Operational Optimization)
• هوش عملی (Actionable Intelligence)
• شناسایی بازارهای جدید (Identification of new markets)
• پیش بینی های دقیق (Accurate Prediction)
• عیب یابی خرابی و تقلب (Fault and fraud detection)
• رکوردهایی با جزئیات بیشتر (More detailed records)
• بهبود تصمیم گیری (Improved Decision-making)
• اکتشافات علمی (Scietific Discoveries)