مِه‌داده (کلان داده) چیست؟ (۷)

در قسمت‌های پیشین این مجموعه نوشتار به مقدمه، تعاریف، تاریخچه، زنجیره ارزش، نقشه راه فناوری و معماری مِه‌داده پرداختم. لینک قسمت‌های پیشین در پایین همین صفحه گذاشته شده. در ادامه به چالش‌های طراحی سیستم مِه‌داده می‌پردازم:

طراحی و ساخت یک سیستم تحلیل مِه‌داده کاری آسان نیست. همانطور که در تعاریف بیان شد، مِه‌داده ماورای توانایی بسترهای نرم‌افزاری و سخت‌افزاری موجود است. نرم‌افزارها و سخت‌افزارهای جدید نیازمند زیرساخت‌ها و مدل‌های جدیدی برای برطرف کردن یا کاهش چالش‌های مربوط به مِه‌داده است. پژوهش‌های اخیر [۱، ۲ و ۳] به بررسی و بحث پیرامون موانع اصلی و بالقوه رشد نرم‌افزارها و سخت‌افزارهای مِه‌داده پرداخته‌اند. این موانع و چالش‌ها به سه دسته تقسیم‌بندی می‌شوند که عبارتند از:

۱. چالش‌های مربوط به جمع‌آوری و مدیریت داده‌ها

۲. چالش‌های تحلیل داده‌ها

۳. مشکلات و چالش‌های سیستم

۱. چالش‌های جمع‌آوری و مدیریت داده‌ها

جمع‌آوری و مدیریت داده‌ها به حجم زیادی از داده‌های ناهمگن و پیچیده اشاره دارد. برخی از چالش‌های این حوزه که باید مورد توجه قرار گیرند در ادامه ذکر شده است.

نمایش داده‌ها: بسیاری از مجموعه داده‌ها در نوع، ساختار، مفهوم، سازماندهی، دسته‌بندی و غیره ناهمگن هستند. یک سیستم نمایش داده مناسب باید طراحی شود تا این ساختار، تنوع و مفاهیم داده‌ها را به خوبی نمایش دهد و یک فن یکپارچه‌سازی باید طراحی شود تا این عملیات را به صورت موثر بروی مجموعه داده‌های مختلف انجام دهد.

کاهش افزونگی و فشرده‌سازی داده‌ها: به طور معمول مقدار زیادی افزونگی داده در مجموعه داده‌های خام وجود دارد. روش‌های کاهش افزونگی و فشرده‌سازی خوب می‌توانند موثرترین راه برای کاهش سربار باشند.

مدیریت چرخه عمر داده‌ها: انجام سنجش و محاسبات گسترده روی داده‌های در حال تولید با نرخ بی‌سابقه‌ای در حال افزایش است و مقیاس آن بسیار فراتر از پیشرفت‌های بسیار کوچک در فناوری ساخت سیستم‌های ذخیره‌سازی است. یکی از چالش‌های اساسی این است که سیستم‌های ذخیره‌سازی کنونی نمی‌توانند میزبان این حجم از داده‌ها باشند. در کل ارزش پنهان شده در مِه‌داده وابسته به تازگی و مداوم بودن داده‌ها است. در اینجا باید یک تصمیم اساسی گرفته شود که چه قسمت‌هایی از داده‌ها باید ذخیره و تحلیل شوند و چه قسمت‌هایی را باید نادیده گرفت.

حفظ حریم خصوصی و امنیت داده‌ها: با زیاد شدن خدمات خطوط و گوشی‌های تلفن همراه نگرانی‌ها از امنیت و حفظ حریم خصوصی در دسترسی و تحلیل اطلاعات شخصی در حال افزایش است و فهمیدن آنچه باید به منظور حفظ حریم خصوصی انجام شود تا به حریم خصوصی افراد تجاوز نشود بسیار ضروری است.

۲. چالش‌های تحلیل داده‌ها

چالش‌های مربوط به تحلیل شامل چالش‌های حوزه‌های مدل‌سازی، پیش‌بینی و شبیه‌سازی که اغلب به دلیل تنوع و ناهمگن بودن در ساختار و کاربرد داده‌ها به وجود می‌آید که در ادامه بیان شده‌اند.

تحلیل تقریبی: با توجه به این که حجم داده‌ها در حال افزایش است تحلیل بلادرنگ یک نیاز اساسی است. به دلیل دشوار بودن تحلیل بلادرنگ در چنین مجموعه‌هایی می‌توان از نتایج تقریبی استفاده کرد.

تحلیل عمیق: یکی از مباحث مورد توجه در حوزه تحلیل مِه‌داده کسب دید عمیق و مفید از داده‌ها است. فنون تحلیلی خبره مانند فنون یادگیری ماشین جهت تحقق این امر بسیار اساسی هستند.

مهم‌ترین ارکان مکانیسم حفظ حریم خصوصی و امنیت، کنترل دسترسی، تبادل امن داده‌ها و تحلیل با حفظ حریم خصوصی وجود امنیت در ذخیره‌سازی و مدیریت داده‌ها است.

۳. چالش‌های سیستم

سیستم‌های موازی با مقیاس بزرگ مشکلاتی دارند که برخی از آن‌ها در ادامه بیان شده‌اند.

قیاس‌پذیری: یک سیستم تحلیل مِه‌داده باید توانایی پشتیبانی از مجموعه داده‌های بسیار بزرگ را هم اکنون و هم در آینده داشته باشد. تمامی اجزای یک سیستم مِه‌داده باید توانایی مقیاس‌پذیری و انعطاف‌پذیری را با رشد حجم و پیچیدگی داده‌ها داشته باشند.

همکاری: تحلیل مِه‌داده یک زمینه تحقیقاتی بین رشته‌ای است که نیازمند همکاری چندین رشته برای تحلیل و کاوش اطلاعات مخفی و ارزشمند است. یک زیرساخت منسجم مِه‌داده به دانشمندان و مهندسان از بسیاری از رشته‌ها اجازه دسترسی به داده‌ها را می‌دهد. همین امر ضمن داشتن مزایای متعدد، نیاز به متخصصان از حوزه‌های گوناگون برای طراحی سیستم‌های مِه‌داده را ایجاد می‌کند.

پ.ن.۱. باگی‌نامه (وبلاگ شخصیم) با مطالبی در رابطه با داده‌کاوی و دیگر مسائل مورد علاقه‌ام به روز می‌شود.

پ.ن.۲. قسمت‌های پیشین را مطالعه کنید:

قسمت اول: مِه‌داده (کلان داده) چیست؟ (۱)

قسمت دوم: مِه‌داده (کلان داده) چیست؟ (۲)

قسمت سوم: مِه‌داده (کلان داده) چیست؟ (۳)

قسمت چهارم: مِه‌داده (کلان داده) چیست؟ (۴)

قسمت پنجم: مِه‌داده (کلان داده) چیست؟ (۵)

قسمت ششم: مِه‌داده (کلان داده) چیست؟ (۶)

مراجع:

[۱]E. B. S. D. D. Agrawal et al., ‘‘Challenges and opportunities with big data—A community white paper developed by leading researchers across the united states,’’ The Computing Research Association, CRA White Paper, Feb. 2012

[۲]A. Labrinidis and H. V. Jagadish, ‘‘Challenges and opportunities with big data,’’ Proc. VLDB Endowment, vol. 5, no. 12, pp. 2032–2033, Aug. 2012.

[۳] S. Chaudhuri, U. Dayal, and V. Narasayya, ‘‘An overview of business intelligence technology,’’ Commun. ACM, vol. 54, no. 8, pp. 88–98, 2011.