مِه‌داده (کلان داده) چیست؟ (۶)

در قسمت‌های پیشین این مجموعه نوشتار به مقدمه، تعاریف، تاریخچه، زنجیره ارزش و نقشه راه فناوری مِه‌داده پرداختم. لینک قسمت‌های پیشین در پایین همین صفحه گذاشته شده. در ادامه به معماری مِه‌داده و لایه‌های آن می‌پردازم:

با ظهور مِه‌داده امکان ساخت معماری که بتواند حجم عظیمی از داده‌ها در فرمت‌های گوناگون را یکپارچه ساخته و تحلیل بلادرنگ ارائه دهد فراهم شد. مِه‌داده یک پارادایم جدید در معماری داده ایجاد کرد. در گذشته سیستم‌های داده براساس نیازهای از پیش تعریف شده داده، طراحی و ساخته می‌شدند. در جهان مِه‌داده، سکوهای ذخیره‌سازی داده محدود به مدل‌های از پیش تعریف شده نیستند و قادر به مدیریت هر نوع از داده‌های ساخت‌یافته و ساخت‌نیافته هستند. معماری سیستم مِه‌داده را می‌توان در یک ساختار لایه‌ای، چنانکه در شکل یک نمایش داده شده، نشان داد. این معماری شامل سه لایه زیرساخت، رایانش و کاربرد است. کارکردهای هر لایه در ادامه توضیح داده شده‌اند.

لایه زیرساخت: این لایه شامل منابع متعدد زیرساخت‌های اطلاعاتی و ارتباطی که قابل سازمان‌دهی به وسیله زیرساخت‌های رایانش ابری هستند، می‌شود. این لایه به عنوان اساس سایر لایه‌های معماری سیستم مِه‌داده است و از توافق‌های سطح سرویس خاصی پشتیبانی می‌کند. در این مدل، منابع باید براساس نیازی که برای منابع موجود است اختصاص داده شوند تا پاسخگوی تقاضا و نیاز مِه‌داده ضمن افزایش کارایی سیستم، باشند.

لایه رایانش: این لایه ابزارهای داده را به یک لایه میانی که بر فراز لایه زیرساخت‌های اطلاعاتی و ارتباطی خام اجرا می‌شود تبدیل می‌کند. ابزارهای معمول در حوزه کلان داده عبارتند از ابزارهای یکپارچه‌سازی داده، مدیریت داده و مدل‌های برنامه‌نویسی. یکپارچه‌سازی داده به معنای جمع‌آوری داده از منابع گوناگون و یکپارچه‌سازی این داده‌ها به یک فرم یکتا با پیش‌پردازش‌های مورد نیاز انجام شده، است. مدل‌های برنامه‌نویسی منطق برنامه‌کاربردی را به صورت انتزاعی پیاده‌سازی کرده و کار با برنامه‌های کاربردی تحلیل داده را تسهیل می‌کنند. از این مدل‌ها می‌توان به نگاشت کاهش، Dryad، Pregel و Dremel اشاره کرد.

لایه کاربرد: رابط مورد نیاز برای مدل‌های برنامه‌نویسی را برای پیاده‌سازی کارکردهای تحلیلی متعدد شامل تحلیل‌های آماری، پرس‌و‌جو، خوشه‌بندی و دسته‌بندی ارائه می‌کند. سپس فنون تحلیلی اساسی را برای توسعه برنامه‌های کاربردی مبتنی بر حوزه‌های خاص، ترکیب می‌کند. مک‌کنزی پنج حوزه بالقوه برای برنامه‌های کاربردی حوزه کلان داده را بهداشت و درمان، مدیریت بخش عمومی، خرده‌فروشی، ساخت و تولید جهانی و حوزه مسائل شخصی، برمی‌شمارد [۱].

پ.ن.۱. باگی‌نامه (وبلاگ شخصیم) با مطالبی در رابطه با داده‌کاوی و دیگر مسائل مورد علاقه‌ام به روز می‌شود.

پ.ن.۲. قسمت‌های پیشین را مطالعه کنید:

قسمت اول: مِه‌داده (کلان داده) چیست؟ (۱)

قسمت دوم: مِه‌داده (کلان داده) چیست؟ (۲)

قسمت سوم: مِه‌داده (کلان داده) چیست؟ (۳)

قسمت چهارم: مِه‌داده (کلان داده) چیست؟ (۴)

قسمت پنجم: مِه‌داده (کلان داده) چیست؟ (۵)

مراجع:

[۱] J. Manyika et al., Big data: The Next Frontier for Innovation, Competition, and Productivity.