معماری یک پروژه هوش تجاری مبتنی بر کلان داده

جهت پیاده‌سازی یک پروژه هوش‌تجاری مبتنی بر کلان داده نیازمند برخی ابزارها و پلتفرم‌های مطرح Big Data می‌باشد که در ادامه برخی از این ابزارها به تفکیک گام‌های یک پروژه هوش‌تجاری اشاره خواهد شد:

1- فرایند ETL:

*این گام یکی از مراحل مهم در پیاده‌سازی یک پروژه هوش‌تجاری می‌باشد. در صورتی که از پایگاه داده‌های رابطه همانند Sql, MySQL و... در سازمان خود استفاده می‌کنید جهت انتقال اطلاعات و پیاده‌سازی فرایند Extract به پلتفرم‌های کلان داده همچون آپاچی هدوپ می‌توانید از پلتفرم آپاچی Sqoop استفاده نمایید.

* جهت اعمال برخی فرایندهای پردازشی در گام Transform زبان اسکریپتی آپاچی Pig جهت پیاده‌سازی این فرایند کاربرد خواهد داشت.

+برخی از Message Broker های مطرح نیز همچون آپاچی Kafka, Flume و Nifi جهت انتقال بلادرنگ اطلاعات از پایگاه داده‌ها و منابع ورودی اطلاعات سازمان شما به انبار داده در گام Load می‌تواند کاربرد داشته باشد.

2- انبار داده:

جهت ایجاد انبار داده از پایگاه داده‌های Nosql یا فایل سیستم‌های مطرح در سطح کلان داده همچون فایل سیستم توزیعی هدوپ( HDFS), کاساندرا، HBASE و... بنا به معماری و ویژگی‌های پروژه خود می‌توانید انتخاب کنید.

3- پردازش تحلیلی آنلاین(OLAP):

جهت ساخت OLAP و مکعب‌های پردازشی در کلان داده‌ها از پروژه آپاچی Kylin استفاده می‌شود. این معماری از معماری Map Reduce و اتصال به پایگاه داده‌های رابطه‌ای مانند Hive, Impala و... جهت ساخت مدل تحلیلی پردازشی آنلاین استفاده می‌گردد. جهت تحلیل‌های پیشرفته مبتنی بر یادگیری ماشین و داده‌کاوی هم کتابخانه‌های تحلیلی آپاچی ماهوت در هدوپ و MLlib در اسپارک وجود دارد.