گروه تحلیلگری عظیم داده و کسب و کار www.bdbanalytics.ir
سیستم کلاستر محاسباتی با کارایی بالا (HPCC)
امروزه ابزارهای عظیم داده (Big Data) در بازار موجود است و این ابزارها، با بهره‌وری در هزینه سبب مدیریت زمان بهتر در وظایف تحلیلی میشوند. سیستم کلاستر محاسباتی با کارایی بالا (HPCC) یکی از ابزارهای عظیم داده بوده که توسط LexisNexis ایجاد شده است. این ابزار بر روی یک سکوی واحد، یک معماری واحد و یک زبان برنامه‌نویسی واحد برای پردازش داده‌ها ارائه می‌گردد.
سیستم کلاستر محاسباتی با کارایی بالا (HPCC)، سکویی محاسباتی متن باز متمرکز داده‌ها را توزیع نموده و سرویس‌های مدیریتی جریان کار عظیم داده را فراهم می‌کند. بر خلاف Hadoop، مدل داده‌ای HPCC به وسیله کاربر تعریف می‌گردد و تضمین می‌کند که ECL در حداکثر زمان سپری شده انجام می‌گردد و گره‌ها (نودها) به شکل موازی پردازش شوند. همچنین سکوی HPCC به ابزارهای بخش ثالث نظیر GreenPulm ، Cassandra ، RDBMS ، Oozie و غیره نیازی ندارد.
مؤلفه های اصلی HPCC
THOR(پالایشگاه داده HPCC): یک موتور ETL موازی به شکل انبوه بوده که ادغام داده‌ها براساس یک مقیاس را انجام داده و دستکاری داده‌ها را به شکل دسته‌ای فراهم می‌کند.
ROXIE(موتور تحلیل داده HPCC): یک موتور موازی انبوه، با توان عملیاتی بالا، فوق‌العاده سریع، با زمان تأخیر کم که اجازه بازیابی چند کاربره مؤثر داده و موتور پاسخ جستجوی ساخت یافته را میدهد.
ECL) Enterprise Control Language): یک جریان کاری توزیع شده بین گره‌ها به صورت خودکار بوده که الگوریتم‌هایی همگام و خودکار داشته و ماشین توسعه پذیر کتابخانه یادگیری را توسعه میدهد. در ضمن زبان برنامه‌نویسی مفید و ساده‌ای داشته که برای عملگرهای عظیم داده و تراکنشهای جستجو، بهینه‌سازی شده است.
امکانات
- بسیار کارآمد جهت انجام کارهای عظیم داده با کدنویسی بسیار کمتر.
- ارائه افزونگی و دسترسی بالا.
- قابل استفاده در پردازش داده‌های پیچیده در کلاستر Thor .
- دارای محیط توسعه یکپارچه گرافیکی (Graphical IDE) به منظور سهولت توسعه، آزمایش و اشکال زدایی.
- بهینه‌سازی خودکار کد جهت پردازش موازی.
- افزایش مقیاس‌پذیری و عملکرد.
- تبدیل کد ECL به ++C بهینه.
- امکان گسترش با استفاده از کتابخانه‌های ++C.
تفاوت بین سکوی سیستمهای HPCC و Hadoop
کلاسترهای HPCC میتوانند در Thor و Roxie اعمال شوند. کلاسترهای Hadoop با پردازش MapReduce اجرا میشوند.
در محیط HPCC ، ECL زبان برنامه‌نویسی اولیه است در حالیکه پردازش MapReduce در Hadoop بر مبنای زبان جاوا است.
سکوی HPCC ، شاخص چند متغیره و چند کلیده بر روی سیستم فایل توزیع شده میسازد. HBase درHadoop، پایگاه‌داده ستون‌گرا را فراهم می‌آورد.
قابلیتهای انبار داده (data warehouse) در HPCC جهت جستجوهای ساخت‌یافته و برنامه‌های کاربردی تحلیل کننده استفاده میشود و از طرف دیگر Hive در Hadoop قابلیتهای انبار داده را فراهم نموده و اجازه میدهد داده‌ها در HDFS هدوپ، Load شوند.
بر روی پیکر بندی سخت افزاری مشابه یک سیستم با 400 گره، موفقیت HPCC در 6 دقیقه و 27 ثانیه است در حالی که موفقیت Hadoop در 25 دقیقه و 28 ثانیه است. این نتایج نشان میدهد که در این مقایسه HPCC سریعتر از Hadoop است.
جهت دسترسی به نسخه آزمایشی این ابزار به لینک زیر مراجعه نمایید:
https://hpccsystems.com/try-now
www.bdbanalytics.ir
@BigData_BusinessAnalytics
مطلبی دیگر از این انتشارات
خیز مجلس برای استفاده از هوش مصنوعی در قانونگذاری
مطلبی دیگر از این انتشارات
الگوریتم و فلوچارت به زبان ساده
مطلبی دیگر از این انتشارات
یادگیری ماشین چیست و چه کاربردهایی در زندگی ما دارد؟