چند مثال ساده از Map-Reduce

با رشد روز افزون داده‌ها در جهان پردازش بیگ دیتاها یکی از چالش‌ها بوده است. Map-Reduce یک چهار چوب برای پردازش داده‌های حجیم معرفی کرده است.

ما با پیشفرض آشنا بودن با چهارچوب مپ ردیوس پیاده سازی چند عمل ساده را با استفاده از آن، به صورت نمادی نشان می‌دهیم.

۱- پیاده‌سازی تفاضل دو جدول در دیتابیس در Map-Reduce

فرض کنید که r و s دو جدول در دیتابیس ما هستند. برای محاسبه r-s به صورت زیر عمل خواهیم کرد.

در شکل بالا t نشان دهنده یک سطر از جدول است.

۲- پیاده‌سازی عمل الحاق طبیعی (join) در Map-Reduce

فرض کنید که r و s دو جدول در دیتابیس ما هستند و ستون‌ b در دو جدول مشترک است. پس ما برای محاسبه‌ی r join s به صورت زیر عمل خواهیم کرد.

۳- پیاده‌سازی ضرب ماتریسی در Map-Reduce

دو ماتریس M و S را در نظر بگیرید برای محاسبه M*S می توانیم از دو روش استفاده کنیم.

روش اول: با استفاده از مپ ردیوس دولایه، به عبارت دیگر از دو مپ و دو ردیوس استفاده می‌کنیم.

برای فهم راحت‌تر یک مثال عددی با ماتریس‌های واقعی، با استفاده از مراحل بالا حل کنید.

روش دوم: با استفاده از یک لایه ماتریس

نویسنده محمد نظری