تفاوت Data Analyst و Data Scientist و Data Engineer و ML Engineer

بالاخره کدوم:

Data Analyst
Data Scientist
Data Engineer
ML Engineer

اگر در حوزه هوش مصنوعی یا دیتا فعال باشین و یا حتی مخاطبشون بودین، حتما تا الان خیلی از آگهی‌های حوزه دیتا رو زیر و رو کردید تا ببینید بالاخره تفاوت بین این موقعیت‌های شغلی چیه و احتمالا چون برخی از شرکت‌های نوپا یا کوچک "قیمه هارو میریزن داخل ماستا" و همه چیز رو از یک نفر میخوان، نتونستید دقیق متوجه تمایز این موقعیت‌های شغلی بشید.

مهندس داده (Data Engineer): پیش از توضیح اصل مبحث و برای اینکه بهتر متوجه صحبت‌ها بشیم، در ابتدا فرض می‌کنیم که یک وبسایت فروشگاهی داریم. قصد داریم با تحلیل داده‌های مشتریان، بهشون کمک کنیم در کمترین زمان ممکن، چیزی که دنبالش هستند رو پیدا کنند. برای این منظور، لازمه فعالیت‌هاشون رو در قالب لاگ هایی درون دیتابیس ذخیره کنیم. برنامه نویس‌های بک‌اند و فرانت‌اند زحمت ایجاد لاگ رو می‌کشند، ولی مهندسان داده وظیفه ذخیره، بررسی، مدیریت و تبدیل آن‌ها رو در بین دیتابیس‌ها بر عهده دارند.

به طور خلاصه، خط لوله بررسی، پردازش و ذخیره و مدیریت دیتای خام دریافتی از مشتری، بر عهده مهندس داده هست و معمولا داشتن مهارت‌های نرم‌افزاری، بیگ دیتا و کلود کفایت میکنه.

تحلیلگر داده یا دیتا آنالیست (Data Analyst): اما چون ما به عنوان یک مدیر، با تصمیم‌گیری مبتنی بر داده بسیار انس داریم، میخواهیم در مورد بودجه‌بندی سال آینده و یا عارضه‌یابی یک مشکل بر اساس داده‌ها تصمیم‌گیری کنیم. بنابراین یک نفر دیتا آنالیست میاریم که با توانایی‌های آماری و تحلیلی خوبش، کوئری زدن! و مصورسازی داده‌ها و کمی شاید هوش مصنوعی، یکسری مفاهیم از قلب داده های ذخیره شده بیرون بکشه. سپس با اون‌ها داستان‌سرایی کرده و به ما در تصمیم‌گیری کمک کنه. مثلا آیا نیاز است کمپین تبلیغاتی برویم یا خیر؟ بهبود در چه بخشی از پلتفرم به ما کمک میکنه؟ چرا مشتریان ...؟ چرا ...؟ و حالا چگونه...؟ و... . پس

دیتا آنالیست معمولا با استخراج مفاهیم از داده‌ها، به بخش مدیریت اجرایی، بیزینس، مارکتینگ، ارتباطات و PM... خدمات میده و مخاطبانش معمولا مدیران هستند. درک بیزینسی، تحلیلی و آماری مهم‌ترین مهارت این افراده و ابزارشون بیشتر PowerBI و SQL و کتابخانه‌های مصورسازی و پاکسازی داده هست.

(معمولا از هوش مصنوعی برای استخراج مفاهیم از داده ها استفاده میکنند مانند کلاسترینگ (سگمنتیشن) مشتریان و تحلیل نتایج آن)

دانشمند داده یا دیتا ساینتیست (Data Scientist): تا الان به یک بلوغ در استارتاپ، شرکت، بیزینس یا هرچی رسیدیم و قصد داریم با استفاده از دیتاهایی که مهندس داده ذخیره کرده، یک مدل هوش مصنوعی(برای رفع یک مشکل یا بهبود یک شاخص) آموزش داده و در پلتفرم قرار بدیم. بنابراین یک دانشمند داده استخدام می‌کنیم که قراره ماحصل کارش روی پروداکت بشینه. معمولا (نه همیشه) مدل هایی که درست کرده، کار پیش بینی انجام داده و قراره رفتار مشتری رو مستقیم تحت تاثیر قرار بده.

دانشمندان داده ضمن آنکه درک بیزینسی خوبی دارند باید بتونند با مهارت‌های آماری و تحلیلی خودشون، مساله رو به درستی بفهمند (همون دیتا آنالیست خودمونند تا اینجا)، و مهارت‌های نرم‌افزاری خوبی هم داشته باشند تا داده‌ها رو به خوبی پیش پردازش کرده و مدل خوبی رو متناسب با هدف پروژه بر روی آن‌ها آموزش و تحویل بدهند.

مهارت‌های لازم برای این افراد، نرم‌افزار و برنامه نویسی، توانایی تحلیل و آمار، مصورسازی و پاکسازی داده، علم به حوزه هدف (مارکتینگ، روانشناسی بازار، پروداکت، پزشکی یا هرچی) و ابزارشون هم زبان برنامه نویسی معمولا R یا python، دیتابیس‌ها، کتابخانه‌های هوش مصنوعی و بسترهای پردازش داده است.

مهندس یادگیری ماشین (ML Engineer): این موقعیت شغلی، فضایی بین تخصص‌های دانشمنده داده و برنامه نویس بک‌اند هستش که بیشتر با برنامه نویس بک‌اند همپوشانی داره. چون معمولا برنامه نویس‌های وبسایت با تست و دیپلوی مدل‌های هوش مصنوعی کمتر آشنایی دارند،

این موقعیت به وجود اومده که برای تصاحب آن، هم باید برنامه نویسی بک‌اند بلد باشید و هم از هوش مصنوعی سر در بیارید تا مدل رو از دانشمند داده تحویل گرفته و روی پروداکت دیپلوی کنید.

این مهندسان، مهارت‌های برنامه نویسیشون معمولا بیشتر از دانشمندان داده است ولی ریسرچ علمی دانشمندان داده خیلی بیشتره. همچنین معمولا برنامه رو برای اجرای مدل هوش مصنوعی در پروداکت طوری توسعه می‌دهند که برای اسکیل بزرگ کارایی کافی رو داشته باشه، ولی دانشمندان داده بیشتر تمرکزشون روی یافتن ی مدل خوبه و اینکه چطور کد می‌نویسند کمتر مورد کنکاش قرار می‌گیره. حالا اگر محصول هدف، امبدد سیستم و این‌ها باشه، ی مقدار متفاوت میشه، ولی چون معمولا مخاطبان ما شرکت‌های نرم‌افزاری هستند، این رو اجالتا قبول کنید تا شاید ی پست تخصصی برای امبدد سیستم‌ها یا همون سیستم‌های نهفته رفتم.

مقایسه مهارت‌های لازم برای چهار موقعیت ML Engineer و Data Analyst ،Data Scientist ،Data Engineer را در تصویر گرفته شده از سنالب می‌بینید. در پست بعدی بیشتر عمیق شده و در مورد هر مهارت بیشتر صحبت می‌کنیم.

پیروز باشین