مسیر پیشنهادی ساده مهندسی داده Data Engineer

وقتی صحبت از داده میشه، معمولا همه چی حول یک دیتاساینتیست می چرخه، تمام تصور بچه ها از دیتا، حول انسانیه که داره با داده ها کار می کنه، جدیدترین روش های کار با داده رو پیدا می کنه، مدل های پیچیده ریاضیاتی میسازه و با ساختن کد های خفن، باعث میشه از داده های خام، داده های باارزشی به دست بیاد، در کل این نوع نگاه کامل نیست و یک مهندس داده کاری فراتر از اینا انجام میده،

یک مهندس داده باعث میشه اون ایده ها و ارزش های افزوده حول مسائل داده به دنیای واقعی و به طور عملی در مقیاس مناسبی اجرایی بشه

پس یک سری تفاوت ها بین دیتاساینتیست و دیتا اینجیر هست که باید در نظر گرفته بشه.

در اینجا من یک مسیر پیشنهادی برای یک مهندس داده را پیشنهاد دادم، این مسیر متناسب با نیاز هر شرکت و مجموعه میتونه متفاوت باشه و قسمت هایی از اون بزرگتر و قسمت هایی از اون کوچیکتر باشه، برای همین سعی کنید بیشتر از اینکه بخواید توی همه این زمینه ها اوستا بشید، از همه اشون یک دیدی داشته باشید و متناسب با نیاز، بخش هایی رو بهتر و قوی تر کار کنید. به طور کل یادگیری لینوکس و گیت به همه فعالین عرصه نرم افزار توصیه می شه :) و خواهش میشه که همیشه زمانی رو برای داکیومنت نویسی و تست جدا بگذارید، در کل اجرای بخش های مختلف این سیستم نیازمند تلاش و یادگیری چند بارس، و سعی کنید تا حد امکان از ابزار های آماده استفاده کنید و خوبی ها و بدی هاشونو بشناسید، مثلا برای ETL نویسی، شما هم میتونید کد بزنید هم از ابزارهای آماده استفاده کنید، سعی کنید منطق ابزارهارو یاد بگیرید تا با استفاده بهینه ازشون، زمانتون ذخیره بشه و در بخش های دیگه بتونید در صورت نیاز کد های اختصاصی توسعه بدید. بازهم پذیرای پیشنهادات شما هستم و در طی زمان این نوشته رو به روز خواهیم کرد :)