https://virgool.io/feed/@javadr500 یک برنامه نویس فول استکم که به صورت فریلنسری کار میکنم.با تمرکز روی علم داده و بیگ دیتا و علاقمند به مطاله و یادگیری هستم. fa 2026-06-17 08:07:35 https://files.virgool.io/upload/users/23906/avatar/G4st13.png?height=120&width=120 https://virgool.io/@javadr500 https://virgool.io/@javadr500/%DA%86%D8%B1%D8%AE%D9%87-%D8%B9%D9%85%D8%B1-%D8%AF%D8%A7%D8%AF%D9%87-data-life-cycle-%D8%AF%D8%B1-%D8%B9%D9%84%D9%85-%D8%AF%D8%A7%D8%AF%D9%87-khfhhugpzrm7 چرخه عمر دادهمدیریت چرخه عمر داده در سازمان یک موضوع راهبردی هست و کل عمر داده از زمان تولید ( که این تولید می تونه توسط خود سازمان صورت گرفته باشه یا سازمان دیگر همونطوری که می دونید ، سازمانها می تونند دیتا را خریداری هم بکنند. یا از دیتاهای باز موجود استفاده کنند. ) و تا زمانی که این دیتا مصرف می شه و تبدیل به دانش می شه و در نهایت از بین میره کاربرد دارهدر این ویدیو به معرفی چرخه عمر داده پرداختم اگر حوصله خوندن این مقاله را ندارین می تونید این فیلم را مشاهده کنیددیتا تبدیل می شه به اطلاعات و اطلاعات به دانش و در نهایت یک ارزشی را تولید میکنه که این ارزشه واسه شرکتها مهمه و از اون می تونند درامد کسب کنند.چرخه عمر داده یک شروع و یک پایان دارد. دیتا طول عمر طولانی تری داره به خاطر اینکه خام هست و می شه از اون به بینش ها و دانشهای مختلف رسید. ممکنه بعضی از داده ها را دور بریزیم یا ارشیو کنیم . دور می ریزیم به خاطر حجم زیاد داده یا اینکه طول عمر اون تموم شده. چرخه عمر داده همه اینها را پوشش می ده موضوعاتی مثلتولید ،ذخیره سازی،یکپارچه سازی،تحلیل دیتا ،دستیابی به دانش و باز این چرخه ادادمه پیدا میکنه.در برخی سازمانها مثل بانک تولید دیتا از طریق سیستم ها و نرم افزارها مثل دستگاه خودپرداز صورت می گیره و یا در اپراتورها مثل سوییچ ها و آنتن ها .ذخیره و ساختار دهی به دیتا : یکی از چالش ها در این قسمت اینه که تکرار زیاده و باید داده یه دست و بدون تکرار ساختار دهی و ذخیره بشه. که این یکی از مواردی هست که در معماری دیتا باید مورد توجه قرار بگیره . چرا که به مرور این دیتا ها دستکاری میشه. مثلا برنامه نویسان دیتا بیس را تغییر می دن که باعث می شه طول عمر دیتا کم بشه.پاکسازی و حذف نویز از داده : که یکی از دلایل اون تنوع سیستم های تولید دیتا هست. باید مورد توجه قرار بگیره. اینا همه کمک می کنه تا اون دانشی که تولید میشه قابل اطمینان باشه.اسمارت دیتا زمانی هست که دیتا نویزش حذف شده باشد. پروژه های هوش تجاری زمانی انجام می شه که نویز داده گرفته شده و در انبار داده ذخیره شده .در واقع تحلیل روی اسمارت دیتا صورت میگیره و می شه به اون دانش اتکا کرد و بر اساس اون تصمیمات قابل اطمینان گرفت.مثالی که میشه زد سایت دیوار هست که در اون قیمت ساختار مشخصی نداره برخی به ریال می زنند بعضی ها به میلیون وارد می کنند مثل دو وارد می کنند به معنی دومیلیون که این داده ها نویز داره و نیازه که ساختار دهی و پاکسازی روی اون صورت بگیره.در دیتا بیس ها این داده ها را به صورت موجودیت و کلاس ها طبقه بندی می کنند اما زمانی که وارد انبار داده می شه به صورت بعد طبقه بندی میشن و اونجا ما پایگاه داده های چند بعدی داریم که اینا باید تو ساختار دهی دیتا مورد توجه قرار بگیرند.بحث بعدی تجمیع دیتا هست که داده ها مختلفی که در دیتابیس های مختلف پراکنده هستند مثل اطلاعات مشتری همه را باید تجمیع کنیم و در یک دیتا بیس داشته باشیم.تولید دانش هم یکی از بحثای چرخه حیات داده هست. مثلا در بانک ها میان با استفاده از همین تولید دانش ریسک عدم پرداخت وام ها کاهش می دن . مثلا شخصی پولی را میزاره و بعد 5 ماه می خواد وام بگیره اما با این سیستم متوجه می شن که همون شخص این پول را به صورت خرد خرد و مثلا بیشترش را در ماه پنجم واریز کرده. این دیتا را از طریق تحلیل سابقه مشتری میفهمند.یا اینکه شخصی اومده تو بانک چند حساب باز کرده که و قتی اینا را با هم جمع می کنی میبینی چند میلیارده . و اونا به عنوان مشتریان ویژه طبقه بندی می کنند.تحلیل رفتار مشری جدید ، تحلیل رفتار مشتریان قدیم و ... اینا دوباره خودش دیتا تولید میکنه و نیازه این چرخه دوباره تکرار بشه.تو تحلیل رفتا مشتری میان با همین دیتا ها دغدغه های مشتری را پیدا میکنند مثل وقتی شما تو یه سایت کلیک های زیاده می کنید تا خریدش را نهایی کنید. این داده ها می تونه به شما کمک کنه که دغدغه مشتری را شناسایی کنید و تعداد کلیک های را کم کنید تا تجربه مشتری بهتر بشه.مدیریت داده مساوی مدیریت چرخه حیات داده است و اگر چرخه داده را خوب مدیریت کنیم در واقع داده را خوب مدیریت کردیم . داده بر اساس نوعش می تونه طول عمر متفاوت داشته باشه.توی مدیریت چرخه حیات داده باید منافع ذینفعان Stackholder در هر گام در نظر گرفته شود.برای هر کدوم از این ذینفعان بر اساس نیازشون یک سری کارها را باید انجام بدیم. مثلا واحد فروش نیاز داره که روی موجودیت مشتری اطلاعات تماس مانند شماره موبایل و سابقه خرید مشتری وجود داشته باشه . که در گام پاکسازی و اعتبار سنجی داده باید این نیاز در نظر گرفته شود.و بر اساس این نیازهاست که ما میایم دیتا ها را طبقه بندی می کنیم. مثلا Master Data و Reference Data و critical data را شناسایی می کنیم.ارزش دیتا را تو بیزینس خود بیزینس تعیین می کنه نه اون برنامه نویس و توسعه دهنده . مثلا در بانک یه سری دیتا و فیلدها اهمیت دارند و یا در بیمه و تلکام یه سری دیتا های دیگر.کیفیت و امنیت تو تمام مراحل چرخه اثر خودشون را دارند و باید مد نظر باشد. و حتی مهمتر از اون اصالت داده هست که باید در تمامی مراحل حفظ شود. و تو چرخه اهمیت زیادی داره.نمی شه این مراحل را پیش رفت بدون اینکه بدونیم این داده از کجا اومده و اصالتش چیه. و سابقه اون و اتفاقاتی که در این مسیر براش افتاده باید ثبت شود . که با زنجیره داده هم اونا می شناسند. واسه همه این مراحل استاندارد های مشخصی داریم که باید رعایت شود حتی واسه مستند سازی این فرایندها نرم افزارهایی هستند که به صورت استاندارد میان و این کارو انجام می دن.مثلا فیلد آدرس را اگر در نظر بگیریم . میایم میگیم اولین بار توسط سیستم crm تولید شده . بعد میایم میگیم این آدرس حالا کجاها استفاده شده مثلا در سیستم تبلیغات و کمپین های تبلیغاتی هم استفاده شده. خوبی این روش اینه که می تونیم برگردیم به عقب و فرایندهامون را اصلاح کنیم . مثلا اگر در کمپین جواب نگرفتیم برمی گردیم به سیستم crm و اصلاحاتمونا اعمال می کنیم.یکی از خروجی های معماری داده همین data lifecycle هست اگر data lifecycle را خوب در بیاریم توی سایر بخش های مدیریت دیتا مثل کیفیت داده هم کار ما راحت می شه.دیتا تبدیل می شه به اطلاعات و اطلاعات به دانش و در نهایت یک ارزشی را تولید میکنه که این ارزشه واسه شرکتها مهمه و از اون می تونند درامد کسب کنند. جواد روستایی javad roustaei جواد روستایی javad roustaei Tue, 31 Mar 2020 16:41:51 +0430 https://virgool.io/@javadr500/%D9%85%D8%B9%D8%B1%D9%81%DB%8C-%D8%A8%DB%8C%DA%AF-%D8%AF%DB%8C%D8%AA%D8%A7-%D9%88-%D8%B9%D9%84%D9%85-%D8%AF%D8%A7%D8%AF%D9%87-ivxb7m9ln5j6 امروزه دیتا نقش مهمی را در شرکت ها و کشورها دارد و شرکت ها و کشورهایی که دیتای بیشتری داشته باشند مزیت بیشتری را دارند . شرکت گوگل و فیسبوک بیشترین دیتا از کاربران را دارند تا حتی چند وقت پیش فیسبوک پول پرداخت می کرد و از کاربران می خواست تا اپلیکشنی را نصب کنند تا بتونه از طریق اون اپلیکشن رفتار کاربران را رصد کند. در این ویدیو به معرفی بیگ دیتا پرداختم اگر حوصله خوندن این مقاله را ندارین می تونید این فیلم را مشاهده کنیددیتا امروزه حکم نفت را داره دیتا یعنی اقتصاد. بیگ دیتا با سه تا v متولد شد اما امروزه تعداد این v ها بسیار بیشتر شده.حجم داده (Volume) : حجم داده‌ها به‌صورت نمایی در حال رشد است. منابع مختلفی نظیر شبکه‌های اجتماعی، لاگ سرورهای وب، جریان‌های ترافیک، تصاویر ماهواره‌ای، جریان‌های صوتی، تراکنش‌های بانکی، محتوای صفحات وب، اسناد دولتی و … وجود دارد که حجم داده بسیار زیادی تولید می‌کنند.سرعت تولید (Velocity) : داده‌ها از طریق برنامه‌های کاربردی و سنسورهای بسیار زیادی که در محیط وجود دارند با سرعت بسیار زیاد و به‌صورت بلادرنگ تولید می‌شوند. بسیاری از کاربردها نیاز دارند به‌محض ورود داده به درخواست کاربر پاسخ دهند. ممکن است در برخی موارد نتوانیم به اندازه کافی صبر کنیم تا مثلاً یک گزارش در سیستم برای مدت طولانی پردازش شود.تنوع (Variety) : انواع منابع داده و تنوع در نوع داده بسیار زیاد است که در نتیجه ساختارهای داده‌ای بسیار زیادی وجود دارد. مثلاً در وب، افراد از نرم‌افزارها و مرورگرهای مختلفی برای ارسال اطلاعات استفاده می‌کنند. بسیاری از اطلاعات مستقیماً از انسان دریافت می‌شود و بنابراین وجود خطا اجتناب‌ناپذیر است. این تنوع سبب می‌شود جامعیت داده تحت تأثیر قرار بگیرد؛ زیرا هرچه تنوع بیشتری وجود داشته باشد، احتمال بروز خطای بیشتری نیز وجود خواهد داشت.توی بیگ دیتا سه مرحله وجود دارد:1- جمع آوری دیتا: 2- پردازش دیتا3- تحلیل دیتاشرکتها می توانند هر مرحله را خودشون انجام بدن یا برون سپاری کنند . نمونه بارز اون شرکت فیسبوک هست که از یه شرکت دیگر واسه تحلیل دیتا استفاده می کرد و اون رسوایی نقض حریم خصوصی در اون شرکت حتی باعث ورشکستگی اون شد.دولت ها هم در این مقوله وارد شدند و مبحثی به نام حکمرانی دیتا شکل گرفته و حتی قوانین GDPR در اتحادیه اروپا شکل گرفت برای حمایت از حریم خصوصی کاربرانشرکتهایی مثل گوگل و آمازون از قبل ابزارهایی واسه این کار داشتند که بعد از رواج بیگ دیتا این پلتفرم هاو ابزارها را در اختیار کاربران قرار دادند مثل هدوپ ، اسپارک ، زیان برنامه نویسی پایتون و Rشرکت ها برای استفاده از بیگ دیتا باید به اون بلوغ سازمانی رسیده باشند و مسائلشون هم بیگ دیتایی باشه تا از بیگ دیتا بتونند استفاده کنند مثلا داده های اونا به سرعت تولید می شه و تنوع بسیار زیادی داره مثل پیام رسانها ، نرم افزارهای بیمه و بانکی ، نرم افزارهای مخابراتی آزاد سازی دیتا که امروزه واسه اون قانون داریم اما به کندی سازمانها و نهادها دیتاشون را آزاد می کند میتونه به افرادی که در این زمینه کار می کند کمک زیادی کند. مثلا وزارت بهداشت دیتای مربوط به بیماریها را آزاد کند از طریق این دیتا و داده کاوی روی آن می توان به پیش بینی های خوبی رسید. جواد روستایی javad roustaei جواد روستایی javad roustaei Thu, 16 Jan 2020 17:20:04 +0330 https://virgool.io/@javadr500/%D9%85%D9%82%D8%A7%DB%8C%D8%B3%D9%87-nopcommerce-%D9%88-woocomerce-tgxajotxarqv مقایسه Nopcommerce و woocommerceدر این ویدیو به مقایسه Nopcommerce و woocommerce پرداختم اگر حوصله خوندن این مقاله را ندارین می تونید این فیلم را مشاهده کنیدNopcommerce و woocommerce دو تا از فروشگاه سازهای رایگان هستند . woocommerce یک افزونه قدرمتند و رایگان ورد پرس هست . و سایت ورد پرسی شما را تبدیل به یک فروشگاه اینترنتی می کنه.ورد پرس یک Cms مبتنی بر زبان PHP و پایگاه داده MySql هست اخرین نسخه ارائه شده آن تا الان نسخه 3.8 هستبیش از 30 درصد فروشگاهای اینترنتی دنیا از این افزونه استفاده می کنند.Nopcommerce یک cms مبتنی بر asp.Net Core و EFCore و به زبان C# و پایگاه داده Sql server هست . آخرین نسخه اون در حال حاضر نسخه 4.2 هست بیش از پنجاه هزار فروشگاه اینترنتی توسط ناپ کامرس راه اندازی شدهو و تا الان بیش از دو میلیون و پانصد هزار بار دانلود شدهناپ کامرس امکانات کاملی مانند مدیریت محتوا ، مدیریت فروشندگان و مدیریت تولید کنندگان داره.هر دو رایگان و open source هستند. هردو mobile friendly هستند .در هر دو امکان بازاریابی اینترنتی و کمپین های تبلیغاتی وجود داره. برای هر دو قالبها و افزونه های رایگان و پولی وجود داره. و اگر دانش برنامه نویسی هم داشته باشید خودتون می تونید واسه اونها پلاگین بنویسید. هردو زبان فارسی را پشتیبانی می کنند. و امکان اتصال به درگاههای پرداخت برای هردو آنها وجود دارد. ووکامرس دربین کاربران بیشتر شناخته شده است.اما ناپ کامرس به اندازه ووکامرس محبوبیت نداره. ناپ کامرس امکانات بیشتری را به شما می ده و به نظرم به واسطه های تکنولوژیهایی که در اون استفاده شده از امنیت بیشتری به صورت پیش فرض برخوداره.ووکامرس سرعت بالاتر و افزونه ها و قالب های بیشتری واسش وجود داره.تو این ویدیو محیط هر دو را باهم مقایسه کردم جواد روستایی javad roustaei جواد روستایی javad roustaei Tue, 31 Dec 2019 21:32:08 +0330 https://virgool.io/@javadr500/%D9%85%D9%82%D8%A7%DB%8C%D8%B3%D9%87-angular-%D9%88-vuejs-%D9%88-reactjs-l1cflkel5p1l مقایسه angular و vuejs و reactjsReactjs , vuejs , angular سه تا کتابخونه جاوا اسکریپتی هستند که امروزه طرفدارانی بسیاری دارند.هر سه این javascript library ها client side هستند و نیاز به یک وب سرویس دارند تا اطلاعات را fetch کنند.در این ویدیو به معرفی این سه کتابخونه پرداختم اگر حوصله خوندن این مقاله را ندارین می تونید این فیلم را مشاهده کنیدتو ایران شرکت اسنپ و ایوند از react استفاده می کنند. اگر اشتباه نکنم سایت علی بابا که برای فروش بلیط هواپیما هست و همچنین زرین پال نیز از vuejs استفاده می کنند. در موسسه گزینه دو که خودم اونجا حضور دارم هم پروژهامون را با vuejs داریم توسعه می دیم. حتی اپ موبایلمون هم بر اساس pwa و vuejs هست.من خودم چند پروژه که به صورت فریلنسری انجام دادم با استفاده از انگولار بوده به عنوان مثال سیستم مدیریت انرژی که واسه آبفا بوده. شرکتهای ایرانی را نمی دونم ولی شرکتهای مثل مایکروسافت ، مکدونالد،ادوبی ،تلگرام هم از انگولار استفاده می کنندReactjs توسط فیسبوک توسعه داده شده و تو گیت هاب 140K star داره و 6k ویو خوردهAngular هم توسط گوگل توسعه داده شده و تو گیت هاب 54K star داره و 3 K دیده شده.Vue js توسط شخصی به نام Evan You توسعه داده شده و تو گیت هاب 153K star داره و 6K بار دیده شده. Evan You قبلا توی تیم انگولار بوده و الان تمام وقت خودش را روی توسعه vue کرده و تو این مدت کامیونیتی خوبی تشکیل داده و محبوبیت خوبی پیدا کرد. Angular با type script و rxjs (reactive programing ) ادغام شده. در انگولار ما سه فایل مجزا داریم که یکی مربوط به فایلهای html و یکی هم فایل های css و دیگری هم شامل کدهای تایپ اسکریت انگولار هست اما در react کدهای html , css و جاوااسکریپت را در فایلی با پسوند .js یا .jsx می نویسیم . در vue هم مشابه react کد در یک فایل با پسوند .vue نوشته می شند.یادگیری Vue خیلی راحته و برخلاف اون دوتا ، سینتکس ساده ایی هم داره. مشابه انگولار ، directive داره که در واقع اتریبیوت هایی هستند که به المانهای html اضافه می شوند مثلا v-for برای یک حلقه for هست که مشابه ng-for در انگولار هستانگولار یک فریم ورک هست و از معماری Mvc پشتیبانی می کند. در انگولار مفاهیمی وجود دارد مثل dependency injection ، ماژول ، سرویس , interceptor که برای پیاده سازی پروژه هایی در scale بزرگ به شما قدرت زیادی میده. اما سرعت و سبکی react و vue را ندارد.. در react و vuejs مفهمومی وجود دارد به نام Virtual Dom که باعث افزایش سرعت این دو کتابخانه شده و سرعت رندر بالاتری را نیز داره.هر سه یک Cli قوی دارند که البته من خودم زیاد تمایل به استفاده از اون را ندارم و زیاد باش کار نکرد.کامپوننت های مختلفی برای هر سه این کتابخونه های وجود دارد.مثل bootstrap – kendo ui – ant designیکی از مباحثی که در spa همیشه مطرح میشه بحث سئو این سایتها هست هرچند من با آن موافق نیستم و به تجربه دیدم که گوگل این سایتها را هم به خوبی ایندکس می کنه اما مفهومی وجود داره به نام SSR یا server side rendering که میاد قبل اینکه صفحه رندر بشه کدهای html مربوطه ا تولید می کنده و اونا به مرورگر ارسال می کنه. در انگولار برای پیاده سازی ssr از کتابخونه Angular Universal استفاده می شه . در vue هم کتابخانه Nuxt واسه این کار استفاده می شه.در react هم Next کتابخونه ایی هست که واسه ssr استفاده می شدهدر react برای state manegment از redux استفاده میشه که مشابه اون در vue کتابخونه vuex هست. اما در انگولار با استفاده از سرویس ها rxjs می توان اونا پیاده سازی کد.Pwa یک چهارچوب واسه اپ موبایل هست که می تونید با استفاده از اون وب اپلیکشن های تحت وب را مانند اپلیکشن های موبایلی روی موبایل اجرا کنید. و یک فایل مانیفست به پروژه اضافه می کند که تنظیمات اپ موبایل مثل آیکون و نام در اونجا تنظیم می شه.Service worker هم باعث می شه تا اپ شما در حالت آفلاین و بدون اتصال به اینترنت هم کار کند . در واقع اطلاعات را در مرورگر ذخیره می کندقبلا در اندروید وب اپلیکشن ها به صورت وب ویو باز می شد که کاربر حس خوبی نداشت . اما امروزه با استفاده از trusted web activity وب اپلیکشن ها را می تونید اجرا کنید و کاربر حس کار با یه نرم افزار واقعی را داره . پروژه های vue گزینه دو را با همین تکنولوژی برای اندروید توسعه دادیم. البته اگر دانش برنامه نویسی اندروید را هم داشته باشید میتونید برنامه های بهتری را توسعه بدید.بازار کار جهانی این سه کتابخانه بر طبق گزارش سایت indeed.com برای سال 2019 - 78 درصد متعلق به react و 21 درصد متعلق به انگولار و یک درصد هم مربوط به برنامه نویسان vue هست در ایران هم اونچه که در آگهی ها مشاهده کردم بازار react نسبت به بقیه بیشتر و سپس انگولار . اما می توان در این مدت رشد vue را هم مشاهده کرد .به نظرم آینده خوبی را می توان برای vue متصور شد. جواد روستایی javad roustaei جواد روستایی javad roustaei Sat, 28 Dec 2019 19:45:05 +0330