نوشته های Jamal Mahmoudi

انتظارات از مهندسان DevOps

Jamal Mahmoudi — Sun, 19 Jan 2025 16:42:57 +0330

انتظارات از مهندسان DevOpsنقش اصلی یک مهندس DevOps، ایجاد ارتباط مؤثر بین تیم‌های مختلف در سازمان است. او به عنوان یک پل ارتباطی عمل می‌کند که به تسهیل همکاری و هماهنگی بین توسعه‌دهندگان، تیم‌های عملیاتی و سایر بخش‌ها کمک می‌کند. علاوه بر این، مهندسان DevOps به ترویج شفافیت در فرآیندهای سازمانی نیز کمک می‌کنند. با ایجاد ابزارها و روش‌های مناسب برای نظارت و گزارش‌دهی، آن‌ها اطمینان حاصل می‌کنند که همه اعضای تیم از وضعیت پروژه‌ها و چالش‌های موجود در تیم آگاه هستند. این شفافیت به بهبود تصمیم‌گیری و افزایش کارایی کمک می‌کند. در نهایت، درک صحیح از نقش مهندس DevOps می‌تواند به موفقیت بیشتر پروژه‌ها و بهبود عملکرد کلی سازمان منجر شود.نقش واقعی مهندس DevOpsمهندس DevOps نقش کلیدی در بهینه‌سازی فرآیند توسعه و عملیات نرم‌افزار دارد. این نقش به عنوان پلی بین تیم‌های توسعه و عملیات عمل می‌کند و هدف اصلی آن تسهیل ارتباطات و همکاری بین این دو بخش است تا سرعت و کیفیت توسعه نرم‌افزار افزایش یابد.مهندس DevOps مسئولیت‌های متعددی دارد که شامل موارد زیر است:مدیریت زیرساخت‌ها: راه‌اندازی و نگهداری زیرساخت‌های فناوری اطلاعات برای نرم‌افزارهای مختلف.خودکارسازی: پیاده‌سازی ابزارهای خودکارسازی برای تسهیل فرآیندهای توسعه و استقرار.نظارت بر امنیت: شناسایی و رفع مشکلات امنیتی در سیستم‌هاو همکاری نزدیک با تیم امنیت .توسعه CI/CD: ایجاد خطوط ادغام مستمر (CI) و تحویل مستمر (CD) برای بهبود فرآیندهای انتشار نرم‌افزار.تحلیل و حل مشکلات: شناسایی و رفع مشکلات اکو سیستم دواپس در سریع‌ترین زمان ممکن.با این حال، بسیاری از افراد تصور می‌کنند که یک مهندسDevOps مسئول همه چیز است، از توسعه تا عملیات و خودکارسازی همه چی و امنیت مطلق و کیفیت محصول و .... این سوءتفاهم منجر به بار کاری بسیار سنگینی می‌شود که فراتر از توان یک فرد استپیامدهای سوءتفاهمسوءتفاهم در مورد نقش مهندسانDevOps می‌تواند عواقب جدی به همراه داشته باشد، از جمله:افزایش استرس و کاهش بهره‌وریاحساس ناامیدی و عدم توانایی در انجام کارهاخطر ابتلا به فرسودگی شغلیبه فنا رفتن همه جانبه ی روایط و ارتباطات فردیاگر انتظارات غیرواقعی از این نقش وجود داشته باشد، نه تنها افراد تحت فشار قرار می‌گیرند بلکه ممکن است منجر به ترک شغل و از دست رفتن دانش و تجربه شودنقش ارتباطیمهندسان DevOps باید به عنوان پل ارتباطی بین تیم‌های مختلف عمل کنند. آنها باید نیازها و چالش‌های هر بخش را درک کرده و برقراری ارتباط مؤثر را تسهیل کنند. این کار به ایجاد محیطی کمک می‌کند که تبادل نظرات و نگرانی‌ها در آن ممکن و مطلوب خواهد بود .فرهنگ باز و شفافایجاد یک فرهنگ باز و شفاف در سازمان‌ها و شرکت‌ها از اهمیت بالایی برخوردار است، (خیلی خیلی مهمه) به ویژه در زمینه‌های فناوری اطلاعات و توسعه نرم‌افزار. این فرهنگ به معنای ایجاد فضایی است که در آن همه اعضای تیم احساس راحتی کنند تا نظرات، ایده‌ها و نگرانی‌های خود را بدون ترس از قضاوت یا عواقب منفی بیان کنند.اهمیت انتظارات واقع‌بینانهبرای موفقیت در ایجاد یک فرهنگ باز و شفاف، لازم است که انتظارات واقع‌بینانه‌ای از مهندسان DevOps داشته باشیم. این شامل:آموزش مستمر: مهندسان باید به طور مداوم آموزش ببینند تا بتوانند با تغییرات سریع فناوری همگام شوند.پشتیبانی از نوآوری: باید فضایی فراهم شود که در آن نوآوری تشویق شود و اشتباهات به عنوان فرصتی برای یادگیری دیده شوند.تعهد به بهبود مستمر: فرهنگ باز نیازمند تعهد همگانی به بهبود مستمر فرآیندها و روش‌ها است.مهارت‌های نرم (Soft Skills)توجه به مهارت‌های نرم (Soft Skills) در تیم‌های مختلف به عنوان یک عامل کلیدی در موفقیت سازمان‌ها شناخته می‌شود. این مهارت‌ها شامل توانایی‌های ارتباطی، کار تیمی، و سازگاری هستند که به افراد کمک می‌کنند تا به‌طور مؤثرتری با یکدیگر همکاری کنند و در محیط کار عملکرد بهتری داشته باشنددر نهایت، ایجاد یک فرهنگ باز و شفاف نه تنها به افزایش کارایی سازمان کمک می‌کند، بلکه موجب رضایت بیشتر کارکنان نیز می‌شود. با حمایت از مهندسان DevOps و فراهم کردن فضایی برای بیان آزادانه نظرات، می‌توانیم به سمت یک محیط کاری پویا و پایدار حرکت کنیم.شرکت دو قوز آباد به دنبال شما به عنوان مهندسDevOps است!وظایف شامل:ایجاد مفاهیم معماریتوسعه آخرین راه‌حل‌های نرم‌افزاریعملیات راه‌حل‌های نرم‌افزاریتوسعه تست‌ها و اطمینان از عملکرد بهینهتوسعه سیستم های توزیع شده در سراسر دنیاپیاده‌سازی فریم‌ورک‌های نظارتی پیشرفته و ایجاد داشبوردهای معنادارتأمین و عملیات خطوط CI/CDطراحی و پیاده‌سازی زیرساخت ابریمدیریت زیرساخت. حتی VOIPپیکربندی خدمات ابریطراحی و عملیات پایگاه داده SQL & NoSQLاطمینان از انطباق با استانداردهای امنیت IT مطابق با مشخصات BSIبرنامه‌ریزی و اجرای ممیزی‌ها، حداقل طبق ISO 27001 9001خرید نان صبحانه #فرهنگ_مدرنگذاشتن اشغال ها دم در در حین خروج از شرکت # فرهنگ_ مدرنامکانات:سبد میوهقهوه و نصف کافهفوتبال دستی و پلی‌استیشنحیاط خلوت برای سیگار کشیدنپنج سال بعد دراین شغل:!! شما خسته شده‌اید، احساس پوچی می‌کنید و بدون چشم‌انداز روشن از آینده دیگر نمی‌توانید کار کنید و تباه می شوید ..!مسائل و پیامدهای نادرست تفسیر نقش مهندس DevOpsتعریف DevOpsDevOps به معنای ترکیب توسعه(Development) و عملیات (Operations) است و به یک فرهنگ و فلسفه در توسعه نرم‌افزار اشاره دارد. این مفهوم شامل چندین نقش مختلف است و نباید تصور شود که یک مهندسDevOps مسئول تمامی جنبه‌ها از جمله توسعه، عملیات، اتوماسیون، نظارت و تست است. بار کاری سنگین نادرست بودن این تصور منجر به بار کاری بسیار سنگینی برای مهندسانDevOps می‌شود. این بار کاری نه تنها باعث افزایش استرس و کاهش بهره‌وری می‌شود، بلکه فشار مداوم برای تسلط بر تمامی وظایف می‌تواند به ناامیدی و احساس ناتوانی منجر شود. در درازمدت، این وضعیت مانع از نوآوری و خلاقیت می‌شود و ممکن است به فرسودگی شغلی و مشکلات سلامتی بینجامد. انتظارات غیرواقعی انتظارات غیرواقعی از نقش مهندس DevOps می‌تواند پیامدهای جدی داشته باشد. اگر درک نکنیم که یک مهندسDevOps نمی‌تواند و نباید تمامی وظایف را به تنهایی انجام دهد، ناامیدی در طرفین ایجاد خواهد شد. این امر ممکن است منجر به استعفا کارکنان و از دست رفتن دانش و تجربه افرار کلیدی شود. وظایف واقعی مهندس DevOps در صورت عدم وجود درک واضح از نقش او نادیده گرفته می‌شوند. کمبود حمایت مهندسان DevOps اغلب انتظار دارند که مشکلات پیچیده را بدون منابع کافی ولی یا حمایت اضافی حل کنند. برای حمایت از کار آنها، باید در آموزش، ابزارها و ساختارهای تیمی سرمایه‌گذاری کنیم. در نهایت با درک صحیح و ارزیابی درست نقش مهندسDevOps، می‌توانیم از اثرات منفی این نادرستی‌ها جلوگیری کنیم. لازم است که انتظارات واقع‌بینانه‌ای از مهارت‌ها و مسئولیت‌های واقعی یک مهندسDevOps داشته باشیم تا بتوانیم همکاری مؤثری بین تیم‌ها ایجاد کنیم.در واقغ مهندس DevOps به عنوان یک پل ارتباطی بین تیم‌های مختلف در یک سازمان شناخته می‌شود. این نقش تنها به مهارت‌های فنی محدود نمی‌شود، بلکه شامل توانایی درک و ادغام نیازها و چالش‌های مختلف بخش‌ها نیز می‌باشد.ویژگی‌های مهندس DevOps مهارت‌های فنی و نرم: مهندسان DevOps باید مهارت‌های فنی قوی در زمینه‌های مختلفIT داشته باشند، از جمله برنامه‌نویسی، مدیریت سرورها و امنیت سیستم‌ها. اما علاوه بر این، مهارت‌های ارتباطی نیز برای تسهیل همکاری میان تیم‌ها ضروری است نقش ارتباطی: این افراد به عنوان واسطه‌ای عمل می‌کنند که میان تیم توسعه (Development) و عملیات (Operations) ارتباط برقرار می‌کنند. هدف اصلی آن‌ها بهبود همکاری و شناسایی اهداف مشترک در میان بخش‌های مختلف است. تسهیل فرآیندها: مهندسان DevOps مسئول ایجاد و پیاده‌سازی فرآیندهای خودکار برای تسهیل انتقال کد و بهبود کارایی تیم‌ها هستند. این شامل مدیریت زیرساخت‌ها و نظارت بر امنیت نیز می‌شودوظایف اصلی مهندس DevOpsمدیریت زیرساخت: اطمینان از اینکه زیرساخت‌های IT به درستی پشتیبانی می‌شوند و آماده برای اجرای نرم‌افزارها هستند.(بخش دواپس)اتوماسیون فرآیندها: ایجاد ابزارها و سیستم‌هایی برای خودکارسازی وظایف تکراری، که منجر به افزایش کارایی می‌شود.پشتیبانی فنی: ارائه پشتیبانی به تیم‌های داخلی و حل مشکلات فنی که ممکن است در طول توسعه یا پس از آن پیش بیاید.مهندس DevOps باید توانایی ادغام مهارت‌های فنی با توانایی‌های ارتباطی را داشته باشد تا بتواند در محیط‌های پیچیده IT با موفقیت عمل کند. این افراد با ایجاد یک فرهنگ همکاری موثر، به سازمان‌ها کمک می‌کنند تا در راستای اهداف مشترک پیش بروند و سرعت توسعه نرم‌افزارها را افزایش دهند.مهندسان DevOps نقش حیاتی در ایجاد یک فرهنگ سازمانی باز و شفاف دارند که در آن تبادل نظرات و نگرانی‌ها امکان‌پذیر است. این مهندسان متعهد هستند تا اطمینان حاصل کنند که همه افراد درگیر می‌توانند دیدگاه‌ها و نگرانی‌های خود را ابراز کنند و به جلوگیری از سوءتفاهم‌ها و تعارضات کمک کنند. ایجاد یک فرهنگ سازمانی مدرن و قدردانی‌کننده همراه با احترام برای این امر ضروری است.نویسنده :جمال محمودی Devops523@gmail.com

آموزش جوین کردن لینوکس Debian/Ubuntu به اکتیودایرکتوری دامین

Jamal Mahmoudi — Tue, 21 Nov 2023 21:13:34 +0330

سوال: چگونه لینوکس را به اکتیودایرکتوری وصل کنم ؟آیا می توانم توزیع های مختلف لینوکس مثل Debian /Ubuntu یا Redhat/Centos را به Active Directory Domain وصل کنم ؟ چطور؟هرچند که بهتر است احراز هویت سیستم عامل های لینوکسی را به ابزار FreeIPA بسپاریم و سیستم عامل های ویندوزی را به Active Directory Domain اما گاهی لازم میشه که OS های لینوکسی را به AD و یا ویندوز را به FreeIPA اتصال دهیم .هر چند هدف من در این پست صرفا آموزش جوین کردن Ubuntu به Active Directory هستش البته در 8 مرحله کوتاه و ساده برای جوین ماشین های ویندوزی به FreeIPA به لینک زیر مراجعه فرمائید . https://computingforgeeks.com/join-windows-system-to-freeipa-realm/ و اما FreeIPA چیست؟یک راه حل مدیریت اطلاعات امنیتی یکپارچه رایگان و منبع باز است که توسط RedHat حمایت می شود. FreeIPA پیاده سازی مجددMicrosoft Active Directory نیست و می تواند به طور مستقل کار کند. تفاوت اصلی بین این دو این است که؛ FreeIPA بر روی لینوکس و سایر سیستم های مطابق با استانداردها متمرکز است در حالی که Active Directory یک ابزار ویندوز است. در واقع این پست نحوه پیکربندی SSSD برای بازیابی و فراخوانی اطلاعات از دامنه‌های موجود در همان Active Directory Resource Forest را نشان می‌دهد. اگرشما با بیش از یک فارست AD درگیر هستین ، ممکن است این پست نتواند کل نیاز شما را پوشش دهد . و در انتها ملزومات و قوانین sudo را برای کاربرانی که از طریقAD لاگین خواهند کرد پیکربندی می‌کنیم.در اینجا دیاگرام زیر نحوه راه اندازی و نحوه کار راه اندازی را به خوبی نشان می دهد.بنابراین با هم مراحل زیر را برای پیوستن به دامنه Active Directory (AD) دنبال میکنیم . $ sudo apt -y update ; sudo apt upgrade -y https://virgool.io/p/ajq6cw387sxb/$sudoaptupdate-y;sudoaptupgrade-y خوب این امر ضروری است زیرا اگر سرور را تازه نصب کرده باشید، ممکن است نصب با شکست مواجه شود. برای Ubuntu 20.04|18.04، مخازن زیر را به فایل sources.list خود اضافه کنید.$ sudo tee -a /etc/apt/sources.list < پیکربندی کامل دامنه و لیستی از بسته هایی را که برای ثبت سیستم در دامنه باید نصب شوندرا برمی گرداند مطابق شکل زیر$ sudo realm discover example.comexample.comtype: kerberosrealm-name: EXAMPLE.COMdomain-name: example.comconfigured: noserver-software: active-directoryclient-software: sssdrequired-package: sssd-toolsrequired-package: sssdrequired-package: libnss-sssrequired-package: libpam-sssrequired-package: adclirequired-package: samba-common-binو اما حالا دامنه AD واقعی خود را جایگزین example.com کنید. مرحله 5: Join Ubuntu 20.04|18.04 / Debian 10 To Active Directory (AD)domainبرای اتصال ماشین ی لینوسی به دامنه اکتیو دایرکتوری ویندوز، یک حساب کاربری ادمین AD مورد نیاز است.$ realm join –help$ sudo realm join -U Administrator example.com (نام دامین واقعی )Password for Administrator:و حالا پس از وارد کردن پسورد بایستی به کمک دستور زیر بررسی کنید که خروجی زیر را باید ببینید اگر این خروجی برای شما نمایش داده نشد وضعیت سرویس های زیر را چک کنید$ realm listexample.comtype: kerberosrealm-name: EXAMPLE.COMdomain-name: example.comconfigured: kerberos-memberserver-software: active-directoryclient-software: sssdrequired-package: sssd-toolsrequired-package: sssdrequired-package: libnss-sssrequired-package: libpam-sssrequired-package: adclirequired-package: samba-common-binlogin-formats: %U@example.comlogin-policy: allow-realm-logins........................................................................................................................................$ sudo systemctl status sssd.service sudo: unable to resolve host eniac-tech.local: Name or service not known[sudo] password for bahram: Sorry, try again.[sudo] password for bahram: ● sssd.service - System Security Services Daemon Loaded: loaded (/lib/systemd/system/sssd.service; enabled; vendor preset: enabled) Active: active (running) since Mon 2023-11-20 11:20:11 +0330; 1 day 5h ago Main PID: 6512 (sssd) Tasks: 2 (limit: 18932) Memory: 10.1M CPU: 1.828s CGroup: /system.slice/sssd.service ├─6512 /usr/sbin/sssd -i --logger=files└─6514 /usr/libexec/sssd/sssd_be --domain shadowutils --uid 0 --gid 0 --logger=files---------------------------------------------------------------------------------------------------------------------$ systemctl status realmd.service ● realmd.service - Realm and Domain Configuration Loaded: loaded (/lib/systemd/system/realmd.service; static) Active: active (running)since Tue 2023-11-21 17:19:21 +0330; 1s ago Docs: man:realm(8) man:realmd.conf(5) Main PID: 86861 (realmd) Tasks: 4 (limit: 18932) Memory: 1.5M CPU: 26ms CGroup: /system.slice/realmd.service └─86861 /usr/libexec/realmd.......................................................................................................................................نکته : در توضیع های مبتنی بر RHEL، فهرست اصلی کاربر به طور خودکار ایجاد می شود اما در اوبونتو / دبیان، باید این ویژگی راخودتان فعال کنید.$sudo bash -c "cat > /usr/share/pam-configs/mkhomedir" <را انتخاب کنیداینجا مطمئن شوید که"activate mkhomedir" انتخاب شده است، و باید [*] داشته باشد.سپس را برای ذخیره تغییرات انتخاب کنید. فایل پیکربندی sssd.conf شما در /etc/sssd/sssd.conf قرار دارد. هر زمان که تغییری در فایل ایجاد شد، حتما راه اندازی مجدد لازم است.$ sudo systemctl restart sssd.service ; sudo systemctl status sssd.serviceحالا اگر اتصال درست کار می کند، باید اطلاعات کاربر AD را دریافت کنید.$ id bahramuid=1783929917(bahram@example.com) gid=1784800513(domainusers@example.com) groups=1783870513(domain users@example.com)مرحله 6: Control Access – Limit to user/groupدسترسی به سرور را می‌توان با اجازه دادن به کاربران/و گروه‌های خاص محدود کرد.محدود کردن کاربران:حالا برای اجازه دسترسی کاربر از طریق SSH و کنسول، از دستور استفاده کنید:$ sudo realm permit user1@example.com$ sudo realm permit user2@example.com user3@example.comPermit access to group – Examples$ sudo ream permit -g sysadmins$ sudo realm permit -g 'Security Users'$ sudo realm permit 'Domain Users' 'admin users'خالا این فایل sssd.conf را تغییر می دهیماگر می‌خواهید به همه کاربران اجازه دسترسی بدهید، دستورزیر اجرا کنید:$ sudo realm permit –allویا برای جلوگیری از دسترسی همه کاربران دامنه، ازدستور زیر استفاده کنید$ sudo realm deny –allمرحله 7: Sudo Access را پیکربندی کنیدبه‌طور پیش‌فرض، یوزر دامین ها اجازه افزایش امتیاز به روت را نخواهند داشت. کاربران باید بر اساس نام های کاربری یا گروه ها دسترسی داشته باشند. اجازه دهید ابتدا فایل اعطای مجوز sudo را ایجاد بکنیم.$ sudo vi /etc/sudoers.d/domain_adminsافزودن تک کاربر:user1@example.com ALL=(ALL) ALLحالا کاربر دیگری را اضافه کنید:user1@example.com ALL=(ALL) ALLuser2@example.com ALL=(ALL) ALLحالا اضافه کردن گروه%group1@example.com ALL=(ALL) ALLگروهی با دو یا سه نام اضافه کنید.%security\ users@example.com ALL=(ALL) ALL%system\ super\ admins@example.com ALL=(ALL) ALLمرحله 8: دسترسی SSH را تست کنید .دسترسی به سرور از راه دور به عنوان کاربر در AD مجاز به ورود به سیستم.$ ssh user1@localhostThe authenticity of host 'localhost (::1)' can't be established.ECDSA key fingerprint isSHA256:wmWcLi/lijm4zWbQ/Uf6uLMYzM7g1AnBwxzooqpB5CU.ECDSA key fingerprint isMD5:10:0c:cb:22:fd:28:34:c6:3e:d7:68:15:02:f9:b4:e9.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'localhost' (ECDSA) to the list of known hosts.ودر نهایت این تأیدی است که پیکربندی شما با موفقیت انجام شد است .لطفا برای دیدن سایر مقالات بنده به لینک زیر مراجعه فرمائیدhttps://medium.com/@devops523........................................................................................................................................

Log Management & SIEM

Jamal Mahmoudi — Sun, 05 Nov 2023 13:24:34 +0330

تفاوت بین SIEM و Log Management چیست؟ابزار Log Management چیست؟ابزار Log Management یک چتر است که تمام فعالیت ها و پراسس ها ی مورد استفاده برای تولید ، جمع آوری ، متمرکز کردن ، تجزیه ، انتقال ، ذخیره ، بایگانی و فیلتر حجم عظیمی از داده های لاگ تولید شده توسط رایانه را پوشش می دهد .ابزار Log management tools برای رسیدگی به کلیه لاگ های ایجاد شده توسط اپلیکشن ها ، سیستم ها ، شبکه ها ، نرم افزارها یا کاربران استفاده می شود، البته با روشی که برای شرکت یا سازمان مناسب باشدابزار Log Management نه تنها در بین مدیران سیستم و DevSecOps ها بلکه در بین developers نیز موضوعی محبوب است.این امر به این دلیل است که استفاده از لاگ ها برای ا هداف امنیتی ، تقویت و ارتقائ عملکرد(performance) یا فقط عیب یابی در بسیاری از بخش های دیتاسنتر مهم است ، و ما راجب به چون و چرایی این موضوع بحث خواهیم کرد. بنابراین ، دقیقاً چه موضوعاتی تحت بحث و بررسی Log Management قرار می گیرد؟طبق اسناد ویکی پدیا ، ما می توانیم این قسمت را به شش بخش تقسیم کنیم:● Log collection● Centralized log aggregation● Long-term log storage and retention● Log rotation● Log analysis● Log search and reportingالف: Log Collectionاولین قدم در Log Management تعیین نحوه جمع آوری داده ها و مکان ذخیره آنها است. در واقع لاگ های مربوط به بخشهای مختلف محیط IT از جمله (سیستم عامل ها ، فایروال ها ، سرورها ، سوئیچ ها ، روترها ، و غیره آن هارا تولید می کنند، جمع می کند. این سیستم ها معمولاً ده ها هزار Message را در ثانیه EPS (events per second),را میتوانند از متابع مختلف دریافت ومدیریت و آنالیز کنند .اگر از یک log management solution برای جمع آوری لاگ ها و ترافیک ها استفاده می کنید ، می توانید نوع اطلاعاتی را که می خواهید جمع آوری کنیدرا دقیقا پیکربندی کنید. بهترین روش این است که پیکربندی جمع آوری لاگ ها هر دستگاه را برای کنار گذاشتن و حذف داده های زائد و اطمینان از جمع آوری تمام اطلاعات مربوطه را سفارشی سازی کنید.این رویکرد حداقلی است که عملکرد و کارایی را بهبود می بخشد. روش دیگر برای دستیابی به جمع آوری لاگ های مربوط این است که با یک استراتژی حداکثری تمام اطلاعات ممکن را جمع آوری کنید تا بعداً توسط یک ابزار log management مرتب و تجزیه و تحلیل شود. این روش نکات منفی زیادی دارد ، که می توان آنها را به دو مورد دسته بندی کرد: هزینه و کارایی. ذخیره مقدار زیادی داده هزینه زیادی دارد و همچنین برای انجام این کار به نیروی کار بیشتری نیاز خواهید داشت. هنگام صحبت در مورد کارایی ، ذخیره مجموعه های داده بسیار بزرگ بصورت آنلاین ، عملکرد کلی را کاهش می دهد.ب:Centralized Log Aggregationجمع آوری تمام لاگ ها و تجمیع آنها در یک مکان مشخص ، صرف نظر از منبع آنها ،همانطور که قبلاً اشاره شد ، حجم داده ها یکی از بزرگترین چالشهای این فرآیند است ، اما موارد مهم دیگری نیز وجود دارد که باید مورد توجه قرار گیرند. به عنوان مثال ، مسئله صحت و درستی لاگ وجود دارد. مانند هر اطلاعات جمع آوری شده ، اطلاعات لاگ ممکن است دقیق نباشد یا خیلی تکرار داشته باشد . حتی اگر سیستم Log Management شما بتواند حجم زیادی از داده رامدیریت و اداره کند ، مهم این است که این داده ها با چه سرعتی تولید می شوند. ابزارهای مدیریت log باید بتوانند با این سرعت همگام باشند ، به همین دلیل EPS (Event Per Second) یک ابزار چیزی است که باید هنگام انتخاب آن را در نظر بگیرید. و همچنین سرعت واکشی و فراخوانی لاگ و ترافیک از دیتا بیس هم موضوع مهم ی است که باید مورد توجه قرار کیرد . پ:Long-term log storage and retentionگام بعدی در Log Management ذخیره سازی طولانی مدت و نگهداری لاگ ها است. سوال اصلی که باید در این مرحله پرسید این است که برای چه مدت باید لاگ های مربوط را ذخیره کنید.؟ در حالی که ذخیره ساده لاگ های مربوط به یک مدت نامحدود آسانترین کار است ، بنابراین در صورت نیاز می توانید داده های قدیمی را بازیابی کنید ، ذخیره سازی این داده ها بسیار پرهزینه است ، اما ایمن ترین روش ذخیره لاگ ها برای حداقل یک سال در صورت نیاز به بررسی است .هنگام ذخیره لاگ های مربوط ، می توانید با تهیه نسخه پشتیبان از داده های فیزیکی روی نوار Tape Drive یا دیسک ها ی Storage یا ذخیره آنها در ابر استفاده کنید.. ت:Log Rotation درواقع Log Rotation کمک می کند تا استراتژی های نگهداری و ذخیر دیتای لاگ و ترافیک را مدیریت کنید . می توانید یک فاصله زمانی را انتخاب کنید که پس از آن لاگ حذف شوند ، برای صرفه جویی در فضای ذخیره سازی یا به مکان دیگری ارسال شود.به این ترتیب ، فضای ذخیره سازی جدیدی برای فایل های جدیدتر لاگ باز می شود.ث: تجزیه و تحلیل Logتجزیه و تحلیل لاگ مسلماً یکی از مهمترین بخش های مدیریت log ها است زیرا صرفا جمع آوری و ذخیره داده های لاگ و ترافیک کارآمد نیست اگر از آنها استفاده درست نکنید. ابزارهای Log Management ، فرآیند تجزیه و تحلیل داده های لاگ را خودکار و ساده می کنند ، و روش های پیشرفته ای را برای یافته های خود ارائه می دهند. گزارش تحلیلی از نمودارها ، نقشه ها و تصاویر برای تأکید بر همبستگی ها و شباهت های بین رویدادها و داده ها استفاده می کند ، و باعث می شود تشخیص مسائل و پیگیری علت وقوع آنها ساده تر شود. تاپ ترین موارد استفاده برای تجزیه و تحلیل لاگ شامل انطباق (compliance)، امنیت(security) ، عیب یابی (troubleshooting)و بهبود عملکرد(performance improvement) است ، اما این فقط بخشی از مواردی است که می توان برای استفاده و تجزیه و تحلیل Logها عنوان کرد. در ادامه می خواهیم برخی از این جنبه ها را با جزئیات بیشتری مورد بحث و بررسی قرار دهیم.ج: Log Search and Reportingابزار Log Management Tools با داشتن رویکرد تجمیع و Centralizationو آپشن های جستجوی پیشرفته ، جستجو و ارائه گزارش را تسهیل می کنند. با در نظر گرفتن میزان بزرگ بودن فایل های ورود به سیستم ، درک اینکه چرا ویژگی های جستجو تأثیر زیادی بر کیفیت مدیریت ورود به سیستم دارند دشوار نیست.. جستجوی پیشرفته به شما امکان می دهد تا هر دو گزارش ساختاری و بدون ساختار را بررسی کنید و اطلاعات مربوط به رویدادهای خاصی را که به تعیین علت اصلی کمک می کند را جمع کنید.راه حل های Log Management مجهز به داده کاوی ، استخراج و ... هستند که میتوانید داده های مهم را داشبود و Event های مهم را به تیم های مختلف سازمان به صورت Real Time ارسال کرد و حتی میتوان با تهیه گراف ها و داشبوردها ساده برای افراد غیر فنی تهیه کرد .چرا Log Management؟با توجه به اینکه هر شبکه ای قابل نفوذ و هر فایروال ی قابل دور زدن است ما با راه اندازی سیستم های Log Management و تحلیل لاگ ها و ترافیک ها و کشف رد پاهای آنورمال اقامت Attacker را در شبکه سازمان کاهش میدهیم. استفاده از یک رویکرد سیستماتیک دربحث لاگ ها مزایای بسیاری دارد و اینها مهمترین موارد هستند:● Unified storage● System monitoring and alerts● Improved security● Better troubleshooting● Log file parsing● Data analyticsالف: Unified storageیکی از اصلی ترین مزیت های Log Management در ذخیره سازی یکپارچه نهفته است ، که وقتی در مورد تجمیع متمرکز لاگ صحبت کردیم ، وجود همه لاگ ها در یک مکان (سرور مشخص ) ، هرگونه دسترسی و تحلیل را بسیار ساده تر می کند ، اما مزیت واقعی ذخیره سازی یکپارچه افزایش امنیت سیستم شما است. از آنجا که این فیلد ی است که زمان بین شروع هر نوع تهدید را برای شما می تواند مشخص کند و حتی اگر لاگ از سیستم مبدا حذف شود شما کماکان در سرور مرکزی Log Management آنها را دارید ، ذخیره اطلاعات مهم گزارش با هم سرعت کل روند را افزایش می دهد. لاگ متمرکز همچنین به معنای داشتن اطلاعات لاگ استاندارد است که در هنگام جستجوی اطلاعات از طریق لاگ های مربوط از منابع مختلف ، در زمان صرفه جویی می کند.ب: System monitoring and alertsابزارهای Log Management هشدارهای قابل پیکربندی در زمان واقعی Real Time را ارائه می دهند که به شما این امکان می دهد به محض بروز مشکل واکنش نشان دهید( مخصوصا موارد امنیتی تیم های اختصاصی red teams and blue teams واکنش و اقدام میکنند ) ، این امر در موارد نقض امنیت و نفوذ بسیار ضروری است که هر ثانیه احتمال آسیب بیشتری به سیستم توسط مهاجم وجود دارد . و این بدان معناست که باید SIEM خود را از حالت reactive to proactiveو بالا بردن توانایی های شکار تهدید خود تغییر دهید.تنظیمات نظارت را می توان برای ردیابی رویدادهارا کاملا custom کرد ، که برای امنیت و عیب یابی بسیار مفید است ، شما می توانید فیلترها را تغییر دهید تا فقط در مورد رویدادهای دارای اولویت بالا مطلع شوید ، بنابراین دیگر با اعلان ها ، ایمیل ها و یا پیام های متنی ناخواسته بمباران نمی شوید. این یکی دیگر از مزایای مانیتور بر Log Management است - کانال های مختلفی برای پیام رسانی وجود دارد که می توانید انتخاب کنید تا مطمئن شوید هیچ رویداد مهمی را از دست نمی دهید.ج:بهبود امنیتبه لطف نظارت بلادرنگ بر هشدارها ی سیستم ، محیط دیتاسنتر در برابر حملات هکرها ایمن تر خواهد بود. با انتخاب دقیق نوع رویدادها لاگ و ترافیک ، می توانید امنیت را بیش از پیش تقویت کنید. به عنوان مثال ، Windows Security Log در میان اهداف حمله مورد علاقه هکرها قرار دارد زیرا آنها با تغییر دادن این لاگ سعی می کنند ردیابی مسیرهای خود را بپوشانند و حضور خود را پنهان کنند. با ورود و نظارت بر رویدادهای لاگ و لاگ در Windows Security Log ، می توانید هرگونه رفتار مشکوک را قبل از اینکه خیلی دیر شود ، تشخیص دهید.ت:عیب یابی بهترLog Management به شما امکان کنترل بهتر و دید بلادرنگ از محیط دیتاسنتر و پراسس های که در تجهیزات و وسایل جانبی شما اتفاق می افتد را می دهد ،. یکی از رایج ترین موارد استفاده از Event Log برای شناسایی مشکلات ، عیب یابی شبکه است. هشدارهای بلادرنگ ، زمان مورد نیاز برای تشخیص و رسیدگی به یک مشکل را به میزان قابل توجهی کاهش می دهد ، اما قدرت واقعی ابزارهای Log Management در تجزیه و تحلیل لاگ است. مقدار زیادی از داده های ذخیره شده در لاگ های مربوط در معرض جستجو و تجزیه و تحلیل سفارشی است ، که باعث می شود بازسازی جدول زمانی رویدادهای مشکل ساز ، کشف ارتباط با سایر رویدادها و مشخص کردن منبع مسئله آسان تر شود.ث:Log File Parsingابزار parsing عملا فرآیند تقسیم داده ها به فطعات کوچکتر برای ذخیره سازی و دستکاری را آسان تر می کند . از آنجا که هر فایل لاگ از داده های مختلفی تشکیل شده است ، هدف از تجزیه فایل لاگ شناسایی ساختارهای مشابه و اجازه گروه بندی اطلاعات بر اساس آن ساختارها است. به عنوان مثال ، شناسایی تمام timestamps در یک فایل لاگ و جمع آوری لاگ ها از یک بازه زمانی خاص ، یا پیگیری فعالیت های یک کاربر.چ:Data Analyticsبا پیشرفت علم داده ها ، سازمان ها در حال درک این موضوع هستند که داده های ذخیره شده ممکن است حاوی اطلاعات ارزشمندی باشد. تجزیه و تحلیل داده ها شامل چندین فرآیند مانند پاکسازی و تبدیل داده ها با هدف ایجاد یک مدل داده است که می تواند رفتار خاصی را پیش بینی کند ، که به تصمیم گیری های عملکردی کمک کند یا اطلاعات جدیدی ارائه دهد. به عنوان مثال ، تجزیه و تحلیل گزارش مشتری از یک کسب و کار می تواند رفتار خاصی را پیش بینی کند (به عنوان مثال: بررسی تعدادسرویس های API سازمان آپ و دان بودن هر API و بررسی API auth و همچنین تعداد درخواست های موفق و ناموفق از هر API و صدها گزارش ریز و درشت از وضعیت سرویس دهی سازمانLog Management for Developers & sysadminهنگام نوشتن کد ، Developers ها و تیم های DevOps اغلب به گزارش های لاگ اعتماد می کنند تا بفهمند و Exception Type و Bug ها دقیقا در کجا رخ داده . مسلما اشکال زدایی ، نظارت بر خطاها و عیب یابی بخش اساسی توسعه نرم افزار چه در زمان انتشار و چه بعد از انتشار است.از طریق استفاده از برنامه های Log Management، این فرایند دشوار اغلب می تواند آسان و اتواتیک شود و به جای اینکه منابع ارزشمند و تلاش برای پیدا کردن آنها صرف شود ، برای Developers وقت بیشتری برای حل کردن اشکالات باقی می ماند.مدیران سیستم (Sysadmins)وظیفه دارند بر نحوه عملکرد سیستم های رایانه ای و سرورها نظارت کرده و از پیکربندی بهینه تجهیزاات و ... اطمینان حاصل کنند. بنابراین ، استفاده از مدیریت ثبت وقایع متمرکز برای کار آنها حیاتی است و به آنها این امکان را می دهد تا هنگام رشد سریع مسائل را شناسایی و تحلیل کنند. آنها با جمع آوری و بررسی لاگ ها ی مربوط ، آنها می دانند که سیستم ها چگونه به طور عادی کار می کنند و وقتی متوجه می شوند اتفاق غیرقانونی در حال وقوع است ، چگونه می توانند واکنش نشان دهند. برای سرپرستان سیستم ، این لاگ ها اولین خط دفاع در برابر هرگونه بی نظمی است ، بنابراین مدیریت log ها روش متدولوژیکی بهتر و دقیق تری را برای کار خود فراهم می کند.Log Management and Securityدر کل IT Security به دلیل ماهیت خود ، باید بسیار منعطف و فعال باشد ، زیرا حملاتی که حفاظت از داده ها را به خطر می اندازند روزانه تکامل می یابند و شناسایی آنها پیچیده و غلبه بر آنها دشوارتر است .این اقدامات شامل واکنش های به موقع - غالباً بلادرنگ - بنابراین تجزیه و تحلیل وقایع لاگ ، همزمان با تلاش برای نقض امنیت ، می تواند شما را نسبت به حفره ها و سوءاستفاده های احتمالی در راه اندازی شما هشدار دهد.صرف نظر از اندازه سازمان یا شرکت ، همه نگرانی های امنیتی دارند و دلایل خوبی هم دارند.درواقع Log Management راه دیگری از محافظت در برابر حملات ناخواسته و سرقت اطلاعات است.ابزار Log Management بصورت مداوام ۲۴/۷ سیستم های شما را رصد می کند ، بنابراین ادمین ها و متخصصان امنیت سایبری می توانند به محض مشاهده هرگونه نقض امنیتی احتمالی و خطرات مربوط را به سرعت پاسخ دهند .به کمک لاگ ها و ترافیک ها در واقع اقدامات امنیتی پیشگیرانه منسجم خواهند شد - آنها می توانند به شما در یافتن مشکلات امنیتی کمک کنند قبل از اینکه دامنه خرابی گسترش و آسیب ها جدی شود که اغلب غیر قابل جبران هستند .راه حل SIEM باید شامل چه مواردی باشد؟پاسخ این سوال بسیار ساده است:هر SIEM Solutionباید روش مشخص و روشنی برای ارائه داده های جمع آوری شده و راحتی ادمین (و تحلیلگران امنیتی و سایر تیم های ITسازمان ) داشته باشد.درواقع SIEM ها باید موارد زیر را انجام دهند:Correlate security eventsStore accumulated dataHave forensic search capabilitiesSound the alarm when necessaryHave a reporting featureHave machine learning capabilities سازمانهای که فقط از SIEM استفاده می کنند ، اطلاعات ارزشمندی را از دست میدهند ، زیرا اکثر ابزارهای SIEM بر Event ID Security تمرکز دارند و عملا سایر لاگ ها را دراپ میکنند و همچنین فروشندگان SIEM اغلب به دلیل سیاست ها و مدل های قیمت گذاری مشتری (سازمان) را مجبور میکنند تا میزان و نوع جمع آوری اطلاعات ( لاگ و ترافیک ) را محدود کنند و سازمان شما را در معرض آسیب پذیری بیشتر قرار می دهد، زیرا همبستگی و جستجوی داده ها برای نقض احتمالی ، مدت زمان بیشتری طول می کشد.اما راه حل Log management solutions تمامی لاگ ها و ترافیک را از منابع مختلف دیتا سنتر ( اعم از سیستم عامل ها ، سرویس ها ، دیتا بیس ها ، تجهیزات امنیتی و غیر امنیتی و ... را در یک مکان واحد و متمرکز جمع آوری و ذخیره می کنند.این توانایی اضافی به تیم شما امکان می دهد در هنگام بررسی تهدیدات احتمالی یا تعیین روش های پیشگیری از مشکلات امنیتی آینده ، بینش عمیق تری داشته و به سرعت سریعتر به کلیه داده های مرتبط دسترسی پیدا کند.نتیجهقطعا برای مدیریت بهتر همه ی بخش های دیتا سنتر وجود سرویس Log Management ضروری است و همه ما می دانیم که هیچ سلاح جهانی برای مقابله با مسائل امنیتی امروز وجود ندارد. کسانی که برای نفوذ به شبکه ، وب سایت یا سرور شما قاطع و مصمم هستند ، قطعا فقط یک روش را امتحان نمی کنند و زود منصرف نمی شوند --- آنها سعی می کنند راه های جدیدی را برای ورود به شبکه و فایروال شما پیدا کنند و اطلاعات حیاتی مورد نظر خود را بدست آورند. با این وجود ، داشتن جعبه ابزار مناسبLog Management & SIEM در اختیار شما می تواند این نبرد دیجیتال یا ماندن در صدررا حفظ و ارتقاء دهد .توجه :برای نصب و راه اندازی سرور (Log Management ) Graylog و همچنین جهت متمرکز کردن لاگ ها ی کلاستر کوبرنت یا داکر سوارم به مقاله ی بنده در لینک زیر مراجعه فرمایید .https://medium.com/@devops523/centralize-logs-kubernetes-cluster-in-to-graylog-server-with-fluent-bit-log-collector-26c22e1b21f1لطفا جهت حمایت لایک و فالوو را فراموش نفرمایید .