Log Management & SIEM

تفاوت بین SIEM و Log Management چیست؟

ابزار Log Management چیست؟

ابزار Log Management یک چتر است که تمام فعالیت ها و پراسس ها ی مورد استفاده برای تولید ، جمع آوری ، متمرکز کردن ، تجزیه ، انتقال ، ذخیره ، بایگانی و فیلتر حجم عظیمی از داده های لاگ تولید شده توسط رایانه را پوشش می دهد .

ابزار Log management tools برای رسیدگی به کلیه لاگ های ایجاد شده توسط اپلیکشن ها ، سیستم ها ، شبکه ها ، نرم افزارها یا کاربران استفاده می شود، البته با روشی که برای شرکت یا سازمان مناسب باشد

ابزار Log Management نه تنها در بین مدیران سیستم و DevSecOps ها بلکه در بین developers نیز موضوعی محبوب است.

این امر به این دلیل است که استفاده از لاگ ها برای ا هداف امنیتی ، تقویت و ارتقائ عملکرد(performance) یا فقط عیب یابی در بسیاری از بخش های دیتاسنتر مهم است ، و ما راجب به چون و چرایی این موضوع بحث خواهیم کرد. بنابراین ، دقیقاً چه موضوعاتی تحت بحث و بررسی Log Management قرار می گیرد؟

طبق اسناد ویکی پدیا ، ما می توانیم این قسمت را به شش بخش تقسیم کنیم:

● Log collection

● Centralized log aggregation

● Long-term log storage and retention

● Log rotation

● Log analysis

● Log search and reporting

الف: Log Collection

اولین قدم در Log Management تعیین نحوه جمع آوری داده ها و مکان ذخیره آنها است. در واقع لاگ های مربوط به بخشهای مختلف محیط IT از جمله (سیستم عامل ها ، فایروال ها ، سرورها ، سوئیچ ها ، روترها ، و غیره آن هارا تولید می کنند، جمع می کند. این سیستم ها معمولاً ده ها هزار Message را در ثانیه EPS (events per second),را میتوانند از متابع مختلف دریافت ومدیریت و آنالیز کنند .

اگر از یک log management solution برای جمع آوری لاگ ها و ترافیک ها استفاده می کنید ، می توانید نوع اطلاعاتی را که می خواهید جمع آوری کنیدرا دقیقا پیکربندی کنید. بهترین روش این است که پیکربندی جمع آوری لاگ ها هر دستگاه را برای کنار گذاشتن و حذف داده های زائد و اطمینان از جمع آوری تمام اطلاعات مربوطه را سفارشی سازی کنید.این رویکرد حداقلی است که عملکرد و کارایی را بهبود می بخشد. روش دیگر برای دستیابی به جمع آوری لاگ های مربوط این است که با یک استراتژی حداکثری تمام اطلاعات ممکن را جمع آوری کنید تا بعداً توسط یک ابزار log management مرتب و تجزیه و تحلیل شود. این روش نکات منفی زیادی دارد ، که می توان آنها را به دو مورد دسته بندی کرد: هزینه و کارایی. ذخیره مقدار زیادی داده هزینه زیادی دارد و همچنین برای انجام این کار به نیروی کار بیشتری نیاز خواهید داشت. هنگام صحبت در مورد کارایی ، ذخیره مجموعه های داده بسیار بزرگ بصورت آنلاین ، عملکرد کلی را کاهش می دهد.

ب:Centralized Log Aggregation

جمع آوری تمام لاگ ها و تجمیع آنها در یک مکان مشخص ، صرف نظر از منبع آنها ،همانطور که قبلاً اشاره شد ، حجم داده ها یکی از بزرگترین چالشهای این فرآیند است ، اما موارد مهم دیگری نیز وجود دارد که باید مورد توجه قرار گیرند. به عنوان مثال ، مسئله صحت و درستی لاگ وجود دارد. مانند هر اطلاعات جمع آوری شده ، اطلاعات لاگ ممکن است دقیق نباشد یا خیلی تکرار داشته باشد . حتی اگر سیستم Log Management شما بتواند حجم زیادی از داده رامدیریت و اداره کند ، مهم این است که این داده ها با چه سرعتی تولید می شوند. ابزارهای مدیریت log باید بتوانند با این سرعت همگام باشند ، به همین دلیل EPS (Event Per Second) یک ابزار چیزی است که باید هنگام انتخاب آن را در نظر بگیرید. و همچنین سرعت واکشی و فراخوانی لاگ و ترافیک از دیتا بیس هم موضوع مهم ی است که باید مورد توجه قرار کیرد .

پ:Long-term log storage and retention

گام بعدی در Log Management ذخیره سازی طولانی مدت و نگهداری لاگ ها است. سوال اصلی که باید در این مرحله پرسید این است که برای چه مدت باید لاگ های مربوط را ذخیره کنید.؟

در حالی که ذخیره ساده لاگ های مربوط به یک مدت نامحدود آسانترین کار است ، بنابراین در صورت نیاز می توانید داده های قدیمی را بازیابی کنید ، ذخیره سازی این داده ها بسیار پرهزینه است ، اما ایمن ترین روش ذخیره لاگ ها برای حداقل یک سال در صورت نیاز به بررسی است .هنگام ذخیره لاگ های مربوط ، می توانید با تهیه نسخه پشتیبان از داده های فیزیکی روی نوار Tape Drive یا دیسک ها ی Storage یا ذخیره آنها در ابر استفاده کنید..

ت:Log Rotation

درواقع Log Rotation کمک می کند تا استراتژی های نگهداری و ذخیر دیتای لاگ و ترافیک را مدیریت کنید . می توانید یک فاصله زمانی را انتخاب کنید که پس از آن لاگ حذف شوند ، برای صرفه جویی در فضای ذخیره سازی یا به مکان دیگری ارسال شود.به این ترتیب ، فضای ذخیره سازی جدیدی برای فایل های جدیدتر لاگ باز می شود.

ث: تجزیه و تحلیل Log

تجزیه و تحلیل لاگ مسلماً یکی از مهمترین بخش های مدیریت log ها است زیرا صرفا جمع آوری و ذخیره داده های لاگ و ترافیک کارآمد نیست اگر از آنها استفاده درست نکنید. ابزارهای Log Management ، فرآیند تجزیه و تحلیل داده های لاگ را خودکار و ساده می کنند ، و روش های پیشرفته ای را برای یافته های خود ارائه می دهند. گزارش تحلیلی از نمودارها ، نقشه ها و تصاویر برای تأکید بر همبستگی ها و شباهت های بین رویدادها و داده ها استفاده می کند ، و باعث می شود تشخیص مسائل و پیگیری علت وقوع آنها ساده تر شود.
تاپ ترین موارد استفاده برای تجزیه و تحلیل لاگ شامل انطباق (compliance)، امنیت(security) ، عیب یابی (troubleshooting)و بهبود عملکرد(performance improvement) است ، اما این فقط بخشی از مواردی است که می توان برای استفاده و تجزیه و تحلیل Logها عنوان کرد. در ادامه می خواهیم برخی از این جنبه ها را با جزئیات بیشتری مورد بحث و بررسی قرار دهیم.

ج: Log Search and Reporting

ابزار Log Management Tools با داشتن رویکرد تجمیع و Centralizationو آپشن های جستجوی پیشرفته ، جستجو و ارائه گزارش را تسهیل می کنند. با در نظر گرفتن میزان بزرگ بودن فایل های ورود به سیستم ، درک اینکه چرا ویژگی های جستجو تأثیر زیادی بر کیفیت مدیریت ورود به سیستم دارند دشوار نیست.. جستجوی پیشرفته به شما امکان می دهد تا هر دو گزارش ساختاری و بدون ساختار را بررسی کنید و اطلاعات مربوط به رویدادهای خاصی را که به تعیین علت اصلی کمک می کند را جمع کنید.

راه حل های Log Management مجهز به داده کاوی ، استخراج و ... هستند که میتوانید داده های مهم را داشبود و Event های مهم را به تیم های مختلف سازمان به صورت Real Time ارسال کرد و حتی میتوان با تهیه گراف ها و داشبوردها ساده برای افراد غیر فنی تهیه کرد .

چرا Log Management؟

با توجه به اینکه هر شبکه ای قابل نفوذ و هر فایروال ی قابل دور زدن است ما با راه اندازی سیستم های Log Management و تحلیل لاگ ها و ترافیک ها و کشف رد پاهای آنورمال اقامت Attacker را در شبکه سازمان کاهش میدهیم.

استفاده از یک رویکرد سیستماتیک دربحث لاگ ها مزایای بسیاری دارد و اینها مهمترین موارد هستند:

● Unified storage

● System monitoring and alerts

● Improved security

● Better troubleshooting

● Log file parsing

● Data analytics

الف: Unified storage

یکی از اصلی ترین مزیت های Log Management در ذخیره سازی یکپارچه نهفته است ، که وقتی در مورد تجمیع متمرکز لاگ صحبت کردیم ، وجود همه لاگ ها در یک مکان (سرور مشخص ) ، هرگونه دسترسی و تحلیل را بسیار ساده تر می کند ، اما مزیت واقعی ذخیره سازی یکپارچه افزایش امنیت سیستم شما است. از آنجا که این فیلد ی است که زمان بین شروع هر نوع تهدید را برای شما می تواند مشخص کند و حتی اگر لاگ از سیستم مبدا حذف شود شما کماکان در سرور مرکزی Log Management آنها را دارید ، ذخیره اطلاعات مهم گزارش با هم سرعت کل روند را افزایش می دهد. لاگ متمرکز همچنین به معنای داشتن اطلاعات لاگ استاندارد است که در هنگام جستجوی اطلاعات از طریق لاگ های مربوط از منابع مختلف ، در زمان صرفه جویی می کند.

ب: System monitoring and alerts

ابزارهای Log Management هشدارهای قابل پیکربندی در زمان واقعی Real Time را ارائه می دهند که به شما این امکان می دهد به محض بروز مشکل واکنش نشان دهید( مخصوصا موارد امنیتی تیم های اختصاصی red teams and blue teams واکنش و اقدام میکنند ) ، این امر در موارد نقض امنیت و نفوذ بسیار ضروری است که هر ثانیه احتمال آسیب بیشتری به سیستم توسط مهاجم وجود دارد . و این بدان معناست که باید SIEM خود را از حالت reactive to proactiveو بالا بردن توانایی های شکار تهدید خود تغییر دهید.
تنظیمات نظارت را می توان برای ردیابی رویدادهارا کاملا custom کرد ، که برای امنیت و عیب یابی بسیار مفید است ، شما می توانید فیلترها را تغییر دهید تا فقط در مورد رویدادهای دارای اولویت بالا مطلع شوید ، بنابراین دیگر با اعلان ها ، ایمیل ها و یا پیام های متنی ناخواسته بمباران نمی شوید. این یکی دیگر از مزایای مانیتور بر Log Management است - کانال های مختلفی برای پیام رسانی وجود دارد که می توانید انتخاب کنید تا مطمئن شوید هیچ رویداد مهمی را از دست نمی دهید.

ج:بهبود امنیت

به لطف نظارت بلادرنگ بر هشدارها ی سیستم ، محیط دیتاسنتر در برابر حملات هکرها ایمن تر خواهد بود. با انتخاب دقیق نوع رویدادها لاگ و ترافیک ، می توانید امنیت را بیش از پیش تقویت کنید. به عنوان مثال ، Windows Security Log در میان اهداف حمله مورد علاقه هکرها قرار دارد زیرا آنها با تغییر دادن این لاگ سعی می کنند ردیابی مسیرهای خود را بپوشانند و حضور خود را پنهان کنند. با ورود و نظارت بر رویدادهای لاگ و لاگ در Windows Security Log ، می توانید هرگونه رفتار مشکوک را قبل از اینکه خیلی دیر شود ، تشخیص دهید.

ت:عیب یابی بهتر

Log Management به شما امکان کنترل بهتر و دید بلادرنگ از محیط دیتاسنتر و پراسس های که در تجهیزات و وسایل جانبی شما اتفاق می افتد را می دهد ،. یکی از رایج ترین موارد استفاده از Event Log برای شناسایی مشکلات ، عیب یابی شبکه است. هشدارهای بلادرنگ ، زمان مورد نیاز برای تشخیص و رسیدگی به یک مشکل را به میزان قابل توجهی کاهش می دهد ، اما قدرت واقعی ابزارهای Log Management در تجزیه و تحلیل لاگ است. مقدار زیادی از داده های ذخیره شده در لاگ های مربوط در معرض جستجو و تجزیه و تحلیل سفارشی است ، که باعث می شود بازسازی جدول زمانی رویدادهای مشکل ساز ، کشف ارتباط با سایر رویدادها و مشخص کردن منبع مسئله آسان تر شود.

ث:Log File Parsing

ابزار parsing عملا فرآیند تقسیم داده ها به فطعات کوچکتر برای ذخیره سازی و دستکاری را آسان تر می کند . از آنجا که هر فایل لاگ از داده های مختلفی تشکیل شده است ، هدف از تجزیه فایل لاگ شناسایی ساختارهای مشابه و اجازه گروه بندی اطلاعات بر اساس آن ساختارها است. به عنوان مثال ، شناسایی تمام timestamps در یک فایل لاگ و جمع آوری لاگ ها از یک بازه زمانی خاص ، یا پیگیری فعالیت های یک کاربر.

چ:Data Analytics

با پیشرفت علم داده ها ، سازمان ها در حال درک این موضوع هستند که داده های ذخیره شده ممکن است حاوی اطلاعات ارزشمندی باشد. تجزیه و تحلیل داده ها شامل چندین فرآیند مانند پاکسازی و تبدیل داده ها با هدف ایجاد یک مدل داده است که می تواند رفتار خاصی را پیش بینی کند ، که به تصمیم گیری های عملکردی کمک کند یا اطلاعات جدیدی ارائه دهد. به عنوان مثال ، تجزیه و تحلیل گزارش مشتری از یک کسب و کار می تواند رفتار خاصی را پیش بینی کند (به عنوان مثال: بررسی تعدادسرویس های API سازمان آپ و دان بودن هر API و بررسی API auth و همچنین تعداد درخواست های موفق و ناموفق از هر API و صدها گزارش ریز و درشت از وضعیت سرویس دهی سازمان

Log Management for Developers & sysadmin

هنگام نوشتن کد ، Developers ها و تیم های DevOps اغلب به گزارش های لاگ اعتماد می کنند تا بفهمند و Exception Type و Bug ها دقیقا در کجا رخ داده . مسلما اشکال زدایی ، نظارت بر خطاها و عیب یابی بخش اساسی توسعه نرم افزار چه در زمان انتشار و چه بعد از انتشار است.
از طریق استفاده از برنامه های Log Management، این فرایند دشوار اغلب می تواند آسان و اتواتیک شود و به جای اینکه منابع ارزشمند و تلاش برای پیدا کردن آنها صرف شود ، برای Developers وقت بیشتری برای حل کردن اشکالات باقی می ماند.

مدیران سیستم (Sysadmins)وظیفه دارند بر نحوه عملکرد سیستم های رایانه ای و سرورها نظارت کرده و از پیکربندی بهینه تجهیزاات و ... اطمینان حاصل کنند. بنابراین ، استفاده از مدیریت ثبت وقایع متمرکز برای کار آنها حیاتی است و به آنها این امکان را می دهد تا هنگام رشد سریع مسائل را شناسایی و تحلیل کنند. آنها با جمع آوری و بررسی لاگ ها ی مربوط ، آنها می دانند که سیستم ها چگونه به طور عادی کار می کنند و وقتی متوجه می شوند اتفاق غیرقانونی در حال وقوع است ، چگونه می توانند واکنش نشان دهند. برای سرپرستان سیستم ، این لاگ ها اولین خط دفاع در برابر هرگونه بی نظمی است ، بنابراین مدیریت log ها روش متدولوژیکی بهتر و دقیق تری را برای کار خود فراهم می کند.

Log Management and Security

در کل IT Security به دلیل ماهیت خود ، باید بسیار منعطف و فعال باشد ، زیرا حملاتی که حفاظت از داده ها را به خطر می اندازند روزانه تکامل می یابند و شناسایی آنها پیچیده و غلبه بر آنها دشوارتر است .این اقدامات شامل واکنش های به موقع - غالباً بلادرنگ - بنابراین تجزیه و تحلیل وقایع لاگ ، همزمان با تلاش برای نقض امنیت ، می تواند شما را نسبت به حفره ها و سوءاستفاده های احتمالی در راه اندازی شما هشدار دهد.
صرف نظر از اندازه سازمان یا شرکت ، همه نگرانی های امنیتی دارند و دلایل خوبی هم دارند.

درواقع Log Management راه دیگری از محافظت در برابر حملات ناخواسته و سرقت اطلاعات است.

ابزار Log Management بصورت مداوام ۲۴/۷ سیستم های شما را رصد می کند ، بنابراین ادمین ها و متخصصان امنیت سایبری می توانند به محض مشاهده هرگونه نقض امنیتی احتمالی و خطرات مربوط را به سرعت پاسخ دهند .

به کمک لاگ ها و ترافیک ها در واقع اقدامات امنیتی پیشگیرانه منسجم خواهند شد - آنها می توانند به شما در یافتن مشکلات امنیتی کمک کنند قبل از اینکه دامنه خرابی گسترش و آسیب ها جدی شود که اغلب غیر قابل جبران هستند .

راه حل SIEM باید شامل چه مواردی باشد؟

پاسخ این سوال بسیار ساده است:
هر SIEM Solutionباید روش مشخص و روشنی برای ارائه داده های جمع آوری شده و راحتی ادمین (و تحلیلگران امنیتی و سایر تیم های ITسازمان ) داشته باشد.

درواقع SIEM ها باید موارد زیر را انجام دهند:

• Correlate security events
• Store accumulated data
• Have forensic search capabilities
• Sound the alarm when necessary
• Have a reporting feature
• Have machine learning capabilities

سازمانهای که فقط از SIEM استفاده می کنند ، اطلاعات ارزشمندی را از دست میدهند ، زیرا اکثر ابزارهای SIEM بر Event ID Security تمرکز دارند و عملا سایر لاگ ها را دراپ میکنند و همچنین فروشندگان SIEM اغلب به دلیل سیاست ها و مدل های قیمت گذاری مشتری (سازمان) را مجبور میکنند تا میزان و نوع جمع آوری اطلاعات ( لاگ و ترافیک ) را محدود کنند و سازمان شما را در معرض آسیب پذیری بیشتر قرار می دهد، زیرا همبستگی و جستجوی داده ها برای نقض احتمالی ، مدت زمان بیشتری طول می کشد.

اما راه حل Log management solutions تمامی لاگ ها و ترافیک را از منابع مختلف دیتا سنتر ( اعم از سیستم عامل ها ، سرویس ها ، دیتا بیس ها ، تجهیزات امنیتی و غیر امنیتی و ... را در یک مکان واحد و متمرکز جمع آوری و ذخیره می کنند.

این توانایی اضافی به تیم شما امکان می دهد در هنگام بررسی تهدیدات احتمالی یا تعیین روش های پیشگیری از مشکلات امنیتی آینده ، بینش عمیق تری داشته و به سرعت سریعتر به کلیه داده های مرتبط دسترسی پیدا کند.

نتیجه

قطعا برای مدیریت بهتر همه ی بخش های دیتا سنتر وجود سرویس Log Management ضروری است و همه ما می دانیم که هیچ سلاح جهانی برای مقابله با مسائل امنیتی امروز وجود ندارد. کسانی که برای نفوذ به شبکه ، وب سایت یا سرور شما قاطع و مصمم هستند ، قطعا فقط یک روش را امتحان نمی کنند و زود منصرف نمی شوند --- آنها سعی می کنند راه های جدیدی را برای ورود به شبکه و فایروال شما پیدا کنند و اطلاعات حیاتی مورد نظر خود را بدست آورند. با این وجود ، داشتن جعبه ابزار مناسبLog Management & SIEM در اختیار شما می تواند این نبرد دیجیتال یا ماندن در صدررا حفظ و ارتقاء دهد .

توجه :

برای نصب و راه اندازی سرور (Log Management ) Graylog و همچنین جهت متمرکز کردن لاگ ها ی کلاستر کوبرنت یا داکر سوارم به مقاله ی بنده در لینک زیر مراجعه فرمایید .

https://medium.com/@devops523/centralize-logs-kubernetes-cluster-in-to-graylog-server-with-fluent-bit-log-collector-26c22e1b21f1

لطفا جهت حمایت لایک و فالوو را فراموش نفرمایید .