در این پست قصد داریم که با مفهوم LOG MANAGEMENT، مزایا و معایب آن، اهمیت آن و شرکت‌هایی که در ایران این خدمات را محیا می‌کنند، صحبت کنیم. همچنین در این پست قصد داریم که ابزارهای موجود و معروف در این زمینه را معرفی کینم.
در دنیای محاسبات، لاگ فایلی است که هر بار که رویدادهای خاصی در سیستم شما رخ می دهد، به طور خودکار تولید می شود. فایل‌های گزارش معمولاً دارای مهر زمانی هستند و ممکن است عملاً هر چیزی را که در پشت صحنه در سیستم‌عامل‌ها یا برنامه‌های نرم‌افزاری اتفاق می‌افتد ضبط کنند. به طور خلاصه، آنها هر چیزی را که سرور، شبکه، سیستم‌عامل یا برنامه فکر می‌کند برای پیگیری مهم است، ضبط می‌کنند. گزارش‌ها می‌توانند انواع رویدادها را از جمله پیام‌ها و تراکنش‌هایی که بین کاربران مختلف رخ می‌دهد، آنچه در حین پشتیبان‌گیری اتفاق افتاده، خطاهایی که اجرای برنامه را متوقف کرده است یا فایل‌هایی که توسط کاربران از یک وب‌سایت درخواست شده است، مستند کنند.
انواع مختلفی از گزارش وجود دارد: برخی از آنها را می توان توسط انسان باز کرد و خواند، در حالی که برخی دیگر برای اهداف ممیزی نگهداری می شوند که توسط انسان قابل خواندن نیستند. گزارش‌های حسابرسی، گزارش‌های تراکنش، گزارش‌های رویداد، گزارش‌های خطا، گزارش‌های پیام تنها نمونه‌هایی از فایل‌های گزارش مختلف هستند - هر کدام هدف متفاوتی را دنبال می‌کنند. آنها در طیف گسترده ای از پسوندها، مانند .log، .txt یا پسوندهای اختصاصی مختلف وجود دارند. بسته به پسوند و خوانایی، می توان آنها را با یک ویرایشگر متن استاندارد (مانند Notepad) یا برنامه پردازش کلمه (OpenOffice یا (Microsoft Word) باز کرد یا ممکن است نیاز به باز کردن برنامه های خاصی داشته باشد.
ابزارهای مدیریت لاگ مانندGraylog را می توان برای ورود گزارش های دریافتی از برنامه ها یا سیستم های مختلف، مشاهده آنها و استخراج داده های مفید از آنها استفاده کرد.
مدیریت لاگ یک اصطلاح جامع است که تمام فعالیت‌ها و فرآیندهای مورد استفاده برای تولید، جمع‌آوری، متمرکز کردن، تجزیه، انتقال، ذخیره، بایگانی و دفع حجم عظیمی از داده‌های لاگ تولید شده توسط رایانه را توصیف می‌کند. ابزارهای مدیریت لاگ برای رسیدگی به تمام لاگ های تولید شده توسط برنامه‌ها، سیستم‌ها، شبکه‌ها، نرم‌افزارها یا کاربران و برخورد با آنها به هر نحوی که به بهترین وجه با نیازهای یک سازمان یا سازمان سازگار باشد، استفاده می‌شود. مدیریت لاگ یک موضوع محبوب نه تنها در بین مدیران سیستم و SecOps بلکه در بین توسعه دهندگان است. این به این دلیل است که استفاده از لاگ‌ها برای اهداف امنیتی، بهبود عملکرد یا فقط عیب‌یابی در بسیاری از بخش‌های فناوری اطلاعات و نقش‌های شغلی گسترده است، و ما درباره چرایی و چگونگی آن بحث خواهیم کرد. بنابراین، دقیقاً چه چیزی تحت مدیریت ورود به سیستم قرار می گیرد؟
طبق ویکی‌پدیا، می‌توانیم این فیلد را به شش بخش تقسیم کنیم:
اولین قدم در مدیریت لاگ ، تعیین نحوه جمع آوری داده های لاگ و محل ذخیره آن است. لاگ های شما داده‌ها را از بخش‌های مختلف محیط فناوری اطلاعات جمع‌آوری می‌کنند: سیستم‌عامل، فایروال‌ها، سرورها، سوئیچ‌ها، روترها، و غیره. وقتی صحبت از ذخیره‌سازی به میان می‌آید، سیستم‌های امنیتی مانند فایروال و سیستم‌های تشخیص نفوذ از نظر حجم داده‌ها بیشترین تقاضا را دارند. آن ها تولید می کنند. این سیستم‌ها معمولاً ده‌ها EPS (رویداد در ثانیه) تولید می‌کنند که به یک جمع‌آوری گزارش نیاز دارد که بتواند مقدار متناظری از گزارش‌ها را مدیریت کند.
اگر از راه حل مدیریت لاگ برای جمع آوری لاگ استفاده می کنید، می توانید نوع اطلاعاتی را که می خواهید جمع آوری کنید پیکربندی کنید. بهترین روش این است که تنظیمات مجموعه لاگ هر دستگاه را سفارشی کنید تا داده های اضافی را کنار بگذارید و اطمینان حاصل کنید که تمام اطلاعات مرتبط را جمع آوری می کنید. این رویکرد مینیمالیستی است که عملکرد و کارایی را بهبود می بخشد. راه دیگر برای نزدیک شدن به جمع‌آوری لاگ، استفاده از یک استراتژی حداکثری و جمع‌آوری تمام اطلاعات ممکن است تا بعداً توسط یک ابزار مدیریت لاگ، مرتب‌سازی و تجزیه و تحلیل شود. این روش معایب زیادی دارد، اما می توان آنها را به دو مورد کاهش داد: هزینه و کارایی. ذخیره حجم زیادی از داده ها هزینه زیادی دارد و همچنین برای انجام این کار به نیروی کار بیشتری نیاز خواهید داشت. هنگامی که در مورد کارایی صحبت می شود، داشتن مجموعه داده های بسیار بزرگ ذخیره شده به صورت آنلاین باعث کاهش عملکرد کلی می شود.
تجمیع لاگ متمرکز فرآیندی است که در آن همه لاگ‌ها بدون توجه به منبع آنها در یک مکان جمع‌آوری می‌شوند. همانطور که قبلا ذکر شد، حجم داده ها یکی از بزرگترین چالش ها در این فرآیند است، اما مسائل مهم دیگری نیز وجود دارد که باید در نظر گرفته شود. مثلاً بحث صحت وجود دارد. مانند هر اطلاعات جمع آوری شده، داده های لاگ ممکن است دقیق نباشند. حتی اگر سیستم مدیریت لاگ شما بتواند حجم زیادی از داده ها را مدیریت کند، آنچه اهمیت دارد سرعت تولید این داده ها است. ابزارهای مدیریت لاگ باید بتوانند با این سرعت همگام شوند، به همین دلیل است که EPS یک ابزار چیزی است که باید هنگام انتخاب آن در نظر بگیرید.
در نهایت، هیچ لاگی با فرمت یکپارچه وجود ندارد که در هنگام جمع‌آوری گزارش‌ها از منابع مختلف، چالش ایجاد می‌کند. فرآیند نرمال‌سازی تمام گزارش‌های دریافتی را می‌گیرد و آنها را به یک خروجی مشترک تبدیل می‌کند تا اطلاعات درون لاگ‌ها راحت‌تر تجزیه و تحلیل شوند.
گام بعدی در مدیریت لاگ، ذخیره و نگهداری لاگ طولانی مدت است. سوال اصلی در این مرحله این است که چه مدت باید لاگ ها را ذخیره کنید. در حالی که آسان‌ترین راه برای ذخیره‌سازی لاگ‌ها برای مدت نامحدود است تا در صورت نیاز بتوانید داده‌های قدیمی را بازیابی کنید، ذخیره این مقدار داده بسیار پرهزینه خواهد بود، امن‌ترین راه برای انجام این کار پیروی از بهترین شیوه‌ها و مقررات صنعت است. در صورت نیاز به بررسی، داده های لاگ را حداقل برای یک سال ذخیره می کند.
چرخش لاگ با تغییر نام خودکار، تغییر اندازه، جابجایی یا حذف فایل‌های لاگ که خیلی بزرگ یا خیلی قدیمی هستند، به رفع مشکلات در مرحله قبل کمک می‌کند. می‌توانید فاصله زمانی را انتخاب کنید که پس از آن لاگ حذف شود، برای صرفه‌جویی در فضا فشرده شود، یا به مکان دیگری ایمیل شود. به این ترتیب، فضای ذخیره سازی جدیدی برای فایل های لاگ جدیدتر باز می شود.
تجزیه و تحلیل لاگ بدون شک یکی از مهمترین بخش های مدیریت لاگ است زیرا جمع آوری و ذخیره داده های لاگ هیچ معنایی ندارد اگر بخواهید از آن استفاده نکنید. ابزارهای مدیریت لاگ فرآیند تجزیه و تحلیل داده های لاگ را خودکار و ساده می کنند و راه های پیشرفته ای برای ارائه یافته های شما ارائه می دهند. گزارش تجزیه و تحلیل از نمودارها، نمودارها و سایر تصاویر برای تأکید بر همبستگی ها و شباهت های بین رویدادها و داده ها استفاده می کند و تشخیص مسائل و ردیابی علل آنها را آسان تر می کند. موارد استفاده برتر برای تجزیه و تحلیل گزارش شامل انطباق، امنیت، عیب یابی و بهبود عملکرد است.
ابزارهای مدیریت لاگ با داشتن رویکرد جمع آوری متمرکز و گزینه های جستجوی پیشرفته، جستجو لاگ وگزارش را تسهیل می کنند. با در نظر گرفتن حجم فایل‌های لاگ ، درک اینکه چرا ویژگی‌های جستجو تأثیر زیادی بر کیفیت مدیریت لاگ دارند، دشوار نیست. جستجوی پیشرفته به شما امکان می‌دهد به گزارش‌های ساختاریافته و بدون ساختار نگاه کنید و اطلاعاتی در مورد رویدادهای خاصی جمع‌آوری کنید که به تعیین علت اصلی کمک می‌کند. راه‌حل‌های مدیریت لاگ مجهز به ابزارهایی برای داده‌کاوی هستند که در میان حجم‌های داده‌های لاگ برای کشف الگوهایی که در غیر این صورت پنهان باقی می‌مانند، می‌گردند. این گزارش را بهبود می بخشد، که خلاصه نهایی جستجو و تجزیه و تحلیل انجام شده، ارائه اعداد و ویژگی های بصری است که داستانی را در مورد داده های گزارش شما بیان می کند. این به ویژه در صورتی مفید است که باید یافته های خود را به کسی ارائه دهید که سابقه فنی ندارد و می خواهید اهمیت داده ها را به طور کامل درک کند.
استفاده از یک رویکرد سیستماتیک برای لاگ های شما مزایای زیادی دارد که برخی از مهم ترین آنها عبارتند از:
یکی از مزیت‌های اصلی مدیریت لاگ در ذخیره‌سازی یکپارچه نهفته است، که وقتی در مورد تجمیع لاگ‌های متمرکز صحبت کردیم درباره آن صحبت کردیم. داشتن همه لاگ‌هادر یک مکان، هر تحلیلی را بسیار ساده‌تر می‌کند، اما مزیت واقعی ذخیره‌سازی یکپارچه افزایش امنیت سیستم شماست. از آنجایی که این زمینه ای است که فاصله زمانی بین اولین تهدید تا زمانی که شما اقدامی انجام می دهید می تواند تفاوت را ایجاد کند، ذخیره اطلاعات لاگ مهم در کنار هم کل فرآیند را سرعت می بخشد. ثبت متمرکز همچنین به معنای داشتن داده های لاگ استاندارد است، که در زمان جستجوی اطلاعات در لاگ ها از منابع مختلف در زمان صرفه جویی می کند.
ابزارهای مدیریت لاگ، هشدارهای زمان واقعی قابل تنظیمی را ارائه می دهند که به شما امکان می دهد به محض بروز مشکل واکنش نشان دهید، که در موارد نقض امنیتی و نفوذ که هر ثانیه می تواند به معنای آسیب بیشتر به سیستم توسط مهاجم باشد، ضروری است. این بدان معنی است که SIEM خود را از واکنشی به فعالانه تغییر دهید و توانایی‌های شکار تهدید خود را ارتقا دهید.
تنظیمات مانیتورینگ را می توان برای ردیابی مجموعه ای سفارشی از رویدادها تنظیم کرد که برای امنیت و عیب یابی مفید است. می‌توانید این فیلترها را تغییر دهید تا فقط در مورد رویدادهای دارای اولویت بالا مطلع شوید تا با اعلان‌ها، ایمیل‌ها و/یا پیام‌های متنی بمباران نشوید.
به لطف نظارت و هشدارهای 24 ساعته و بلادرنگ سیستم، محیط فناوری اطلاعات شما در برابر حملات هکرها ایمن تر خواهد بود. با انتخاب دقیق رویدادهایی که باید ثبت شوند، می توانید امنیت را حتی بیشتر تقویت کنید. به عنوان مثال، Windows Security Log یکی از اهداف مورد علاقه هکرها برای حمله است، زیرا آنها سعی می کنند ردیابی های خود را بپوشانند و حضور خود را با تغییر این لاگ پنهان کنند.
با ورود به سیستم و نظارت بر رویدادهای ورود و خروج در لاگ امنیتی ویندوز، می توانید هر رفتار مشکوکی را قبل از اینکه خیلی دیر شود شناسایی کنید.
مدیریت لاگ به شما کنترل بهتری بر محیط IT خود و بینش بهتری نسبت به فرآیندهایی که در ماشین‌ها و دستگاه‌های جانبی شما انجام می‌شود، می‌دهد. یکی از رایج ترین موارد استفاده از لاگ رویداد برای تشخیص مشکلات، عیب یابی شبکه است. هشدارهای بلادرنگ به طور قابل توجهی زمان مورد نیاز برای شناسایی و رسیدگی به یک مشکل را کاهش می دهد، اما قدرت واقعی ابزارهای مدیریت لاگ در تجزیه و تحلیل لاگ‌ها نهفته است. حجم زیادی از داده‌های ذخیره‌شده در لاگ‌ها در معرض جستجو و تجزیه و تحلیل سفارشی قرار می‌گیرند، که بازآفرینی جدول زمانی رویدادهای مشکل‌ساز، کشف ارتباط با رویدادهای دیگر و مشخص کردن منبع مشکل را آسان‌تر می‌کند.
تجزیه فرآیند تقسیم داده ها به قطعات کوچکتر اطلاعات برای ذخیره سازی و دستکاری آسان تر است. از آنجایی که هر فایل لاگ از قطعات مختلف داده تشکیل شده است، هدف تجزیه فایل لاگ شناسایی ساختارهای مشابه و امکان گروه بندی اطلاعات بر اساس آن ساختارها است. به عنوان مثال، شناسایی تمام مهرهای زمانی در یک فایل گزارش و جمع‌آوری گزارش‌ها از یک بازه زمانی خاص، یا ردیابی فعالیت یک کاربر فقط.
با ظهور علم داده، شرکت ها شروع به درک این موضوع کردند که داده هایی که ذخیره می کنند ممکن است حاوی اطلاعات ارزشمندی باشد. تجزیه و تحلیل داده ها شامل چندین فرآیند مانند پاکسازی و تبدیل داده ها با هدف ایجاد مدل داده ای است که می تواند رفتار خاصی را پیش بینی کند، به تصمیم گیری های تجاری کمک کند یا اطلاعات جدیدی ارائه دهد. به عنوان مثال، تجزیه و تحلیل گزارش‌های مشتریان یک کسب‌وکار می‌تواند رفتار خاصی را پیش‌بینی کند (به عنوان مثال: مشتریان به احتمال زیاد در روز جمعه خرید می‌کنند)، به تصمیم‌گیری تجاری کمک می‌کند (تصمیم به هدف قرار دادن نوع متفاوتی از مخاطبان در کمپین بازاریابی بعدی)، یا اطلاعات جدیدی ارائه دهید (به عنوان مثال: اکثر خریداران خانم های 20-40 ساله هستند).
ابزار Sematext Logs یک ابزار مدیریت لاگ است که API Elasticsearch، بخشی از راه حل نظارت کامل پشته Sematext Cloud را در معرض دید قرار می دهد. می توانید داده ها را با استفاده از syslog یا هر ابزاری که با Elasticsearch کار می کند، مانند Logstash یا Filebeat ارسال کنید. تجسم را می توان با Kibana یا رابط کاربری بومی Sematext Logs انجام داد. اگر راه حل خود میزبانی را ترجیح می دهید، Sematext Logs نیز از طریق Sematext Enterprise، سرویس داخلی در دسترس است.
کشف خودکار گزارش‌ها و سرویس‌های Sematext به شما امکان می‌دهد به طور خودکار نظارت بر گزارش‌ها و ارسال آنها را از فایل‌های گزارش و کانتینرها مستقیماً از طریق رابط کاربری آغاز کنید.
ویژگی های کلیدی:
قیمت گذاری:
رایگان: 500 مگابایت در روز
برنامه های پولی از 50 دلار در ماه شروع می شود (1 گیگابایت در روز، نگهداری 1 هفته)
مزایا:
معایب:
ابزار Splunk یکی از اولین ابزارهای متمرکز کننده لاگ تجاری و محبوب ترین است. استقرار معمولی در محل است (Splunk Enterprise)، اگرچه به عنوان یک سرویس نیز ارائه می شود (Splunk Cloud). شما می توانید هر دو لاگ و متریک را به Splunk ارسال کنید و آنها را با هم تجزیه و تحلیل کنید.
ویژگی های کلیدی:
قیمت گذاری:
رایگان: 500 مگابایت داده در روز
برنامه‌های پولی در صورت درخواست در دسترس هستند، اما سؤالات متداول نشان می‌دهد که آنها از 150 دلار در ماه برای 1 گیگابایت شروع می‌شوند.
مزایا:
معایب:
ابزار Sumo Logic یک نرم افزار مدیریت لاگ است که در آن می توانید گزارش ها و معیارها را ذخیره کنید. بیشتر شبیه به Sematext Cloud است تا Splunk، به این معنا که معیارها و گزارش‌ها را می‌توان به‌عنوان موجودیت‌های جداگانه مشاهده کرد (و برای آن پرداخت کرد. مانند Splunk، یک سینتکس جستجوی قدرتمندی دارد که می توانید عملیات را به روشی مشابه لوله های یونیکس تعریف کنید.
ویژگی های کلیدی:
قیمت گذاری:
رایگان: 500 مگابایت در روز
برنامه‌های پولی از 324 دلار در ماه شروع می‌شود برای 3 گیگابایت در روز و فضای ذخیره‌سازی 10 روزه (30 گیگابایت)
مزایا:
معایب:
شرکت دانش بنیان آتین آتیه اندیش، مستقر در پارک علم و فناوری دانشگاه تهران، در سال 1396 فعالیت خود را به طور تخصصی درحوزه ارائه خدمات احراز هویت آغاز کرد. این شرکت با بررسی نمونه های مشابه خارجی و بر اساس نیازهای داخلی کشور درحوزه احراز هویت، اقدام به توسعه سامانه مدیریت هویت و دسترسی نموده است. تیم فنی آتین از فارغ التحصیلان دانشگاه های برتر کشور در حوزه نرم افزار و امنیت اطلاعات و با پشتوانه سابقه چندین ساله در حوزه احراز هویت و کنترل دسترسی تشکیل شده است. یکی از محصولات این شرکت مدیریت لاگ است.
شرکت داده کاوان تصمیم یار در زمینه ارائه، مشاوره و آموزش خدمات نرم افزاری به سازمان‌های دولتی و خصوصی فعالیت می‌نماید. شرکت داده کاوان تصمیم یار خدمات مختلف نرم افزاری ارائه می‌دهد که یکی از آنها راه اندازی مدیریت لاگ است.
«این مطلب، بخشی از تمرینهای درس معماری نرم‌افزار در دانشگاه شهیدبهشتی است»
https://sematext.com/blog/best-log-management-tools/
https://www.graylog.org/post/what-is-log-management-a-complete-logging-guide
https://searchitoperations.techtarget.com/definition/log-management
https://stackify.com/best-log-management-tools/
