مقدمه ای بر Log Management Tools

منظور از Log Management چیست؟

مفهوم Log management عبارت است از جمع‌آوری، ذخیره، پردازش، ترکیب و تجزیه و تحلیل داده‌ها از برنامه‌ها و اپلیکیشن های متفاوت به منظور بهینه‌سازی عملکرد سیستم، شناسایی مسائل فنی، مدیریت بهتر منابع، تقویت امنیت و بهبود انطباق.

لاگ (Log) یک فایل کامپیوتری است که فعالیت های درون سیستم عامل یا برنامه های نرم افزاری را ثبت می کند. یک فایل لاگ به صورت خودکار هر گونه اطلاعات طراحی شده توسط مدیران سیستم را مستند می کند، از جمله: پیام ها، گزارش های خطا، درخواست ها و انتقال فایل. چنین فعالیتی همچنین دارای timestamped است که به متخصصان فناوری اطلاعات و توسعه دهندگان کمک می کند تا بفهمند چه اتفاقی افتاده و چه زمانی اتفاق افتاده است.

مفهوم Log management معمولاً به دسته بندی های اصلی زیر تقسیم می‌شود:

1. مجموعه (Collection)

ابزاری برای Log management که داده ها را از سیستم عامل، برنامه ها، سرورها، کاربران، نقاط پایانی یا هر منبع مرتبط دیگری در سازمان جمع آوری می کند.

2. نظارت (Monitoring)

ابزارهای نظارت بر Log management، رویدادها، فعالیت ها و همچنین زمان وقوع آنها را ردیابی می کنند.

3. تجزیه و تحلیل (analysis)

ابزارهای تجزیه و تحلیل Log مجموعه گزارش‌هایی را از سرور Log مرور می‌کند تا فعالانه باگ‌ها، تهدیدات امنیتی یا سایر مسائل را شناسایی کند.

4. نگهداری (retention)

ابزاری که تعیین می‌کند داده‌های Log چه مدت باید در فایل Log نگهداری شوند.

5. شاخص گذاری یا جست و جو (Indexing or search)

ابزاری برای Log management که به سازمان های فناوری اطلاعات کمک می‌کند تا داده‌ها را در همه ی Log ها فیلتر، مرتب ‌سازی، تجزیه و تحلیل یا جستجو کنند.

6. گزارش نویسی (reporting)

ابزار پیشرفته‌ای که گزارش‌دهی از Log های حسابرسی را در ارتباط با عملکرد عملیاتی، تخصیص منابع، امنیت یا انطباق با مقررات، خودکار می‌کند.

سیستم های Log management چگونه می توانند کمک کننده باشند؟

سیستم Log management (LMS) راه حلی نرم افزاری است که داده های Log و Log های رویدادها را از منابع مختلف در یک مکان متمرکز جمع آوری، مرتب و ذخیره سازی می کند. سیستم‌های Log management به تیم‌ های فناوری اطلاعات، متخصصان DevOps و SecOps اجازه می‌دهند تا یک نقطه واحد را ایجاد کنند تا از آنجا به تمام داده‌های مربوط به شبکه و برنامه دسترسی داشته باشند. به طور معمول، این فایل Log کاملا ایندکس شده و قابل جستجو است، به این معنی که تیم فناوری اطلاعات می تواند به راحتی به داده هایی که برای تصمیم گیری در مورد سلامت شبکه، تخصیص منابع یا امنیت نیاز دارند دسترسی داشته باشند. ابزارهای Log management به منظور کمک به سازمان در جهت مدیریت حجم بالای داده های Log تولید شده در سراسر سازمان به کار می روند. این ابزارها به تعیین موارد زیر کمک می کنند:

· چه داده ها و اطلاعاتی باید Log شوند.

· قالبی که باید در آن Log شوند.

· دوره زمانی که داده های Log باید ذخیره شوند.

· داده ها زمانی که دیگر مورد نیاز نیستند چگونه باید دور ریخته شوند یا از بین بروند.

اهمیت Log management

یک سیستم و استراتژی Log management کارآمد، فهم real-time بودن را در مورد سلامت و عملیات سیستم امکان پذیر می کند. یک راه حل موثر Log management موارد زیر را به سازمان ها ارائه می دهد:

· ذخیره سازی یکپارچه داده از طریق تجمیع متمرکز Log ها

· بهبود امنیت از طریق کاهش سطح حمله، نظارت در زمان واقعی و بهبود زمان تشخیص و پاسخ

· بهبود قابلیت مشاهده و دید در سراسر سازمان از طریق یک Log رویداد مشترک

· افزایش تجربه مشتری از طریق تجزیه و تحلیل داده های Log و مدل سازی پیش بینی

· قابلیت‌ های عیب‌یابی سریع ‌تر و دقیق‌تر از طریق تجزیه و تحلیل شبکه پیشرفته

منظور از Log management متمرکز چیست؟

منظور از Log management عمل جمع آوری تمام داده های Log در یک مکان واحد و قالب مشترک است. از آنجایی که داده ها از منابع مختلفی از جمله سیستم عامل، برنامه های کاربردی، سرورها و هاست ها به دست می آیند، قبل از اینکه سازمان بتواند مفهوم معناداری ایجاد کند، همه ورودی ها باید تلفیق و استاندارد شوند. متمرکز بودن Log management ها فرآیند تجزیه و تحلیل را ساده می کند و سرعت استفاده از داده ها را در سراسر کسب و کار افزایش می دهد.

مفهوم Log management در مقابل SIEM

هم اطلاعات امنیتی و مدیریت رویداد (SIEM) و هم نرم افزار Log management، جهت بهبود امنیت (با کاهش سطح حمله، شناسایی تهدیدات و بهبود زمان پاسخ در صورت بروز یک حادثه امنیتی)، از فایل Log یا event log استفاده می کنند. با این حال، تفاوت اصلی بین این دو مفهوم در این است که سیستم SIEM همراه با مفهوم امنیت به عنوان عملکرد اصلی آن ساخته شده است، در حالی که سیستم های Log management می توانند به طور گسترده تر برای مدیریت منابع، عیب یابی قطعی شبکه یا برنامه ها و حفظ انطباق استفاده گردند.

چهار چالش های رایج در Log management

انفجار داده‌ها، که ناشی از تکثیر دستگاه‌های متصل، و همچنین حرکت به سمت ابر است، برای بسیاری از سازمان‌ها پیچیدگی Log management را افزایش داده است. یک راه حل مدرن و موثر Log management باید چالش های اصلی زیر را برطرف کند:

· استانداردسازی:

از آنجایی که Log management داده‌ها را از برنامه‌ ها، سیستم‌ ها، ابزارها و میزبان ‌های مختلف استخراج می‌کند، همه ی داده‌ها باید در یک سیستم واحد که از قالب یکسانی پیروی می‌کنند، تلفیق شوند. این فایلLog به متخصصان فناوری اطلاعات و امنیت اطلاعات کمک می ‌کند تا به‌طور مؤثر داده‌های Log را تجزیه و تحلیل کنند و مفاهیمی را تولید کنند که برای انجام خدمات حیاتی کسب و کار، به کار می روند.

· حجم:

داده ها با سرعت باورنکردنی تولید می شوند. برای بسیاری از سازمان‌ها، حجم داده‌هایی که به‌طور مداوم توسط برنامه‌ها و سیستم‌ها تولید می‌شوند، نیازمند تلاش زیادی برای جمع‌آوری، قالب‌بندی، تجزیه و تحلیل و ذخیره‌سازی مؤثر می باشند. یک سیستم Log management باید به منظور مدیریت حجم بسیار زیادی از داده ها و ارائه ی مفهومی به موقع طراحی شود.

· تاخیر:

شاخص گذاری در فایل log می تواند یک فعالیت محاسباتی بسیار پرهزینه باشد که باعث تاخیر داده هایی که وارد سیستم می شوند و سپس نتایج جستجو و visualization های گنجانده شده، گردد.

· بار مسئولیتی بالای IT

مساله ی Log management هنگامی که به صورت دستی انجام می شود، فوق العاده وقت گیر و پر هزینه است. ابزارهای مربوط به Log management به خودکارسازی برخی از این فعالیت ‌ها و همچنین کاهش فشار مسئولیتی بر روی متخصصان فناوری اطلاعات کمک می‌کنند.

چهار مورد از به روش (Best Practices)های Log management

با توجه به حجم انبوه داده هایی که در دنیای دیجیتال امروز ایجاد می شوند، برای متخصصان فناوری اطلاعات مدیریت دستی و تجزیه و تحلیل Log ها در یک محیط فناوری گسترده غیرممکن شده است. به این ترتیب، آنها به یک سیستم Log management پیشرفته و ابزارهایی نیاز دارند تا جنبه‌های کلیدی فرآیندهای جمع‌آوری، فرمت بندی و تجزیه و تحلیل داده‌ها را خودکارسازی کند. در ادامه به برخی از ملاحظات کلیدی که سازمان‌های فناوری اطلاعات باید هنگام سرمایه‌گذاری در یک سیستم Log management در نظر بگیرند، اشاره شده است:

1. اولویت بندی ابزارهای خودکارسازی برای کاهش بار IT: مدیریت Log فرآیندی زمان بر است که می تواند منابع را از سازمان فناوری اطلاعات استخراج کند. بسیاری از وظایف تکراری مربوط به جمع آوری و تجزیه و تحلیل داده ها را می توان با استفاده از ابزارهای پیشرفته خودکارسازی کرد. سازمان‌ها باید قابلیت‌های خودکارسازی را در هر ابزار Log management جدید اولویت ‌بندی کنند و به‌روزرسانی راه‌حل‌های قدیمی را برای کاهش تلاش های دستی در طول این فرآیند در نظر بگیرند.

2. استفاده از یک سیستم متمرکز برای دسترسی بهتر و بهبود امنیت: مدیریت متمرکز Log تنها دسترسی به داده ها را بهبود نمی بخشد، بلکه به طور چشمگیری قابلیت های امنیتی سازمان را نیز تقویت می کند. ذخیره و اتصال داده ها در یک مکان متمرکز به سازمان ها کمک می کند تا سریعتر آنومالی ها را شناسایی کرده و به آنها پاسخ دهند. به این ترتیب، یک سیستم مدیریت لاگ متمرکز می تواند به کاهش زمان شکست یا پنجره بحرانی که در آن هکرها می توانند به صورت جانبی در سایر قسمت های سیستم حرکت کنند، کمک کند.

3. ایجاد یک خط مشی نظارت و نگهداری برای مدیریت بهتر حجم داده: با توجه به حجم داده‌های ایجاد شده، سازمان‌ها باید تشخیص دهند که چه اطلاعاتی را جمع‌آوری و چه مدت از آنها نگهداری کنند. سازمان‌ها باید آنالیزی در سطح سازمان انجام دهند تا تعیین کنند چه ورودی‌هایی برای هر عملکرد حیاتی می باشند.

4. استفاده از ابر برای مقیاس پذیری و انعطاف پذیری بیشتر: با توجه به چشم انداز داده های در حال توسعه، سازمان ها باید سرمایه گذاری بر روی راه حل مدرن و مبتنی بر ابر را برای سیستم مدیریت Log خود در نظر بگیرند. استفاده از ابر انعطاف‌پذیری و مقیاس‌پذیری را افزایش می‌دهد و به راحتی به سازمان‌ها اجازه می‌دهد تا ظرفیت پردازش و ذخیره‌سازی خود را بر اساس نیازهای متغیر گسترش یا کاهش دهند.

معرفی برخی از ابزار متن باز به منظور مدیریت لاگ:

· ابزار Elasticsearch، Logstash و Kibana (ELK stack or Elastic Stack)

پشته ELK (ELK stack) شامل اکثر ابزارهای مورد نیاز برای راهکار log management است که به برخی از آنها در زیر اشاره شده است:

· ارسال کننده ی log مانند Logstash و Filebeat

· ابزار Elasticsearch به عنوان یک موتور جستجوی مقیاس پذیر

· ابزار Kibana به عنوان رابط کاربری برای جستجوی log ها یا ایجاد visualizations

· ابزار Elasticsearch هر فیلد را به طور پیش فرض شاخص گذاری می کند و به جست و جوها سرعت می بخشد.

· ایجاد Real-time visualizations از طریق API و Kibana

· تجزیه و تحلیل داده ها و غنی سازی آنها پیش از شاخص گذاری

· دارای موتور جستجوی مقیاس پذیر به منظور ذخیره سازی log ها

· ارسال کننده ی بالغ log های مربوطه

· دارای رابط کاربری وب و visualizations در کیبانا

· در نسخه منبع باز ELK Stack برخی از ویژگی ها مانند کنترل دسترسی مبتنی بر نقش و هشدار را از دست می دهد. می‌توان این ویژگی‌ها را از طریق « Elastic Stack Features» یا جایگزین‌های آن و یا Open Distro visa برای Elasticsearch دریافت کرد.

پشته ELK (ELK stack) جهت متمرکز کردن log ها ابزار بسیار محبوبی است و آموزش های زیادی در مورد نحوه استفاده از آن در سراسر وب وجود دارد. همچنین اکوسیستم وسیعی از ابزارها وجود دارد که می‌توان از آنها در بالای تنظیمات اولیه خود استفاده کرد تا با هشدار، کنترل دسترسی مبتنی بر نقش و موارد دیگر، آن را تقویت نمود.

ابزار ELK stack رایگان و متن باز است و برخی از شرکت ها اشکالی از میزبانی ELK را ارائه می دهند. همچنین ابزاری به نام Elastic Cloud وجود دارد که شکل نابی از ELK در فضای ابری است، که مدیریت آن بیشتر با خودتان است.

· ابزار Graylog

مانند پشته ELK، Graylog نیز یک ابزار مدیریت لاگ منبع باز است که از Elasticsearch برای ذخیره سازی خود استفاده می کند. برخلاف پشته ELK که از مولفه های مجزا (Elasticsearch، Logstash، Kibana) ساخته شده است، Graylog به صورت یک بسته کامل ساخته شده است که می تواند همه کارها را انجام دهد.

ویژگی های کلیدی ابزار Graylog:

· شامل یک بسته ی کامل با تمام ملزومات پردازش لاگ شامل جمع آوری، تجزیه، بافر، فهرست، جستجو و آنالیز است.

· همچنین شامل ویژگی‌های اضافی که توسط پشته ی منبع باز ELK نمی شود، مانند کنترل دسترسی مبتنی بر نقش و هشدارها، نیز می باشد.

· این ابزار منبع باز و رایگان است، اگرچه نسخه سازمانی آن نیز وجود دارد.

· متناسب با نیازهای اکثر موارد کاربرد مدیریت لاگ متمرکز در یک بسته می باشد.

· به راحتی هم فضای ذخیره سازی (Elasticsearch) و هم خط لوله ingestion را مقیاس بندی می کند.

· در مقایسه با Kibana ELK، قابلیت های Visualization محدودی دارد.

· از آنجایی که نمی‌توان از کل اکوسیستم ELK به دلیل نبود دسترسی مستقیم به API Elasticsearch استفاده کرد، Graylog API جایگزین خوبی خواهد بود.

معرفی یک شرکت ایرانی ارائه دهنده ی محصولات مربوط به مدیریت لاگ:

شرکت دانش بنیان آتین آتیه اندیش، مستقر در پارک علم و فناوری دانشگاه تهران، در سال 1396 فعالیت خود را به طور تخصصی درحوزه ارائه خدمات احراز هویت آغاز کرد. این شرکت با بررسی نمونه های مشابه خارجی و بر اساس نیازهای داخلی کشور درحوزه احراز هویت، اقدام به توسعه سامانه مدیریت هویت و دسترسی نموده است. تیم فنی آتین از فارغ التحصیلان دانشگاه های برتر کشور در حوزه نرم افزار و امنیت اطلاعات و با پشتوانه سابقه چندین ساله در حوزه احراز هویت و کنترل دسترسی تشکیل شده است.

در واقع آتین یک سرویس مدیریت هویت و دسترسی است که با تمرکز ویژه بر رضایت مشتری بر بستر زیرساخت ابری توسعه یافته است. با استفاده از سامانه آتین مراکز و سرویس دهنده های فناوری اطلاعات به راحتی می توانند دسترسی دستگاه های مختلف داخل سازمان یا اشخاصی از جمله کارمندان، شرکای تجاری و مشتریان را به تمامی سامانه ها به صورت متمرکز مدیریت نمایند. آتین تضمین می کند که دسترسی همه کاربران بر اساس سیاست واحد صورت گیرد و تمامی افراد و سرویس ها، احراز هویت، مجوزدهی و نظارت شوند. در زیر به چند نمونه از محصولات این شرکت اشاره شده است:

· احراز هویت و ورود یکپارچه مرکزی

· احراز هویت چند عاملی

· مدیریت دسترسی به API ها

· مدیریت لاگ و ممیزی

منابع:

https://www.humio.com/glossary/log-management/

https://sematext.com/blog/best-log-management-tools/

https://authin.ir/