یکی از بزرگ ترین مشکلات در سیستم های توزیع شده, مدیریت لاگ ها و ردیابی تراکنش ها می باشد. این سیستم ها شامل چندین سرویس مستقل می باشند که به طور مداوم با یکدیگر تعامل دارند و به همین جهت با حجم زیادی از لاگ ها و تراکنش ها مواجه هستیم که مدیریت و ردیابی را پیچیده می کنند. ما نیاز داریم که بتوانیم لاگ تمام سرویس ها را در یک بخش واحد مدیریت کنیم و همچنین درخواست هایی را که از چندین سرویس عبور می کنند را از اول تا آخر ردیابی کنیم.
چالش ها
غیر متمرکز بودن لاگ ها - پراکنده بودن: در این سیستم ها هر سرویس لاگ های خود را تولید می کند و این لاگ ها ممکن است بر روی سرورهای مختلفی ذخیره شوند. به همین دلیل پیدا کردن و مدیریت لاگ های مربوط یک مشکل پیچیده می باشد.
تعاملات پیچیده بین سرویس ها: در معماری میکروسرویس درخواست ها معمولا از تعدادی سرویس عبور می کنند که شناسایی مشکلات و منشأ آن در این تعاملات نیاز به ردیابی دقیق دارد.
حجم بالای لاگ ها: هرچقدر تعداد سرویس ها و ارتباطات آن ها بیشتر می شود, حجم لاگ ها نیز به طور چشمگیری افزایش پیدا می کنند که نیاز به مدیریت و ذخیره سازی مناسب دارد.
عدم همزمانی لاگ ها: با توجه به اینکه زمان لاگ های سرویس ها معمولا همگام نیست نیاز به یک ساختار مناسب برای بررسی ترتیب و مدیریت آن ها داریم.
اهمیت مدیریت متمرکز
دسترسی سریع به داده ها: با متمرکز سازی لاگ ها می توانیم به سرعت در یک بخش واحد به آن ها دسترسی پیدا کنیم.
تشخیص سریع خطاها: با متمرکز سازی لاگ ها می توانیم خطاها و منشأ آن ها را بهتر و سریع تر پیدا کنیم.
مانیتورینگ: می توانیم لاگ های سیستم را به صورت لحظه ای مشاهده و مدیریت کنیم.
یکی از ابزارهای بسیار قدرتمند و کاربردی برای این کار ELK Stack می باشد که شامل stack های زیر می باشد:
- Elasticsearch: سرچ انجین و دیتابیسی که داده ها را ذخیره و تحلیل می کنند
- Logstash: برای جمع آوری, پردازش و ارسال لاگ ها به ELK
- Kibana: داشبورد برای مدیریت, نمایش لاگ ها و...
ردیابی (Distributed Tracing)
با استفاده از ردیابی توزیع شده می توانیم یک تراکنش در سیستم را از ابتدا تا انتها در تمام سرویس ها ردیابی کنیم. زمانی که یک درخواست از چندین سرویس عبور می کند این کار بسیار مهم و کاربردی می باشد. یکی از ابزارهای قدرتمند برای این کار Jaeger می باشد که اپن سورس بوده و قابلیت هایی مثل تجزیه و تحلیل داده ها و همینطور شناسایی نقاط bottleneck را دارد.
پیاده سازی
1- از یک آیدی یونیک (Correlation ID) برای درخواست هایی که از چندین سرویس عبور می کنند استفاده می کنیم. این آیدی یونیک در تمام لاگ ها و ردیابی ها ثبت می شود. همچنین ذخیره سازی اطلاعاتی مانند زمان, آیدی سرویس و درخواست می تواند کاربردی باشد.
2- برای مدیریت و ردیابی از ابزارهایی مانند ELK Stack و Jaeger که بالاتر توضیح داده شده استفاده می کنیم.
3- با توجه به اینکه حجم لاگ ها به سرعت افزایش پیدا می کند باید مکانیزم هایی را برای بهینه سازی و حذف لاگ های غیر ضروری داشته باشیم.
4- باید توجه داشتیم باشیم که اطلاعات حساس را ذخیره نکنیم یا در صورت ذخیره سازی آن ها را رمزنگاری کنیم.
در پایان, مدیریت متمرکز و ردیابی دقیق در سیستم های توزیع شده کاملا ضروری می باشد زیرا بدون آن بررسی مشکلات سیستم و رفع آن ها بسیار پیچیده می باشد.
