ابوالفضل وکیلی
ابوالفضل وکیلی
خواندن ۶ دقیقه·۳ سال پیش

تفاوت Hot, Warm and Cold Data

معرفی گروه‌های storage یک راه کاربرپسند برای تهیه فضای storage بر اساس نیازهای تجاری فراهم می‌کند.

داده ها دارای دما هستند. دانستن دمای آن ها به ما کمک می کند تا بدانیم چگونه آن را مدیریت کنیم. مدیریت داده های چند دمایی براساس فرکانس دسترسی به داده ها در storage است. طبقه بندی ها اغلب به عنوان hot، warm و cold نامیده می شوند. Hot data ها اغلب با storage سریع‌تر قابل دسترس هستند، warm data ها با تعداد دفعات کمتری قابل دسترسی هستند و در storage های کمی کندتر ذخیره می‌شوند، و cold data ها به ندرت استفاده و در storage های حتی کندتر قابل دسترسی هستند و ذخیره می‌شوند.

جدول 1
جدول 1

هر نوع storage هزینه ای دارد که به عوامل متعددی مانند نوع یا سایز storage بستگی دارد. علاوه بر آن هزینه ها نیز تحت تأثیر عوامل محیطی مانند rack space، floor space، میزان برق مورد نیاز، تعداد منابع تغذیه و قابلیت های افزونگی و بازیابی قرار دارند. هزینه ها می تواند بیشتر تحت تأثیر ویژگی های اضافی گنجانده شده در فضای storage باشد، مانند مقدار memory cache و استفاده از الگوریتم های خاص برای کمک به عملکرد، بررسی خطا یا تصحیح خطا.

الزامات تجاری می تواند به ما کمک کند تصمیم بگیریم از چه نوع storage ای برای انواع مختلف داده ها استفاده کنیم که دمای داده ها بخشی از فرآیند تصمیم گیری است. یکی از این امکان ها استفاده از گروه های storage است.

منظور از گروه های storage چیست؟

گروه های storage مجموعه ای از مسیرهای storage است که میزان تخصیص فضای storage را برای table space ها مدیریت می کند. فناوری‌های storage متفاوتی را می‌توان در گروه‌ های storage مختلف تعریف کرد، بنابراین اجازه می‌دهد table space ها با استفاده از موثرترین نوع storage بر اساس نیازهای تجاری، مانند هزینه و اهداف سطح سرویس (service-level objectives)، نیازمندی‌های بازیابی مانند تعریف RAID، الزامات بازیابی جدول و غیره ایجاد شود. چند نمونه از پیکربندی های گروه storage که می توان تعریف کرد عبارتند از:

  • 144 1 TB drives, 7.5k rpm, RAID 1
  • 128 500 GB drives, 10k rpm, RAID 5
  • 5 500 GB of solid state drives, RAID 6
  • 256 500 GB drives, 10k rpm, RAID 3 with disk replication

گروه های storage و چند درجه حرارته (Multitemperature)

در شکل زير داده‌هایی را نشان می‌دهد که در فضاهای جدولی (table space) که با استفاده از گروه‌های hot، warm و cold تعریف شده‌، تقسیم‌بندی شده‌اند – که هر کدام با نوع storage متفاوتی تعریف شده‌اند.

شکل 1
شکل 1

شما می توانید به تعداد دلخواه گروه های storage با ویژگی های یکسان یا متفاوت داشته باشید. بر اساس الزامات، انواع مختلف storage – و در نتیجه گروه‌های storage – برای برنامه‌های کاربردی، حجم کاری و مشاغل مختلف مناسب‌تر خواهند بود. به عنوان مثال:

  • قوانین حفظ حریم خصوصی برای ذخیره داده های پزشکی ممکن است مستلزم این باشد که همه داده های پزشکی در یک گروه storage ذخیره شوند که از رمزگذاری دیسک پشتیبانی می کند.
  • در تلاش برای استفاده از کم‌هزینه‌ترین فضای storage با عملکرد نوشتن قابل قبول در نگهداری Materialized Query Tables يا MQT، همه MQT ها در table space ها قرار می‌گیرند که در آن گروه storage قرار دارند. MQT ها معمولاً تجمیع مجموعه ای از داده های جدول پایه هستند و بنابراین دارای ردیف های بسیار کمتری می‌باشند.
  • تیم تجزیه و تحلیل عمیق (deep analytics team) یک فرآیند capture کردن داده بدون تغییر دارد و هر شب به‌روزرسانی کامل جداول خود را انجام می‌دهد. به این ترتیب، هیچ نیاز تجاری برای چیزی جز RAID 1 ندارد زیرا برنامه بازیابی (recovery plan) صرفاً reload مجدد داده ها است. یکی از گزینه هایی که برای عملکرد پایدار مورد بحث قرار می گیرد، استفاده از دیسک های 500 گیگابایتی متعدد و ارزان است، بنابراین تعداد کافی spindles (دوک) برای عملکرد دیسک (disk performance) فراهم می شود.

انتقال داده ها به گروه های storage مختلف

فضاهای جدول (table space) را می توان از یک گروه به گروهی دیگر منتقل کرد. این فرآیند با استفاده از عبارت ALTER TABLESPACE به صورت آنلاین انجام می شود و با جابجایی داده ها در table space، تمام داده ها کاملاً در دسترس باقی می مانند. با توجه به شکل 1، این بدان معناست که می توانید table space ها را در صورت نیاز به رسانه های storage مختلف منتقل کنید.

همچنین می‌توان رسانه‌های storage را به گروه‌های storage اضافه کرد یا از آن حذف کرد. همانطور که انتظار می رود، افزودن یا حذف فضای storage بدون وقفه در سرویس انجام می شود.

در حالی که ممکن است انتقال داده‌ها به گروه‌های storage مختلف آسان باشد.(cools).

در اینجا چند سناریو دیگر وجود دارند:

  • برای ایجاد مجموعه ای از گزارش ها برای یک حسابرس، باید به مجموعه ای از جداول حاوی داده های تاریخی دسترسی داشت. برای ارائه عملکرد مناسب، table space های حاوی آن داده ها را به یک گروه storage منتقل می کنیم که ورودی/خروجی دیسک سریع تری را ارائه می دهد.
  • محتوای XML در مجموعه ای از جداول ثابت شده است و هرگز به روز نمی شود، اما همچنان در آینده نزدیک به طور مکرر به آن دسترسی خواهیم داشت. ما موقتا تمام table space های حاوی محتوای XML را به مدت شش ماه به حالت جامد (solid state) منتقل خواهیم کرد. در نهایت، داده ها را به cold storage و به بایگانی منتقل خواهیم کرد.
  • پس از مواجهه با یک سری از خرابی‌های دیسک (disk failures) برای یک گروه storage خاص، تصمیم گرفتیم همه داده‌ها را به یک گروه storage متفاوت منتقل کنیم.

شکل 2 فضاهای جدول (table space) را نشان می دهد که به گروه های storage مختلف منتقل می شوند.

شکل 2
شکل 2

استراتژی تامین هوشمند Storage

  • در حالی که از آن به عنوان تامین نازک (thin provisioning) یا تامین پویا (dynamic provisioning) نیز یاد می شود، تامین هوشمند storage قصد دارد فضا را در صورت نیاز اختصاص دهد اما به گونه ای که ظرفیت
    storage تخصیص داده شده هدر نرود. نمونه ها عبارتند از :
  • یک پروژه در ابتدا تنها به 500 گیگابایت فضای دیسک به عنوان ابزاری برای load داده ها نیاز دارد و تنها پس از اتخاذ تصمیمات بیشتر در مورد طراحی، پروژه به فضای ذخیره سازی اضافی نیاز دارد.
  • یک پروژه موجود به فضای storage اضافی نیاز دارد اما محدود به table spaces خاص. بنابراین، storage اضافی اضافه شده به طور خاص فقط برای آن table spaces استفاده می شود.
  • سیاست بازپرداخت وجه شرکت (chargeback policy) نمی‌خواهد هزینه را برای فضای استفاده شده یا اختصاص داده (Allocate) شده دریافت کند، بلکه برای فضای اختصاص داده شده (Allot) دریافت کند. به این ترتیب، زمانی که ظرفیت ذخیره سازی افزایش می یابد، مدیران به واحد اندازه گیری بسیار دقیق تری نیاز دارند.
معنی Allot تنها زمانی باید استفاده شود که مجموعه ای از اقلام به تکه های با اندازه مساوی ("لات") تقسیم شده و سپس توزیع شود. Allocate عمومی تر است زیرا توزیع را توصیف می کند، اما نیازی به تقسیم کل مجموعه اقلام به لات ها ندارد.

از آنجایی که یک گروه storage شامل مجموعه ای از storage paths است، می توانید storage را به یک گروه storage اضافه کنید و تنها table space ها در آن گروه storage می توانند از آن فضا استفاده کنند. پایگاه داده DB2* بلافاصله شروع به استفاده از آن فضا نمی کند مگر اینکه نیاز باشد زیرا فضا محدود است. هر table space در آن گروه storage می تواند بلافاصله با تغییر table space و rebalance کردن داده ها در سراسر آن، استفاده از آن space را استارت کند.

ذخیره سازی یا storage کاربر پسند

معرفی گروه‌های storage یک راه کاربرپسند برای تهیه فضای storage بر اساس نیازهای تجاری فراهم می‌کند. دانستن دمای داده‌ها می‌تواند به ما در تصمیم‌گیری آگاهانه درباره نوع storage و پیکربندی که به بهترین وجه با داده‌ها سازگار هستند، کمک کند.


مرجع: اینجا


دادهdatahotمهندسی دادهData Engineer
instagram : @a_vakily7
شاید از این پست‌ها خوشتان بیاید