تحلیل اکتشافی داده‌ها: گام اول در کشف داستان‌های پنهان

مقدمه

همان‌طور که می‌دانید، یک تحلیلگر داده باید بتواند با کشف الگوهای پنهان و روابط مخفی درون داده‌ها، بینش‌های معناداری استخراج کند و با گزارش این یافته‌ها به مدیران، در فرایند تصمیم‌گیری و بهینه‌سازی محصول یا سازمان نقش مؤثری ایفا کند.
اما برای کشف و استخراج این مرواریدهای ارزشمند از دل داده‌ها، نخستین گام، پاسخ به این پرسش مهم است: «دقیقاً چه اتفاقی افتاده است؟»
در این مرحله است که تحلیل اکتشافی داده‌ها (Exploratory Data Analysis یا به اختصار EDA) وارد میدان می‌شود و نقش کلیدی خود را ایفا می‌کند.

تحلیل اکتشافی (Descriptive Analytics) چیست ؟

گذشته همیشه در حال تکرار است

تحلیل اکتشافی داده‌ها (Exploratory Data Analysis) به بررسی و مطالعه‌ی داده‌های تاریخی می‌پردازد تا با تحلیل روندها و الگوهای گذشته، درک بهتری از وقایع رخ‌داده در کسب‌وکار یا سازمان به دست آید.
هدف از این تحلیل، ایجاد یک تصویر کلی و شفاف از این است که «چه اتفاقی افتاده است؟» و کمک به شناسایی نقاط قوت، ضعف یا فرصت‌های بهبود می‌باشد.

از جمله نمونه‌های رایج تحلیل اکتشافی می‌توان به بررسی گزارش‌های سالانه (Year-over-Year) یا مقایسه‌های ماهانه اشاره کرد.
این تحلیل‌ها معمولاً به مدیران و تصمیم‌گیرندگان کمک می‌کنند تا بدون ورود به جزئیات پیچیده، وضعیت فعلی سازمان یا پروژه را درک کنند.

چند نمونه از پرسش‌هایی که در تحلیل اکتشافی پاسخ داده می‌شوند عبارت‌اند از:

• میزان درآمد کل در سه ماه گذشته چقدر بوده است؟
• میانگین زمان ارسال سفارشات چقدر است؟
• نرخ تبدیل بازدیدکنندگان به خریدار در وب‌سایت چقدر است؟

تحلیل اکتشافی پایه و اساس بسیاری از تحلیل‌های پیشرفته‌تر در علم داده محسوب می‌شود و اولین گام در فرآیند کشف بینش‌های ارزشمند از دل داده‌ها است.

اهمیت EDA در پروژه‌های داده‌محور

استفاده از تحلیل اکتشافی داده‌ها (EDA) امری بسیار حیاتی است. زیرا این تحلیل نقاط ضعف و قوت را برای مدیران سازمان روشن می‌کند و درک عمیق‌تری از رویدادهای گذشته در اختیار ما قرار می‌دهد. همچنین، تحلیل اکتشافی به‌عنوان یک محرک انگیزشی برای اعضای تیم عمل کرده و آنها را ترغیب می‌کند تا تغییرات لازم را اعمال کرده و به موفقیت‌های بیشتری دست یابند.

تحلیل اکتشافی به ما کمک می‌کند تا:

• ساختار داده‌ها را کشف کنیم
• الگوها و روندهای پنهان را شناسایی کنیم
• ناهنجاری و خطاهای احتمالی را پیدا کنیم
• فرضیه سازی دقیق تری داشته باشیم
• درک زمینه‌ای بهتری از مسئله پیدا کنیم

در نهایت، تحلیل اکتشافی به‌طور خلاصه به ما مانند یک نقشه گنج عمل می‌کند که نقاط مشکلات را مشخص کرده و مسیر رسیدن به راه‌حل‌ها را برای ما هموار می‌سازد.

اهداف تحلیل اکتشافی داده‌ها

کشف الگوها

کشف الگو به ما کمک میکند تا روابط معنادار از میان متغیرها را شناسایی کنیم و بینش‌های ارزشمندی از دل داده‌ها بیرون بکشیم.

• شناسایی روندهای زمانی : مثلا میزان فروش یا بازدید از سایت در ماه های خاص
• تشخیص روابط بین متغیرها :‌ مانند رابطه میزان تخفیف با حجم فروش
• کشف گروه‌بندی‌های طبیعی :‌ گاهی اوقات داده های ما خود به خود به گروه های مختلفی تقسیم میشوند مانند خوشه بندی مشتریان

شناسایی ناهنجاری‌ها

گاهی اوقات با ناهنجاری‌ها یا داده‌های غیرعادی (Anomalies) در مجموعه داده روبه رو هستیم که تفاوت چشمگیری با اکثریت داده های ما دارند که نشان از خطا یا حتی شاید فرصت پنهان باشد.

• ناهنجاری‌ها می‌توانند کیفیت تحلیل‌های بعدی را به شدت تحت تأثیر قرار دهند.
• وجود داده‌های پرت (Outliers) می‌تواند باعث تحریف مدل‌های آماری و یادگیری ماشین شود.
• بعضی ناهنجاری‌ها نشانه‌ی مشکلات واقعی در کسب‌وکار هستند؛ مانند تقلب در تراکنش‌های مالی یا اختلال در سیستم‌های فنی.

بررسی فرضیه‌ها

خلاصه‌سازی ویژگی‌های اصلی داده‌ها

چگونه از تحلیل اکتشافی استفاده کنیم ؟

یکی از روش های مهم برای انجام تحلیل اکتشافی داده کاوی است. که داده از منابع مختلف مانند وبسایت - CRM - نظرسنجی و .. جمع آوری میشود. پس از پردازش و آماده سازی توسط تحلیلگر داده به اطلاعاتی قابل مدیریت تبدیل میشود و به مدیران سازمان اراءه میگردد.

مراحل تحلیل اکتشافی داده‌ها

برای پیاده سازی موفق تحلیل چند قدم وجود دارد که میتوان بعد از انجام در استراتژی کسب و کار لحاظ کرد.

• شاخص های کلیدی (KPI) را انتخاب کنید
  دقیقا مشخص کنیم که هدف کسب و کار با چه شاخص های کلیدی قابل سنجش هستند. به صورت مثال میتوان به میزان درامد در فواصل زمانی یا نرخ بازگشت مشتری و .. اشاره کرد.
• شناسایی و یافتن داده ها
  سپس باید مشخص کرد که دقیقا به چه نوع داده های برای تحلیل نیاز داریم ؟ و داده های مورد نیاز را از منابع مختلف مانند دیتابیس - سایت - CRM و .. پیدا کرد.
• آماده سازی داده ها
  بعد از پیدا کردن داده های مورد نیاز باید همه را جمع آوری کرد و مشکلات داده مانند صحت دادها - قالب بندی و ... برای انجام تحلیل رفع کرد.
• داده را آنالیز کنید
  سپس با استفاده از ابزار های مختلف شروع به تحلیل داده خواهیم کرد. این بخش گستردگی بالایی دارد که در ادامه اشاره خواهیم کرد.

بررسی کیفیت داده‌ها (پاک‌سازی و آماده‌سازی)

تحلیل آماری اولیه (میانگین، میانه، واریانس و...)

تحلیل تصویری (ویژوالیزیشن داده‌ها)

نمونه‌های کاربردی (مطالعه موردی کوتاه)

مثال ساده از انجام یک تحلیل اکتشافی روی یک دیتاست واقعی
(مثلاً داده‌های Titanic یا Iris)

نتیجه گیری

منابع و مراجع