مطلب هفتم از علم داده : جمع‌آوری و آماده‌سازی داده

اگر علم داده را یک ساختمان در نظر بگیریم، جمع‌آوری و آماده‌سازی داده‌ها نقش فونداسیون آن را بازی می‌کنند. حتی پیشرفته‌ترین الگوریتم‌ها و مدل‌ها هم بدون داده‌ی درست، خروجی قابل اعتمادی تولید نمی‌کنند. به همین دلیل، اولین مراحل در چرخه علم داده به این دو گام کلیدی اختصاص دارد: جمع‌آوری داده و آماده‌سازی آن برای تحلیل.

این مراحل مشخص می‌کنند که آیا پروژه در نهایت به بینش واقعی و تصمیم‌گیری داده‌محور می‌رسد یا فقط به چند عدد و نمودار بدون معنا ختم می‌شود.

 چرا جمع‌آوری داده اهمیت حیاتی دارد؟

در دنیای امروز که هر روز حجم عظیمی از داده تولید می‌شود، مسئله اصلی «کمبود داده» نیست؛ بلکه داشتن داده‌ی درست، مرتبط و قابل اعتماد است.
جمع‌آوری داده یعنی شناسایی منابع مناسب، استخراج اطلاعات مرتبط با مسئله و ثبت دقیق اطلاعات زمینه‌ای مانند زمان، مکان و شرایط محیطی.

داده‌ها می‌توانند از منابع متنوعی مانند پایگاه‌های داده داخلی سازمان‌ها، وب‌سایت‌ها، APIها، سیستم‌های نرم‌افزاری و حتی داده‌های تولیدشده توسط کاربران به دست آیند. اگر این فرایند بدون روش‌شناسی مشخص انجام شود، داده‌ها نه‌تنها کمکی به تحلیل نمی‌کنند، بلکه باعث سردرگمی و تصمیم‌های اشتباه خواهند شد.

 آماده‌سازی داده؛ مرحله‌ای که اغلب دست‌کم گرفته می‌شود

پس از جمع‌آوری، داده‌ها معمولاً آماده تحلیل نیستند. اینجاست که مرحله‌ی آماده‌سازی یا Data Wrangling اهمیت پیدا می‌کند.
در این مرحله، داده‌های ناقص یا تکراری حذف می‌شوند، خطاها و ناسازگاری‌ها شناسایی و اصلاح می‌گردند و داده‌ها به قالبی تبدیل می‌شوند که برای تحلیل مناسب باشد.

در عمل، بخش قابل‌توجهی از زمان یک تحلیل‌گر داده صرف همین مرحله می‌شود، چون کیفیت تحلیل نهایی مستقیماً به کیفیت آماده‌سازی داده‌ها وابسته است.

 روش‌های رایج جمع‌آوری داده

روش جمع‌آوری داده به نوع پروژه و هدف آن بستگی دارد. در علم داده، روش‌هایی مانند نظرسنجی، آزمایش، مشاهده، مصاحبه، تحلیل اسناد و گروه‌های کانونی بسیار رایج هستند.
در بسیاری از پروژه‌های کاربردی، به‌ویژه در حوزه‌هایی مثل تحلیل رفتار کاربران، بازار و سلامت، نظرسنجی‌ها و آزمایش‌ها نقش پررنگ‌تری دارند و داده‌های ارزشمندی تولید می‌کنند.

 انواع داده؛ مشاهده‌ای و تراکنشی

داده‌های مشاهده‌ای

داده‌های مشاهده‌ای از طریق مشاهده و ثبت رفتارها بدون دخالت مستقیم به دست می‌آیند و معمولاً ماهیتی کیفی دارند.
برای مثال، یک معلم که روند یادگیری دانش‌آموزان را در کلاس بررسی می‌کند یا یک پژوهشگر محیط‌زیست که تغییرات یک زیست‌بوم را در طول زمان ثبت می‌کند، در حال جمع‌آوری داده‌های مشاهده‌ای است.

این نوع داده‌ها برای درک عمیق رفتارها بسیار مفیدند، اما معمولاً برای تحلیل‌های آماری گسترده محدودیت دارند.

 داده‌های تراکنشی

در مقابل، داده‌های تراکنشی حاصل ثبت تعاملات واقعی بین افراد، سیستم‌ها یا کسب‌وکارها هستند و اغلب به‌صورت عددی ذخیره می‌شوند.
خرید کاربران در فروشگاه‌های آنلاین، کلیک‌ها و تعاملات کاربران در اپلیکیشن‌ها یا نوبت‌های ثبت‌شده در سامانه‌های خدماتی، همگی نمونه‌هایی از داده‌های تراکنشی‌اند.

این داده‌ها پایه‌ی بسیاری از تحلیل‌های پیشرفته مانند تحلیل رفتار مشتری، سیستم‌های پیشنهاددهنده و بهینه‌سازی فرایندها را تشکیل می‌دهند.

 مثال اول: تخمین مصرف روزانه بدون دخالت مستقیم

فرض کنید یاس در پارک محله‌شان یک مخزن آب برای حیوانات نصب کرده و می‌خواهد بداند در نبودش چه مقدار آب باید ذخیره شود.
او به‌جای شمارش حیوانات، هر روز مخزن را پر می‌کند و میزان آب مصرف‌شده را ثبت می‌کند. بعد از دو هفته، میانگین مصرف روزانه را محاسبه کرده و بر اساس آن برای چند روز آینده برنامه‌ریزی می‌کند.

این سناریو نمونه‌ای روشن از جمع‌آوری داده مشاهده‌ای است.

 مثال دوم: تحلیل شکایات کاربران با داده‌های تراکنشی

در یک شرکت ارائه‌دهنده خدمات آنلاین، تعداد شکایات کاربران درباره‌ی تأخیر در پاسخ‌گویی افزایش یافته است.
تحلیل‌گر داده برای بررسی این مشکل به سراغ لاگ‌های سیستم، زمان پاسخ درخواست‌ها، تاریخچه تیکت‌ها و داده‌های مرکز تماس می‌رود و بدون ارتباط مستقیم با کاربران، الگوهای مشکل‌ساز را شناسایی می‌کند.

این مثال، کاربرد داده‌های تراکنشی در حل مسائل واقعی را نشان می‌دهد.

 جمع‌آوری داده از طریق آزمایش؛ وقتی کنترل اهمیت دارد

در برخی پروژه‌ها، مشاهده به‌تنهایی کافی نیست و باید شرایط به‌صورت کنترل‌شده طراحی شوند.
مثلاً یک تیم آموزشی می‌خواهد بررسی کند آیا افزایش زمان تمرین روزانه باعث بهبود یادگیری زبان می‌شود یا خیر. آن‌ها زبان‌آموزان را به دو گروه تقسیم می‌کنند، شرایط محیطی را یکسان نگه می‌دارند و فقط میزان تمرین را تغییر می‌دهند. نتایج در بازه‌های زمانی مشخص ثبت می‌شود تا مقایسه‌ای دقیق انجام گیرد.

وجود گروه کنترل، ثبت منظم داده‌ها و رعایت اصول اخلاقی، این نوع داده‌ها را بسیار قابل اعتماد می‌کند.

جمع‌آوری و آماده‌سازی داده فقط یک مرحله فنی نیست، بلکه یک مهارت کلیدی در تفکر داده‌محور است.
کسی که این مرحله را به‌خوبی درک کند، داده‌های درست‌تری انتخاب می‌کند، تحلیل‌های دقیق‌تری انجام می‌دهد و در نهایت تصمیم‌های هوشمندانه‌تری می‌گیرد.

در نهایت، کیفیت علم داده از کیفیت داده شروع می‌شود، نه از مدل‌های پیچیده.