تشخیص رویدادهای صوتی (Sound Event Detection)؛ مروری بر مفاهیم، روش‌ها و کاربردها

تشخیص رویدادهای صوتی (Sound Event Detection)؛ مروری بر مفاهیم، روش‌ها و کاربردها

مقدمه

تشخیص رویدادهای صوتی (Sound Event Detection یا SED) یکی از حوزه‌های کلیدی در پردازش صوت و یادگیری ماشین است که هدف آن شناسایی و زمان‌بندی دقیق رویدادهای صوتی در یک سیگنال صوتی است. برخلاف شناسایی گفتار (Speech Recognition) یا طبقه‌بندی کلی صداهای محیطی، SED نه‌تنها نوع رویداد صوتی را تشخیص می‌دهد، بلکه زمان دقیق شروع و پایان هر رویداد را نیز مشخص می‌کند. این قابلیت در کاربردهای متنوعی از جمله سیستم‌های امنیتی، مراقبت از سالمندان، نظارت صنعتی، خودروهای خودران و خانه‌های هوشمند نقش اساسی دارد.

تعریف دقیق

در SED، یک سیستم باید بتواند:

کلاس رویداد را از میان مجموعه‌ای از کلاس‌های از پیش تعریف‌شده تشخیص دهد (مثلاً «شکستن شیشه»، «زنگ در»، «پارس سگ»، «فریاد» و غیره).

زمان شروع و پایان هر رویداد را با دقت زمانی بالا (معمولاً در حد میلی‌ثانیه) مشخص کند.

در شرایط هم‌پوشانی صداها (polyphonic) نیز عملکرد مناسبی داشته باشد.

معماری‌های رایج مدل‌ها

روش‌های مدرن SED عمدتاً مبتنی بر یادگیری عمیق هستند. مهم‌ترین معماری‌ها عبارتند از:

CRNN (Convolutional Recurrent Neural Network)

ترکیب شبکه‌های کانولوشنی برای استخراج ویژگی‌های محلی از spectrogram و شبکه‌های بازگشتی (LSTM/GRU) برای مدل‌سازی وابستگی‌های زمانی. این معماری همچنان یکی از استانداردهای طلایی در مسابقات DCASE محسوب می‌شود.

مدل‌های مبتنی بر Transformer

مدل‌هایی مانند Audio Spectrogram Transformer (AST)، Conformer و مدل‌های مبتنی بر Self-Attention در سال‌های اخیر عملکرد بهتری در داده‌های متنوع و شرایط واقعی نشان داده‌اند.

مدل‌های Self-Supervised و Pre-trained

مدل‌های بزرگی مانند wav2vec 2.0، HuBERT، AudioMAE و Whisper که ابتدا روی داده‌های بدون برچسب آموزش دیده‌اند و سپس برای وظیفه SED Fine-tune می‌شوند، نتایج بسیار قوی‌تری در دیتاست‌های متنوع ارائه می‌دهند.

داده‌های آموزشی و چالش‌ها

دیتاست‌های مرجع مهم عبارتند از:

AudioSet (Google): بیش از ۲ میلیون کلیپ صوتی با ۵۲۷ کلاس

DESED (Domestic Environment Sound Event Detection): دیتاست اختصاصی برای محیط‌های خانگی

DCASE Challenges: مسابقات سالانه با دیتاست‌های استاندارد

FSD50K و UrbanSound8K

مهم‌ترین چالش‌ها عبارتند از:

هم‌پوشانی صداها (Polyphony)

نویز محیطی بالا

عدم تعادل شدید کلاس‌ها

تفاوت توزیع داده‌های آموزشی و تست (Domain Shift)

ارزیابی

معیارهای اصلی ارزیابی در SED عبارتند از:

F1-score با در نظر گرفتن هم‌پوشانی زمانی (Intersection over Union)

Error Rate (ER) که مجموع خطای درج (Insertion)، حذف (Deletion) و جایگزینی (Substitution) را محاسبه می‌کند.

Segmentation Error برای اندازه‌گیری دقت زمانی

کاربردهای عملی

سیستم‌های هشدار خانگی و امنیتی (تشخیص شکستن شیشه یا ورود غیرمجاز)

نظارت بر سلامت سالمندان و کودکان (تشخیص افتادن، گریه یا فریاد)

تشخیص خرابی ماشین‌آلات در کارخانه‌ها

نظارت محیطی شهری (تشخیص شلیک گلوله، آژیر پلیس، تصادف)

خودروهای خودران (تشخیص صدای وسایل نقلیه اضطراری)

ربات‌های خانگی و دستیارهای هوشمند

جمع‌بندی

تشخیص رویدادهای صوتی به عنوان یکی از مهم‌ترین فناوری‌های صوتی هوش مصنوعی، در حال گذار از مرحله تحقیقات دانشگاهی به کاربردهای تجاری گسترده است. با پیشرفت مدل‌های Self-supervised و بهینه‌سازی برای دستگاه‌های Edge، انتظار می‌رود در سال‌های آتی شاهد حضور گسترده‌تر این فناوری در زندگی روزمره باشیم.