تبدیل گفتار به نوشتار چگونه کار می کند؟

تا بحال بارها راجع به فناوری تبدیل گفتار به نوشتار و کاربردهای آن در مقالات مختلف صحبت کرده ایم و در مورد دستیارهای صوتی که از فناوری تبدیل گفتار به نوشتار نیز در آن ها استفاده می شوند و لزوم استفاده از آن ها در اپلیکیشن ها نیز صحبت کردیم. اما امروز به طور اختصاصی  می خواهیم به این مسئله بپردازیم که فناوری تبدیل گفتار به نوشتار چگونه کار می کند و چطور یک ماشین می تواند صوت گفتاری را به نوشتار آن تبدیل کند.

تبدیل گفتار به نوشتار چیست؟

فناوری تبدیل گفتار به نوشتار در حقیقت زیر مجموعه ای از فناوری پردازش یا بازشناسی گفتار یا speech recognition  می باشد که می تواند صوتی که وجود دارد را (اعم از صحبت های افراد، صوت ضبط شده، صدای یک فیلم و…) به نوشتار تبدیل کند یا به عبارتی گفتار را تبدیل به نوشتار نماید.

فناوری تبدیل گفتار به نوشتار در حقیقت نوعی برنامه، اپلیکیشن، نرم افزار و… می باشد که محتوای صوتی را گرفته و با پردازش محتوای آن صوت، آن را به کلمات مکتوب تبدیل می نماید. فناوری تبدیل گفتار به نوشتار، همان طور که گفته شد یک فناوری بر پایه هوش مصنوعی می باشد که قادر است از یک گفت و گوی شفاهی و محتوای صوتی موجود، محتوای متنی تهیه کند و یا اینکه به صورت تایپ در لحظه به کار رود.

تبدیل گفتار به نوشتار چگونه کار می کند؟

تبدیل گفتار به نوشتار بخشی از فناوری بازشناسی گفتار می باشد که به سادگی میتوان مسئله بازشناسی گفتار را در این فرمول احتمالاتی شرطی خلاصه کرد:

به این معنی که ما به دنبال رشته‌ای از کلمات خروجی هستیم که با توجه به سیگنال ورودی موجود، محتمل‌ترین رشته کلمات خروجی را به ما نشان دهند. مسئله را می توان بر اساس این فرمول باز کرد و گفت که احتمال سیگنال، نسبت به رشته کلمات مورد نظر ضرب در احتمال کلمات. زمانی که این دو را باز کنیم، در واقع دو پایه اساسی یک سیستم بازشناسی گفتار به دست می آید که عبارتند از:
۱.مدل آکوستیکی
۲.مدل زبانی
کار مدل آکوستیکی آن است که تشخیص می دهد با توجه به سیگنال ورودی محتمل ترین آواهای خروجی چه چیزهایی هستند. کار مدل زبانی هم آن است که تشخیص دهد پس از ترکیب آواها، محتمل ترین کلماتی که در آن زبان می توانیم پشت سرهم داشته باشیم، چه هستند. این فرمول شاید ساده ترین و پایه‌ای ترین فرمول بازشناسایی گفتار باشد. در ساختار کلی یک سیستم بازشناسایی گفتار همه چیز از سیگنال صوتی شروع می شود.

سیگنال صوتی وارد یک سری پیش پردازش ها می شود. به عنوان مثال در زمانهایی که سکوت داریم، سیگنال صوتی را می بُریم یا نویز را کاهش می دهیم، استخراج ویژگی ها نیز بخشی از پیش پردازش می باشد. پس از اتمام پیش پردازش، سیگنال صوتی با یک سری ویژگی های کلی بدست می‌آید. در نهایت با ترکیب دو مدل زبانی و آکوستیکی، سیگنال یا ویژگی ها را به کلمات نهایی رمز گشایی (Decode) می کنیم.

روش های بازشناسایی گفتار

به صورت کلی تلاشها یا روشهایی که در زمینه پردازش گفتار شده را میتوان به ۳ مقطع زمانی تقسیم کرد:

مدل گاوسین-مدل مخفی مارکف

مدلهای مخلوط گاوسین-مدل مخفی مارکف که به Gmm-Hmm نیز معروف می باشند،تا حدود 25 سال پیش بدون هیچ رقیب دیگری برای بازشنایایی گفتار استفاده می شدند تا زمانی که در مقاله معروف  سال ۲۰۰۶ که توسط یکی از افراد یسیار مهم در زمینه deep learning یعنی دکتر هینگتون ارائه شد، شبکه های عصبی باور عمیق یا DBN ها جایگزین مدل مخلوط گاوسین شدند. اما با این حال باز هم از مدل مخفی مارکف برای شبیه سازی زمانی استفاده می‌کردیم. در نهایت، طی سالهای اخیر مدل سرتاسری شبکه‌های عمیق بازگشتی معرفی شدند که دو مدل قبلی را باهم ترکیب کرده و در یک شبکه عمیق به کار می بردند.

شماتیک کلی این مدل ها را در می توانیم در تصویر زیر مشاهده کنیم. برای توضیح مختصر تصویر می توانیم بگوییم که ما در این مدل از سیگنال های صوتی که داریم یکسری ویژگی استخراج می کنیم. این ویژگی ها میتوانند expectogram یا nfcc باشند. با کمک مدل مخلوط گاوسین، یک آکوستیک مدلی را درست می کنیم و سپس از خروجی همان آکوستیک مدل، یا در واقع از آواهایی که بدست آمده در یک شبکه HMM، از آواهایی که وجود داشتندمدلسازی زمانی انجام می دهیم و در نهایت به متن می‌رسیم.

ساختار مدل شبکه عصبی باور عمیق-مدل مخفی مارکف

در شبکه های باور عمیق نیز همان اتفاق می افتد. ما میتوانیم expectogram و یا حتی ورودی خام سیگنال صوتی و MCC را داشته باشیم.تنها تفاوت آن با مدل قبلی آن است که بجای مدل گاوسین، از یک شبکه باور عمیق استفاده می کنیم.
تا قبل ۲۰۰۶ امکان اموزش شبکه های بزرگ وجود نداشت، در آن زمان همه ی افراد فعال در حوزه هوش مصنوعی می دانستند که با افزایش تعداد لایه‌ها قاعدتا می توانیم نتایج بهتری بگیریم و به اصطلاح به درک بالاتری از آن ورودی می رسیم. یعنی هرچه تعداد لایه ها زیادتر و عمیق تر باشد ما میتوانیم در عمق بیشتر درک بهتری از ورودی پیدا کنیم. اما امکان اموزش این شبکه ها به دو دلیل وجود نداشته‌است: اولین دلیل اینکه برای انجام این کار الگوریتمی وجود نداشته است و تا آن زمان ما تنها می توانستیم شبکه های ۲ تا ۳ لایه را آموزش دهیم.زمانی که عمق شبکه ها بیشتر می شد نیز از روش نشر بازگشتی استفاده می کردیم که توانایی انجام درست این کار را نداشت.
با این حال در سال ۲۰۰۶ الگوریتمی درست شد که با کمک آن می توانستند لایه ها را تک تک آموزش بدهند و سپس این لایه ها را بر روی هم سوار کردند و در نهایت به شبکه یک آموزش کلی داده شد. بعد از این اتفاق امکان آن به وجود آمد که به عنوان مثال بتوانیم ۶ تا ۷ لایه از شبکه های عصبی را با دقت خوبی آموزش دهیم. با آمدن این الگوریتم جای مدل مخلوط گاوسین یا GMM ها با شبکه های باور عمیق یا DBM تغییر کرد، اما ما همچنان از HMM ها یا مدل مارکف برای شبیه سازی مدل های زمانی استفاده می کردیم.

ساختار سرتا سری شبکه های عمیق بازگشتی

یکی از ساختارهای معروف شبکه های عمیق بازگشتی ساختاری همانند تصویر زیر دارد که متعلق به مقاله معروفی است که چند سال پیش توسط “بایدو” منتشر کرد. باتوجه به تصویری که در زیر مشاهده می کنید مرزهای قبلی را بین دو مدل مختلف قبلی نداریم و تمام این اتفاقات در شبکه سرتاسری می افتند، باز هم در اینجا ما expectogram یا ورودی و سپس یک شبکه عمیق بازگشتی را داریم. در واقع هم آواها (مدل آگوستیکی) را داریم و در واقع مدل آکوستیکی را آموزش میبینم و همزمان شبیه سازی زمانی را نیز انجام میدهیم.

بازشناسایی گفتار با روش های یادگیری عمیق

در این روش ما در واقع می خواهیم تمام مراحل قبلی که گفته شد را با یک شبکه جایگزین کنیم، یعنی سیگنال ورودی داخل یک شبکه ای شود و در نهایت خروجی آن سیگنال را به صورت متن داشته باشیم، بدون اینکه نیاز باشد آن سیگنال را به مدل های مختلف بشکانیم و استخراج ویژگی کنیم و… و در واقع می خواهیم یک شبکه سرتاسری در میانه داشته باشیم.

فارس آوا، نرم افزاری که گفتار را به نوشتار تبدیل می کند

در حال حاضر در کشور نرم افزاری برای تبدیل گفتار به نوشتار وجود دارد که به کمک روش هایی که در بالا گفته شد،گفتار را به متن تبدیل می کند. فارس آوا دارای بزرگترین دیتاست فارسی در داخل کشور می باشد که شامل 10 هزار ساعت دیتای زبان فارسی می باشد.  فارس آوا عملیات بازشناسایی گفتار را به کمک روش های یادگیری عمیق انجام می دهد و این نرم افزار تبدیل گفتار به متن در زبان فارسی امکان ارتباط کلامی انسان با کامپیوتر و یا موبایل را فراهم می کند. این نرم افزار با تکیه بر دانش متخصصان هوش مصنوعی ایرانی و با بهره گیری از آخرین تکنولوژی های روز دنیا تولید شده است و به دلیل جمع آوری بزرگ ترین دیتاست موجود در زبان فارسی و تمرکز ویژه روی این زبان، ضمن بهره مندی از تنوع گفتاری بسیار وسیع موفق شده تا در رقابت با شرکت های بزرگی چون گوگل ضریب دقت بالایی داشته باشد.

ویژگی ها و قابلیت های فارس آوا عبارتند از:

• تبدیل گفتار به متن فارسی با دقت و سرعت بالا
• بهره مندی از آخرین تکنولوژیهای یادگیری عمیق
• تبدیل گفتار به متن بصورت همزمان (Real-Time)
• تشخیص گفتار و صوت در محیط های نویزی
• پشتیبانی از انواع لهجه ها و گویش ها
• قابلیت تبدیل گفتار محاوره ای به متن
• پشتیبانی از انواع فرمتهای صوتی و ویدیویی
• تبدیل گفتار انگلیسی به متن انگلیسی
• غیر وابسته به گوینده و عدم نیاز به آموزش برای هر فرد
• توسعه و تولید بصورت کاملاً بومی در داخل کشور
• ارائه API و SDK تبدیل گفتار به متن در قالب وب سرویس
• ارائه پنل تحت وب برای آپلود کردن فایلها جهت پردازش
• قابل نصب روی سرور مشتری و عدم نیاز اتصال به اینترنت
• بهره مندی از دایره واژگان (فرهنگ لغت) بسیار وسیع

همه ی مواردی که گفته شد باعث شده تا فارس آوا به یکی از کاربردی ترین و با کیفیت ترین محصولات موجود در بازار امروز ایران، تبدیل شود. فارس آوا نرم افزاری است که به صورت اختصاصی برای زبان فارسی تولید شده است و واژگان زبان فارسی را به خوبی درک و پردازش می کند. شما می توانید با خیالی آسوده از نرم افزار فارس آوا استفاده کنید و راندمان و بهره وری کار خود و یا کارمندان در سازمان و یا کسب و کارتان را افزایش دهید. علاوه بر این ها فارس آوا از رابط کاربری بسیار ساده ای برخوردار است که این امر استفاده همه ی افراد از این نرم افزار را بسیار ساده می کند.