پردازش زبان طبیعی و کاربردهایش - بخش 1

مقدمه - زبان های انسان

انسان ها پیشرفته ترین گونه در جهان هستند و هیچ شکی در آن نیست و موفقیت ما در انسان بودن به دلیل توانایی ما در ارتباط برقرار کردن و به اشتراک گذاری اطلاعات می باشد. و این ارتباط برقرار کردن، مفهوم توسعه یک زبان است. زمانی که ما در مورد زبان انسان صحبت می کنیم، این بحث پیچیده ترین و گوناگون‌ترین قسمت از ما می‌باشد. امروزه 6500 زبان موجود است اگر چه حدود 2000 زبان وجود دارد که تعداد کمتر از 1000 نفر صحبت می‌کنند.

21 درصد دیتاها به صورت ساختار یافته همانند توییت، و یا ارسال پیام از طریق واتس آپ، فیسبوک، صحبت‌ها و غیره می باشد که می‌توان به عنوان داده زبان طبیعی از آن‌ها استفاده کرد.

در ادامه یک سری مطالب در مورد NLP و Text Mining بیان می‌کنیم.

نگاهی به NLP و Text Minin:

اصطلاح Text Mining یا Text Analytics پروسه به دست آوردن اطلاعات با معنی، از متن زبان طبیعی می‌باشد. Text Mining معمولا پردازش ساختار متن های ورودی، به دست آوردن الگوهای ساختاری داده و در آخر ارزیابی و تفسیر خروجی است.

پردازش زبان طبیعی اشاره دارد به متدهای Artificial Intelligence یا هوش مصنوعی و ارتباط با سیستم‌های هوشمند با استفاده از دانش زبان‌ها می‌باشد. همانظور که Text Mining به پردازش به دست آوردن اطلاعات از متن اشاره دارد هدف نهایی این است که اساسا متن را به دیتاهای آنالیز شده در اپلیکیشن‌های NLP تبدیل کنیم. به طور کلی Text Mining و NLP دست در دست هم هستند.

کاربر‌های NLP:

اولین و یکی از بهترین کاربردهای NLP که وجود دارد، Sentiment Analysis می‌باشد. تجزیه و تحلیل احساسات توییتر و فیسبوک بسیار پرکاربرد می‌باشد. در سال های اخیر مقالات بسیاری در این زمینه در ژورنال های معتبر به چاپ رسیده‌اند.

مورد بعدی پیاده سازی Chatbotها می‌باشد. ممکن است شما با سرویس های چت بات که کمپانی های مختلفی این کار را کردند و پردازش پشت این ها همگی NLP می‌باشند کار کرده باشید. مثل Chatfuel ساخته شرکت فیسبوک

اپلیکیشن بعدی Speech Recognition می باشد. و ما اینجا در مورد device هایی مثل Google Assistant، Siri و Cortona صحبت می کنیم. و پردازش همه این ها به دلیل وجود NLP می‌باشد.

یکی دیگر از کاربردهای پردازش زبان طبیعی، Machine Translation می‌باشد. از معروف ترین موارد کاربردی می‌توان Google Translate را نام برد.

کاربردهای دیگر از NLP همانند Spell Checking، Keyword Searching، Information Extraction و در آخر Advertisement Matching می‌باشد.

همگی این‌ها، کاربردهایی هستند که روزانه ما با آن‌ها به صورت مستقیم و یا غیر مستقیم درگیر هستیم. اما چه تکنیک هایی برای پردازش زبان طبیعی وجود دارد.در بخش 2 به طور تخصصی به تکنیک‌های پردازش زبان خواهیم پرداخت.

استفاده از این مقاله با ذکر نام نویسنده، بلامانع است.